Selfie benzeri resimlerdeki ve videolardaki yüzleri algılamak için ML Kit'i kullanabilirsiniz.
Yüz örgüsü algılama API'sı | |
---|---|
SDK adı | face-mesh-detection |
Uygulama | Kod ve öğeler, derleme sırasında statik olarak uygulamanıza bağlıdır. |
Uygulama boyutu etkisi | ~6,4 MB |
Performans | Çoğu cihazda gerçek zamanlı. |
Deneyin
- Bu API'nin örnek bir kullanımını görmek için örnek uygulamayı inceleyin.
Başlamadan önce
Proje düzeyindeki
build.gradle
dosyanızda, Google'ın Maven deposunu hem buildscript hem de allprojects bölümlerinize eklediğinizden emin olun.ML Kit yüz algılama kitaplığına olan bağımlılığı, modülünüzün uygulama düzeyindeki Gradle dosyasına ekleyin. Bu dosya genellikle
app/build.gradle
değerine sahiptir:dependencies { // ... implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1' }
Giriş resmi kuralları
Resimler cihaz kamerasından yaklaşık 2 metre (~7 fit) mesafede çekilmelidir. Böylece, yüzlerin en iyi yüz örgüsünü tanıması için yeterince büyük olması sağlanır. Genel olarak yüz ne kadar büyükse yüz örgüsü tanıma da o kadar iyi olur.
Yüz, kameraya bakacak şekilde ve yüzün en az yarısı görünür olmalıdır. Yüzle kamera arasındaki büyük bir nesne doğruluğun düşük olmasına neden olabilir.
Yüzleri gerçek zamanlı bir uygulamada algılamak isterseniz giriş görüntüsünün genel boyutlarını da düşünmeniz gerekir. Daha küçük görüntüler daha hızlı işlenebilir. Bu nedenle, görüntüleri daha düşük çözünürlüklerde çekmek gecikmeyi azaltır. Bununla birlikte, yukarıdaki doğruluk koşullarını göz önünde bulundurarak öznenin yüzünün mümkün olduğunca çok alan kaplamasını sağlayın.
Yüz ağı algılayıcısını yapılandırma
Yüz ağı algılayıcısının varsayılan ayarlarından herhangi birini değiştirmek istiyorsanız bu ayarları bir FaceMeshDetectorOptions nesnesiyle belirtin. Aşağıdaki ayarları değiştirebilirsiniz:
setUseCase
BOUNDING_BOX_ONLY
: Yalnızca algılanan bir yüz ağı için sınırlayıcı kutu sağlar. Bu en hızlı yüz algılayıcıdır, ancak kapsama alanı sınırlarına sahiptir(yüzler kameradan yaklaşık 2 metre veya ~7 fit kadar uzakta olmalıdır).FACE_MESH
(varsayılan seçenek): Bir sınırlayıcı kutu ve ek yüz ağı bilgileri (468 3D nokta ve üçgen bilgisi) sağlar.BOUNDING_BOX_ONLY
kullanım alanıyla karşılaştırıldığında, Pixel 3'te yapılan ölçümlere göre gecikme yaklaşık %15 artar.
Örneğin:
Kotlin
val defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS) val boundingBoxDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() )
Java
FaceMeshDetector defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS); FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient( new FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() );
Giriş görüntüsünü hazırlama
Görüntüdeki yüzleri algılamak için Bitmap
, media.Image
, ByteBuffer
, bayt dizisi veya cihazdaki bir dosyadan InputImage
nesnesi oluşturun.
Daha sonra, InputImage
nesnesini FaceDetector
'ın process
yöntemine geçirin.
Yüz ağı algılama özelliği için en az 480x360 piksel boyutunda bir resim kullanmanız gerekir. Yüzleri gerçek zamanlı olarak algılıyorsanız kareleri bu minimum çözünürlükte yakalamak, gecikmeyi azaltmaya yardımcı olabilir.
Farklı kaynaklardan InputImage
nesnesi oluşturabilirsiniz. Nesnelerin her biri aşağıda açıklanmıştır.
media.Image
kullanılıyor
Bir media.Image
nesnesinden InputImage
nesnesi oluşturmak için (örneğin, bir cihazın kamerasından resim çekerken) media.Image
nesnesini ve resmin dönüşünü InputImage.fromMediaImage()
konumuna getirin.
KameraX kitaplığını kullanırsanız OnImageCapturedListener
ve ImageAnalysis.Analyzer
sınıfları, döndürme değerini sizin için hesaplar.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Resmin dönüş derecesini belirten bir kamera kitaplığı kullanmıyorsanız bunu cihazın döndürme derecesinden ve cihazdaki kamera sensörünün yönüne göre hesaplayabilirsiniz:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Daha sonra, media.Image
nesnesini ve döndürme derecesi değerini InputImage.fromMediaImage()
öğesine iletin:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Dosya URI'si kullanma
Dosya URI'sinden InputImage
nesnesi oluşturmak için uygulama bağlamını ve dosya URI'sini InputImage.fromFilePath()
adresine iletin. Bu, kullanıcıdan galeri uygulamasından bir resim seçmesini istemek için bir ACTION_GET_CONTENT
amacı kullandığınızda faydalıdır.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
ByteBuffer
veya ByteArray
kullanma
ByteBuffer
veya ByteArray
öğesinden InputImage
nesnesi oluşturmak için önce daha önce media.Image
girişi için açıklandığı gibi resim döndürme derecesini hesaplayın.
Ardından, InputImage
nesnesini resmin yüksekliği, genişliği, renk kodlama biçimi ve döndürme derecesiyle birlikte arabellek veya diziyle oluşturun:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Bitmap
kullanılıyor
Bir Bitmap
nesnesinden InputImage
nesnesi oluşturmak için aşağıdaki bildirimi yapın:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Resim, döndürme dereceleriyle birlikte bir Bitmap
nesnesiyle temsil edilir.
Resmi işle
Resmi process
yöntemine geçirin:
Kotlin
val result = detector.process(image) .addOnSuccessListener { result -> // Task completed successfully // … } .addOnFailureListener { e -> // Task failed with an exception // … }
Java
Task<List<FaceMesh>> result = detector.process(image) .addOnSuccessListener( new OnSuccessListener<List<FaceMesh>>() { @Override public void onSuccess(List<FaceMesh> result) { // Task completed successfully // … } }) .addOnFailureListener( new OnFailureListener() { @Override Public void onFailure(Exception e) { // Task failed with an exception // … } });
Algılanan yüz ağı hakkında bilgi alın
Resimde herhangi bir yüz algılanırsa başarılı dinleyiciye FaceMesh
nesne listesi iletilir. Her FaceMesh
, resimde tespit edilen bir yüzü temsil eder. Her bir yüz ağı için sınırlayıcı koordinatlarını ve yüz ağı algılayıcısının bulmasını yapılandırdığınız diğer tüm bilgileri giriş görüntüsünden alabilirsiniz.
Kotlin
for (faceMesh in faceMeshs) { val bounds: Rect = faceMesh.boundingBox() // Gets all points val faceMeshpoints = faceMesh.allPoints for (faceMeshpoint in faceMeshpoints) { val index: Int = faceMeshpoints.index() val position = faceMeshpoint.position } // Gets triangle info val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles for (triangle in triangles) { // 3 Points connecting to each other and representing a triangle area. val connectedPoints = triangle.allPoints() } }
Java
for (FaceMesh faceMesh : faceMeshs) { Rect bounds = faceMesh.getBoundingBox(); // Gets all points List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints(); for (FaceMeshPoint faceMeshpoint : faceMeshpoints) { int index = faceMeshpoints.getIndex(); PointF3D position = faceMeshpoint.getPosition(); } // Gets triangle info List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles(); for (Triangle<FaceMeshPoint> triangle : triangles) { // 3 Points connecting to each other and representing a triangle area. List<FaceMeshPoint> connectedPoints = triangle.getAllPoints(); } }