Puedes usar ML Kit para detectar rostros en imágenes y videos que parecen selfies.
API de detección de malla facial | |
---|---|
Nombre del SDK | face-mesh-detection |
Implementación | El código y los elementos se vinculan de forma estática a tu app durante el tiempo de compilación. |
Impacto del tamaño de la app | ~6.4MB |
Rendimiento | En tiempo real en la mayoría de los dispositivos. |
Probar
- Prueba la app de ejemplo para ver un ejemplo de uso de esta API.
Antes de comenzar
En tu archivo
build.gradle
de nivel de proyecto, asegúrate de incluir el ID de Google El repositorio de Maven en las secciones buildscript y allprojects.Agrega la dependencia para la biblioteca de detección de malla de rostros del Kit de AA a tu archivo Gradle a nivel de la app del módulo, que suele ser
app/build.gradle
:dependencies { // ... implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1' }
Lineamientos para imágenes de entrada
Las imágenes se deben tomar a una distancia aproximada de 2 metros (7 pies) de la cámara del dispositivo. que los rostros sean lo suficientemente grandes para lograr un reconocimiento óptimo de la malla facial. En En general, cuanto más grande es el rostro, mejor es el reconocimiento de la malla facial.
El rostro debe estar orientado hacia la cámara y debe verse al menos la mitad. Cualquier objeto grande entre el rostro y la cámara puede reducir exactitud.
Si quieres detectar rostros en una aplicación en tiempo real, también deberías y considerar las dimensiones generales de la imagen de entrada. Las imágenes más pequeñas pueden se procesan más rápido, por lo que capturar imágenes con resoluciones más bajas reduce la latencia. Sin embargo, ten en cuenta los requisitos de precisión anteriores y asegúrate de que el el rostro del sujeto ocupe la mayor parte posible de la imagen.
Configura el detector de malla de rostros
Si quieres cambiar la configuración predeterminada del detector de malla de rostros, especifica esos parámetros de configuración con un FaceMeshDetectorOptions . Puedes cambiar las siguientes opciones de configuración:
setUseCase
BOUNDING_BOX_ONLY
: Solo proporciona un cuadro delimitador para una malla de rostros detectada. Este es el detector de rostros más rápido, pero tiene algunas limitaciones de rango(rostros debe estar a una distancia aproximada de 2 metros o 7 pies de la cámara).FACE_MESH
(opción predeterminada): Proporciona un cuadro de límite y un rostro adicional. información de la malla (468 puntos 3D y información del triángulo). En comparación con elBOUNDING_BOX_ONLY
, la latencia aumenta alrededor de un 15%, según lo medido en Pixel 3:
Por ejemplo:
Kotlin
val defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS) val boundingBoxDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() )
Java
FaceMeshDetector defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS); FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient( new FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() );
Prepara la imagen de entrada
Para detectar rostros en una imagen, crea un objeto InputImage
a partir de un
Bitmap
, media.Image
, ByteBuffer
, un array de bytes o un archivo ubicado en el dispositivo.
Luego, pasa el objeto InputImage
al método process
de FaceDetector
.
Para la detección de malla facial, debes usar una imagen con dimensiones de al menos 480 × 360 píxeles. Si estás detectando rostros en tiempo real, capturando fotogramas con esta resolución mínima puede ayudar a reducir la latencia.
Puedes crear un InputImage
objeto de diferentes fuentes, cada uno se explica a continuación.
Usa un media.Image
Para crear un elemento InputImage
, sigue estos pasos:
objeto de un objeto media.Image
, como cuando capturas una imagen de una
la cámara del dispositivo, pasa el objeto media.Image
y el
rotación a InputImage.fromMediaImage()
.
Si usas
biblioteca de CameraX, los elementos OnImageCapturedListener
y
Las clases ImageAnalysis.Analyzer
calculan el valor de rotación
por ti.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Si no usas una biblioteca de cámaras que indique el grado de rotación de la imagen, calcularlo a partir del grado de rotación del dispositivo y la orientación de la cámara sensor en el dispositivo:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Luego, pasa el objeto media.Image
y el
valor de grado de rotación a InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Usa un URI de archivo
Para crear un elemento InputImage
, sigue estos pasos:
objeto de un URI de archivo, pasa el contexto de la app y el URI del archivo a
InputImage.fromFilePath()
Esto es útil cuando
usa un intent ACTION_GET_CONTENT
para solicitarle al usuario que seleccione
una imagen de su app de galería.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Usa un objeto ByteBuffer
o ByteArray
Para crear un elemento InputImage
, sigue estos pasos:
objeto de una ByteBuffer
o ByteArray
, primero calcula la imagen
grado de rotación como se describió anteriormente para la entrada media.Image
.
Luego, crea el objeto InputImage
con el búfer o array, junto con los atributos
El alto, el ancho, el formato de codificación de color y el grado de rotación:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Usa un Bitmap
Para crear un elemento InputImage
, sigue estos pasos:
objeto a partir de un objeto Bitmap
, realiza la siguiente declaración:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
La imagen se representa con un objeto Bitmap
junto con los grados de rotación.
Procesa la imagen
Pasa la imagen al método process
:
Kotlin
val result = detector.process(image) .addOnSuccessListener { result -> // Task completed successfully // … } .addOnFailureListener { e -> // Task failed with an exception // … }
Java
TaskL<istF<aceMesh >>result = detector.process(image) .addOnSuccessListener( new OnSuccessListenerL<istF<aceMesh(>>) { @Override public void onSuccess(ListF<aceMesh >result) { // Task completed successfully // … } }) .addOnFailureListener( new OnFailureListener() { @Override Public void onFailure(Exception e) { // Task failed with an exception // … } });
Obtén información sobre la malla de rostros detectada
Si se detecta algún rostro en la imagen, se pasa una lista de objetos FaceMesh
a
la persona que escucha el éxito. Cada FaceMesh
representa un rostro que se detectó en las
imagen. Para cada malla de rostros, puedes obtener las coordenadas de sus límites en la entrada
así como cualquier otra información que hayas configurado para la malla de rostros
del usuario para encontrar.
Kotlin
for (faceMesh in faceMeshs) { val bounds: Rect = faceMesh.boundingBox() // Gets all points val faceMeshpoints = faceMesh.allPoints for (faceMeshpoint in faceMeshpoints) { val index: Int = faceMeshpoints.index() val position = faceMeshpoint.position } // Gets triangle info val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles for (triangle in triangles) { // 3 Points connecting to each other and representing a triangle area. val connectedPoints = triangle.allPoints() } }
Java
for (FaceMesh faceMesh : faceMeshs) { Rect bounds = faceMesh.getBoundingBox(); // Gets all points List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints(); for (FaceMeshPoint faceMeshpoint : faceMeshpoints) { int index = faceMeshpoints.getIndex(); PointF3D position = faceMeshpoint.getPosition(); } // Gets triangle info List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles(); for (Triangle<FaceMeshPoint> triangle : triangles) { // 3 Points connecting to each other and representing a triangle area. List<FaceMeshPoint> connectedPoints = triangle.getAllPoints(); } }