Обнаружение лиц с помощью ML Kit на Android

Вы можете использовать ML Kit для обнаружения лиц на изображениях и видео.

Особенность Разделенный В комплекте
Выполнение Модель динамически загружается через сервисы Google Play. Модель статически связана с вашим приложением во время сборки.
Размер приложения Увеличение размера примерно на 800 КБ. Увеличение размера примерно на 6,9 МБ.
Время инициализации Возможно, придется подождать загрузки модели перед первым использованием. Модель доступна сразу

Попробуйте это

  • Поэкспериментируйте с примером приложения , чтобы увидеть пример использования этого API.
  • Попробуйте код самостоятельно с помощью codelab .

Прежде чем начать

  1. В файле build.gradle на уровне проекта обязательно включите репозиторий Google Maven как в разделы buildscript , так и в разделы allprojects .

  2. Добавьте зависимости для библиотек Android ML Kit в файл Gradle уровня приложения вашего модуля, который обычно имеет app/build.gradle . Выберите одну из следующих зависимостей в зависимости от ваших потребностей:

    Для объединения модели с вашим приложением:

    dependencies {
      // ...
      // Use this dependency to bundle the model with your app
      implementation 'com.google.mlkit:face-detection:16.1.7'
    }
    

    Для использования модели в Сервисах Google Play:

    dependencies {
      // ...
      // Use this dependency to use the dynamically downloaded model in Google Play Services
      implementation 'com.google.android.gms:play-services-mlkit-face-detection:17.1.0'
    }
    
  3. Если вы решите использовать модель в Сервисах Google Play , вы можете настроить свое приложение на автоматическую загрузку модели на устройство после установки приложения из Play Store. Для этого добавьте следующее объявление в файл AndroidManifest.xml вашего приложения:

    <application ...>
          ...
          <meta-data
              android:name="com.google.mlkit.vision.DEPENDENCIES"
              android:value="face" >
          <!-- To use multiple models: android:value="face,model2,model3" -->
    </application>
    

    Вы также можете явно проверить доступность модели и запросить загрузку через API сервисов Google Play ModuleInstallClient .

    Если вы не включите загрузку модели во время установки или не запросите явную загрузку, модель загружается при первом запуске детектора. Запросы, которые вы делаете до завершения загрузки, не дают результатов.

Рекомендации по входному изображению

Для распознавания лиц следует использовать изображение размером не менее 480x360 пикселей. Чтобы ML Kit мог точно обнаруживать лица, входные изображения должны содержать лица, представленные достаточным количеством пиксельных данных. Как правило, каждое лицо, которое вы хотите обнаружить на изображении, должно иметь размер не менее 100x100 пикселей. Если вы хотите обнаружить контуры лиц, ML Kit требует ввода с более высоким разрешением: каждое лицо должно быть не менее 200x200 пикселей.

Если вы обнаруживаете лица в приложении реального времени, вам также может потребоваться учитывать общие размеры входных изображений. Изображения меньшего размера можно обрабатывать быстрее, поэтому, чтобы уменьшить задержку, снимайте изображения с более низким разрешением, но помните о вышеуказанных требованиях к точности и следите за тем, чтобы лицо объекта занимало как можно большую часть изображения. Также ознакомьтесь с советами по повышению производительности в реальном времени .

Плохая фокусировка изображения также может повлиять на точность. Если вы не получили приемлемых результатов, попросите пользователя повторно сделать снимок.

Ориентация лица относительно камеры также может влиять на то, какие черты лица обнаруживает ML Kit. См. раздел «Концепции распознавания лиц» .

1. Настройте детектор лиц

Прежде чем применять распознавание лиц к изображению, если вы хотите изменить какие-либо настройки детектора лиц по умолчанию, укажите эти настройки с помощью объекта FaceDetectorOptions . Вы можете изменить следующие настройки:

Настройки
setPerformanceMode PERFORMANCE_MODE_FAST (по умолчанию) | PERFORMANCE_MODE_ACCURATE

Отдавайте предпочтение скорости и точности при обнаружении лиц.

setLandmarkMode LANDMARK_MODE_NONE (по умолчанию) | LANDMARK_MODE_ALL

Стоит ли пытаться определить «ориентиры» на лице: глаза, уши, нос, щеки, рот и так далее.

setContourMode CONTOUR_MODE_NONE (по умолчанию) | CONTOUR_MODE_ALL

Определять ли контуры черт лица. Контуры определяются только для наиболее заметного лица на изображении.

setClassificationMode CLASSIFICATION_MODE_NONE (по умолчанию) | CLASSIFICATION_MODE_ALL

Следует ли классифицировать лица по таким категориям, как «улыбка» и «открытые глаза».

setMinFaceSize float (по умолчанию: 0.1f )

Устанавливает наименьший желаемый размер лица, выражаемый как отношение ширины головы к ширине изображения.

enableTracking false (по умолчанию) | true

Следует ли назначать лицам идентификатор, который можно использовать для отслеживания лиц на изображениях.

Обратите внимание: когда включено распознавание контуров, распознается только одно лицо, поэтому отслеживание лиц не дает полезных результатов. По этой причине, а также для повышения скорости обнаружения не включайте одновременно распознавание контуров и отслеживание лица.

Например:

Котлин

// High-accuracy landmark detection and face classification
val highAccuracyOpts = FaceDetectorOptions.Builder()
        .setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_ACCURATE)
        .setLandmarkMode(FaceDetectorOptions.LANDMARK_MODE_ALL)
        .setClassificationMode(FaceDetectorOptions.CLASSIFICATION_MODE_ALL)
        .build()

// Real-time contour detection
val realTimeOpts = FaceDetectorOptions.Builder()
        .setContourMode(FaceDetectorOptions.CONTOUR_MODE_ALL)
        .build()

Ява

// High-accuracy landmark detection and face classification
FaceDetectorOptions highAccuracyOpts =
        new FaceDetectorOptions.Builder()
                .setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_ACCURATE)
                .setLandmarkMode(FaceDetectorOptions.LANDMARK_MODE_ALL)
                .setClassificationMode(FaceDetectorOptions.CLASSIFICATION_MODE_ALL)
                .build();

// Real-time contour detection
FaceDetectorOptions realTimeOpts =
        new FaceDetectorOptions.Builder()
                .setContourMode(FaceDetectorOptions.CONTOUR_MODE_ALL)
                .build();

2. Подготовьте входное изображение

Чтобы обнаружить лица на изображении, создайте объект InputImage из Bitmap , media.Image , ByteBuffer , массива байтов или файла на устройстве. Затем передайте объект InputImage методу process FaceDetector .

Для распознавания лиц следует использовать изображение размером не менее 480x360 пикселей. Если вы распознаете лица в режиме реального времени, съемка кадров с этим минимальным разрешением может помочь уменьшить задержку.

Вы можете создать объект InputImage из разных источников, каждый из которых описан ниже.

Использование media.Image

Чтобы создать объект InputImage из объекта media.Image , например, при захвате изображения с камеры устройства, передайте объект media.Image и поворот изображения в InputImage.fromMediaImage() .

Если вы используете библиотеку CameraX , классы OnImageCapturedListener и ImageAnalysis.Analyzer вычисляют значение поворота за вас.

Котлин

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Ява

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Если вы не используете библиотеку камер, которая дает вам степень поворота изображения, вы можете рассчитать ее на основе степени поворота устройства и ориентации датчика камеры в устройстве:

Котлин

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}

Ява

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Затем передайте объект media.Image и значение степени поворота в InputImage.fromMediaImage() :

Котлин

val image = InputImage.fromMediaImage(mediaImage, rotation)

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Использование URI файла

Чтобы создать объект InputImage из URI файла, передайте контекст приложения и URI файла в InputImage.fromFilePath() . Это полезно, когда вы используете намерение ACTION_GET_CONTENT , чтобы предложить пользователю выбрать изображение из приложения галереи.

Котлин

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Использование ByteBuffer или ByteArray

Чтобы создать объект InputImage из ByteBuffer или ByteArray , сначала вычислите степень поворота изображения, как описано ранее для ввода media.Image . Затем создайте объект InputImage с буфером или массивом вместе с высотой, шириной изображения, форматом цветовой кодировки и степенью поворота:

Котлин

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

Ява

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);

Использование Bitmap

Чтобы создать объект InputImage из объекта Bitmap , сделайте следующее объявление:

Котлин

val image = InputImage.fromBitmap(bitmap, 0)

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

Изображение представлено объектом Bitmap вместе с градусами поворота.

3. Получите экземпляр FaceDetector.

Котлин

val detector = FaceDetection.getClient(options)
// Or, to use the default option:
// val detector = FaceDetection.getClient();

Ява

FaceDetector detector = FaceDetection.getClient(options);
// Or use the default options:
// FaceDetector detector = FaceDetection.getClient();

4. Обработка изображения

Передайте изображение методу process :

Котлин

val result = detector.process(image)
        .addOnSuccessListener { faces ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }

Ява

Task<List<Face>> result =
        detector.process(image)
                .addOnSuccessListener(
                        new OnSuccessListener<List<Face>>() {
                            @Override
                            public void onSuccess(List<Face> faces) {
                                // Task completed successfully
                                // ...
                            }
                        })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });

5. Получить информацию об обнаруженных лицах

Если операция обнаружения лиц завершается успешно, список объектов Face передается прослушивателю успеха. Каждый объект Face представляет лицо, обнаруженное на изображении. Для каждого лица вы можете получить его ограничивающие координаты во входном изображении, а также любую другую информацию, на поиск которой вы настроили детектор лиц. Например:

Котлин

for (face in faces) {
    val bounds = face.boundingBox
    val rotY = face.headEulerAngleY // Head is rotated to the right rotY degrees
    val rotZ = face.headEulerAngleZ // Head is tilted sideways rotZ degrees

    // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
    // nose available):
    val leftEar = face.getLandmark(FaceLandmark.LEFT_EAR)
    leftEar?.let {
        val leftEarPos = leftEar.position
    }

    // If contour detection was enabled:
    val leftEyeContour = face.getContour(FaceContour.LEFT_EYE)?.points
    val upperLipBottomContour = face.getContour(FaceContour.UPPER_LIP_BOTTOM)?.points

    // If classification was enabled:
    if (face.smilingProbability != null) {
        val smileProb = face.smilingProbability
    }
    if (face.rightEyeOpenProbability != null) {
        val rightEyeOpenProb = face.rightEyeOpenProbability
    }

    // If face tracking was enabled:
    if (face.trackingId != null) {
        val id = face.trackingId
    }
}

Ява

for (Face face : faces) {
    Rect bounds = face.getBoundingBox();
    float rotY = face.getHeadEulerAngleY();  // Head is rotated to the right rotY degrees
    float rotZ = face.getHeadEulerAngleZ();  // Head is tilted sideways rotZ degrees

    // If landmark detection was enabled (mouth, ears, eyes, cheeks, and
    // nose available):
    FaceLandmark leftEar = face.getLandmark(FaceLandmark.LEFT_EAR);
    if (leftEar != null) {
        PointF leftEarPos = leftEar.getPosition();
    }

    // If contour detection was enabled:
    List<PointF> leftEyeContour =
            face.getContour(FaceContour.LEFT_EYE).getPoints();
    List<PointF> upperLipBottomContour =
            face.getContour(FaceContour.UPPER_LIP_BOTTOM).getPoints();

    // If classification was enabled:
    if (face.getSmilingProbability() != null) {
        float smileProb = face.getSmilingProbability();
    }
    if (face.getRightEyeOpenProbability() != null) {
        float rightEyeOpenProb = face.getRightEyeOpenProbability();
    }

    // If face tracking was enabled:
    if (face.getTrackingId() != null) {
        int id = face.getTrackingId();
    }
}

Пример контуров лица

Если у вас включено распознавание контуров лица, вы получаете список точек для каждой обнаруженной черты лица. Эти точки представляют форму объекта. Подробную информацию о представлении контуров см. в разделе «Концепции распознавания лиц» .

На следующем изображении показано, как эти точки отображаются на лице. Щелкните изображение, чтобы увеличить его:

пример обнаруженной контурной сетки лица

Обнаружение лиц в реальном времени

Если вы хотите использовать распознавание лиц в приложении реального времени, следуйте этим рекомендациям для достижения наилучшей частоты кадров:

  • Настройте детектор лиц для использования либо распознавания контура лица, либо классификации и обнаружения ориентиров, но не того и другого:

    Обнаружение контура
    Обнаружение ориентиров
    Классификация
    Обнаружение и классификация ориентиров
    Обнаружение контуров и обнаружение ориентиров
    Обнаружение и классификация контуров
    Обнаружение контуров, обнаружение ориентиров и классификация

  • Включите режим FAST (включен по умолчанию).

  • Рассмотрите возможность захвата изображений с более низким разрешением. Однако также имейте в виду требования к размеру изображения этого API.

  • Если вы используете API-интерфейс Camera или camera2 , регулируйте вызовы детектора. Если новый видеокадр становится доступным во время работы детектора, удалите этот кадр. Пример см. в классе VisionProcessorBase в примере приложения для быстрого запуска.
  • Если вы используете API CameraX , убедитесь, что для стратегии обратного давления установлено значение по умолчанию ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST . Это гарантирует, что для анализа одновременно будет передано только одно изображение. Если во время занятости анализатора создаются дополнительные изображения, они будут автоматически удалены и не будут поставлены в очередь для доставки. Как только анализируемое изображение будет закрыто с помощью вызова ImageProxy.close(), будет доставлено следующее последнее изображение.
  • Если вы используете выходные данные детектора для наложения графики на входное изображение, сначала получите результат из ML Kit, затем визуализируйте изображение и наложите его за один шаг. Это визуализируется на поверхности дисплея только один раз для каждого входного кадра. Пример см. в классах CameraSourcePreview и GraphicOverlay в примере приложения для быстрого запуска.
  • Если вы используете API Camera2, захватывайте изображения в формате ImageFormat.YUV_420_888 . Если вы используете более старый API камеры, захватывайте изображения в формате ImageFormat.NV21 .