Phát hiện và theo dõi đối tượng bằng Bộ công cụ học máy trên Android

Bạn có thể dùng Bộ công cụ học máy để phát hiện và theo dõi các đối tượng trong các khung hình video liên tiếp.

Khi bạn truyền hình ảnh đến Bộ công cụ học máy, bộ công cụ này sẽ phát hiện tối đa 5 đối tượng trong hình ảnh cùng với vị trí của từng đối tượng trong hình ảnh. Khi phát hiện các đối tượng trong luồng video, mỗi đối tượng có một mã nhận dạng duy nhất mà bạn có thể dùng để theo dõi đối tượng từ từng khung hình. Bạn cũng có thể tuỳ ý bật tính năng phân loại đối tượng tương đối. Tính năng này gắn nhãn các đối tượng bằng nội dung mô tả danh mục rộng.

Dùng thử

• Hãy thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
• Hãy xem ứng dụng quảng cáo Material Design để biết cách triển khai toàn diện API này.

Trước khi bắt đầu

1. Trong tệp build.gradle ở cấp dự án, hãy nhớ đưa kho lưu trữ Maven của Google vào cả hai mục buildscript và allprojects.
2. Thêm các phần phụ thuộc của thư viện Android Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là app/build.gradle:

   dependencies {
     // ...
   
     implementation 'com.google.mlkit:object-detection:17.0.1'
   
   }
   

1. Định cấu hình trình phát hiện đối tượng

Để phát hiện và theo dõi đối tượng, trước tiên, hãy tạo một thực thể của ObjectDetector và tuỳ ý chỉ định mọi chế độ cài đặt của trình phát hiện mà bạn muốn thay đổi so với giá trị mặc định.

1. Định cấu hình trình phát hiện đối tượng cho trường hợp sử dụng của bạn bằng đối tượng ObjectDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

   Cài đặt trình phát hiện đối tượng
   Chế độ phát hiện	STREAM_MODE (mặc định) | SINGLE_IMAGE_MODE Trong STREAM_MODE (mặc định), trình phát hiện đối tượng chạy với độ trễ thấp nhưng có thể tạo ra kết quả không đầy đủ (chẳng hạn như các hộp giới hạn không xác định hoặc nhãn danh mục) trong một số lệnh gọi đầu tiên của trình phát hiện. Ngoài ra, trong STREAM_MODE, trình phát hiện sẽ gán mã theo dõi cho các đối tượng. Bạn có thể dùng mã này để theo dõi các đối tượng trên nhiều khung hình. Hãy sử dụng chế độ này khi bạn muốn theo dõi các đối tượng hoặc khi độ trễ thấp quan trọng, chẳng hạn như khi xử lý luồng video theo thời gian thực. Trong SINGLE_IMAGE_MODE, trình phát hiện đối tượng sẽ trả về kết quả sau khi xác định hộp giới hạn của đối tượng. Nếu bạn bật tính năng phân loại, kết quả sẽ trả về sau khi cả hộp giới hạn và nhãn danh mục đều có sẵn. Do đó, độ trễ phát hiện có thể cao hơn. Ngoài ra, trong SINGLE_IMAGE_MODE, mã theo dõi không được chỉ định. Hãy sử dụng chế độ này nếu độ trễ không quan trọng và bạn không muốn xử lý một phần kết quả.
   Phát hiện và theo dõi nhiều đối tượng	false (mặc định) | true Xác định xem có phát hiện và theo dõi tối đa 5 đối tượng hay chỉ phát hiện đối tượng nổi bật nhất (mặc định).
   Phân loại đối tượng	false (mặc định) | true Liệu có phân loại các đối tượng được phát hiện thành các danh mục tương đối hay không. Khi được bật, trình phát hiện đối tượng sẽ phân loại các đối tượng thành các danh mục sau: hàng thời trang, thực phẩm, hàng gia dụng, địa điểm và thực vật.

   API theo dõi và phát hiện đối tượng được tối ưu hoá cho hai trường hợp sử dụng chính sau:

   • Phát hiện trực tiếp và theo dõi đối tượng nổi bật nhất trong kính ngắm của máy ảnh.
   • Phát hiện nhiều đối tượng trong một hình ảnh tĩnh.

   Cách định cấu hình API cho các trường hợp sử dụng này:

   Kotlin

   // Live detection and tracking
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
           .enableClassification()  // Optional
           .build()
   
   // Multiple object detection in static images
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
           .enableMultipleObjects()
           .enableClassification()  // Optional
           .build()

   Java

   // Live detection and tracking
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                   .enableClassification()  // Optional
                   .build();
   
   // Multiple object detection in static images
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
                   .enableMultipleObjects()
                   .enableClassification()  // Optional
                   .build();

2. Nhận một thực thể của ObjectDetector:

   Kotlin

   val objectDetector = ObjectDetection.getClient(options)

   Java

   ObjectDetector objectDetector = ObjectDetection.getClient(options);

2. Chuẩn bị hình ảnh đầu vào

Trình phát hiện đối tượng chạy trực tiếp từ Bitmap, NV21 ByteBuffer hoặc YUV_420_888 media.Image. Bạn nên tạo InputImage từ các nguồn đó nếu có quyền truy cập trực tiếp vào một trong các nguồn đó. Nếu bạn tạo InputImage từ các nguồn khác, chúng tôi sẽ xử lý lượt chuyển đổi trong nội bộ cho bạn và việc này có thể kém hiệu quả hơn.

Đối với mỗi khung video hoặc hình ảnh trong một trình tự, hãy làm như sau:

Bạn có thể tạo đối tượng InputImage từ nhiều nguồn, mỗi nguồn được giải thích ở bên dưới.

Sử dụng media.Image

Để tạo đối tượng InputImage từ đối tượng media.Image, chẳng hạn như khi bạn chụp ảnh từ máy ảnh của thiết bị, hãy truyền đối tượng media.Image và chế độ xoay của hình ảnh đến InputImage.fromMediaImage().

Nếu bạn sử dụng thư viện CameraX, thì các lớp OnImageCapturedListener và ImageAnalysis.Analyzer sẽ tính giá trị xoay cho bạn.

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không sử dụng thư viện máy ảnh cho biết độ xoay của hình ảnh, bạn có thể tính độ xoay của hình ảnh dựa trên độ xoay của thiết bị và hướng của cảm biến máy ảnh trong thiết bị:

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, hãy truyền đối tượng media.Image và giá trị độ xoay đến InputImage.fromMediaImage():

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Để tạo đối tượng InputImage từ URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath(). Điều này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn một hình ảnh trong ứng dụng thư viện của họ.

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng ByteBuffer hoặc ByteArray

Để tạo một đối tượng InputImage từ ByteBuffer hoặc ByteArray, trước tiên, hãy tính độ xoay hình ảnh như mô tả trước đó cho phương thức nhập media.Image. Sau đó, hãy tạo đối tượng InputImage bằng vùng đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay của hình ảnh:

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

Sử dụng Bitmap

Để tạo đối tượng InputImage qua đối tượng Bitmap, hãy khai báo sau:

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

Hình ảnh được biểu thị bằng một đối tượng Bitmap cùng với độ xoay.

3. Xử lý hình ảnh

objectDetector.process(image)
    .addOnSuccessListener { detectedObjects ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

objectDetector.process(image)
    .addOnSuccessListener(
        new OnSuccessListener<List<DetectedObject>>() {
            @Override
            public void onSuccess(List<DetectedObject> detectedObjects) {
                // Task completed successfully
                // ...
            }
        })
    .addOnFailureListener(
        new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

4. Lấy thông tin về đối tượng được phát hiện

Nếu lệnh gọi đến process() thành công, danh sách các DetectedObject sẽ được chuyển đến trình nghe thành công.

Mỗi DetectedObject chứa các thuộc tính sau:

for (detectedObject in detectedObjects) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
        val text = label.text
        if (PredefinedCategory.FOOD == text) {
            ...
        }
        val index = label.index
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        val confidence = label.confidence
    }
}

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : detectedObjects) {
    Rect boundingBox = detectedObject.getBoundingBox();
    Integer trackingId = detectedObject.getTrackingId();
    for (Label label : detectedObject.getLabels()) {
        String text = label.getText();
        if (PredefinedCategory.FOOD.equals(text)) {
            ...
        }
        int index = label.getIndex();
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        float confidence = label.getConfidence();
    }
}

Đảm bảo trải nghiệm người dùng tuyệt vời

Để có trải nghiệm người dùng tốt nhất, hãy làm theo các nguyên tắc sau trong ứng dụng của bạn:

• Việc phát hiện được đối tượng có thành công hay không còn phụ thuộc vào độ phức tạp trực quan của đối tượng. Để được phát hiện, các đối tượng có một số ít tính năng trực quan có thể cần chiếm phần lớn hơn của hình ảnh. Bạn nên cung cấp cho người dùng hướng dẫn về cách ghi lại dữ liệu đầu vào phù hợp với loại đối tượng bạn muốn phát hiện.
• Khi sử dụng tính năng phân loại, nếu bạn muốn phát hiện các đối tượng không thuộc danh mục được hỗ trợ một cách rõ ràng, hãy triển khai cách xử lý đặc biệt cho các đối tượng không xác định.

Ngoài ra, hãy tham khảo ứng dụng giới thiệu Material Design trong Bộ công cụ học máy và bộ sưu tập Mẫu thiết kế cho các tính năng dựa trên công nghệ học máy.