Phát hiện và theo dõi đối tượng bằng Bộ công cụ học máy trên Android

Bạn có thể sử dụng Bộ công cụ học máy để phát hiện và theo dõi các vật thể trong các khung hình video liên tiếp.

Khi bạn truyền một hình ảnh đến Bộ công cụ học máy, công cụ này sẽ phát hiện tối đa 5 vật thể trong hình ảnh cùng với vị trí của từng vật thể trong hình ảnh. Khi phát hiện các vật thể trong luồng video, mỗi vật thể sẽ có một mã nhận dạng duy nhất mà bạn có thể dùng để theo dõi vật thể từ khung hình này sang khung hình khác. Bạn cũng có thể tuỳ ý bật tính năng phân loại vật thể thô, tính năng này sẽ gắn nhãn các vật thể bằng phần mô tả danh mục chung.

Dùng thử

• Thử dùng ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
• Xem ứng dụng giới thiệu Material Design để biết cách triển khai API này từ đầu đến cuối.

Trước khi bắt đầu

1. Trong tệp cấp dự án build.gradle, hãy nhớ thêm kho lưu trữ Maven của Google vào cả hai mục buildscript và allprojects.
2. Thêm các phần phụ thuộc cho thư viện Android của Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là app/build.gradle:

   dependencies {
     // ...
   
     implementation 'com.google.mlkit:object-detection:17.0.2'
   
   }

1. Định cấu hình trình phát hiện đối tượng

Để phát hiện và theo dõi các vật thể, trước tiên, hãy tạo một thực thể của ObjectDetector và tuỳ ý chỉ định mọi chế độ cài đặt trình phát hiện mà bạn muốn thay đổi so với chế độ mặc định.

1. Định cấu hình trình phát hiện vật thể cho trường hợp sử dụng của bạn bằng đối tượng ObjectDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

   Cài đặt trình phát hiện vật thể
   Chế độ phát hiện	STREAM_MODE (mặc định) | SINGLE_IMAGE_MODE Ở STREAM_MODE (mặc định), trình phát hiện vật thể chạy với độ trễ thấp nhưng có thể tạo ra kết quả không đầy đủ (chẳng hạn như hộp giới hạn hoặc nhãn danh mục không xác định) trong vài lần gọi đầu tiên của trình phát hiện. Ngoài ra, ở STREAM_MODE, trình phát hiện sẽ gán mã theo dõi cho các vật thể. Bạn có thể sử dụng mã này để theo dõi các vật thể trên các khung hình. Hãy sử dụng chế độ này khi bạn muốn theo dõi các vật thể hoặc khi độ trễ thấp là quan trọng, chẳng hạn như khi xử lý luồng video theo thời gian thực. Ở SINGLE_IMAGE_MODE, trình phát hiện vật thể sẽ trả về kết quả sau khi xác định được hộp giới hạn của vật thể. Nếu bạn cũng bật tính năng phân loại, thì tính năng này sẽ trả về kết quả sau khi có cả hộp giới hạn và nhãn danh mục. Do đó, độ trễ phát hiện có thể cao hơn. Ngoài ra, ở SINGLE_IMAGE_MODE, mã theo dõi sẽ không được gán. Hãy sử dụng chế độ này nếu độ trễ không quan trọng và bạn không muốn xử lý kết quả một phần.
   Phát hiện và theo dõi nhiều vật thể	false (mặc định) | true Có phát hiện và theo dõi tối đa 5 vật thể hay chỉ phát hiện và theo dõi vật thể nổi bật nhất (mặc định) hay không.
   Phân loại vật thể	false (mặc định) | true Có phân loại các vật thể được phát hiện thành các danh mục thô hay không. Khi được bật, trình phát hiện vật thể sẽ phân loại các vật thể thành các danh mục sau: đồ thời trang, thực phẩm, đồ gia dụng, địa điểm và thực vật.

   API phát hiện và theo dõi vật thể được tối ưu hoá cho 2 trường hợp sử dụng cốt lõi sau:

   • Phát hiện và theo dõi trực tiếp vật thể nổi bật nhất trong khung ngắm của camera.
   • Phát hiện nhiều vật thể từ một hình ảnh tĩnh.

   Cách định cấu hình API cho các trường hợp sử dụng này:

   Kotlin

   // Live detection and tracking
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
           .enableClassification()  // Optional
           .build()
   
   // Multiple object detection in static images
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
           .enableMultipleObjects()
           .enableClassification()  // Optional
           .build()

   Java

   // Live detection and tracking
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                   .enableClassification()  // Optional
                   .build();
   
   // Multiple object detection in static images
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
                   .enableMultipleObjects()
                   .enableClassification()  // Optional
                   .build();

2. Tạo thực thể của ObjectDetector:

   Kotlin

   val objectDetector = ObjectDetection.getClient(options)

   Java

   ObjectDetector objectDetector = ObjectDetection.getClient(options);

2. Chuẩn bị hình ảnh đầu vào

Trình phát hiện đối tượng chạy trực tiếp từ Bitmap, NV21 ByteBuffer hoặc media.Image YUV_420_888. Bạn nên tạo InputImage từ các nguồn đó nếu có quyền truy cập trực tiếp vào một trong các nguồn đó. Nếu bạn tạo một InputImage từ các nguồn khác, chúng tôi sẽ xử lý quá trình chuyển đổi nội bộ cho bạn và quá trình này có thể kém hiệu quả hơn.

Đối với mỗi khung hình video hoặc hình ảnh trong một chuỗi, hãy làm như sau:

Bạn có thể tạo InputImage đối tượng từ nhiều nguồn, mỗi nguồn được giải thích bên dưới.

Sử dụng media.Image

Để tạo đối tượng InputImage từ đối tượng media.Image, chẳng hạn như khi bạn chụp ảnh từ camera của thiết bị, hãy truyền đối tượng media.Image và độ xoay của hình ảnh đến InputImage.fromMediaImage().

Nếu bạn sử dụng thư viện CameraX, các lớp OnImageCapturedListener và ImageAnalysis.Analyzer sẽ tính toán giá trị xoay cho bạn.

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không dùng thư viện máy ảnh cho biết độ xoay của hình ảnh, bạn có thể tính độ xoay đó từ độ xoay của thiết bị và hướng của cảm biến camera trong thiết bị:

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, hãy truyền đối tượng media.Image và giá trị độ xoay đến InputImage.fromMediaImage():

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Để tạo đối tượng từ URI tệp, hãy truyền ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath().InputImage Điều này hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn một hình ảnh từ ứng dụng thư viện ảnh của họ.

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng ByteBuffer hoặc ByteArray

Để tạo đối tượng InputImage từ ByteBuffer hoặc ByteArray, trước tiên, hãy tính toán độ xoay của hình ảnh như mô tả trước đó cho dữ liệu đầu vào media.Image. Sau đó, hãy tạo đối tượng InputImage bằng bộ đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay của hình ảnh:

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

Sử dụng Bitmap

Để tạo đối tượng InputImage từ đối tượng Bitmap, hãy khai báo như sau:

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

Hình ảnh được biểu thị bằng đối tượng Bitmap cùng với độ xoay.

3. Xử lý hình ảnh

objectDetector.process(image)
    .addOnSuccessListener { detectedObjects ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

objectDetector.process(image)
    .addOnSuccessListener(
        new OnSuccessListener<List<DetectedObject>>() {
            @Override
            public void onSuccess(List<DetectedObject> detectedObjects) {
                // Task completed successfully
                // ...
            }
        })
    .addOnFailureListener(
        new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

4. Nhận thông tin về các vật thể được phát hiện

Nếu lệnh gọi đến process() thành công, thì một danh sách DetectedObject sẽ được truyền đến trình nghe thành công.

Mỗi DetectedObject chứa các thuộc tính sau:

for (detectedObject in detectedObjects) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
        val text = label.text
        if (PredefinedCategory.FOOD == text) {
            ...
        }
        val index = label.index
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        val confidence = label.confidence
    }
}

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : detectedObjects) {
    Rect boundingBox = detectedObject.getBoundingBox();
    Integer trackingId = detectedObject.getTrackingId();
    for (Label label : detectedObject.getLabels()) {
        String text = label.getText();
        if (PredefinedCategory.FOOD.equals(text)) {
            ...
        }
        int index = label.getIndex();
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        float confidence = label.getConfidence();
    }
}

Đảm bảo trải nghiệm tuyệt vời cho người dùng

Để mang lại trải nghiệm tốt nhất cho người dùng, hãy tuân theo các nguyên tắc sau trong ứng dụng:

• Việc phát hiện đối tượng thành công phụ thuộc vào độ phức tạp trực quan của đối tượng. Để được phát hiện, các vật thể có số lượng ít tính năng trực quan có thể cần chiếm một phần lớn hơn trong hình ảnh. Bạn nên hướng dẫn người dùng về cách chụp dữ liệu đầu vào hoạt động tốt với loại vật thể mà bạn muốn phát hiện.
• Khi bạn sử dụng tính năng phân loại, nếu muốn phát hiện các vật thể không thuộc các danh mục được hỗ trợ, hãy triển khai quy trình xử lý đặc biệt cho các vật thể không xác định.

Ngoài ra, hãy xem ứng dụng giới thiệu Material Design của Bộ công cụ học máy và bộ sưu tập Mẫu thiết kế Material cho các tính năng được hỗ trợ bởi học máy.