Bạn có thể dùng Bộ công cụ học máy để gắn nhãn các đối tượng nhận dạng được trong hình ảnh. Mô hình mặc định được cung cấp cùng với Bộ công cụ học máy hỗ trợ hơn 400 nhãn khác nhau.
Tính năng | Không nhóm | Theo cụm |
---|---|---|
Triển khai | Mô hình được tải xuống một cách linh động thông qua Dịch vụ Google Play. | Mô hình được liên kết tĩnh với mô hình tại thời điểm xây dựng. |
Kích thước ứng dụng | Tăng kích thước khoảng 200 KB. | Tăng kích thước khoảng 5,7 MB. |
Thời gian khởi chạy | Có thể phải đợi mô hình tải xuống trước khi sử dụng lần đầu. | Mô hình có sẵn ngay lập tức |
Dùng thử
- Dùng thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
Trước khi bắt đầu
Trong tệp
build.gradle
cấp dự án, hãy nhớ bao gồm Kho lưu trữ Maven trong cả hai phầnbuildscript
vàallprojects
.Thêm các phần phụ thuộc cho thư viện Android Bộ công cụ học máy vào mô-đun của bạn tệp gradle cấp ứng dụng, thường là
app/build.gradle
. Chọn một trong số các phần phụ thuộc sau đây tuỳ theo nhu cầu của bạn:Để nhóm mô hình với ứng dụng của bạn:
dependencies { // ... // Use this dependency to bundle the model with your app implementation 'com.google.mlkit:image-labeling:17.0.9' }
Cách sử dụng mô hình này trong Dịch vụ Google Play:
dependencies { // ... // Use this dependency to use the dynamically downloaded model in Google Play Services implementation 'com.google.android.gms:play-services-mlkit-image-labeling:16.0.8' }
Nếu chọn sử dụng mô hình này trong Dịch vụ Google Play, bạn có thể định cấu hình ứng dụng của bạn để tự động tải mô hình xuống thiết bị sau khi ứng dụng đã cài đặt từ Cửa hàng Play. Để thực hiện việc này, hãy thêm nội dung khai báo sau vào tệp
AndroidManifest.xml
của ứng dụng:<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ica" > <!-- To use multiple models: android:value="ica,model2,model3" --> </application>
Bạn cũng có thể kiểm tra rõ ràng phạm vi cung cấp của mô hình và yêu cầu tải xuống thông qua ModuleInstallClient API của Dịch vụ Google Play.
Nếu bạn không bật tính năng tải mô hình tại thời điểm cài đặt xuống hoặc không yêu cầu tải xuống một cách rõ ràng, mô hình sẽ được tải xuống trong lần đầu tiên bạn chạy trình gắn nhãn. Yêu cầu bạn đưa ra không có kết quả nào trước khi quá trình tải xuống hoàn tất.
Bây giờ, bạn đã sẵn sàng để gắn nhãn cho hình ảnh.
1. Chuẩn bị hình ảnh đầu vào
Tạo một đối tượngInputImage
từ hình ảnh của bạn.
Công cụ gắn nhãn hình ảnh chạy nhanh nhất khi bạn sử dụng Bitmap
hoặc nếu bạn sử dụng
camera2 API, YUV_420_888 media.Image
được khuyến nghị khi
nhất có thể.
Bạn có thể tạo một InputImage
đối tượng từ các nguồn khác nhau, mỗi nguồn được giải thích ở bên dưới.
Sử dụng media.Image
Cách tạo InputImage
từ đối tượng media.Image
, chẳng hạn như khi bạn chụp ảnh từ một
camera của thiết bị, hãy truyền đối tượng media.Image
và
xoay thành InputImage.fromMediaImage()
.
Nếu bạn sử dụng
Thư viện CameraX, OnImageCapturedListener
và
Các lớp ImageAnalysis.Analyzer
tính toán giá trị xoay
cho bạn.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Nếu không sử dụng thư viện máy ảnh cung cấp cho bạn độ xoay của hình ảnh, bạn có thể tính tỷ lệ khung hình dựa trên độ xoay của thiết bị và hướng của máy ảnh cảm biến trong thiết bị:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Sau đó, hãy truyền đối tượng media.Image
và
giá trị độ xoay thành InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Sử dụng URI tệp
Cách tạo InputImage
từ một URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến
InputImage.fromFilePath()
. Điều này rất hữu ích khi bạn
sử dụng ý định ACTION_GET_CONTENT
để nhắc người dùng chọn
một bức ảnh trong ứng dụng thư viện của họ.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Sử dụng ByteBuffer
hoặc ByteArray
Cách tạo InputImage
đối tượng từ ByteBuffer
hoặc ByteArray
, trước tiên hãy tính hình ảnh
độ xoay như mô tả trước đây cho đầu vào media.Image
.
Sau đó, hãy tạo đối tượng InputImage
bằng vùng đệm hoặc mảng, cùng với đối tượng
chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Sử dụng Bitmap
Cách tạo InputImage
qua đối tượng Bitmap
, hãy khai báo sau:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Hình ảnh được biểu thị bằng một đối tượng Bitmap
cùng với độ xoay.
2. Định cấu hình và chạy công cụ gắn nhãn hình ảnh
Để gắn nhãn cho các đối tượng trong hình ảnh, hãy truyền đối tượngInputImage
vào phương thức
Phương thức process
của ImageLabeler
.
Trước tiên, hãy lấy một phiên bản của
ImageLabeler
.Nếu bạn muốn sử dụng công cụ gắn nhãn hình ảnh trên thiết bị, hãy làm như sau khai báo:
Kotlin
// To use default options: val labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS) // Or, to set the minimum confidence required: // val options = ImageLabelerOptions.Builder() // .setConfidenceThreshold(0.7f) // .build() // val labeler = ImageLabeling.getClient(options)
Java
// To use default options: ImageLabeler labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS); // Or, to set the minimum confidence required: // ImageLabelerOptions options = // new ImageLabelerOptions.Builder() // .setConfidenceThreshold(0.7f) // .build(); // ImageLabeler labeler = ImageLabeling.getClient(options);
- Sau đó, hãy truyền hình ảnh đó vào phương thức
process()
:
Kotlin
labeler.process(image) .addOnSuccessListener { labels -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
labeler.process(image) .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() { @Override public void onSuccess(List<ImageLabel> labels) { // Task completed successfully // ... } }) .addOnFailureListener(new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
3. Nhận thông tin về đối tượng được gắn nhãn
Nếu thao tác gắn nhãn hình ảnh thành công, danh sách Các đối tượngImageLabel
được truyền đến trình nghe thành công. Một
Đối tượng ImageLabel
đại diện cho một nội dung đã được gắn nhãn trong hình ảnh. Cơ sở
mô hình hỗ trợ hơn 400 nhãn khác nhau.
Bạn có thể xem nội dung mô tả dạng văn bản, chỉ mục của từng nhãn trong số tất cả các nhãn mà
mô hình và điểm số tin cậy của kết quả trùng khớp. Ví dụ:
Kotlin
for (label in labels) { val text = label.text val confidence = label.confidence val index = label.index }
Java
for (ImageLabel label : labels) { String text = label.getText(); float confidence = label.getConfidence(); int index = label.getIndex(); }
Mẹo cải thiện hiệu suất theo thời gian thực
Nếu bạn muốn gắn nhãn cho hình ảnh trong một ứng dụng theo thời gian thực, hãy làm theo các bước sau để đạt được tốc độ khung hình tốt nhất:
- Nếu bạn sử dụng
Camera
hoặc APIcamera2
, điều tiết lệnh gọi cho công cụ gắn nhãn hình ảnh. Nếu một video mới khung có sẵn trong khi trình gắn nhãn hình ảnh đang chạy, hãy thả khung đó. Xem Ví dụ về lớpVisionProcessorBase
trong ứng dụng mẫu khởi động nhanh. - Nếu bạn sử dụng API
CameraX
, đảm bảo rằng chiến lược backpressure được đặt ở giá trị mặc địnhImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
. Việc này giúp đảm bảo mỗi lần hệ thống chỉ gửi một hình ảnh để phân tích. Nếu các hình ảnh khác được tạo ra khi trình phân tích bận, chúng sẽ tự động bị loại bỏ và không được đưa vào hàng đợi của bạn. Sau khi hình ảnh đang được phân tích được đóng bằng cách gọi ImageProxy.close(), hình ảnh mới nhất tiếp theo sẽ được gửi. - Nếu bạn sử dụng kết quả của công cụ gắn nhãn hình ảnh để phủ đồ hoạ lên
hình ảnh đầu vào, trước tiên hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh
và phủ lên trên
trong một bước duy nhất. Kết xuất này hiển thị trên bề mặt màn hình
một lần cho mỗi khung đầu vào. Xem
CameraSourcePreview
và Ví dụ về các lớpGraphicOverlay
trong ứng dụng mẫu khởi động nhanh. - Nếu bạn sử dụng API Camera2, hãy chụp ảnh trong
Định dạng
ImageFormat.YUV_420_888
. Nếu bạn sử dụng API Máy ảnh cũ, hãy chụp ảnh trong Định dạngImageFormat.NV21
.