Puoi utilizzare ML Kit per etichettare gli oggetti riconosciuti in un'immagine. Il modello predefinito fornito con ML Kit supporta oltre 400 etichette diverse.
Funzionalità | Non raggruppati | In bundle |
---|---|---|
Implementazione | Il modello viene scaricato in modo dinamico tramite Google Play Services. | Il modello è collegato in modo statico al tuo al momento della creazione. |
Dimensioni app | Aumento delle dimensioni di circa 200 kB. | Aumento delle dimensioni di circa 5,7 MB. |
Tempo di inizializzazione | Potrebbe essere necessario attendere il download del modello prima del primo utilizzo. | Il modello è disponibile immediatamente |
Prova
- Prova l'app di esempio per per vedere un esempio di utilizzo di questa API.
Prima di iniziare
Nel file
build.gradle
a livello di progetto, assicurati di includere la proprietà Repository Maven in entrambe le sezionibuildscript
eallprojects
.Aggiungi le dipendenze per le librerie Android ML Kit agli file gradle a livello di app, che in genere è
app/build.gradle
. Scegli un'opzione tra le seguenti dipendenze in base alle tue esigenze:Per raggruppare il modello con la tua app:
dependencies { // ... // Use this dependency to bundle the model with your app implementation 'com.google.mlkit:image-labeling:17.0.9' }
Per l'utilizzo del modello in Google Play Services:
dependencies { // ... // Use this dependency to use the dynamically downloaded model in Google Play Services implementation 'com.google.android.gms:play-services-mlkit-image-labeling:16.0.8' }
Se scegli di utilizzare il modello in Google Play Services, puoi configurare dell'app per scaricare automaticamente il modello sul dispositivo una volta dal Play Store. A tale scopo, aggiungi la seguente dichiarazione a il file
AndroidManifest.xml
della tua app:<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ica" > <!-- To use multiple models: android:value="ica,model2,model3" --> </application>
Puoi anche verificare esplicitamente la disponibilità del modello e richiedere il download tramite L'API ModuleInstallaClient di Google Play Services.
Se non attivi i download dei modelli al momento dell'installazione o richiedi un download esplicito, il modello viene scaricato la prima volta che esegui l'etichettatore. Le tue richieste prima del completamento del download non producono risultati.
Ora è tutto pronto per etichettare le immagini.
1. Prepara l'immagine di input
Crea un oggettoInputImage
dalla tua immagine.
Lo strumento di etichettatura delle immagini funziona più velocemente quando usi un Bitmap
o, se usi lo
camera2 dell'API, un media.Image
YUV_420_888, che sono consigliate quando
possibile.
Puoi creare una InputImage
da diverse origini, ciascuna è spiegata di seguito.
Utilizzo di un media.Image
Per creare una InputImage
da un oggetto media.Image
, ad esempio quando acquisisci un'immagine da un
fotocamera del dispositivo, passa l'oggetto media.Image
e la
rotazione in InputImage.fromMediaImage()
.
Se utilizzi
nella libreria di CameraX, OnImageCapturedListener
e
ImageAnalysis.Analyzer
classi calcolano il valore di rotazione
per te.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Se non utilizzi una raccolta di videocamere che fornisce il grado di rotazione dell'immagine, può calcolarlo in base al grado di rotazione e all'orientamento della fotocamera nel dispositivo:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Quindi, passa l'oggetto media.Image
e
valore del grado di rotazione su InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Utilizzo di un URI del file
Per creare una InputImage
da un URI file, passa il contesto dell'app e l'URI del file a
InputImage.fromFilePath()
. È utile quando
utilizza un intent ACTION_GET_CONTENT
per chiedere all'utente di selezionare
un'immagine dall'app Galleria.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Con ByteBuffer
o ByteArray
Per creare una InputImage
oggetto da un valore ByteBuffer
o ByteArray
, prima calcola l'immagine
grado di rotazione come descritto in precedenza per l'input media.Image
.
Quindi, crea l'oggetto InputImage
con il buffer o l'array, insieme al campo
altezza, larghezza, formato di codifica del colore e grado di rotazione:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Utilizzo di un Bitmap
Per creare una InputImage
oggetto da un oggetto Bitmap
, effettua la seguente dichiarazione:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
L'immagine è rappresentata da un oggetto Bitmap
e da un grado di rotazione.
2. Configura ed esegui l'etichettatore delle immagini
Per etichettare gli oggetti in un'immagine, passa l'oggettoInputImage
all'elemento
Metodo process
di ImageLabeler
.
Per prima cosa, ottieni un'istanza
ImageLabeler
Se vuoi utilizzare l'etichettatore di immagini on-device, procedi come segue dichiarazione:
Kotlin
// To use default options: val labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS) // Or, to set the minimum confidence required: // val options = ImageLabelerOptions.Builder() // .setConfidenceThreshold(0.7f) // .build() // val labeler = ImageLabeling.getClient(options)
Java
// To use default options: ImageLabeler labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS); // Or, to set the minimum confidence required: // ImageLabelerOptions options = // new ImageLabelerOptions.Builder() // .setConfidenceThreshold(0.7f) // .build(); // ImageLabeler labeler = ImageLabeling.getClient(options);
- Quindi, passa l'immagine al metodo
process()
:
Kotlin
labeler.process(image) .addOnSuccessListener { labels -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
labeler.process(image) .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() { @Override public void onSuccess(List<ImageLabel> labels) { // Task completed successfully // ... } }) .addOnFailureListener(new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
3. Ottieni informazioni sugli oggetti etichettati
Se l'operazione di etichettatura delle immagini ha esito positivo, viene visualizzato un elencoImageLabel
oggetti vengono passati al listener riuscito. Ciascuna
L'oggetto ImageLabel
rappresenta un elemento etichettato nell'immagine. La base
supporta oltre 400 etichette diverse.
Puoi ottenere la descrizione testuale di ogni etichetta e l'indice tra tutte le etichette supportate
il modello e il punteggio di confidenza della corrispondenza. Ad esempio:
Kotlin
for (label in labels) { val text = label.text val confidence = label.confidence val index = label.index }
Java
for (ImageLabel label : labels) { String text = label.getText(); float confidence = label.getConfidence(); int index = label.getIndex(); }
Suggerimenti per migliorare il rendimento in tempo reale
Se vuoi etichettare le immagini in un'applicazione in tempo reale, segui questi passaggi: linee guida per ottenere le migliori frequenze fotogrammi:
- Se utilizzi
Camera
oppure APIcamera2
, limitare le chiamate all'etichettatore delle immagini. Se viene pubblicato un nuovo video diventa disponibile mentre l'etichettatore delle immagini è in esecuzione, rilascia il frame. Consulta leVisionProcessorBase
nell'app di esempio della guida rapida per un esempio. - Se utilizzi l'API
CameraX
, assicurati che la strategia di contropressione sia impostata sul valore predefinitoImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
. Ciò garantisce che verrà pubblicata una sola immagine alla volta per l'analisi. Se vengono visualizzate altre immagini generati quando l'analizzatore è occupato, verranno eliminati automaticamente e non verranno messi in coda la distribuzione dei contenuti. Dopo aver chiuso l'immagine da analizzare richiamando ImageProxy.close(), verrà pubblicata l'immagine successiva più recente. - Se utilizzi l'output dello strumento di etichettatura delle immagini per sovrapporre gli elementi grafici
l'immagine di input, occorre prima ottenere il risultato da ML Kit, quindi eseguire il rendering dell'immagine
e la sovrapposizione in un solo passaggio. Viene visualizzata sulla superficie di visualizzazione
solo una volta per ogni frame di input. Consulta le
CameraSourcePreview
eGraphicOverlay
nell'app di esempio della guida rapida per un esempio. - Se utilizzi l'API Camera2, acquisisci le immagini in
Formato
ImageFormat.YUV_420_888
. Se usi l'API Camera precedente, acquisisci le immagini in FormatoImageFormat.NV21
.