Ta strona została przetłumaczona przez Cloud Translation API.

Oznaczanie obrazów za pomocą ML Kit na Androidzie

Za pomocą ML Kit możesz oznaczać etykietami obiekty rozpoznane na obrazie. Model domyślny udostępniane z ML Kit obsługuje ponad 400 różnych etykiet.

Funkcja	Niegrupowane	Łączenie w pakiety
Implementacja	Model jest pobierany dynamicznie przez Usługi Google Play.	Model jest statycznie połączony z Twoim modelem w momencie kompilacji.
Rozmiar aplikacji	Zwiększenie rozmiaru o około 200 KB.	Zwiększenie rozmiaru o około 5,7 MB.
Czas inicjowania	Przed jego pierwszym użyciem konieczne może być poczekać na pobranie modelu.	Model jest dostępny od razu

Wypróbuj

Wypróbuj przykładową aplikację, aby: zobaczysz przykład użycia tego interfejsu API.

Zanim zaczniesz

Ten interfejs API wymaga interfejsu API Androida na poziomie 21 lub wyższym. Upewnij się, że kompilacja aplikacji ma wartość minSdkVersion równą 21 lub większą.

W pliku build.gradle na poziomie projektu umieść tag Google Repozytorium Maven w sekcjach buildscript i allprojects.

Dodaj zależności bibliotek ML Kit na Androida do biblioteki modułu pliku Gradle na poziomie aplikacji, który zwykle ma wartość app/build.gradle. Wybierz jedną z opcji: następujące zależności w zależności od potrzeb:

Aby połączyć model z aplikacją:

dependencies {
  // ...
  // Use this dependency to bundle the model with your app
  implementation 'com.google.mlkit:image-labeling:17.0.8'
}

Aby używać modelu w Usługach Google Play:

dependencies {
  // ...
  // Use this dependency to use the dynamically downloaded model in Google Play Services
  implementation 'com.google.android.gms:play-services-mlkit-image-labeling:16.0.8'
}

Jeśli zdecydujesz się używać modelu w Usługach Google Play, możesz skonfigurować aplikacja automatycznie pobiera model na urządzenie, ze Sklepu Play. Aby to zrobić, dodaj następującą deklarację do plik AndroidManifest.xml Twojej aplikacji:
```
<application ...>
      ...
      <meta-data
          android:name="com.google.mlkit.vision.DEPENDENCIES"
          android:value="ica" >
      
</application>
```
Możesz też bezpośrednio sprawdzić dostępność modelu i poprosić o pobranie go Interfejs ModuleInstallClient API Usług Google Play.

Jeśli nie włączysz pobierania modelu w czasie instalacji lub nie poprosisz o pobieranie dla pełnoletnich, model jest pobierany przy pierwszym uruchomieniu tej funkcji. Twoje prośby przed zakończeniem pobierania nie przyniosą żadnych wyników.

Teraz możesz dodać etykiety do obrazów.

1. Przygotowywanie obrazu wejściowego

Utwórz obiekt InputImage na podstawie swojego obrazu. Twórca etykiet obrazów działa najszybciej, gdy używasz interfejsu Bitmap lub Camera2 API, YUV_420_888 media.Image, które są zalecane, jak to tylko możliwe.

Możesz utworzyć InputImage z różnych źródeł, każdy z nich objaśniamy poniżej.

Korzystanie z: `media.Image`

Aby utworzyć InputImage z obiektu media.Image, np. podczas przechwytywania obrazu z z aparatu urządzenia, przekaż obiekt media.Image i obiekt obrazu w kierunku InputImage.fromMediaImage().

Jeśli używasz tagu CameraX, OnImageCapturedListener oraz ImageAnalysis.Analyzer klasy obliczają wartość rotacji dla Ciebie.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Jeśli nie korzystasz z biblioteki aparatu, która określa kąt obrotu obrazu, może go obliczyć na podstawie stopnia obrotu urządzenia i orientacji aparatu czujnik w urządzeniu:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Następnie przekaż obiekt media.Image oraz wartość stopnia obrotu na InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Za pomocą identyfikatora URI pliku

Aby utworzyć InputImage obiektu z identyfikatora URI pliku, przekaż kontekst aplikacji oraz identyfikator URI pliku do InputImage.fromFilePath() Jest to przydatne, gdy użyj intencji ACTION_GET_CONTENT, aby zachęcić użytkownika do wyboru obraz z aplikacji Galeria.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Przy użyciu: `ByteBuffer` lub `ByteArray`

Aby utworzyć InputImage obiektu z ByteBuffer lub ByteArray, najpierw oblicz wartość obrazu stopień obrotu zgodnie z wcześniejszym opisem dla danych wejściowych media.Image. Następnie utwórz obiekt InputImage z buforem lub tablicą oraz wysokość, szerokość, format kodowania kolorów i stopień obrotu:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Korzystanie z: `Bitmap`

Aby utworzyć InputImage z obiektu Bitmap, wypełnij tę deklarację:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Obraz jest reprezentowany przez obiekt Bitmap wraz z informacją o obróceniu w stopniach.

2. Skonfiguruj i uruchom osobę oznaczającą obrazy

Aby oznaczyć etykietami obiekty na obrazie, przekaż obiekt InputImage do funkcji Metoda process użytkownika ImageLabeler.

Najpierw pobierz wystąpienie ImageLabeler

Jeśli chcesz użyć narzędzia do dodawania etykiet do obrazów na urządzeniu, wykonaj te czynności deklaracja:

Kotlin

// To use default options:
val labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS)

// Or, to set the minimum confidence required:
// val options = ImageLabelerOptions.Builder()
//     .setConfidenceThreshold(0.7f)
//     .build()
// val labeler = ImageLabeling.getClient(options)
ImageLabelingActivity.kt

Java

// To use default options:
ImageLabeler labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS);

// Or, to set the minimum confidence required:
// ImageLabelerOptions options =
//     new ImageLabelerOptions.Builder()
//         .setConfidenceThreshold(0.7f)
//         .build();
// ImageLabeler labeler = ImageLabeling.getClient(options);
ImageLabelingActivity.java

Następnie przekaż obraz do metody process():

Kotlin

labeler.process(image)
        .addOnSuccessListener { labels ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }ImageLabelingActivity.kt

Java

labeler.process(image)
        .addOnSuccessListener(new OnSuccessListener<List<ImageLabel>>() {
            @Override
            public void onSuccess(List<ImageLabel> labels) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });ImageLabelingActivity.java

Uwaga: jeśli używasz CameraX API, pamiętaj, aby zamknąć ImageProxy, gdy skończysz z niego korzystać. np. przez dodanie OnCompleteListener do elementu Task zwróconego przez Metoda process. Zobacz VisionProcessorBase w przykładowej aplikacji z krótkim wprowadzeniem.

3. Uzyskiwanie informacji o obiektach oznaczonych etykietami

Jeśli operacja oznaczania obrazów etykietami zakończy się powodzeniem, lista Obiekty ImageLabel są przekazywane do detektora sukcesu. Każdy Obiekt ImageLabel reprezentuje element, który został oznaczony etykietą na obrazie. Podstawa model obsługuje ponad 400 różnych etykiet. Możesz uzyskać opis tekstowy każdej etykiety i zindeksować wszystkie etykiety obsługiwane przez model oraz wskaźnik ufności dopasowania. Na przykład:

Kotlin

for (label in labels) {
    val text = label.text
    val confidence = label.confidence
    val index = label.index
}ImageLabelingActivity.kt

Java

for (ImageLabel label : labels) {
    String text = label.getText();
    float confidence = label.getConfidence();
    int index = label.getIndex();
}ImageLabelingActivity.java

Wskazówki dotyczące poprawy skuteczności w czasie rzeczywistym

Jeśli chcesz oznaczać obrazy w aplikacji działającej w czasie rzeczywistym, postępuj zgodnie z tymi instrukcjami wytycznych dotyczących uzyskiwania najlepszej liczby klatek na sekundę:

Jeśli używasz tagu Camera lub camera2 API, ograniczania wywołań do osoby oznaczającej obrazy. Jeśli nowy film ramka będzie dostępna podczas działania narzędzia do etykietowania obrazów, a następnie upuść ją. Zobacz VisionProcessorBase w przykładowej aplikacji z krótkim wprowadzeniem.
Jeśli używasz interfejsu API CameraX, upewnij się, że strategia obciążenia wstecznego jest ustawiona na wartość domyślną ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST Gwarantuje to, że do analizy zostanie dostarczony tylko 1 obraz naraz. Jeśli więcej obrazów generowane, gdy analizator jest zajęty, są usuwane automatycznie i nie są umieszczane w kolejce . Po zamknięciu analizowanego obrazu przez wywołanie ImageProxy.close(), zostanie wyświetlony następny najnowszy obraz.
Jeśli używasz danych wyjściowych twórcy etykiet do nakładania grafiki na obrazu wejściowego, najpierw pobierz wynik z ML Kit, a następnie wyrenderuj obraz i nakładanie nakładek w jednym kroku. Powoduje to wyrenderowanie na powierzchni wyświetlania tylko raz na każdą ramkę wejściową. Zobacz CameraSourcePreview i GraphicOverlay w przykładowej aplikacji z krótkim wprowadzeniem.
Jeśli korzystasz z interfejsu API Camera2, rób zdjęcia w Format: ImageFormat.YUV_420_888. Jeśli używasz starszej wersji interfejsu Camera API, rób zdjęcia w Format: ImageFormat.NV21.

Oznaczanie obrazów za pomocą ML Kit na Androidzie

Wypróbuj

Zanim zaczniesz

1. Przygotowywanie obrazu wejściowego

Korzystanie z: media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Za pomocą identyfikatora URI pliku

Kotlin

Java

Przy użyciu: ByteBuffer lub ByteArray

Kotlin

Java

Korzystanie z: Bitmap

Kotlin

Java

2. Skonfiguruj i uruchom osobę oznaczającą obrazy

Kotlin

Java

Kotlin

Java

3. Uzyskiwanie informacji o obiektach oznaczonych etykietami

Kotlin

Java

Wskazówki dotyczące poprawy skuteczności w czasie rzeczywistym

Korzystanie z: `media.Image`

Przy użyciu: `ByteBuffer` lub `ByteArray`

Korzystanie z: `Bitmap`