Android'de ML Kit ile resimlerdeki metinleri tanıma

Resim veya videodaki metinleri (ör. sokak tabelası) tanımak için ML Kit'i kullanabilirsiniz. Bu özelliğin temel özellikleri şunlardır:

Deneyin

• Bu örnek API'yi görmek için örnek uygulamayı inceleyin.
• Kodu codelab ile kendiniz deneyin.

Başlamadan önce

1. Proje düzeyindeki build.gradle dosyanızda, Google'ın Maven deposunu hem buildscript hem de allprojects bölümlerine eklediğinizden emin olun.

2. ML Kit Android kitaplıklarının bağımlılıklarını, modülünüzün genellikle app/build.gradle düzeyindeki gradle dosyasına ekleyin:

   Modeli uygulamanızla birlikte gruplandırmak için:

   dependencies {
     // To recognize Latin script
     implementation 'com.google.mlkit:text-recognition:16.0.0'
   
     // To recognize Chinese script
     implementation 'com.google.mlkit:text-recognition-chinese:16.0.0'
   
     // To recognize Devanagari script
     implementation 'com.google.mlkit:text-recognition-devanagari:16.0.0'
   
     // To recognize Japanese script
     implementation 'com.google.mlkit:text-recognition-japanese:16.0.0'
   
     // To recognize Korean script
     implementation 'com.google.mlkit:text-recognition-korean:16.0.0'
   }
   

   Modeli Google Play Hizmetleri'nde kullanmak için:

   dependencies {
     // To recognize Latin script
     implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.0'
   
     // To recognize Chinese script
     implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.0'
   
     // To recognize Devanagari script
     implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.0'
   
     // To recognize Japanese script
     implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.0'
   
     // To recognize Korean script
     implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.0'
   }
   

3. Modeli Google Play Hizmetleri'nde kullanmayı seçerseniz uygulamanızı Play Store'dan yüklendikten sonra, modeli cihaza otomatik olarak indirecek şekilde yapılandırabilirsiniz. Bunu yapmak için uygulamanızın AndroidManifest.xml dosyasına aşağıdaki beyanı ekleyin:

   <application ...>
         ...
         <meta-data
             android:name="com.google.mlkit.vision.DEPENDENCIES"
             android:value="ocr" >
         <!-- To use multiple models: android:value="ocr,ocr_chinese,ocr_devanagari,ocr_japanese,ocr_korean,..." -->
   </application>
   

   Ayrıca, Google Play Hizmetleri ModuleInstallClient API'yi kullanarak model kullanılabilirliğini açıkça kontrol edebilir ve indirme isteğinde bulunabilirsiniz. Yükleme sırasında model indirmeleri etkinleştirilmez veya açık indirme istenmezse model, tarayıcıyı ilk kez çalıştırdığınızda indirilir. İndirme tamamlanmadan önce yaptığınız istekler hiçbir sonuç vermez.

1. TextRecognizer örneği oluşturun

// When using Latin script library
val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)

// When using Chinese script library
val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build())

// When using Devanagari script library
val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build())

// When using Japanese script library
val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build())

// When using Korean script library
val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())

// When using Latin script library
TextRecognizer recognizer =
  TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS);

// When using Chinese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build());

// When using Devanagari script library
TextRecognizer recognizer =
  TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build());

// When using Japanese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build());

// When using Korean script library
TextRecognizer recognizer =
  TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());

2. Giriş resmini hazırlama

Bir görüntüdeki metni tanımak için Bitmap, media.Image, ByteBuffer, bayt dizisi veya cihazdaki bir dosyadan bir InputImage nesnesi oluşturun. Ardından, InputImage nesnesini TextRecognizerprocessImage yöntemine geçirin.

Farklı kaynaklardan bir InputImage nesnesi oluşturabilirsiniz. Her nesne aşağıda açıklanmıştır.

media.Image kullanarak

Bir cihazın kamerasından resim çekerken olduğu gibi bir media.Image nesnesinden InputImage nesnesi oluşturmak için media.Image nesnesini ve resmin rotasyonunu InputImage.fromMediaImage() öğesine iletin.

KameraX kitaplığını kullanırsanız OnImageCapturedListener ve ImageAnalysis.Analyzer sınıfları sizin için rotasyon değerini hesaplar.

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Resmin döndürme derecesini veren bir kamera kitaplığı kullanmıyorsanız bunu, cihazın döndürme derecesinden ve kamera kamerasının yönüne göre hesaplayabilirsiniz:

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Ardından media.Image nesnesini ve döndürme derecesi değerini InputImage.fromMediaImage() öğesine iletin:

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Dosya URI'sı kullanma

Dosya URI'sinden InputImage nesnesi oluşturmak için uygulama bağlamını ve dosya URI'sini InputImage.fromFilePath() öğesine iletin. Bu, kullanıcıya galeri uygulamasından bir resim seçmesini istemek için ACTION_GET_CONTENT amacı kullandığınızda yararlıdır.

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

ByteBuffer veya ByteArray kullanarak

ByteBuffer veya ByteArray öğesinden InputImage nesnesi oluşturmak için önce resim döndürme derecesini media.Image girişi için daha önce açıklandığı şekilde hesaplayın. Ardından; arabellek veya diziyle birlikte resmin yüksekliğini, genişliğini, renk kodlama biçimini ve döndürme derecesini kullanarak InputImage nesnesi oluşturun:

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

Bitmap kullanarak

Bitmap nesnesinden InputImage nesnesi oluşturmak için aşağıdaki ifadeyi yazın:

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

Resim, döndürme dereceleriyle birlikte bir Bitmap nesnesiyle gösterilir.

3. Resmi işleyin

Resmi process yöntemine geçirin:

val result = recognizer.process(image)
        .addOnSuccessListener { visionText ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }
TextRecognitionActivity.kt

Task<Text> result =
        recognizer.process(image)
                .addOnSuccessListener(new OnSuccessListener<Text>() {
                    @Override
                    public void onSuccess(Text visionText) {
                        // Task completed successfully
                        // ...
                    }
                })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });
TextRecognitionActivity.java

4. Tanınan metin bloklarından metin çıkarma

Metin tanıma işlemi başarılı olursa başarı işleyiciye bir Text nesnesi iletilir. Text nesnesi, resimde tanınan tam metni ve sıfır veya daha fazla TextBlock nesnesini içerir.

Her TextBlock, sıfır veya daha fazla Line nesnesi içeren dikdörtgen bir metin bloğunu temsil eder. Her bir Line nesnesi, sıfır veya daha fazla Element nesnesi içeren bir metin satırını temsil eder. Her bir Element nesnesi, sıfır veya daha fazla Symbol nesnesi içeren bir kelimeyi ya da kelime benzeri bir varlığı temsil eder. Her Symbol nesnesi bir karakteri, basamağı veya kelimeye benzer bir varlığı temsil eder.

Her bir TextBlock, Line, Element ve Symbol nesnesi için bölgede tanınan metni, bölgenin sınır koordinatlarını ve rotasyon bilgileri, güven puanı gibi diğer birçok özelliği görebilirsiniz.

Örneğin:

val resultText = result.text
for (block in result.textBlocks) {
    val blockText = block.text
    val blockCornerPoints = block.cornerPoints
    val blockFrame = block.boundingBox
    for (line in block.lines) {
        val lineText = line.text
        val lineCornerPoints = line.cornerPoints
        val lineFrame = line.boundingBox
        for (element in line.elements) {
            val elementText = element.text
            val elementCornerPoints = element.cornerPoints
            val elementFrame = element.boundingBox
        }
    }
}
TextRecognitionActivity.kt

String resultText = result.getText();
for (Text.TextBlock block : result.getTextBlocks()) {
    String blockText = block.getText();
    Point[] blockCornerPoints = block.getCornerPoints();
    Rect blockFrame = block.getBoundingBox();
    for (Text.Line line : block.getLines()) {
        String lineText = line.getText();
        Point[] lineCornerPoints = line.getCornerPoints();
        Rect lineFrame = line.getBoundingBox();
        for (Text.Element element : line.getElements()) {
            String elementText = element.getText();
            Point[] elementCornerPoints = element.getCornerPoints();
            Rect elementFrame = element.getBoundingBox();
            for (Text.Symbol symbol : element.getSymbols()) {
                String symbolText = symbol.getText();
                Point[] symbolCornerPoints = symbol.getCornerPoints();
                Rect symbolFrame = symbol.getBoundingBox();
            }
        }
    }
}
TextRecognitionActivity.java

Giriş resmi kuralları

• ML Kit'in metni doğru bir şekilde tanıyabilmesi için giriş görüntüleri yeterli piksel verisi tarafından temsil edilen metin içermelidir. İdeal olarak her karakter en az 16x16 piksel olmalıdır. Karakterlerin 24x24 pikselden büyük olması, genellikle doğruluk açısından herhangi bir avantaj sağlamaz.

  Örneğin, 640x480 boyutlu bir resim, resmin tam genişliğini kaplayan bir kartvizit taramak için iyi sonuç verebilir. Harf boyutunda kağıt üzerine basılı bir dokümanı taramak için 720x1280 piksel resim gerekebilir.

• Resim odağının iyi olmaması metin tanıma doğruluğunu etkileyebilir. Kabul edilebilir sonuçlar almıyorsanız kullanıcıdan resmi yeniden yakalamasını isteyin.

• Gerçek zamanlı bir uygulamadaki metni algılıyorsanız giriş resimlerinin genel boyutlarını dikkate almanız gerekir. Küçük resimler daha hızlı işlenebilir. Gecikmeyi azaltmak için metnin resmin olabildiğince fazla yer kapladığından emin olun ve daha düşük çözünürlüklerde resimler yakalayın (yukarıda belirtilen doğruluk gereksinimlerini göz önünde bulundurun). Daha fazla bilgi için Performansı artırmaya yönelik ipuçları konusuna bakın.

Performansı artırmayla ilgili ipuçları

• Camera veya camera2 API'yi kullanıyorsanız algılayıcıya yapılan çağrıları sınırlandırır. Algılayıcı çalışırken yeni bir video çerçevesi varsa çerçeveyi bırakın. Örnek olarak hızlı başlangıç örneği uygulamasındaki VisionProcessorBase sınıfını inceleyin.
• CameraX API'yi kullanıyorsanız geri baskı stratejisinin varsayılan değerine ( ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST) ayarlandığından emin olun. Bu, aynı anda analiz için yalnızca bir resmin yayınlanacağını garanti eder. Analiz aracı meşgul olduğunda daha fazla görüntü oluşturulursa otomatik olarak atlanır ve teslimat için sıraya alınmaz. Analiz edilen görüntü, ImageProxy.close() işlevi çağrıldıktan sonra kapatıldıktan sonra sıradaki son resim gönderilir.
• Giriş görüntüsüne yer paylaşımlı grafikler yerleştirmek için algılayıcının çıkışını kullanırsanız öncelikle sonucu ML Kit'ten alın, ardından resmi ve yer paylaşımını tek bir adımda oluşturun. Bu işlem, her bir giriş çerçevesi için görüntü yüzeyinde yalnızca bir kez oluşturulur. Örnek olarak hızlı başlangıç örneği uygulamasındaki CameraSourcePreview ve GraphicOverlay sınıflarını inceleyin.
• Camera2 API'sini kullanıyorsanız ImageFormat.YUV_420_888 biçiminde resim çekin. Eski Camera API'sini kullanıyorsanız görüntüleri ImageFormat.NV21 biçiminde çekin.
• Resimleri daha düşük çözünürlükte çekmeyi düşünün. Ancak bu API'nin görüntü boyutu şartlarını da göz önünde bulundurun.