אפשר להשתמש ב-ML Kit כדי לזהות טקסט בתמונות או בסרטונים, כמו הטקסט של שלט רחוב. המאפיינים העיקריים של התכונה הזו הם:
תכונה | לא מקובצים | בחבילה |
---|---|---|
שם הספרייה | com.google.android.gms:play-services-mlkit-text-recognition
com.google.android.gms:play-services-mlkit-text-recognition-chinese com.google.android.gms:play-services-mlkit-text-recognition-devanagari com.google.android.gms:play-services-mlkit-text-recognition-japanese com.google.android.gms:play-services-mlkit-text-recognition-korean |
com.google.mlkit:text-recognition
com.google.mlkit:text-recognition-chinese com.google.mlkit:text-recognition-devanagari com.google.mlkit:text-recognition-japanese com.google.mlkit:text-recognition-korean |
הטמעה | המודל מוריד באופן דינמי דרך Google Play Services. | המודל מקושר באופן סטטי לאפליקציה בזמן ה-build. |
גודל האפליקציה | הגדלת גודל של כ-260KB לכל ארכיטקטורה של סקריפט. | עלייה של כ-4MB בגודל של כל סקריפט לכל ארכיטקטורה. |
זמן האתחול | יכול להיות שתצטרכו להמתין להורדת המודל לפני השימוש הראשון. | המודל זמין באופן מיידי. |
ביצועים | בזמן אמת ברוב המכשירים לספרייה של כתב לטינית, איטי יותר במכשירים אחרים. | בזמן אמת ברוב המכשירים לספרייה של כתב לטינית, איטי יותר במכשירים אחרים. |
רוצה לנסות?
- כדאי לנסות את האפליקציה לדוגמה כדי לראות דוגמה לשימוש ב-API הזה.
- אתם יכולים לנסות את הקוד בעצמכם באמצעות codelab.
לפני שמתחילים
- בקובץ
build.gradle
ברמת הפרויקט, חשוב לכלול את מאגר Maven של Google גם בקטעbuildscript
וגם בקטעallprojects
. מוסיפים את יחסי התלות של ספריות ML Kit ל-Android לקובץ ה-Gradle ברמת האפליקציה של המודול, בדרך כלל
app/build.gradle
:כדי לצרף את המודל לאפליקציה:
dependencies { // To recognize Latin script implementation 'com.google.mlkit:text-recognition:16.0.1' // To recognize Chinese script implementation 'com.google.mlkit:text-recognition-chinese:16.0.1' // To recognize Devanagari script implementation 'com.google.mlkit:text-recognition-devanagari:16.0.1' // To recognize Japanese script implementation 'com.google.mlkit:text-recognition-japanese:16.0.1' // To recognize Korean script implementation 'com.google.mlkit:text-recognition-korean:16.0.1' }
כדי להשתמש במודל ב-Google Play Services:
dependencies { // To recognize Latin script implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.1' // To recognize Chinese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.1' // To recognize Devanagari script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.1' // To recognize Japanese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.1' // To recognize Korean script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.1' }
אם בוחרים להשתמש במודל ב-Google Play Services, אפשר להגדיר שהאפליקציה תוריד את המודל למכשיר באופן אוטומטי אחרי ההתקנה שלה מחנות Play. כדי לעשות זאת, מוסיפים את ההצהרה הבאה לקובץ
AndroidManifest.xml
של האפליקציה:<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ocr" > <!-- To use multiple models: android:value="ocr,ocr_chinese,ocr_devanagari,ocr_japanese,ocr_korean,..." --> </application>
אפשר גם לבדוק באופן מפורש את הזמינות של המודל ולבקש הורדה דרך ModuleInstallClient API של Google Play Services. אם לא מפעילים הורדות של מודלים בזמן ההתקנה או מבקשים הורדה מפורשת, המודל יורד בפעם הראשונה שמפעילים את הסורק. בקשות שתשלחו לפני שההורדה תושלם לא יחזירו תוצאות.
1. יצירת מכונה של TextRecognizer
יוצרים מופע של TextRecognizer
, ומעבירים את האפשרויות שקשורות לספרייה שהצהרתם על תלות בה למעלה:
Kotlin
// When using Latin script library val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS) // When using Chinese script library val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build()) // When using Devanagari script library val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build()) // When using Japanese script library val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build()) // When using Korean script library val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())
Java
// When using Latin script library TextRecognizer recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS); // When using Chinese script library TextRecognizer recognizer = TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build()); // When using Devanagari script library TextRecognizer recognizer = TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build()); // When using Japanese script library TextRecognizer recognizer = TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build()); // When using Korean script library TextRecognizer recognizer = TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());
2. הכנת קובץ הקלט
כדי לזהות טקסט בתמונה, יוצרים אובייקט InputImage
מ-Bitmap
, מ-media.Image
, מ-ByteBuffer
, ממערך בייטים או מקובץ במכשיר. לאחר מכן מעבירים את האובייקט InputImage
לשיטה processImage
של TextRecognizer
.
אפשר ליצור אובייקט InputImage
ממקורות שונים, והסבר על כל אחד מהם מופיע בהמשך.
שימוש ב-media.Image
כדי ליצור אובייקט InputImage
מאובייקט media.Image
, למשל כשמעבירים תמונה ממצלמת המכשיר, מעבירים את האובייקט media.Image
ואת סיבוב התמונה אל InputImage.fromMediaImage()
.
אם אתם משתמשים בספרייה
CameraX, הערך של הזווית מחושב בשבילכם על ידי הכיתות OnImageCapturedListener
ו-ImageAnalysis.Analyzer
.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
אם אתם לא משתמשים בספריית מצלמה שמספקת את מידת הסיבוב של התמונה, תוכלו לחשב אותה לפי מידת הסיבוב של המכשיר והכיוון של חיישן המצלמה במכשיר:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
לאחר מכן מעבירים את האובייקט media.Image
ואת הערך של דרגת הסיבוב אל InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
שימוש ב-URI של קובץ
כדי ליצור אובייקט InputImage
מכתובת URI של קובץ, מעבירים את הקשר של האפליקציה ואת כתובת ה-URI של הקובץ ל-InputImage.fromFilePath()
. אפשר להשתמש באפשרות הזו כשמשתמשים בכוונה ACTION_GET_CONTENT
כדי לבקש מהמשתמש לבחור תמונה מאפליקציית הגלריה שלו.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
שימוש ב-ByteBuffer
או ב-ByteArray
כדי ליצור אובייקט InputImage
מ-ByteBuffer
או מ-ByteArray
, קודם מחשבים את מידת הסיבוב של התמונה כפי שמתואר למעלה לגבי קלט media.Image
.
לאחר מכן, יוצרים את האובייקט InputImage
עם המאגר או המערך, יחד עם הגובה, הרוחב, פורמט קידוד הצבע ומידת הסיבוב של התמונה:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
שימוש ב-Bitmap
כדי ליצור אובייקט InputImage
מתוך אובייקט Bitmap
, צריך להצהיר על כך באופן הבא:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
התמונה מיוצגת על ידי אובייקט Bitmap
יחד עם מעלות הסיבוב.
3. עיבוד התמונה
מעבירים את התמונה לשיטה process
:
Kotlin
val result = recognizer.process(image) .addOnSuccessListener { visionText -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
Task<Text> result = recognizer.process(image) .addOnSuccessListener(new OnSuccessListener<Text>() { @Override public void onSuccess(Text visionText) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. חילוץ טקסט מקטעי טקסט מזוהים
אם פעולת זיהוי הטקסט תצליח, אובייקט Text
יועבר למאזין להצלחה. אובייקט Text
מכיל את הטקסט המלא שזוהה בתמונה ואפס או יותר אובייקטים מסוג TextBlock
.
כל TextBlock
מייצג בלוק טקסט מרובע, שמכיל אפס או יותר אובייקטים מסוג Line
. כל אובייקט Line
מייצג שורת טקסט, שמכילה אפס או יותר אובייקטים מסוג Element
. כל אובייקט Element
מייצג מילה או ישות שדומה למילה, שמכילה אפס או יותר אובייקטים מסוג Symbol
. כל אובייקט Symbol
מייצג תו, ספרה או ישות שדומה למילה.
לכל אובייקט TextBlock
, Line
, Element
ו-Symbol
, אפשר לקבל את הטקסט שזוהה באזור, את קואורדינטות הגבול של האזור ומאפיינים רבים אחרים, כמו פרטי סיבוב, דירוג ביטחון וכו'.
לדוגמה:
Kotlin
val resultText = result.text for (block in result.textBlocks) { val blockText = block.text val blockCornerPoints = block.cornerPoints val blockFrame = block.boundingBox for (line in block.lines) { val lineText = line.text val lineCornerPoints = line.cornerPoints val lineFrame = line.boundingBox for (element in line.elements) { val elementText = element.text val elementCornerPoints = element.cornerPoints val elementFrame = element.boundingBox } } }
Java
String resultText = result.getText(); for (Text.TextBlock block : result.getTextBlocks()) { String blockText = block.getText(); Point[] blockCornerPoints = block.getCornerPoints(); Rect blockFrame = block.getBoundingBox(); for (Text.Line line : block.getLines()) { String lineText = line.getText(); Point[] lineCornerPoints = line.getCornerPoints(); Rect lineFrame = line.getBoundingBox(); for (Text.Element element : line.getElements()) { String elementText = element.getText(); Point[] elementCornerPoints = element.getCornerPoints(); Rect elementFrame = element.getBoundingBox(); for (Text.Symbol symbol : element.getSymbols()) { String symbolText = symbol.getText(); Point[] symbolCornerPoints = symbol.getCornerPoints(); Rect symbolFrame = symbol.getBoundingBox(); } } } }
הנחיות לתמונות קלט
-
כדי ש-ML Kit יזהה טקסט בצורה מדויקת, תמונות הקלט צריכות להכיל טקסט שמיוצג על ידי מספיק נתוני פיקסלים. באופן אידיאלי, כל תו צריך להיות בגודל של לפחות 16x16 פיקסלים. בדרך כלל אין יתרון של דיוק כשהתווים גדולים מ-24x24 פיקסלים.
לדוגמה, תמונה בגודל 640x480 יכולה להתאים לסריקה של כרטיס ביקור שממלא את כל רוחב התמונה. כדי לסרוק מסמך שמודפס על נייר בגודל Letter, יכול להיות שתצטרכו תמונה בגודל 720x1280 פיקסלים.
-
מיקוד לקוי של התמונה עלול להשפיע על רמת הדיוק של זיהוי הטקסט. אם התוצאות לא מתקבלות, נסו לבקש מהמשתמש לצלם מחדש את התמונה.
-
אם אתם מזהים טקסט באפליקציה בזמן אמת, כדאי להביא בחשבון את המימדים הכוללים של תמונות הקלט. עיבוד של תמונות קטנות יותר מתבצע מהר יותר. כדי לצמצם את זמן האחזור, חשוב לוודא שהטקסט תופס כמה שיותר משטח התמונה ולצלם תמונות ברזולוציות נמוכות יותר (תוך התחשבות בדרישות הדיוק שצוינו למעלה). מידע נוסף זמין במאמר טיפים לשיפור הביצועים.
טיפים לשיפור הביצועים
- אם אתם משתמשים ב-API
Camera
או ב-APIcamera2
, כדאי להגביל את הקריאות לגלאי. אם מסגרת וידאו חדשה זמינה בזמן שהגלאי פועל, צריך להסיר את המסגרת. דוגמה לכך מופיעה בכיתהVisionProcessorBase
באפליקציה לדוגמה במדריך למתחילים. - אם אתם משתמשים ב-API
CameraX
, חשוב לוודא ששיטת הלחץ האחורי מוגדרת לערך ברירת המחדל שלה,ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
. כך מובטח שרק תמונה אחת תישלח לניתוח בכל פעם. אם נוצרות תמונות נוספות כשהמנתח עסוק, הן יושמדו באופן אוטומטי ולא יעמדו בתור להעברה. אחרי שתמונה מסוימת נסגרת באמצעות קריאה ל-ImageProxy.close(), התמונה העדכנית הבאה תישלח. - אם משתמשים בפלט של הגלאי כדי להוסיף שכבת-על של גרפיקה לתמונה הקלט, קודם מקבלים את התוצאה מ-ML Kit, ואז מבצעים עיבוד תמונה של התמונה ומוסיפים את שכבת-העל בשלב אחד. המערכת מבצעת רינדור של התמונה על פני המסך רק פעם אחת לכל מסגרת קלט. לדוגמה, תוכלו לעיין בכיתות
CameraSourcePreview
ו-GraphicOverlay
באפליקציית הדוגמה למדריך למתחילים. - אם אתם משתמשים ב-Camera2 API, כדאי לצלם תמונות בפורמט
ImageFormat.YUV_420_888
. אם משתמשים ב-Camera API הקודם, צריך לצלם תמונות בפורמטImageFormat.NV21
. - כדאי לצלם תמונות ברזולוציה נמוכה יותר. עם זאת, חשוב לזכור גם את הדרישות לגבי מידות התמונות ב-API הזה.