مسح الرموز الشريطية ضوئيًا باستخدام أدوات تعلّم الآلة على Android

يمكنك استخدام ML Kit للتعرّف على الرموز الشريطية وفك ترميزها.

الميزةغير مجمّعةمُجمَّعة
التنفيذيتم تنزيل النموذج ديناميكيًا من خلال "خدمات Google Play".يتم ربط النموذج بتطبيقك بشكل ثابت في وقت الإنشاء.
حجم التطبيقزيادة حجمها بمقدار 200 كيلوبايت تقريبًازيادة حجمها بمقدار 2.4 ميغابايت تقريبًا
وقت الإعدادقد تحتاج إلى الانتظار إلى أن يتم تنزيل النموذج قبل استخدامه لأول مرة.يتوفّر النموذج على الفور.

جرّبه الآن

  • يمكنك استخدام نموذج التطبيق للاطّلاع على مثال على استخدام واجهة برمجة التطبيقات هذه.
  • يمكنك الاطّلاع على تطبيق Material Design showcase لتنفيذ هذه الواجهة من البداية إلى النهاية.

قبل البدء

  1. في ملف build.gradle على مستوى المشروع، احرص على تضمين مستودع Maven من Google في كلّ من القسمَين buildscript وallprojects.

  2. أضِف ملفات الاعتماد لمكتبات ML Kit لنظام التشغيل Android إلى ملف Gradle على مستوى التطبيق الخاص بالوحدة، والذي يكون عادةً app/build.gradle. اختَر أحد التبعيات التالية استنادًا إلى احتياجاتك:

    لتجميع النموذج مع تطبيقك:

    dependencies {
      // ...
      // Use this dependency to bundle the model with your app
      implementation 'com.google.mlkit:barcode-scanning:17.3.0'
    }
    

    لاستخدام النموذج في "خدمات Google Play":

    dependencies {
      // ...
      // Use this dependency to use the dynamically downloaded model in Google Play Services
      implementation 'com.google.android.gms:play-services-mlkit-barcode-scanning:18.3.1'
    }
    
  3. إذا اخترت استخدام النموذج في "خدمات Google Play"، يمكنك ضبط إعدادات تطبيقك لتنزيل النموذج تلقائيًا على الجهاز بعد تثبيت تطبيقك من "متجر Play". ولإجراء ذلك، أضِف البيان التالي إلىملفAndroidManifest.xml في تطبيقك:

    <application ...>
          ...
          <meta-data
              android:name="com.google.mlkit.vision.DEPENDENCIES"
              android:value="barcode" >
          <!-- To use multiple models: android:value="barcode,model2,model3" -->
    </application>
    

    يمكنك أيضًا التحقّق صراحةً من مدى توفّر النموذج وطلب تنزيله من خلال ModuleInstallClient API في "خدمات Google Play".

    إذا لم تفعِّل عمليات تنزيل النماذج أثناء التثبيت أو طلبت تنزيلًا صريحًا، يتم تنزيل النموذج في المرة الأولى التي تشغّل فيها الماسح الضوئي. لا تؤدي الطلبات التي تقدّمها قبل اكتمال عملية التنزيل إلى أي نتائج.

إرشادات حول إدخال الصور

  • لكي تتمكّن حزمة ML Kit من قراءة الرموز الشريطية بدقة، يجب أن تحتوي صور الإدخال على رموز شريطية يتم تمثيلها ببيانات بكسل كافية.

    تعتمد متطلبات بيانات البكسل المحدّدة على نوع الرمز الشريطي ومقدار البيانات التي تم ترميزها فيه، لأنّ العديد من الرموز الشريطية تسمح بحمولة بحجم متغيّر. بشكل عام، يجب أن يكون عرض أصغر وحدة مفيدة من الرمز الشريطي 2 بكسل على الأقل، ويجب أن يكون ارتفاعها 2 بكسل للترميز ثنائي الأبعاد.

    على سبيل المثال، تتألف رموز EAN-13 الشريطية من أشرطة ومسافات بعرض وحدة واحدة أو اثنتين أو ثلاث أو أربع، لذا من الأفضل أن تحتوي صورة رمز EAN-13 الشريطي على أشرطة ومسافات بعرض 2 أو 4 أو 6 أو 8 بكسل على الأقل. بما أنّ رمز EAN-13 الشريطي يبلغ عرضه 95 وحدة في المجمل، يجب ألا يقلّ عرض الرمز الشريطي عن 190 بكسل.

    تحتاج التنسيقات الأكثر كثافة، مثل PDF417، إلى أبعاد وحدات بكسل أكبر لكي تتمكّن أداة ML Kit من قراءتها بشكل موثوق. على سبيل المثال، يمكن أن يتضمّن رمز PDF417 ما يصل إلى 34 "كلمة" بعرض 17 وحدة في صف واحد، ويجب أن يكون عرضها في العادة 1156 بكسل على الأقل.

  • يمكن أن يؤثّر ضعف تركيز الصورة في دقة المسح الضوئي. إذا لم يحصل تطبيقك على نتائج مقبولة، اطلب من المستخدم إعادة التقاط الصورة.

  • بالنسبة إلى التطبيقات العادية، ننصحك بتقديم صورة بدرجة أعلى، مثل 1280×720 أو 1920×1080، ما يجعل من السهل قراءة الرموز الشريطية من مسافة أكبر عن الكاميرا.

    ومع ذلك، في التطبيقات التي يكون فيها وقت الاستجابة مهمًا، يمكنك تحسين الأداء من خلال التقاط الصور بدرجة دقة أقل، ولكن مع اشتراط أن يشكّل الرمز الشريطي معظم صورة الإدخال. اطّلِع أيضًا على نصائح لتحسين الأداء في الوقت الفعلي.

1. ضبط الماسح الضوئي للرمز الشريطي

إذا كنت تعرف تنسيقات الرموز الشريطية التي تتوقّع قراءتها، يمكنك تحسين سرعة كاشف الرموز الشريطية من خلال ضبطه لرصد هذه التنسيقات فقط.

على سبيل المثال، لرصد رموز Aztec وQR فقط، أنشئ عنصر BarcodeScannerOptions كما هو موضّح في المثال التالي:

Kotlin

val options = BarcodeScannerOptions.Builder()
        .setBarcodeFormats(
                Barcode.FORMAT_QR_CODE,
                Barcode.FORMAT_AZTEC)
        .build()

Java

BarcodeScannerOptions options =
        new BarcodeScannerOptions.Builder()
        .setBarcodeFormats(
                Barcode.FORMAT_QR_CODE,
                Barcode.FORMAT_AZTEC)
        .build();

تتوفّر التنسيقات التالية:

  • رمز 128 (FORMAT_CODE_128)
  • الرمز 39 (FORMAT_CODE_39)
  • الرمز 93 (FORMAT_CODE_93)
  • رمز Codabar (FORMAT_CODABAR)
  • ‫EAN-13 (FORMAT_EAN_13)
  • ‫EAN-8 (FORMAT_EAN_8)
  • ITF (FORMAT_ITF)
  • UPC-A ‏ (FORMAT_UPC_A)
  • UPC-E ‏ (FORMAT_UPC_E)
  • رمز الاستجابة السريعة (FORMAT_QR_CODE)
  • ‫PDF417 (FORMAT_PDF417)
  • الأزتك (FORMAT_AZTEC)
  • Data Matrix (FORMAT_DATA_MATRIX)

اعتبارًا من الإصدار المجمّع 17.1.0 والإصدار غير المجمّع 18.2.0، يمكنك أيضًا استدعاء enableAllPotentialBarcodes() لعرض جميع الرموز الشريطية المحتملة حتى إذا تعذّر فك تشفيرها. ويمكن استخدام هذا الإجراء لتسهيل عملية رصد المزيد من الرموز الشريطية، على سبيل المثال، من خلال تكبير الكاميرا للحصول على صورة أوضح لأي رمز شريطي في المربّع المحدود الذي يتم إرجاعه.

Kotlin

val options = BarcodeScannerOptions.Builder()
        .setBarcodeFormats(...)
        .enableAllPotentialBarcodes() // Optional
        .build()

Java

BarcodeScannerOptions options =
        new BarcodeScannerOptions.Builder()
        .setBarcodeFormats(...)
        .enableAllPotentialBarcodes() // Optional
        .build();

Further on, starting from bundled library 17.2.0 and unbundled library 18.3.0, a new feature called auto-zoom has been introduced to further enhance the barcode scanning experience. With this feature enabled, the app is notified when all barcodes within the view are too distant for decoding. As a result, the app can effortlessly adjust the camera's zoom ratio to the recommended setting provided by the library, ensuring optimal focus and readability. This feature will significantly enhance the accuracy and success rate of barcode scanning, making it easier for apps to capture information precisely.

To enable auto-zooming and customize the experience, you can utilize the setZoomSuggestionOptions() method along with your own ZoomCallback handler and desired maximum zoom ratio, as demonstrated in the code below.

Kotlin

val options = BarcodeScannerOptions.Builder()
        .setBarcodeFormats(...)
        .setZoomSuggestionOptions(
            new ZoomSuggestionOptions.Builder(zoomCallback)
                .setMaxSupportedZoomRatio(maxSupportedZoomRatio)
                .build()) // Optional
        .build()

Java

BarcodeScannerOptions options =
        new BarcodeScannerOptions.Builder()
        .setBarcodeFormats(...)
        .setZoomSuggestionOptions(
            new ZoomSuggestionOptions.Builder(zoomCallback)
                .setMaxSupportedZoomRatio(maxSupportedZoomRatio)
                .build()) // Optional
        .build();

zoomCallback is required to be provided to handle whenever the library suggests a zoom should be performed and this callback will always be called on the main thread.

The following code snippet shows an example of defining a simple callback.

Kotlin

fun setZoom(ZoomRatio: Float): Boolean {
    if (camera.isClosed()) return false
    camera.getCameraControl().setZoomRatio(zoomRatio)
    return true
}

Java

boolean setZoom(float zoomRatio) {
    if (camera.isClosed()) {
        return false;
    }
    camera.getCameraControl().setZoomRatio(zoomRatio);
    return true;
}

maxSupportedZoomRatio is related to the camera hardware, and different camera libraries have different ways to fetch it (see the javadoc of the setter method). In case this is not provided, an unbounded zoom ratio might be produced by the library which might not be supported. Refer to the setMaxSupportedZoomRatio() method introduction to see how to get the max supported zoom ratio with different Camera libraries.

When auto-zooming is enabled and no barcodes are successfully decoded within the view, BarcodeScanner triggers your zoomCallback with the requested zoomRatio. If the callback correctly adjusts the camera to this zoomRatio, it is highly probable that the most centered potential barcode will be decoded and returned.

A barcode may remain undecodable even after a successful zoom-in. In such cases, BarcodeScanner may either invoke the callback for another round of zoom-in until the maxSupportedZoomRatio is reached, or provide an empty list (or a list containing potential barcodes that were not decoded, if enableAllPotentialBarcodes() was called) to the OnSuccessListener (which will be defined in step 4. Process the image).

2. Prepare the input image

To recognize barcodes in an image, create an InputImage object from either a Bitmap, media.Image, ByteBuffer, byte array, or a file on the device. Then, pass the InputImage object to the BarcodeScanner's process method.

You can create an InputImage object from different sources, each is explained below.

Using a media.Image

To create an InputImage object from a media.Image object, such as when you capture an image from a device's camera, pass the media.Image object and the image's rotation to InputImage.fromMediaImage().

If you use the CameraX library, the OnImageCapturedListener and ImageAnalysis.Analyzer classes calculate the rotation value for you.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا كنت لا تستخدم مكتبة كاميرا تمنحك درجة دوران الصورة، يمكنك احتسابها من درجة دوران الجهاز واتجاه كاميرا الاستشعار في الجهاز:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، مرِّر عنصر media.Image وقيمة درجة الدوران إلى InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام عنوان URL للملف

لإنشاء عنصر InputImage ، من معرّف موارد منتظم لملف، عليك تمرير سياق التطبيق ومعرّف الموارد المنتظم للملف إلى InputImage.fromFilePath(). يكون ذلك مفيدًا عند استخدام نية ACTION_GET_CONTENT لطلب تحديد صورة من تطبيق معرض الصور.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استخدام ByteBuffer أو ByteArray

لإنشاء عنصر InputImage من ByteBuffer أو ByteArray، يجب أولاً احتساب درجة دوران الصورة كما هو موضّح سابقًا لإدخال media.Image. بعد ذلك، أنشئ عنصر InputImage باستخدام المخزن المؤقت أو الصفيف، بالإضافة إلى ارتفاع الصورة وعرضها وتنسيق ترميز الألوان ودرجة تدويرها:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);

استخدام Bitmap

لإنشاء عنصر InputImage من عنصر Bitmap، أدخِل التعريف التالي:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

يتم تمثيل الصورة بعنصر Bitmap مع درجات الدوران.

3- الحصول على مثيل من BarcodeScanner

Kotlin

val scanner = BarcodeScanning.getClient()
// Or, to specify the formats to recognize:
// val scanner = BarcodeScanning.getClient(options)

Java

BarcodeScanner scanner = BarcodeScanning.getClient();
// Or, to specify the formats to recognize:
// BarcodeScanner scanner = BarcodeScanning.getClient(options);

4. معالجة الصورة

نقْل الصورة إلى طريقة process:

Kotlin

val result = scanner.process(image)
        .addOnSuccessListener { barcodes ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener {
            // Task failed with an exception
            // ...
        }

Java

Task<List<Barcode>> result = scanner.process(image)
        .addOnSuccessListener(new OnSuccessListener<List<Barcode>>() {
            @Override
            public void onSuccess(List<Barcode> barcodes) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

5- الحصول على معلومات من الرموز الشريطية

في حال نجاح عملية التعرّف على الرمز الشريطي، يتم تمرير قائمة بعناصر Barcode إلى مستمع الحدث الناجح. يمثّل كل عنصر Barcode رمزًا شريطيًا تم رصده في الصورة. لكل رمز شريطي، يمكنك الحصول على إحداثيات الحدود في صورة الإدخال، بالإضافة إلى البيانات الأولية التي تم ترميزها باستخدام الرمز الشريطي. بالإضافة إلى ذلك، إذا تمكّن الماسح الضوئي للرمز الشريطي من تحديد نوع البيانات التي تم ترميزها باستخدام الرمز الشريطي، يمكنك الحصول على عنصر يحتوي على بيانات تم تحليلها.

على سبيل المثال:

Kotlin

for (barcode in barcodes) {
    val bounds = barcode.boundingBox
    val corners = barcode.cornerPoints

    val rawValue = barcode.rawValue

    val valueType = barcode.valueType
    // See API reference for complete list of supported types
    when (valueType) {
        Barcode.TYPE_WIFI -> {
            val ssid = barcode.wifi!!.ssid
            val password = barcode.wifi!!.password
            val type = barcode.wifi!!.encryptionType
        }
        Barcode.TYPE_URL -> {
            val title = barcode.url!!.title
            val url = barcode.url!!.url
        }
    }
}

Java

for (Barcode barcode: barcodes) {
    Rect bounds = barcode.getBoundingBox();
    Point[] corners = barcode.getCornerPoints();

    String rawValue = barcode.getRawValue();

    int valueType = barcode.getValueType();
    // See API reference for complete list of supported types
    switch (valueType) {
        case Barcode.TYPE_WIFI:
            String ssid = barcode.getWifi().getSsid();
            String password = barcode.getWifi().getPassword();
            int type = barcode.getWifi().getEncryptionType();
            break;
        case Barcode.TYPE_URL:
            String title = barcode.getUrl().getTitle();
            String url = barcode.getUrl().getUrl();
            break;
    }
}

نصائح لتحسين الأداء في الوقت الفعلي

إذا كنت تريد مسح الرموز الشريطية ضوئيًا في تطبيق يعمل في الوقت الفعلي، اتّبِع خطوات هذه الإرشادات لتحقيق أفضل معدّلات لإطارات الفيديو:

  • لا تلتقط الإدخال بالدقة الأصلية للكاميرا. على بعض الأجهزة، يؤدي التقاط الإدخال بدرجة الدقة الأصلية إلى إنشاء صور كبيرة جدًا (أكثر من 10 ميغابكسل)، ما يؤدي إلى وقت استجابة سيئ جدًا بدون أي فائدة من الدقة. بدلاً من ذلك، اطلب من الكاميرا فقط الحجم المطلوب لرصد الرمز الشريطي، والذي لا يزيد عادةً عن 2 ميغابكسل.

    إذا كانت سرعة المسح الضوئي مهمة، يمكنك خفض درجة دقّة التقاط الصور. ومع ذلك، يُرجى مراعاة الحد الأدنى لمتطلبات حجم الرمز الشريطي الموضّحة أعلاه.

    إذا كنت تحاول التعرّف على الرموز الشريطية من تسلسل بث إطارات الفيديو، قد يقدّم معرّف الرموز الشريطية نتائج مختلفة من إطار إلى آخر. يجب الانتظار إلى أن تحصل على سلسلة متتالية من القيمة نفسها لتكون واثقًا من أنّك تُظهر نتيجة جيدة.

    لا يمكن استخدام رقم التدقيق مع رمزَي ITF وCODE-39.

  • إذا كنت تستخدم واجهة برمجة التطبيقات Camera أو camera2، يمكنك الحد من عدد طلبات البيانات المرسَلة إلى أداة رصد الأداء. إذا توفّر إطار فيديو جديد أثناء تشغيل أداة رصد المحتوى، يمكنك إسقاط الإطار. يمكنك الاطّلاع على فئة VisionProcessorBase في تطبيق نموذج البدء السريع للحصول على مثال.
  • إذا كنت تستخدِم واجهة برمجة التطبيقات CameraX، تأكَّد من ضبط استراتيجية الضغط الخلفي على قيمتها التلقائية ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. يضمن ذلك إرسال صورة واحدة فقط للتحليل في كل مرة. إذا تم إنشاء المزيد من الصور عندما يكون المحلّل مشغولاً، سيتم تجاهلها تلقائيًا ولن يتم وضعها في قائمة الانتظار لإرسالها. بعد إغلاق الصورة التي يتم تحليلها من خلال استدعاء ‎(ImageProxy.close())‎، سيتم إرسال أحدث صورة تالية.
  • إذا كنت تستخدِم ناتج أداة الكشف لوضع الرسومات فوق صورة الإدخال، يمكنك أولاً الحصول على النتيجة من ML Kit، ثم عرض الصورة ووضعها فوق الصورة الأصلية في خطوة واحدة. ويتم عرض هذا المحتوى على سطح العرض مرّة واحدة فقط لكل إطار إدخال. يمكنك الاطّلاع على صفَي برمجة التطبيقات CameraSourcePreview و GraphicOverlay في تطبيق نموذج البدء السريع للحصول على مثال.
  • إذا كنت تستخدم واجهة برمجة التطبيقات Camera2 API، يمكنك التقاط الصور بتنسيق ImageFormat.YUV_420_888. إذا كنت تستخدم الإصدار القديم من Camera API، يمكنك التقاط الصور بتنسيق ImageFormat.NV21.