رصد العناصر وتتبّعها وتصنيفها باستخدام نموذج تصنيف مخصّص على Android

يمكنك استخدام حزمة تعلّم الآلة لرصد العناصر وتتبُّعها في إطارات الفيديو المتتالية.

عند تمرير صورة إلى حزمة تعلّم الآلة، ترصد الحزمة ما يصل إلى خمسة عناصر في الصورة بالإضافة إلى موضع كل عنصر فيها. عند رصد العناصر في بث الفيديو، يكون لكل عنصر رقم تعريف فريد يمكنك استخدامه لتتبُّع العنصر من إطار إلى آخر.

يمكنك استخدام نموذج تصنيف صور مخصّص لتصنيف العناصر التي يتم رصدها. يُرجى الرجوع إلى المقالة النماذج المخصّصة باستخدام حزمة تعلّم الآلة للحصول على إرشادات حول متطلبات توافق النماذج، ومكان العثور على النماذج المدرَّبة مسبقًا، وكيفية تدريب نماذجك الخاصة.

هناك طريقتان لدمج نموذج مخصّص. يمكنك تجميع النموذج عن طريق وضعه داخل مجلد مواد العرض في تطبيقك، أو يمكنك تنزيله ديناميكيًا من Cloud Storage. يقارن الجدول التالي بين الخيارَين.

النموذج المُجمَّع النموذج المُستضاف
النموذج جزء من ملف APK الخاص بتطبيقك، ما يزيد من حجمه. النموذج ليس جزءًا من ملف APK. يتم استضافته عن طريق تحميله إلى Cloud Storage. ننصحك باستخدام Cloud Storage لبرنامج Firebase.
النموذج متاح على الفور، حتى عندما يكون جهاز Android غير متصل بالإنترنت يجب أن يتضمّن تطبيقك رمزًا لتنزيل النموذج عند الطلب
لا حاجة إلى مشروع Firebase يتطلّب مشروع Firebase (في حال استخدام مساحة تخزين سحابية لـ Firebase).
يجب إعادة نشر تطبيقك لتعديل النموذج يمكنك إرسال تعديلات النموذج بدون إعادة نشر تطبيقك
ما مِن اختبار A/B مضمّن اختبار A/B باستخدام ميزة "الإعداد عن بُعد عبر Firebase"

للتجربة:

قبل البدء

1- في ملف build.gradle.kts على مستوى المشروع، تأكَّد من تضمين مستودع Maven من Google في كلّ من قسمَي buildscript و allprojects.

  1. أضِف التبعيات لمكتبات حزمة تعلّم الآلة على Android إلى ملف gradle على مستوى التطبيق في وحدتك، والذي يكون عادةً app/build.gradle.kts:

    لتجميع نموذج مع تطبيقك:

    dependencies {
  // ...
  // Object detection & tracking feature with custom bundled model
  implementation("com.google.mlkit:object-detection-custom:17.0.2")
}

  2. **إذا كنت تريد تنزيل نموذج من مساحة تخزين سحابية لـ Firebase**، تأكَّد من إضافة Firebase إلى مشروع Android، إذا لم يسبق لك إجراء ذلك. لا يكون ذلك مطلوبًا عند تجميع النموذج.

1- تحميل النموذج

يمكنك تحميل النموذج من مصدر مُجمَّع محليًا أو مصدر مُستضاف عن بُعد.

ضبط مصدر نموذج محلي

لتجميع النموذج مع تطبيقك:

  1. انسخ ملف النموذج (الذي ينتهي عادةً باللاحقة .tflite أو .lite) إلى مجلد assets/ في تطبيقك. (قد تحتاج إلى إنشاء المجلد أولاً عن طريق النقر بزر الماوس الأيمن على المجلد app/ ، ثم النقر على جديد > مجلد > مجلد مواد العرض.)

  2. أنشئ كائن LocalModel ، مع تحديد مسار ملف النموذج:

    Kotlin

    val localModel = LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute path to model file)
        // or .setUri(URI to model file)
        .build()

    جافا

    LocalModel localModel =
    new LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute path to model file)
        // or .setUri(URI to model file)
        .build();

ضبط مصدر نموذج مُستضاف عن بُعد

لاستخدام النموذج المُستضاف عن بُعد، يجب تنزيل ملف النموذج إلى وحدة التخزين المحلية للجهاز باستخدام منطق التطبيق الخاص بك، ثم تحميله كنموذج محلي. ننصحك باستخدام Cloud Storage لبرنامج Firebase لاستضافة نموذج. للحصول على تفاصيل التنفيذ، يُرجى الاطّلاع على دليل نقل البيانات من Firebase ML إلى Cloud Storage.

2- ضبط أداة رصد العناصر

بعد ضبط مصادر النموذج، اضبط أداة رصد العناصر لحالة الاستخدام الخاصة بك باستخدام كائن CustomObjectDetectorOptions. يمكنك تغيير الإعدادات التالية:

إعدادات أداة رصد العناصر
وضع الرصد STREAM_MODE (تلقائي) | SINGLE_IMAGE_MODE

في STREAM_MODE (تلقائي)، تعمل أداة رصد العناصر بزمن انتقال منخفض، ولكن قد تنتج نتائج غير مكتملة (مثل مربّعات حدود أو تصنيفات فئات غير محدّدة) في أول بضع طلبات من أداة الرصد. في STREAM_MODE أيضًا، تمنح أداة الرصد أرقام تعريف للتتبُّع للعناصر، يمكنك استخدامها لتتبُّع العناصر في جميع الإطارات. استخدِم هذا الوضع عندما تريد تتبُّع العناصر، أو عندما يكون زمن الانتقال المنخفض مهمًا، مثلاً عند معالجة بث الفيديو في الوقت الفعلي.

في SINGLE_IMAGE_MODE، تعرض أداة رصد العناصر النتيجة بعد تحديد مربّع حدود العنصر. إذا فعّلت التصنيف أيضًا، ستعرض النتيجة بعد توفّر كلّ من مربّع الحدود وتصنيف الفئة. نتيجةً لذلك، يكون زمن انتقال الرصد أعلى على الأرجح. في SINGLE_IMAGE_MODE أيضًا، لا يتم منح أرقام تعريف للتتبُّع. استخدِم هذا الوضع إذا لم يكن زمن الانتقال مهمًا ولم تكن تريد التعامل مع النتائج الجزئية.
رصد عناصر متعدّدة وتتبُّعها false (تلقائي) | true

ما إذا كان سيتم رصد ما يصل إلى خمسة عناصر وتتبُّعها أو رصد العنصر الأبرز فقط (تلقائي)

تصنيف العناصر false (تلقائي) | true

ما إذا كان سيتم تصنيف العناصر التي تم رصدها باستخدام نموذج التصنيف المخصّص المقدَّم أم لا لاستخدام نموذج التصنيف المخصّص ، عليك ضبط هذا الخيار على true.

الحد الأدنى لمستوى الموثوقية في التصنيف

الحد الأدنى لنتيجة الدقة للتصنيفات التي تم رصدها إذا لم يتم ضبط هذا الخيار، سيتم استخدام أي حد أدنى للتصنيف تحدّده بيانات النموذج الوصفية. إذا لم يكن النموذج يحتوي على أي بيانات وصفية أو إذا لم تحدّد البيانات الوصفية حدًا أدنى للتصنيف، سيتم استخدام حد أدنى تلقائي يبلغ 0.0.
الحد الأقصى للتصنيفات لكل عنصر

الحد الأقصى لعدد التصنيفات لكل عنصر التي ستعرضها أداة الرصد إذا لم يتم ضبط هذا الخيار، سيتم استخدام القيمة التلقائية 10.

تم تحسين واجهة برمجة التطبيقات لرصد العناصر وتتبُّعها لحالتَي الاستخدام الأساسيتَين التاليتَين:

  • الرصد والتتبُّع المباشرَين للعنصر الأبرز في عدسة الكاميرا
  • رصد عناصر متعدّدة من صورة ثابتة

لضبط واجهة برمجة التطبيقات لحالتَي الاستخدام هاتَين، باستخدام نموذج مُجمَّع محليًا:

Kotlin

// Live detection and tracking
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

// Multiple object detection in static images
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)

جافا

// Live detection and tracking
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

// Multiple object detection in static images
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

ObjectDetector objectDetector =
    ObjectDetection.getClient(customObjectDetectorOptions);

إذا كان لديك نموذج مُستضاف عن بُعد، عليك التأكّد من تنزيله قبل تشغيله.

على الرغم من أنّه عليك تأكيد ذلك قبل تشغيل أداة الرصد فقط، إذا كان لديك نموذج مُستضاف عن بُعد ونموذج مُجمَّع محليًا، قد يكون من المنطقي إجراء هذا الفحص عند إنشاء أداة رصد الصور: أنشئ أداة رصد من النموذج المُستضاف عن بُعد إذا تم تنزيله، ومن النموذج المحلي بخلاف ذلك.

Kotlin

val modelFile = File(context.cacheDir, "my_remote_model.tflite")

val model = if (modelFile.exists()) {
    // Use the downloaded model if available
    LocalModel.Builder().setAbsoluteFilePath(modelFile.absolutePath).build()
} else {
    // Fall back to the bundled model
    LocalModel.Builder().setAssetFilePath("model.tflite").build()
}

val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(model)
        .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)

جافا

File modelFile = new File(context.getCacheDir(), "my_remote_model.tflite");

LocalModel model;
if (modelFile.exists()) {
    // Use the downloaded model if available
    model = new LocalModel.Builder().setAbsoluteFilePath(modelFile.getAbsolutePath()).build();
} else {
    // Fall back to the bundled model
    model = new LocalModel.Builder().setAssetFilePath("model.tflite").build();
}

CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(model)
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

ObjectDetector objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions);

إذا كان لديك نموذج مُستضاف عن بُعد فقط، عليك إيقاف الوظائف المتعلقة بالنموذج، مثلاً تعتيم جزء من واجهة المستخدم أو إخفاؤه، إلى أن تؤكّد تنزيل النموذج.

Kotlin

val localFile = File(context.cacheDir, "my_remote_model.tflite")
if (localFile.exists()) {
    // Model is already cached, initialize immediately
    initializeDetector(localFile)
} else {
    // Model is not yet available, show loading UI and start download
    showLoadingUI()
    val storage = Firebase.storage
    val modelRef = storage.getReferenceFromUrl("gs://YOUR_BUCKET/path/to/model.tflite")
    modelRef.getFile(localFile)
        .addOnSuccessListener {
            // Download complete, initialize the detector
            hideLoadingUI()
            initializeDetector(localFile)
        }
        .addOnFailureListener {
            // Handle download error
            showErrorUI()
        }
}

private fun initializeDetector(modelFile: File) {
    val localModel = LocalModel.Builder().setAbsoluteFilePath(modelFile.absolutePath).build()
    val customObjectDetectorOptions = CustomObjectDetectorOptions.Builder(localModel)
            .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
            .enableClassification()
            .build()
    val objectDetector = ObjectDetection.getClient(customObjectDetectorOptions)
    // Enable ML-related UI features here
    enableMLFeatures(objectDetector)
}

جافا

File localFile = new File(context.getCacheDir(), "my_remote_model.tflite");
if (localFile.exists()) {
    // Model is already cached, initialize immediately
    initializeDetector(localFile);
} else {
    // Model is not yet available, show loading UI and start download
    showLoadingUI();
    FirebaseStorage storage = FirebaseStorage.getInstance();
    StorageReference modelRef = storage.getReferenceFromUrl("gs://YOUR_BUCKET/path/to/model.tflite");
    modelRef.getFile(localFile)
        .addOnSuccessListener(new OnSuccessListener<FileDownloadTask.TaskSnapshot>() {
            @Override
            public void onSuccess(FileDownloadTask.TaskSnapshot taskSnapshot) {
                // Download complete, initialize the detector
                hideLoadingUI();
                initializeDetector(localFile);
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception exception) {
                // Handle download error
                showErrorUI();
            }
        });
}

private void initializeDetector(File modelFile) {
    LocalModel localModel = new LocalModel.Builder().setAbsoluteFilePath(modelFile.getAbsolutePath()).build();
    CustomObjectDetectorOptions customObjectDetectorOptions =
            new CustomObjectDetectorOptions.Builder(localModel)
                    .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                    .enableClassification()
                    .build();
    ObjectDetector objectDetector = ObjectDetection.getClient(customObjectDetectorOptions);
    // Enable ML-related UI features here
    enableMLFeatures(objectDetector);
}

3- تجهيز الصورة المُدخَلة

أنشئ كائن InputImage من صورتك. تعمل أداة رصد العناصر مباشرةً من Bitmap أو ByteBuffer بتنسيق NV21 أو media.Image بتنسيق YUV_420_888. يُنصح بإنشاء كائن InputImage من هذه المصادر إذا كان بإمكانك الوصول مباشرةً إلى أحدها. إذا أنشأت كائن InputImage من مصادر أخرى، سنتولّى عملية التحويل داخليًا وقد تكون أقل فعالية.

يمكنك إنشاء كائن InputImage من مصادر مختلفة، موضّحة أدناه.

استخدام media.Image

لإنشاء كائن InputImage من كائن media.Image، مثلاً عند التقاط صورة من كاميرا الجهاز، مرِّر كائن media.Image وتدوير الصورة إلى InputImage.fromMediaImage().

إذا كنت تستخدم مكتبة CameraX، تحسب الفئتَين OnImageCapturedListener و ImageAnalysis.Analyzer قيمة التدوير لك.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

جافا

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا كنت لا تستخدم مكتبة كاميرا تمنحك درجة تدوير الصورة، يمكنك حسابها من درجة تدوير الجهاز واتجاه مستشعر الكاميرا في الجهاز:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}

جافا

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، مرِّر الكائن media.Image وقيمة درجة التدوير إلى InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام معرّف موارد منتظم (URI) لملف

لإنشاء كائن InputImage من معرّف موارد منتظم (URI) لملف، مرِّر سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى InputImage.fromFilePath(). يكون ذلك مفيدًا عند استخدام هدف ACTION_GET_CONTENT لتشجيع المستخدم على اختيار صورة من تطبيق معرض الصور.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استخدام ByteBuffer أو ByteArray

لإنشاء كائن InputImage من ByteBuffer أو ByteArray ، احسب أولاً درجة تدوير الصورة كما سبق وصفه لإدخال media.Image. بعد ذلك، أنشئ الكائن InputImage باستخدام المخزن المؤقت أو المصفوفة، بالإضافة إلى ارتفاع الصورة وعرضها وتنسيق ترميز الألوان ودرجة التدوير:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

جافا

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);

استخدام Bitmap

لإنشاء كائن InputImage من كائن Bitmap ، أنشئ الإعلان التالي:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

يتم تمثيل الصورة باستخدام كائن Bitmap بالإضافة إلى درجات التدوير.

4- تشغيل أداة رصد العناصر

Kotlin

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (detectedObject in results) {
          // ...
        }
    });

جافا

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (DetectedObject detectedObject : results) {
          // ...
        }
    });

5- الحصول على معلومات عن العناصر التي تم تصنيفها

إذا نجح طلب process() ، يتم تمرير قائمة DetectedObject إلى مستمع النجاح.

يحتوي كل DetectedObject على الخصائص التالية:

مربّع الحدود Rect يشير إلى موضع العنصر في الـ صورة.
رقم تعريف التتبّع عدد صحيح يعرّف العنصر في جميع الصور يكون فارغًا في `SINGLE_IMAGE_MODE`
التصنيفات
وصف التصنيف الوصف النصي للتصنيف لا يتم عرضه إلا إذا كانت البيانات الوصفية لنموذج LiteRT تحتوي على أوصاف التصنيفات.
فهرس التصنيف فهرس التصنيف من بين جميع التصنيفات التي تتيحها أداة التصنيف
دقة التصنيف قيمة الدقة لتصنيف العنصر

Kotlin

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (detectedObject in results) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
      val text = label.text
      val index = label.index
      val confidence = label.confidence
    }
}

جافا

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : results) {
  Rect boundingBox = detectedObject.getBoundingBox();
  Integer trackingId = detectedObject.getTrackingId();
  for (Label label : detectedObject.getLabels()) {
    String text = label.getText();
    int index = label.getIndex();
    float confidence = label.getConfidence();
  }
}

ضمان تجربة رائعة للمستخدم

للحصول على أفضل تجربة للمستخدم، اتّبِع الإرشادات التالية في تطبيقك:

  • يعتمد رصد العناصر بنجاح على درجة تعقيدها المرئية. لكي يتم رصد العناصر التي تحتوي على عدد صغير من الميزات المرئية، قد تحتاج إلى أن تشغل جزءًا أكبر من الصورة. عليك تزويد المستخدمين بإرشادات حول التقاط الإدخالات التي تعمل بشكل جيد مع نوع العناصر التي تريد رصدها.
  • عند استخدام التصنيف، إذا كنت تريد رصد العناصر التي لا تندرج بشكل واضح ضمن الفئات المتوافقة، نفِّذ معالجة خاصة للعناصر غير المعروفة.

يمكنك أيضًا الاطّلاع على تطبيق العرض التوضيحي لنظام التصميم المتعدد الأبعاد في حزمة تعلّم الآلة ومجموعة أنماط التصميم المتعدد الأبعاد للميزات المستندة إلى تعلّم الآلة.

تحسين الأداء

إذا كنت تريد استخدام ميزة رصد العناصر في تطبيق في الوقت الفعلي، اتّبِع الإرشادات التالية لتحقيق أفضل معدلات الإطارات:

  • عند استخدام وضع البث في تطبيق في الوقت الفعلي، لا تستخدِم ميزة رصد العناصر المتعدّدة، لأنّ معظم الأجهزة لن تتمكّن من إنتاج معدلات إطارات مناسبة.

  • إذا كنت تستخدم واجهة برمجة التطبيقات Camera أو camera2 ، قلِّل عدد طلبات البيانات من أداة الرصد. إذا أصبح إطار فيديو جديد متاحًا أثناء تشغيل أداة الرصد، يمكنك حذف الإطار. يمكنك الاطّلاع على الفئة VisionProcessorBase في نموذج تطبيق البدء السريع للحصول على مثال.
  • إذا كنت تستخدم واجهة برمجة التطبيقات CameraX، تأكَّد من ضبط استراتيجية الضغط الخلفي على القيمة التلقائية ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. يضمن ذلك تسليم صورة واحدة فقط للتحليل في كل مرة. إذا تم إنتاج المزيد من الصور عندما تكون أداة التحليل مشغولة، سيتم حذفها تلقائيًا ولن يتم وضعها في قائمة الانتظار للتسليم. بعد إغلاق الصورة التي يتم تحليلها عن طريق طلب ImageProxy.close()، سيتم تسليم أحدث صورة تالية.
  • إذا كنت تستخدم ناتج أداة الرصد لتراكب الرسومات على الصورة المُدخَلة، احصل أولاً على النتيجة من حزمة تعلّم الآلة، ثم اعرض الصورة والتراكب في خطوة واحدة. يتم عرض ذلك على سطح العرض مرة واحدة فقط لكل إطار إدخال. يمكنك الاطّلاع على الفئتَين CameraSourcePreview و GraphicOverlay في نموذج تطبيق البدء السريع للحصول على مثال.
  • إذا كنت تستخدم Camera2 API، التقط الصور بتنسيق ImageFormat.YUV_420_888 إذا كنت تستخدم Camera API الأقدم، التقط الصور بتنسيق ImageFormat.NV21