تصنيف المواضيع باستخدام حزمة تعلّم الآلة لنظام التشغيل Android

استخدِم حزمة تعلُّم الآلة لإضافة ميزات تصنيف المواضيع إلى تطبيقك بسهولة.

التجربة الآن

• جرّب نموذج التطبيق للاطّلاع على مثال لاستخدام واجهة برمجة التطبيقات هذه.

قبل البدء

1. في ملف build.gradle على مستوى المشروع، تأكَّد من تضمين مستودع Maven من Google في كل من القسمَين buildscript وallprojects.
2. أضِف التبعية لمكتبة تصنيف مواضيع ML Kit إلى ملف Gradle على مستوى التطبيق في الوحدة، والذي يكون عادةً app/build.gradle:

dependencies {
   implementation 'com.google.android.gms:play-services-mlkit-subject-segmentation:16.0.0-beta1'
}

كما ورد أعلاه، يتم توفير النموذج من خلال خدمات Google Play. يمكنك إعداد تطبيقك لتنزيل النموذج تلقائيًا على الجهاز بعد تثبيت التطبيق من متجر Play. ولإجراء ذلك، أضِف البيان التالي إلى ملف AndroidManifest.xml الخاص بتطبيقك:

<application ...>
      ...
      <meta-data
          android:name="com.google.mlkit.vision.DEPENDENCIES"
          android:value="subject_segment" >
      <!-- To use multiple models: android:value="subject_segment,model2,model3" -->
</application>

ويمكنك أيضًا التحقّق بشكل واضح من مدى توفّر النموذج وطلب التنزيل من خلال "خدمات Google Play" باستخدام ModuleInstallClient API.

في حال عدم تفعيل عمليات تنزيل نموذج وقت التثبيت أو طلب تنزيل صريح، يتم تنزيل النموذج في المرة الأولى التي يتم فيها تشغيل التقسيم. لا تعرض الطلبات التي تقدمها قبل اكتمال التنزيل أي نتائج.

1- تجهيز صورة الإدخال

لتقسيم صورة، يمكنك إنشاء كائن InputImage من Bitmap أو media.Image أو ByteBuffer أو صفيف بايت أو ملف على الجهاز.

يمكنك إنشاء عنصر InputImage من مصادر مختلفة، وتم توضيح كلّ منها أدناه.

استخدام media.Image

لإنشاء عنصر InputImage من عنصر media.Image، مثلاً عند التقاط صورة من كاميرا جهاز، مرِّر العنصر media.Image وتدوير الصورة إلى InputImage.fromMediaImage().

إذا كنت تستخدم مكتبة CameraX، ستحتسب الفئتان OnImageCapturedListener وImageAnalysis.Analyzer قيمة التدوير نيابةً عنك.

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا كنت لا تستخدم مكتبة كاميرا توفّر لك درجة تدوير الصورة، يمكنك احتسابها من درجة تدوير الجهاز واتجاه أداة استشعار الكاميرا في الجهاز:

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، مرِّر الكائن media.Image وقيمة درجة الدوران إلى InputImage.fromMediaImage():

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام معرّف موارد منتظم (URI) للملف

لإنشاء عنصر InputImage من معرّف الموارد المنتظم (URI) الخاص بالملف، أدخِل سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى InputImage.fromFilePath(). ويكون هذا الإجراء مفيدًا إذا كنت تستخدم هدف ACTION_GET_CONTENT لتطلب من المستخدم اختيار صورة من تطبيق معرض الصور.

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استخدام ByteBuffer أو ByteArray

لإنشاء عنصر InputImage من ByteBuffer أو ByteArray، احسب أولاً درجة تدوير الصورة كما هو موضّح سابقًا لإدخال media.Image. بعد ذلك، يمكنك إنشاء الكائن InputImage باستخدام المخزن المؤقت أو المصفوفة مع ارتفاع الصورة وعرضها وتنسيق ترميز اللون ودرجة التدوير:

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

استخدام Bitmap

لإنشاء كائن InputImage من كائن Bitmap، يجب تقديم البيان التالي:

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

يتم تمثيل الصورة بكائن Bitmap مع درجات تدوير.

2- إنشاء مثيل لـ SubjectCliper

تحديد خيارات أداة التقسيم

لتقسيم صورتك، أنشئ أولاً مثيل SubjectSegmenterOptions على النحو التالي:

val options = SubjectSegmenterOptions.Builder()
       // enable options
       .build()

SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder()
        // enable options
        .build();

في ما يلي تفاصيل كل خيار:

قناع ثقة في المقدمة

ويتيح لك قناع الثقة في المقدّمة التمييز بين الهدف والخلفية.

يتيح لك استدعاء enableForegroundConfidenceMask() في الخيارات استرداد قناع المقدمة لاحقًا من خلال استدعاء getForegroundMask() على الكائن SubjectSegmentationResult الذي تم عرضه بعد معالجة الصورة.

val options = SubjectSegmenterOptions.Builder()
        .enableForegroundConfidenceMask()
        .build()

SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder()
        .enableForegroundConfidenceMask()
        .build();

صورة نقطية في المقدمة

وبالمثل، يمكنك أيضًا الحصول على صورة نقطية لموضوع المقدّمة.

يتيح لك استدعاء enableForegroundBitmap() في الخيارات استرداد الصورة النقطية في وقت لاحق من خلال استدعاء getForegroundBitmap() على الكائن SubjectSegmentationResult الذي تم عرضه بعد معالجة الصورة.

val options = SubjectSegmenterOptions.Builder()
        .enableForegroundBitmap()
        .build()

SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder()
        .enableForegroundBitmap()
        .build();

قناع ثقة متعدِّد المواضيع

كما هو الحال في خيارات المقدّمة، يمكنك استخدام SubjectResultOptions لتفعيل قناع الثقة لكل موضوع في المقدّمة على النحو التالي:

val subjectResultOptions = SubjectSegmenterOptions.SubjectResultOptions.Builder()
    .enableConfidenceMask()
    .build()

val options = SubjectSegmenterOptions.Builder()
    .enableMultipleSubjects(subjectResultOptions)
    .build()

SubjectResultOptions subjectResultOptions =
        new SubjectSegmenterOptions.SubjectResultOptions.Builder()
            .enableConfidenceMask()
            .build()

SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder()
      .enableMultipleSubjects(subjectResultOptions)
      .build()

صورة نقطية متعددة المواضيع

وبالمثل، يمكنك تمكين الصورة النقطية لكل موضوع:

val subjectResultOptions = SubjectSegmenterOptions.SubjectResultOptions.Builder()
    .enableSubjectBitmap()
    .build()

val options = SubjectSegmenterOptions.Builder()
    .enableMultipleSubjects(subjectResultOptions)
    .build()

SubjectResultOptions subjectResultOptions =
      new SubjectSegmenterOptions.SubjectResultOptions.Builder()
        .enableSubjectBitmap()
        .build()

SubjectSegmenterOptions options = new SubjectSegmenterOptions.Builder()
      .enableMultipleSubjects(subjectResultOptions)
      .build()

إنشاء مقطع الموضوع

بعد تحديد خيارات SubjectSegmenterOptions، يمكنك إنشاء مثيل SubjectSegmenter الذي يستدعي getClient() وتمرير الخيارات كمَعلمة:

val segmenter = SubjectSegmentation.getClient(options)

SubjectSegmenter segmenter = SubjectSegmentation.getClient(options);

3- معالجة صورة

نقْل كائن InputImage المعدّ إلى طريقة process في SubjectSegmenter:

segmenter.process(inputImage)
    .addOnSuccessListener { result ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

segmenter.process(inputImage)
    .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(SubjectSegmentationResult result) {
                // Task completed successfully
                // ...
            }
        })
        .addOnFailureListener(new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

4. الحصول على نتيجة تصنيف الموضوع

استرداد أقنعة المقدّمة والصور النقطية

بعد المعالجة، يمكنك استرداد قناع المقدّمة للصورة التي تطلبها getForegroundConfidenceMask() على النحو التالي:

val colors = IntArray(image.width * image.height)

val foregroundMask = result.foregroundConfidenceMask
for (i in 0 until image.width * image.height) {
  if (foregroundMask[i] > 0.5f) {
    colors[i] = Color.argb(128, 255, 0, 255)
  }
}

val bitmapMask = Bitmap.createBitmap(
  colors, image.width, image.height, Bitmap.Config.ARGB_8888
)

int[] colors = new int[image.getWidth() * image.getHeight()];

FloatBuffer foregroundMask = result.getForegroundConfidenceMask();
for (int i = 0; i < image.getWidth() * image.getHeight(); i++) {
  if (foregroundMask.get() > 0.5f) {
    colors[i] = Color.argb(128, 255, 0, 255);
  }
}

Bitmap bitmapMask = Bitmap.createBitmap(
      colors, image.getWidth(), image.getHeight(), Bitmap.Config.ARGB_8888
);

يمكنك أيضًا استرداد صورة نقطية لمقدمة الصورة باستدعاء getForegroundBitmap():

val foregroundBitmap = result.foregroundBitmap

Bitmap foregroundBitmap = result.getForegroundBitmap();

استرداد الأقنعة والصور النقطية لكل موضوع

وبالمثل، يمكنك استرداد القناع الخاص بالأهداف المقسّمة من خلال طلب الرمز getConfidenceMask() على كل موضوع على النحو التالي:

val subjects = result.subjects

val colors = IntArray(image.width * image.height)
for (subject in subjects) {
  val mask = subject.confidenceMask
  for (i in 0 until subject.width * subject.height) {
    val confidence = mask[i]
    if (confidence > 0.5f) {
      colors[image.width * (subject.startY - 1) + subject.startX] =
          Color.argb(128, 255, 0, 255)
    }
  }
}

val bitmapMask = Bitmap.createBitmap(
  colors, image.width, image.height, Bitmap.Config.ARGB_8888
)

List subjects = result.getSubjects();

int[] colors = new int[image.getWidth() * image.getHeight()];
for (Subject subject : subjects) {
  FloatBuffer mask = subject.getConfidenceMask();
  for (int i = 0; i < subject.getWidth() * subject.getHeight(); i++) {
    float confidence = mask.get();
    if (confidence > 0.5f) {
      colors[width * (subject.getStartY() - 1) + subject.getStartX()]
          = Color.argb(128, 255, 0, 255);
    }
  }
}

Bitmap bitmapMask = Bitmap.createBitmap(
  colors, image.width, image.height, Bitmap.Config.ARGB_8888
);

يمكنك أيضًا الوصول إلى الصورة النقطية لكل موضوع مقسم على النحو التالي:

val bitmaps = mutableListOf()
for (subject in subjects) {
  bitmaps.add(subject.bitmap)
}

List bitmaps = new ArrayList<>();
for (Subject subject : subjects) {
  bitmaps.add(subject.getBitmap());
}

نصائح لتحسين الأداء

بالنسبة إلى كل جلسة تطبيق، غالبًا ما يكون الاستنتاج الأول أبطأ من الاستنتاجات اللاحقة بسبب إعداد النموذج. إذا كان وقت الاستجابة المنخفض أمرًا بالغ الأهمية، ففكر في استدعاء استنتاج "وهمي" مسبقًا.

تعتمد جودة النتائج على جودة الصورة التي يتم إدخالها:

• لكي تحصل أدوات تعلّم الآلة على نتيجة تصنيف دقيقة إلى أقسام، يجب ألا يقل حجم الصورة عن 512×512 بكسل.
• ويمكن أن يؤثّر التركيز الضعيف في الصورة أيضًا في الدقة. إذا لم تحصل على نتائج مقبولة، اطلب من المستخدم إعادة التقاط الصورة.