تستفيد واجهات برمجة التطبيقات ML Kit تلقائيًا من نماذج تعلُّم الآلة المدرَّبة من Google. هذه النماذج مصممة لتغطية مجموعة واسعة من التطبيقات. ومع ذلك، تتطلب بعض حالات الاستخدام نماذج أكثر استهدافًا. لهذا السبب، تتيح لك بعض واجهات برمجة تطبيقات ML Kit الآن استبدال النماذج الافتراضية بنماذج TensorFlow Lite المخصصة.
تقدم كل من Image Labeling واكتشاف الكائنات وتتبعها دعماً لنماذج تصنيف الصور المخصصة. تتوافق مع مجموعة مختارة من النماذج المدربة مسبقًا عالية الجودة على TensorFlow Hub أو النموذج المخصص الذي تم تدريبه باستخدام TensorFlow أو AutoML Vision Edge أو TensorFlow Lite مصمم النماذج.
إذا كنت بحاجة إلى حل مخصّص لنطاقات أو حالات استخدام أخرى، انتقِل إلى صفحة "تعلّم الآلة على الجهاز فقط" للحصول على إرشادات حول جميع حلول Google وأدواتها لتعلّم الآلة على الجهاز.
مزايا استخدام ML Kit مع النماذج المخصّصة
في ما يلي فوائد استخدام نموذج تصنيف صور مخصص مع ML Kit:
- واجهات برمجة تطبيقات سهلة الاستخدام ذات المستوى العالي - لن تحتاج إلى التعامل مع النموذج ذي المستوى المنخفض من الإدخال/الإخراج، أو معالجة الصور قبل/ما بعد المعالجة أو إنشاء خط معالجة.
- لا داعي للقلق بشأن تعيين التصنيفات بنفسك، فإن ML Kit تستخلص التصنيفات من البيانات الوصفية لنماذج TFLite وتتولى عملية التعيين نيابةً عنك.
- يدعم النماذج المُخصصة من مجموعة واسعة من المصادر، بدءًا من النماذج المدرَّبة مسبقًا المنشورة على TensorFlow Hub إلى النماذج الجديدة المدرَّبة باستخدام TensorFlow أو AutoML Vision Edge أو TensorFlow Lite Maker Maker.
- يدعم النماذج المستضافة باستخدام Firebase. تقليل حجم APK من خلال تنزيل النماذج عند الطلب. يمكنك نشر تحديثات النماذج بدون إعادة نشر تطبيقك وإجراء اختبار A/B سهل باستخدام ميزة "الإعداد عن بُعد في Firebase".
- تم تحسينه للدمج مع واجهات برمجة تطبيقات الكاميرا لنظام التشغيل Android.
وتحديدًا لاكتشاف الكائنات وتتبعها:
- تحسين دقة التصنيف من خلال تحديد موقع الكائنات أولاً وتشغيل المصنّف فقط في منطقة الصورة ذات الصلة.
- قدِّم تجربة تفاعلية في الوقت الفعلي من خلال تقديم ملاحظات فورية للمستخدمين حول الكائنات أثناء اكتشافها وتصنيفها.
استخدام نموذج تصنيف للصور مدرَّب مسبقًا
يمكنك استخدام نماذج TensorFlow Lite التي تم تدريبها مسبقًا، بشرط أن تستوفي مجموعة من المعايير. من خلال TensorFlow Hub، نقدم مجموعة من النماذج التي تم فحصها - من Google أو من منشئي النماذج الآخرين - التي تتوافق مع هذه المعايير.
استخدام نموذج منشور على TensorFlow Hub
يوفّر TensorFlow Hub مجموعة واسعة من نماذج تصنيف الصور المدرَّبة مسبقًا - من العديد من منشئي النماذج - والتي يمكن استخدامها مع واجهات برمجة التطبيقات لتصنيف الصور ورصد الكائنات وتتبعها. اتبع الخطوات التالية.
- اختَر نموذجًا من مجموعة نماذج ML Kit المتوافقة.
- نزّل ملف نموذج .tflite من صفحة تفاصيل النموذج. حيثما أمكن، اختر تنسيق نموذج مع البيانات الوصفية.
- اتّبِع أدلة واجهة برمجة التطبيقات لتصنيف الصور أو واجهة برمجة التطبيقات لاكتشاف العناصر وتتبّعها حول كيفية تجميع ملف النموذج مع مشروعك واستخدامه في تطبيق Android أو iOS.
تدريب نموذج تصنيف الصور الخاص بك
إذا لم يكن نموذج تصنيف الصورة المدرب مسبقًا يناسب احتياجاتك، فهناك العديد من الطرق لتدريب نموذج TensorFlow Lite الخاص بك، والتي تم توضيح بعضها ومناقشته بمزيد من التفاصيل أدناه.
| خيارات لتدريب نموذج تصنيف الصور الخاص بك | |
|---|---|
| AutoML Vision Edge |
|
| أداة إنشاء النماذج من TensorFlow Lite |
|
| تحويل نموذج TensorFlow إلى TensorFlow Lite |
|
AutoML Vision Edge
يتم دعم نماذج تصنيف الصور التي تم تدريبها باستخدام AutoML Vision Edge من خلال النماذج المخصّصة في واجهات برمجة تطبيقات تصنيف الصور وواجهة برمجة تطبيقات اكتشاف الكائنات وتتبعها. تتيح واجهات برمجة التطبيقات هذه أيضًا تنزيل النماذج التي تتم استضافتها باستخدام ميزة نشر نموذج Firebase.
للتعرُّف على المزيد من المعلومات عن كيفية استخدام نموذج مدرَّب باستخدام AutoML Vision Edge في تطبيقات Android وiOS، يمكنك اتّباع أدلة النماذج المخصّصة لكل واجهة برمجة تطبيقات، بناءً على حالة استخدامك.
TensorFlow Lite - مصمم نماذج
تبسّط مكتبة TFLite Maker Maker عملية تكييف نموذج TensorFlow من الشبكة العصبية وتحويله إلى بيانات إدخال معيّنة عند نشر هذا النموذج لتطبيقات تعلّم الآلة على الجهاز. يمكنك اتّباع التصنيف التعاوني لتصنيف الصور باستخدام TensorFlow Lite Maker Maker.
لمعرفة المزيد حول كيفية استخدام نموذج تم تدريبه باستخدام مصمم النماذج في تطبيقات Android وiOS، اتبع أدلة واجهة برمجة التطبيقات لتصنيف الصور أو واجهة برمجة تطبيقات اكتشاف الكائنات وتتبعها، بناءً على حالة استخدامك.
النماذج التي تم إنشاؤها باستخدام محول TensorFlow Lite
إذا كان لديك نموذج تصنيف صور TensorFlow موجود، يمكنك تحويله باستخدام محوّل TensorFlow Lite. يُرجى التأكد من استيفاء النموذج الذي تم إنشاؤه لمتطلبات التوافق أدناه.
لمزيد من المعلومات حول كيفية استخدام نموذج TensorFlow Lite في تطبيقات Android وiOS، اتبع أدلة واجهة برمجة التطبيقات لتصنيف الصور أو واجهة برمجة التطبيقات لاكتشاف الكائنات وتتبعها، بناءً على حالة استخدامك.
توافق نموذج TensorFlow Lite
يمكنك استخدام أي نموذج مدرَج مسبقًا لتصنيف الصور TensorFlow Lite، شريطة أن يستوفي المتطلبات التالية:
الموتّرات
- يجب ألا يتضمّن النموذج سوى موتّر إدخال واحد مع القيود التالية:
- البيانات بتنسيق RGB بكسل.
- البيانات هي نوع UINT8 أو FLOAT32. إذا كان نوع موتّر الإدخال هو FLOAT32، يجب أن يحدد خيار التسوية من خلال إرفاق البيانات الوصفية.
- يحتوي الموتِّر على 4 أبعاد : BxHxWxC، حيث:
- ويكون B هو حجم الدفعة. يجب أن تكون القيمة 1 (الاستنتاج على الدفعات الأكبر غير متاح).
- العرض والارتفاع هما عرض وارتفاع الإدخال.
- C يمثل عدد القنوات المتوقعة. يجب أن يكون الرقم 3.
- يجب أن يتضمّن النموذج موتّر إخراج واحدًا على الأقل يتضمّن فئات N ومكوّنَين أو 4 أبعاد:
- (1xN)
- (1×1×1×N)
البيانات الوصفية
يمكنك إضافة بيانات وصفية إلى ملف TensorFlow Lite كما هو موضّح في إضافة بيانات وصفية إلى نموذج TensorFlow Lite.
لاستخدام نموذج باستخدام موتّر الإدخال FLOAT32، يجب تحديد normalizationOptions في البيانات الوصفية.
ننصحك أيضًا بإرفاق هذه البيانات الوصفية بموتِّر الإخراج TensorMetadata:
- خريطة تصنيف تحدِّد اسم كل فئة مخرج، كملف AssociatedFile من النوع TENSOR_AXIS_LABELS (وإلا يمكن عرض فهارس فئات الإخراج الرقمية فقط)
- حدّ تلقائي للنتيجة لا يُعرض له مستوى منخفض جدًا من الثقة بحيث لا يمكن عرضه، على أنه ProcessUnit مع ScoreThresholdingOptions