باستخدام واجهة برمجة التطبيقات الخاصة بتتبع الكائنات واكتشافها على الجهاز من خلال ML Kit، يمكنك اكتشاف الكائنات وتتبعها في صورة أو خلاصة كاميرا مباشرة.
اختياريًا، يمكنك تصنيف الكائنات التي تم اكتشافها، إما باستخدام أداة التصنيف التقريبية المضمنة في واجهة برمجة التطبيقات، أو باستخدام نموذج تصنيف الصور المخصص. راجع استخدام نموذج TensorFlow Lite المخصّص للحصول على مزيد من المعلومات.
ونظرًا لأن اكتشاف الكائنات وتتبعها على الجهاز يعمل جيدًا مثل الواجهة الأمامية لخط البحث المرئي. بعد اكتشاف الكائنات وتصفيتها، يمكنك تمريرها إلى خلفية على السحاب، مثل Cloud Product Vision.
الإمكانات الأساسية
- الاكتشاف السريع للكائنات وتتبُّعها يمكنك اكتشاف الكائنات والحصول على مواقعها في الصورة. تتبع الكائنات عبر إطارات الصور المتتالية.
- نموذج محسّن للأجهزة فقط تم تحسين نموذج رصد الكائنات وتتبُّعها على أجهزة الجوّال، كما أنّها مصمّمة للاستخدام في التطبيقات في الوقت الفعلي، حتى على الأجهزة المتطورة.
- اكتشاف الكائن البارز حدد الكائن الأبرز في الصورة تلقائيًا.
- التصنيف التقريبي تصنيف الكائنات إلى فئات واسعة، والتي يمكن استخدامها لتصفية العناصر التي لا تهتم بها. تتوفر الفئات التالية: السلع المنزلية وأزياء الموضة والطعام والنباتات والأماكن.
- التصنيف باستخدام نموذج مخصّص يمكنك استخدام نموذج تصنيف الصور المخصّص لتحديد فئات الكائنات المحدّدة أو فلترتها. يمكنك تحسين أداء النموذج المخصّص باستبعاد خلفية الصورة.
أمثلة النتائج
تتبع الكائن الأبرز عبر الصور
يوضّح المثال أدناه بيانات التتبّع من ثلاثة إطارات متعاقبة باستخدام المصنّف التلقائي التقريبي الذي توفره ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
الصورة: "كريستيان فيرير" [CC BY-SA 4.0]
كائنات متعددة في صورة ثابتة
يوضّح المثال أدناه بيانات الكائنات الأربعة التي تم رصدها في الصورة باستخدام أداة التصنيف التقريبية التي يوفّرها ML Kit.
| الكائن 0 | |
|---|---|
| الحدود | (1، 97)، (332، 97)، (332، 332)، (1، 332) |
| الفئة | الموضة_الجيدة |
| ثقة التصنيف | 0.95703125 |
| الكائن 1 | |
| الحدود | (186، 80)، (337، 80)، (337، 226)، (186، 226) |
| الفئة | الموضة_الجيدة |
| ثقة التصنيف | 0.84375 |
| الكائن 2 | |
| الحدود | (296 و80) و(472 و80) و(472 و388) و(296 و388) |
| الفئة | الموضة_الجيدة |
| ثقة التصنيف | 0.94921875 |
| الكائن 3 | |
| الحدود | (439، 83)، (615، 83)، (615، 306)، (439، 306) |
| الفئة | الموضة_الجيدة |
| ثقة التصنيف | 0.9375 |
استخدام نموذج TensorFlow Lite المخصّص
تم إنشاء أداة التصنيف التقريبية لخمس فئات، مع توفير معلومات محدودة عن الكائنات التي تم اكتشافها. قد تحتاج إلى نموذج مصنِّف أكثر تخصصًا يغطي نطاقًا أضيق من المفاهيم بمزيد من التفصيل، على سبيل المثال، نموذج للتمييز بين أنواع الأزهار أو أنواع الطعام.
تسمح لك واجهة برمجة التطبيقات هذه بتخصيص حالة استخدام معينة عن طريق دعم نماذج تصنيف الصور المخصصة من نطاق واسع من المصادر. يُرجى الرجوع إلى النماذج المخصّصة باستخدام ML Kit لمزيد من المعلومات. يمكن تجميع النماذج المخصّصة مع تطبيقك أو تنزيلها ديناميكيًا من السحابة الإلكترونية باستخدام خدمة نشر نماذج Firebase Machine Learning.
نظام التشغيل iOS نظام التشغيل Android
المعالجة المسبقة لصور الإدخال
إذا لزم الأمر، تستخدم ميزة اكتشاف الكائنات وتتبعها تغيير حجم الصورة بشكل ثنائي الطول وتمديده لضبط حجم صورة الإدخال ونسبة العرض إلى الارتفاع بحيث تتناسب مع متطلبات النموذج الأساسي.