باستخدام واجهة برمجة التطبيقات الخاصة بتتبُّع الكائنات ورصدها على الجهاز فقط ضمن ML Kit، يمكنك رصد العناصر وتتبّعها في صورة أو خلاصة كاميرا مباشرة.
يمكنك اختياريًا تصنيف العناصر التي تم رصدها، إما باستخدام المصنِّف التقريبي المضمَّن في واجهة برمجة التطبيقات أو باستخدام نموذجك المخصّص لتصنيف الصور. راجع استخدام نموذج TensorFlow Lite المخصص للحصول على مزيد من المعلومات.
بما أنّ رصد الأجسام وتتبعها يحدث على الجهاز، فهي تعمل بشكل جيد مثل الواجهة الأمامية لمسار البحث المرئي. بعد رصد الكائنات وفلترتها، يمكنك تمريرها إلى خلفية سحابية، مثل Cloud Vision Product Search.
الإمكانات الرئيسية
- الرصد السريع للأجسام وتتبّعها يمكنك رصد الأجسام والحصول على مواقعها في الصورة. تتبع الكائنات عبر إطارات الصور المتتالية.
- نموذج محسّن على الجهاز فقط تم تحسين نموذج رصد الأشياء وتتبعها للأجهزة الجوّالة ومُصمَّم للاستخدام في تطبيقات الوقت الفعلي، حتى على الأجهزة المنخفضة.
- رصد العناصر البارزة يمكنك تحديد الشيء الأكثر بروزًا في الصورة تلقائيًا.
- التصنيف التقريبي يمكنك تصنيف الكائنات إلى فئات واسعة يمكنك استخدامها لفلترة الكائنات التي لا تهمّك. يتم دعم الفئات التالية: السلع المنزلية، وسلع الأزياء، والطعام، والنباتات، والأماكن.
- التصنيف باستخدام نموذج مخصّص يمكنك استخدام نموذج تصنيف الصور المخصّص لتحديد فئات عناصر معيّنة أو فلترتها. اجعل النموذج المخصّص يحقّق أداءً أفضل من خلال إغفال خلفية الصورة.
أمثلة النتائج
تتبع الكائن الأكثر بروزًا عبر الصور
يوضّح المثال أدناه بيانات التتبّع من ثلاثة إطارات متتالية باستخدام المصنِّف التلقائي التقريبي الذي توفّره ML Kit.
|
|||||||||
|
|||||||||
|
الصورة: كريستيان فيرير [CC BY-SA 4.0]
عناصر متعددة في صورة ثابتة
يوضح المثال أدناه بيانات الكائنات الأربعة المكتشفة في الصورة باستخدام المصنِّف التلقائي الذي يوفره ML Kit.
الكائن 0 | |
---|---|
الحدود | (1، 97)، (332، 97)، (332، 332)، (1، 332) |
الفئة | FASHION_GOOD |
ثقة التصنيف | 0.95703125 |
الكائن 1 | |
الحدود | (186، 80)، (337، 80)، (337، 226)، (186، 226) |
الفئة | FASHION_GOOD |
ثقة التصنيف | 0.84375 |
الكائن 2 | |
الحدود | (296، 80)، (472، 80)، (472، 388)، (296، 388) |
الفئة | FASHION_GOOD |
ثقة التصنيف | 0.94921875 |
الكائن 3 | |
الحدود | (439، 83)، (615، 83)، (615، 306)، (439، 306) |
الفئة | FASHION_GOOD |
ثقة التصنيف | 0.9375 |
استخدام نموذج TensorFlow Lite المخصّص
صُمم المصنِّف التلقائي التقريبي لخمس فئات لتقديم معلومات محدودة عن الكائنات المكتشفة. قد تحتاج إلى نموذج مصنِّف أكثر تخصصًا يغطي نطاقًا أضيق من المفاهيم بمزيد من التفصيل. على سبيل المثال، نموذج للتمييز بين أنواع الزهور أو أنواع الطعام.
تتيح لك واجهة برمجة التطبيقات هذه إمكانية التخصيص وفق حالة استخدام معيّنة من خلال إتاحة نماذج تصنيف صور مخصّصة من مجموعة كبيرة من المصادر. يُرجى الرجوع إلى مقالة النماذج المخصّصة باستخدام حزمة تعلّم الآلة لمزيد من المعلومات. يمكن إرفاق النماذج المخصّصة مع تطبيقك أو تنزيلها ديناميكيًا من السحابة الإلكترونية باستخدام خدمة نشر النموذج من خلال تعلُّم الآلة من Firebase.
المعالجة المسبقة للصور المدخلة
عند الحاجة، يتم استخدام تقليص الصور ورصدها بشكل ثنائي الخطي لضبط حجم الصورة المدخلة ونسبة العرض إلى الارتفاع بحيث تتناسب مع متطلبات النموذج الأساسي.