رصد موضع التصوير

تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

تُعد ML Kit Pose Detection API حلاً خفيفًا ومتعدد الاستخدامات يمكن لمطوِّري التطبيقات من خلاله اكتشاف وضع جسم الشخص في الوقت الفعلي من فيديو مستمر أو صورة ثابتة. يصف الوضع موضع الجسم في لحظة ما مع مرور الوقت مع مجموعة من نقاط الهيكل العظمي. وتتطابق المعالم مع أجزاء مختلفة من الجسم مثل الكتفين والورك. يمكن استخدام المواضع النسبية للمعالم للتمييز بين الوضعية ووضع واحد.

نظام التشغيل iOS نظام التشغيل Android

تعمل تقنية ML Kit Pose Detection على إنشاء هيكل عظمي من 33 نقطة لجسم كامل يتضمن معالم الوجه (الأذنين والعينين والفم والأنف) ونقاطًا على اليدين والقدمين. ويوضح الشكل 1 أدناه المعالم التي تنظر من خلال الكاميرا إلى المستخدم، لذلك فهي صورة انعكاسية. يظهر الجانب الأيمن للمستخدم على يمين الصورة:

الشكل 1. المعالم

لا يتطلب اكتشاف وضعية تعلّم الآلة في ML معدات خاصة أو خبرة في تعلّم الآلة لتحقيق نتائج رائعة. وباستخدام هذه التقنية، يمكن لمطوّري البرامج إنشاء تجربة فريدة للمستخدمين من خلال بضعة أسطر من الرموز فقط.

يجب أن يكون وجه المستخدم حاضرًا لكي يرصد الوضعية. يعمل اكتشاف وضعية الجسم بشكل أفضل عند رؤية جسم الشخص بأكمله في الإطار، ولكنه يكتشف أيضًا وضع الجسم الجزئي. في هذه الحالة، يتم تعيين إحداثيات للمعالم التي لم يتم التعرف عليها خارج الصورة.

الإمكانات الأساسية

  • الدعم عبر الأنظمة الأساسية استمتع بالتجربة ذاتها على نظامي التشغيل Android وiOS.
  • تتبع كامل للجسم يعرض النموذج 33 نقطة رئيسية من الهيكل العظمي، بما في ذلك مواضع اليدين والقدمين.
  • نتيجة InFrameLikelihood لكل مَعلم، وهو مقياس يشير إلى احتمالية أن المَعلم ضمن إطار الصورة. تتراوح النتيجة بين 0.0 و1.0، حيث يشير 1.0 إلى مستوى عالٍ من الثقة.
  • حزمتا SDK المحسّنتان تعمل حزمة تطوير البرامج (SDK) الأساسية في الوقت الفعلي على الهواتف الحديثة، مثل هواتف Pixel 4 وiPhone X. فهو يعرض النتائج بمعدل يتراوح من 30 إلى 45 إطارًا في الثانية تقريبًا على التوالي. ومع ذلك، قد تختلف دقة إحداثيات المعالم. تعرض حزمة SDK الدقيقة النتائج بمعدل عرض إطارات أبطأ، ولكنها ينتج عنها قيم إحداثيات أكثر دقة.
  • الإحداثيات Z للتحليل المتعمق يمكن أن تساعد هذه القيمة في تحديد ما إذا كانت أجزاء من جزء نص المستخدم تظهر أمام المستخدمين أو خلفها. لمزيد من المعلومات، راجع القسم إدارة Z أدناه.

تشبه واجهة برمجة تطبيقات "اكتشاف الوضع" واجهة برمجة التطبيقات للتعرّف على الوجوه من حيث عرض مجموعة من المعالم والمواقع الجغرافية. وعلى الرغم من أن ميزة "التعرّف على الوجه" تحاول أيضًا التعرّف على ميزات مثل الفم المبتسم أو العيون المفتوحة، لا تربط ميزة "رصد وضعية الوجه" أي دلالة على النقاط الأرضية في الوضعية أو الوضعية نفسها. يمكنك إنشاء الخوارزميات الخاصة بك لتفسير وضعية. راجع نصائح تصنيف بوس للاطلاع على بعض الأمثلة.

يمكن لميزة "رصد الوضعية" رصد شخص واحد فقط في الصورة. إذا كان هناك شخصان في الصورة، فسيعين النموذج معالم للشخص الذي تم اكتشافه بأعلى مستوى من الثقة.

إحداثي Z

إحداثي Z هو قيمة تجريبية يتم حسابها لكل مَعلم. ويتم قياسه باستخدام "وحدات بكسل الصورة" مثل إحداثيّي "س" و"ص"، إلا أنه ليس قيمة حقيقية ثلاثية الأبعاد. يكون المحور "ع" عمودًا للكاميرا ويمر بين وركي الشخص المطلوب تصويره. يقع أصل المحور "ع" تقريبًا في نقطة المنتصف بين الورك (يسار/يمين وأمام/عودة بالنسبة إلى الكاميرا). القيم السالبة Z تجاه الكاميرا، والقيم الإيجابية بعيدة عنها. لا يوجد لإحداثي Z حد علوي أو أدنى.

نماذج النتائج

يبين الجدول التالي الإحداثيات وInFrameLikelihood لبعض المعالم الأرضية في الوضع إلى اليسار. لاحظ أن إحداثي Z لليد اليسرى للمستخدم سالبة، لأنها تقع أمام مركز الوركين للشخص واتجاه الكاميرا.

مَعلمالنوعالموضعضمن الإطار
11LEFT_SHOULDER(734.9671، 550.7924، -118.11934)0.9999038
12 RIGHT_SHOULDER (391.27032، 583.2485، -321.15836) 0.9999894
13 البامية اليسرى (903.83704, 754.676, -219.67009) 0.9836427
14 RIGHT_ELBOW (322.18152، 842.5973، -179.28519) 0.99970156
15 يسار (1073.8956, 654.9725, -820.93463) 0.9737737
16 الكتابة لليمين (218.27956، 1015.70435، -683.6567) 0.995568
17 الرمز_الأيسر (1146.1635، 609.6432، -956.9976) 0.95273364
18 RIGHT_PINKY (176.17755، 1065.838، -776.5006) 0.9785348

الخيارات المتقدمة

للحصول على المزيد من التفاصيل حول نماذج تعلُّم الآلة الأساسية لواجهة برمجة التطبيقات هذه، يمكنك الاطّلاع على مشاركة مدوّنة Google AI.

للاطّلاع على المزيد من المعلومات حول ممارسات تحقيق العدالة في تعلُّم الآلة وكيفية تدريب النماذج، يمكنك مراجعة بطاقة النموذج.