فهم بيئة المستخدم من خلال واجهة برمجة تطبيقات Scene Semantics

الأدلّة الخاصة بالأنظمة الأساسية

دلالات المنظر

تتيح واجهة برمجة التطبيقات Scene Semantics API للمطوّرين فهم المشهد المحيط بالمستخدم، وهو أمر ضروري للعديد من تجارب الواقع المعزّز العالية الجودة. صُمِّمت واجهة برمجة التطبيقات Scene Semantics API استنادًا إلى نموذج تعلُّم الآلة، وهي توفّر معلومات دلالية في الوقت الفعلي تكمّل المعلومات الهندسية الحالية في ARCore.

بالنظر إلى صورة لمشهد في الهواء الطلق، تعرض واجهة برمجة التطبيقات تصنيفًا لكل وحدة بكسل عبر مجموعة من الفئات الدلالية المفيدة، مثل السماء أو المبنى أو الشجرة أو الطريق أو الرصيف أو المركبة أو شخص أو غير ذلك. بالإضافة إلى تصنيفات البكسل، توفّر واجهة برمجة التطبيقات Scene Semantics API أيضًا قيم ثقة لكل تصنيف من وحدات البكسل وطريقة سهلة الاستخدام للاستعلام عن مدى انتشار تصنيف معيّن في المشهد الخارجي.

من اليمين إلى اليسار، أمثلة على صورة تم إدخالها والصورة الدلالية لتصنيفات وحدات البكسل وصورة الثقة المقابلة:

مثال على الصور الدلالية

من خلال واجهة برمجة التطبيقات Scene Semantics API، يمكن للمطوّرين التعرّف على مكوّنات معيّنة للمشهد، مثل الطرق والأرصفة، للمساعدة في إرشاد المستخدم خلال مدينة غير مألوفة وأشخاص ومركبات لعرض حالات انسداد الضوء على الأجسام الديناميكية والسماء بهدف مشهد غروب الشمس في أي وقت من اليوم، والمباني لتعديل مظهرها وتثبيت الأجسام الافتراضية.

التصنيفات الدلالية والجودة

توفر واجهة برمجة التطبيقات Scene Semantics API تصنيفات متعددة لكل منها مستوى جودتها أو موثوقيتها. بشكل عام، يستطيع نموذج تعلُّم الآلة توقّع فئات الكائنات/الأسطح الأكبر حجمًا والأكثر شيوعًا من فئات الكائنات/الأسطح الأصغر أو الأكثر ندرة. يمكن تجميع الفئات في مستويات الجودة التالية، مرتّبة من الأعلى إلى الأدنى:

مستويات جودة التصنيفات الدلالية
مكوّنات المشهد الرئيسية
  • السماء
  • مبنى
  • شجرة
  • طريق
  • مركَبة
تفاصيل المشهد الرئيسي
  • رصيف
  • تضاريس
  • البنية
  • ماء
تفاصيل المشهد الثانوي
  • كائن
  • شخص

توافق الجهاز

تشارك واجهة برمجة التطبيقات Scene Semantics API قائمة الأجهزة المتوافقة نفسها مثل Depth API. يُرجى الرجوع إلى صفحة الأجهزة المتوافقة مع ARCore للاطّلاع على أحدث الأجهزة التي تتوافق مع واجهتَي برمجة التطبيقات.

حالات الاستخدام المتوافقة

تم تصميم واجهة برمجة تطبيقات Scene Semantics للاستخدام في السيناريوهات التالية:

  1. المَشاهد الخارجية: تتوافق مع المشاهد الخارجية فقط، وهي غير مخصّصة للاستخدام في الأماكن المغلقة.

  2. الاتجاه العمودي: يجب استخدامه فقط في وضع الاتجاه التلقائي للجهاز (أي الوضع العمودي). ولا يمكن ضمان جودة التصنيفات الدلالية في الوضع الأفقي.