Przewodniki dotyczące poszczególnych platform
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Interfejs API semantyki sceny umożliwia deweloperom analizowanie sceny wokół użytkownika, co jest potrzebne do tworzenia wysokiej jakości treści AR. Ten oparty na modelu ML interfejs Scene Semantics API dostarcza semantyczne informacje w czasie rzeczywistym, które uzupełniają istniejące informacje geometryczne w ARCore.
Po przeanalizowaniu obrazu otoczenia interfejs API zwraca etykietę dla każdego piksela w zestawie przydatnych klas semantycznych, takich jak niebo, budynek, drzewo, droga, chodnik, pojazd, osoba i inne. Oprócz etykiet pikseli interfejs API semantyki sceny udostępnia też wartości ufności dla każdej etykiety piksela oraz łatwy sposób na zapytanie o występowanie danej etykiety w scenie na zewnątrz.
Od lewej do prawej: przykłady obrazu wejściowego, semantycznego obrazu etykiet pikseli i odpowiedniego obrazu ufności:
Dzięki interfejsowi Scene Semantics API deweloperzy mogą identyfikować konkretne elementy sceny, takie jak drogi i chodniki, aby ułatwić użytkownikowi poruszanie się po nieznanym mieście, ludzie i pojazdy, aby renderować zasłony na dynamicznych obiektach, niebo, aby tworzyć zachód słońca o dowolnej porze dnia, oraz budynki, aby modyfikować ich wygląd i ankreować obiekty wirtualne.
Etykiety semantyczne i jakość
Interfejs Scene Semantics API udostępnia wiele etykiet, z których każda ma odpowiednią jakość lub niezawodność. Ogólnie model ML lepiej przewiduje klasy większych, bardziej typowych obiektów/powierzchni niż klas mniejszych lub rzadszych obiektów/powierzchni. Klasy można grupować według tych poziomów jakości, od najwyższego do najniższego:
| Poziomy jakości etykiety semantycznej | |
|---|---|
| Główne komponenty sceny |
|
| Ważne szczegóły sceny |
|
| Drobne szczegóły sceny |
|
Zgodność urządzeń
Interfejs Scene Semantics API ma tę samą listę obsługiwanych urządzeń co interfejs Depth API. Na stronie ARCore – obsługiwane urządzenia znajdziesz aktualną listę urządzeń, które obsługują oba interfejsy API.
Obsługiwane zastosowania
Interfejs Scene Semantics API jest przeznaczony do użytku w tych sytuacjach:
Sceny na zewnątrz: obsługa tylko scen na zewnątrz i nie jest przeznaczona do zastosowań wewnątrz pomieszczeń.
Orientacja pionowa: tej opcji należy używać tylko w domyślnym trybie orientacji urządzenia (tzn. pionowo). Nie gwarantujemy jakości etykiet semantycznych w trybie poziomym.