Przewodniki dotyczące poszczególnych platform
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (Fundacja AR)
Interfejs Scene Semantics API pozwala deweloperom zrozumieć scenę otaczającą użytkownika, co jest potrzebne w wielu wysokiej jakości funkcjach AR. Ten oparty na modelu ML interfejs Scene Semantics API dostarcza semantyczne informacje w czasie rzeczywistym, które uzupełniają istniejące informacje geometryczne w ARCore.
Po przeanalizowaniu obrazu otoczenia interfejs API zwraca etykietę dla każdego piksela w zestawie przydatnych klas semantycznych, takich jak niebo, budynek, drzewo, droga, chodnik, pojazd, osoba i inne. Poza etykietami pikseli interfejs Scene Semantics API udostępnia też wartości ufności dla każdej etykiety piksela i łatwy w użyciu sposób sprawdzania, czy dana etykieta jest często występująca na scenie na zewnątrz.
Od lewej do prawej przykłady obrazu wejściowego, semantyczny obraz etykiet pikseli i odpowiadający mu obraz ufności:
Dzięki interfejsowi Scene Semantics API deweloperzy mogą rozpoznawać określone komponenty sceny, takie jak drogi i chodniki, aby pomagać użytkownikowi w poruszaniu się po nieznanym mieście, osoby i pojazdy renderujące przesłonięcie na dynamicznych obiektach, niebo tworzące zachód słońca o dowolnej porze dnia oraz budynki, które modyfikują ich wygląd i zakotwiczone obiekty wirtualne.
Etykiety semantyczne i jakość
Interfejs Scene Semantics API udostępnia wiele etykiet, z których każda ma odpowiednią jakość lub niezawodność. Zasadniczo model ML lepiej przewiduje klasy większych, częściej występujących obiektów/powierzchni niż klasy mniejszych lub rzadszych obiektów/powierzchni. Klasy można podzielić na te poziomy jakości (od wyższego do najniższego):
| Poziomy jakości etykiet semantycznych | |
|---|---|
| Główne elementy sceny |
|
| Ważne szczegóły sceny |
|
| Drobne szczegóły sceny |
|
Zgodność urządzeń
Interfejs Scene Semantics API ma tę samą listę obsługiwanych urządzeń co interfejs Depth API. Aktualną listę urządzeń obsługujących oba interfejsy API znajdziesz na stronie urządzenia obsługujące ARCore.
Obsługiwane zastosowania
Interfejs Scene Semantics API jest przeznaczony do użycia w tych sytuacjach:
Sceny na zewnątrz: obsługuje tylko sceny na zewnątrz, ale nie jest przeznaczony do użytku wewnątrz pomieszczeń.
Orientacja pionowa: tej opcji należy używać tylko w domyślnym trybie orientacji urządzenia (tzn. pionowo). W trybie poziomym jakość etykiet semantycznych nie jest gwarantowana.