Plattformspezifische Anleitungen
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Mit der Scene Semantics API können Entwickler die Umgebung des Nutzers verstehen, was für viele hochwertige AR-Erlebnisse erforderlich ist. Die Scene Semantics API basiert auf einem ML-Modell und bietet semantische Informationen in Echtzeit, die vorhandene geometrische Informationen in ARCore ergänzen.
Bei einem Bild einer Außenszene gibt die API ein Label für jedes Pixel über eine Reihe nützlicher semanischer Klassen zurück, z. B. Himmel, Gebäude, Baum, Straße, Bürgersteig, Fahrzeug, Person und mehr. Neben Pixellabels bietet die Scene Semantics API auch Konfidenzwerte für jedes Pixellabel und eine nutzerfreundliche Möglichkeit, die Häufigkeit eines bestimmten Labels in einer Außenszene abzufragen.
Von links nach rechts: Beispiele für ein Eingabebild, das semantische Bild der Pixellabels und das entsprechende Konfidenzbild:
Mit der Scene Semantics API können Entwickler bestimmte Szenenkomponenten identifizieren, z. B. Straßen und Bürgersteige, um Nutzer durch eine unbekannte Stadt zu leiten, Personen und Fahrzeuge, um Objekte zu verdecken, den Himmel, um zu jeder Tageszeit einen Sonnenuntergang zu simulieren, und Gebäude, um ihr Aussehen zu ändern und virtuelle Objekte zu verankern.
Semantische Labels und Qualität
Die Scene Semantics API bietet mehrere Labels mit jeweils einer entsprechenden Qualität oder Zuverlässigkeit. Im Allgemeinen kann das ML-Modell Klassen größerer, häufigerer Objekte/Oberflächen besser vorhersagen als Klassen kleinerer oder seltenerer Objekte/Oberflächen. Die Klassen können in die folgenden Qualitätsstufen eingeteilt werden, sortiert von hoch nach niedrig:
| Qualitätsstufen für semantische Labels | |
|---|---|
| Komponenten der Hauptszene |
|
| Wichtige Szenendetails |
|
| Nebensächliche Szenendetails |
|
Gerätekompatibilität
Die Liste der unterstützten Geräte für die Scene Semantics API ist mit der der Depth API identisch. Auf der Seite ARCore-unterstützte Geräte finden Sie eine aktuelle Liste der Geräte, die beide APIs unterstützen.
Unterstützte Anwendungsfälle
Die Scene Semantics API wurde für die folgenden Szenarien entwickelt:
Außenszenen: Unterstützt nur Außenszenen und ist nicht für Anwendungsfälle in Innenräumen vorgesehen.
Hochformat: Sollte nur im Standardausrichtungsmodus des Geräts (d.h. Hochformat) verwendet werden. Die Qualität semantischer Labels kann im Querformat nicht garantiert werden.