Guide specifiche per la piattaforma
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (Elementi di base AR)
L'API Scene Semantics consente agli sviluppatori di comprendere la scena circostante l'utente, il che è necessario per molte esperienze AR di alta qualità. Basata su un modello ML, l'API Scene Semantics fornisce informazioni semantiche in tempo reale, che completano le informazioni geometriche esistenti in ARCore.
Data l'immagine di una scena all'aperto, l'API restituisce un'etichetta per ogni pixel in una serie di utili classi semantiche, come cielo, edificio, albero, strada, marciapiede, veicolo, persona e altro ancora. Oltre alle etichette dei pixel, l'API Scene Semantics offre anche valori di confidenza per ciascuna etichetta dei pixel e un modo facile da usare per interrogare la prevalenza di una determinata etichetta in una scena all'aperto.
Da sinistra a destra, esempi di un'immagine di input, l'immagine semantica delle etichette di pixel e l'immagine di confidenza corrispondente:
Con l'API Scene Semantics, gli sviluppatori possono identificare componenti specifici della scena, come strade e marciapiedi, per guidare un utente in una città sconosciuta, persone e veicoli per visualizzare occlusioni su oggetti dinamici, il cielo per creare un tramonto a qualsiasi ora del giorno ed edifici per modificare il loro aspetto e ancorare oggetti virtuali.
Etichette semantiche e qualità
L'API Scene Semantics fornisce più etichette, ciascuna con una qualità o un'affidabilità corrispondente. In generale, il modello ML è in grado di prevedere meglio classi di oggetti/superfici più grandi e più comuni rispetto alle classi di oggetti/superfici più piccoli o più rari. Le classi possono essere raggruppate nei seguenti livelli di qualità, classificati dal più alto al più basso:
| Livelli di qualità delle etichette semantiche | |
|---|---|
| Componenti principali della scena |
|
| Dettagli principali della scena |
|
| Dettagli minori della scena |
|
Compatibilità del dispositivo
L'API Scene Semantics condivide lo stesso elenco di dispositivi supportati dell'API Depth. Fai riferimento alla pagina Dispositivi supportati da ARCore per un elenco aggiornato dei dispositivi che supportano entrambe le API.
Casi d'uso supportati
L'API Scene Semantics è progettata per essere utilizzata nei seguenti scenari:
Scene di esterni. Supporta solo scene all'aperto e non è destinato a casi d'uso in ambienti interni.
Orientamento verticale: da utilizzare solo nella modalità di orientamento predefinita del dispositivo (ad esempio, verticale). La qualità delle etichette semantiche non è garantita per la modalità Orizzontale.