Panduan khusus platform
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API memungkinkan developer memahami adegan di sekitar pengguna, yang diperlukan untuk banyak pengalaman AR berkualitas tinggi. Dibangun berdasarkan model ML, Scene Semantics API menyediakan informasi semantik real-time, yang melengkapi informasi geometris yang ada di ARCore.
Dengan mempertimbangkan gambar suasana luar ruangan, API akan menampilkan label untuk setiap piksel pada sekumpulan kelas semantik yang berguna, seperti langit, bangunan, pohon, jalan, trotoar, kendaraan, orang, dan banyak lagi. Selain label piksel, Scene Semantics API juga menawarkan nilai keyakinan untuk setiap label piksel dan cara yang mudah digunakan untuk mengkueri prevalensi label tertentu dalam suasana luar ruangan.
Dari kiri ke kanan, contoh gambar input, gambar semantik label piksel, dan gambar keyakinan yang sesuai:
Dengan Scene Semantics API, developer dapat mengidentifikasi komponen adegan tertentu, seperti jalan dan trotoar untuk membantu memandu pengguna melewati kota yang tidak dikenal, orang, dan kendaraan untuk merender oklusi pada objek dinamis, langit untuk membuat matahari terbenam kapan saja, dan bangunan untuk memodifikasi tampilan dan menambatkan objek virtual.
Label dan kualitas semantik
Scene Semantics API menyediakan beberapa label, masing-masing dengan kualitas atau keandalan yang sesuai. Umumnya, model ML lebih mampu memprediksi class objek/platform yang lebih besar dan lebih umum daripada class objek/platform yang lebih kecil atau lebih langka. Class tersebut dapat dikelompokkan ke dalam beberapa tingkatan kualitas berikut, yang diberi peringkat dari yang lebih tinggi ke lebih rendah:
| Tingkat kualitas label semantik | |
|---|---|
| Komponen adegan utama |
|
| Detail adegan utama |
|
| Detail adegan kecil |
|
Kompatibilitas perangkat
Scene Semantics API memiliki daftar perangkat yang didukung yang sama dengan Depth API. Lihat halaman Perangkat yang didukung ARCore untuk melihat daftar terbaru perangkat yang mendukung kedua API tersebut.
Kasus penggunaan yang didukung
Scene Semantics API dirancang untuk digunakan dalam skenario berikut:
Adegan luar ruangan: Hanya mendukung pemandangan luar ruangan dan tidak ditujukan untuk kasus penggunaan dalam ruangan.
Orientasi potret: Hanya boleh digunakan dalam mode orientasi default perangkat (yaitu potret). Kualitas label semantik tidak dijamin untuk mode lanskap.