Scene Semantics API ile kullanıcı ortamını anlama

Platforma özel kılavuzlar

Android (Kotlin/Java)

Android NDK (C)

iOS

Unity (AR Foundation)

Sahne anlamları

Scene Semantics API, geliştiricilerin kullanıcıyı çevreleyen sahneyi anlamasını sağlar. Bu durum, birçok yüksek kaliteli AR deneyimi için gereklidir. ML modeli üzerinde geliştirilen Scene Semantics API, ARCore'daki mevcut geometrik bilgileri tamamlayan gerçek zamanlı semantik bilgiler sağlar.

Bir dış mekan sahnesinin resmi dikkate alındığında API, gökyüzü, bina, ağaç, yol, kaldırım, araç, kişi ve diğer yararlı anlamsal sınıflarda her piksel için bir etiket döndürür. Scene Semantics API, piksel etiketlerine ek olarak her piksel etiketi için güven değerleri ve belirli bir etiketin dış mekan sahnesindeki yaygınlığını sorgulamak için kolay bir yol sunar.

Soldan sağa, bir giriş resmi örnekleri, piksel etiketlerinin anlamsal resmi ve ilgili güven resmi:

Anlamsal resim örneği

Geliştiriciler, Scene Semantics API ile kullanıcılara bilmedikleri bir şehirde rehberlik etmek için yollar ve kaldırımlar, dinamik nesnelerde oluşumlar oluşturmak için insanlar ve araçlar, günün herhangi bir saatinde gün batımı oluşturmak için gökyüzü ve binaların görünümlerini düzenlediği ve sanal nesneleri sabitlediği gibi belirli sahne bileşenlerini tanımlayabilirler.

Anlamsal etiketler ve kalite

Scene Semantics API, her biri karşılık gelen kalite veya güvenilirliğe sahip birden fazla etiket sağlar. Genel olarak, ML modeli daha küçük veya nadir bulunan nesne/yüzey sınıflarına kıyasla daha büyük, daha yaygın nesne/yüzey sınıflarını daha iyi tahmin edebilir. Sınıflar, yüksekten düşüğe doğru sıralanmış aşağıdaki kalite katmanları halinde gruplandırılabilir:

Anlamsal etiket kalite katmanları
Ana sahne bileşenleri
  • gökyüzü
  • derleniyor
  • ağaç
  • yol
  • araç
Ana sahne ayrıntıları
  • kaldırım
  • arazi
  • yapı
  • su
Küçük sahne ayrıntıları
  • nesne
  • kişi

Cihaz uyumluluğu

Scene Semantics API, Depth API ile aynı desteklenen cihaz listesini paylaşır. Her iki API'yi de destekleyen cihazların güncel listesi için lütfen ARCore destekli cihazlar sayfasına bakın.

Desteklenen kullanım alanları

Scene Semantics API, aşağıdaki senaryolarda kullanılmak üzere tasarlanmıştır:

  1. Dış mekan sahneleri: Yalnızca dış mekan sahnelerini destekler ve iç mekan kullanım alanları için tasarlanmamıştır.

  2. Dikey yön: Yalnızca cihazın varsayılan yön modunda (ör. dikey) kullanılmalıdır. Yatay mod için anlamsal etiketlerin kalitesi garanti edilmez.