透過 Scene Semantics API 瞭解使用者環境's 環境

平台專屬指南

開發人員可透過場景語意 API 瞭解使用者周遭的場景，這項功能是許多高品質 AR 體驗的必要條件。場景語意 API 建構於機器學習模型，可提供即時語意資訊，補足 ARCore 中現有的幾何資訊。

當您提供戶外場景的圖片時，API 會針對每個像素傳回一系列實用的語意類別標籤，例如天空、建築物、樹木、道路、人行道、車輛、人物等。除了像素標籤外，場景語意 API 還會為每個像素標籤提供信心值，並提供簡單易用的查詢方式，可查詢特定標籤在戶外場景中的盛行率。

從左到右為輸入圖片範例、像素標籤的語意圖片，以及對應的可信度圖片：

開發人員可透過場景語意 API 識別特定場景元件，例如道路和人行道 (用於引導使用者穿越不熟悉的城市)、人物和車輛 (用於在動態物體上呈現遮蔽效果)、天空 (用於在任何時間創造日落效果)，以及建築物 (用於修改外觀和錨定虛擬物件)。

語意標籤和品質

Scene Semantics API 提供多個標籤，每個標籤都有對應的品質或可靠度。一般來說，ML 模型更能預測較大、較常見的物件/表面類別，而非較小或較罕見的物件/表面類別。這些課程可分為下列品質等級，從高到低依序為：

語意標籤品質等級
主要場景元件	天空 建構中 樹 道路 交通工具
主要場景詳細資料	人行道 地形 結構 水
次要場景詳細資料	物件 使用者圖示

裝置相容性

Scene Semantics API 與 Depth API 共用支援的裝置清單。如需支援這兩種 API 的裝置最新清單，請參閱 ARCore 支援的裝置頁面。

支援的用途

影像語意 API 適用於下列情境：

1. 室外場景：僅支援戶外場景，不適用於室內用途。

2. 直向：僅應用於裝置的預設方向模式 (即直向)。系統不保證橫向模式中的語意標籤品質。