Scene Semantics API によるユーザーの環境把握

プラットフォーム固有のガイド

Scene Semantics API を使用すると、デベロッパーはユーザーの周囲のシーンを把握できます。これは、多くの高品質な AR エクスペリエンスに必要です。ML モデル上に構築された Scene Semantics API は、ARCore の既存のジオメトリ情報を補完するリアルタイムのセマンティック情報を提供します。

屋外シーンの画像を指定すると、API は、空、建物、木、道路、歩道、車両、人物など、有用なセマンティック クラスのセット全体で、各ピクセルのラベルを返します。Scene Semantics API では、ピクセルラベルに加えて、各ピクセルラベルの信頼度値も提供されます。また、屋外シーンで特定のラベルがどの程度存在するかを簡単にクエリすることもできます。

左から右に、入力画像の例、ピクセルラベルのセマンティック画像、対応する信頼度画像を示します。

Scene Semantics API を使用すると、デベロッパーは、見慣れない都市でユーザーを案内する道路や歩道、動的オブジェクトのオクルージョンをレンダリングする人物や車両、時間帯に関係なく夕日を作成できる空、外観を変更して仮想オブジェクトを固定できる建物など、特定のシーンのコンポーネントを特定できます。

セマンティック ラベルと品質

Scene Semantics API は、それぞれに対応する品質または信頼性を持つ複数のラベルを提供します。一般に、ML モデルは、小さいオブジェクトや珍しいオブジェクトよりも、より大きく一般的なオブジェクトやサーフェスのクラスを予測できます。クラスは次の品質階層に分類され、高いものから低いものへとランク付けされます。

セマンティック ラベルの品質レベル
メインシーンのコンポーネント	空 ビルドしています 木 road 車両
主要なシーンの詳細	歩道 地形 構造 水
シーンの細かい詳細	オブジェクト 人物

デバイスの互換性

Scene Semantics API は、Depth API と同じ対応デバイスのリストを共有します。両方の API をサポートするデバイスの最新リストについては、ARCore 対応デバイスのページをご覧ください。

サポートされるユースケース

Scene Semantics API は、次のシナリオでの使用を想定して設計されています。

1. 屋外シーン: 屋外シーンのみをサポートし、屋内のユースケースを対象としたものではありません。

2. 縦向き: デバイスのデフォルトの向きモード（縦向き）でのみ使用してください。横向きモードでは、セマンティック ラベルの品質は保証されません。