Scene Semantics API によるユーザーの環境把握

プラットフォーム固有のガイド

Android（Kotlin/Java）

Android NDK（C）

iOS

Unity（AR Foundation）

シーンのセマンティクス

Scene Semantics API を使用すると、多くの高品質な AR エクスペリエンスに必要となる、ユーザーの周囲のシーンを把握できます。ML モデル上に構築された Scene Semantics API は、ARCore の既存のジオメトリ情報を補完するリアルタイムのセマンティック情報を提供します。

屋外の画像を指定すると、API は空、建物、木、道路、歩道、車両、人など、一連の有用なセマンティック クラスにわたる各ピクセルのラベルを返します。ピクセルラベルに加えて、Scene Semantics API は、各ピクセルラベルの信頼値と、屋外シーンにおける特定のラベルの占有率を照会する簡単な方法も提供します。

<ph type="x-smartling-placeholder">

左から順に、入力画像、ピクセルラベルのセマンティック画像、対応する信頼度画像の例を示しています。

セマンティック画像の例

Scene Semantics API を使用すると、デベロッパーは、道路や歩道（不慣れな都市の案内に役立つ道路や歩道、動的なオブジェクトにオクルージョンをレンダリングする人や車両、任意の時刻に夕日を生成する空）、外観を変更して仮想オブジェクトを固定する建物など、特定のシーン コンポーネントを特定できます。

セマンティック ラベルと品質

Scene Semantics API は複数のラベルを提供し、それぞれに対応する品質や信頼性があります。一般的に、ML モデルは小さいオブジェクト/サーフェスのクラスよりも、より一般的なオブジェクト/サーフェスのクラスをより適切に予測できます。クラスは次の品質階層に分類され、高いものから低いものへとランク付けされます。

セマンティック ラベルの品質階層
メインシーン コンポーネント
  • 空
  • ビルドしています
  • 木
  • road
  • 車両
主なシーンの詳細
  • 歩道
  • 地形
  • 構造
  • 水
軽微なシーンの詳細
  • オブジェクト
  • 人物

デバイスの互換性

Scene Semantics API は、Depth API と同じ対応デバイスのリストを共有します。両方の API をサポートするデバイスの最新リストについては、ARCore 対応デバイスのページをご覧ください。

サポートされるユースケース

Scene Semantics API は、次のようなシナリオで使用するように設計されています。

  1. 屋外シーン: 屋外シーンのみをサポートします。屋内でのユースケースを想定したものではありません。

  2. 縦向き: デバイスのデフォルトの向きモード（縦向き）でのみ使用してください。横表示では、セマンティック ラベルの品質は保証されません。