Scene Semantics API로 사용자 환경 이해

플랫폼별 가이드

Android (Kotlin/Java)

Android NDK (C)

iOS

Unity (AR Foundation)

장면 시맨틱스

개발자는 Scene Semantics API를 사용하여 사용자 주변의 장면을 이해할 수 있으며, 이는 많은 고품질 AR 환경에 필요합니다. ML 모델을 기반으로 하는 Scene Semantics API는 ARCore의 기존 기하학적 정보를 보완하는 실시간 시맨틱 정보를 제공합니다.

야외 장면의 이미지가 주어지면 API는 하늘, 건물, 나무, 도로, 인도, 차량, 사람 등 유용한 시맨틱 클래스 집합에서 각 픽셀의 라벨을 반환합니다. Scene Semantics API는 픽셀 라벨 외에도 각 픽셀 라벨의 신뢰도 값과 야외 장면에서 특정 라벨의 보급률을 쿼리하는 간편한 방법을 제공합니다.

<ph type="x-smartling-placeholder">

왼쪽부터 입력 이미지, 픽셀 라벨의 시맨틱 이미지, 해당하는 신뢰도 이미지의 예:

시맨틱 이미지의 예

개발자는 Scene Semantics API를 사용하여 도로나 인도와 같은 특정 장면 구성요소를 식별하여 사용자가 익숙하지 않은 도시, 사람, 차량을 안내하여 동적 객체에 가려지는 요소를 렌더링하고, 하늘을 통해 하루 중 언제든지 일몰을 생성하며, 건물을 식별하여 모양을 수정하고 가상 객체를 고정할 수 있습니다.

시맨틱 라벨 및 품질

Scene Semantics API는 각각 상응하는 품질 또는 안정성을 갖는 여러 라벨을 제공합니다. 일반적으로 ML 모델은 더 작거나 희귀한 객체/표면의 클래스보다 더 크고 일반적인 객체/표면의 클래스를 더 잘 예측할 수 있습니다. 클래스는 다음과 같은 품질 등급으로 그룹화할 수 있으며 높은 등급에서 낮은 등급으로 순위가 매겨집니다.

시맨틱 라벨 품질 등급
기본 장면 구성요소
  • 하늘
  • 빌드 중
  • 나무
  • 도로
  • 차량
주요 장면 세부정보
  • 보도
  • 지형
  • 구조
  • 물
사소한 장면 세부정보
  • 객체
  • 사람

기기 호환성

Scene Semantics API는 Depth API와 동일한 지원 기기 목록을 공유합니다. 두 API를 지원하는 기기의 최신 목록은 ARCore 지원 기기 페이지를 참고하세요.

지원되는 사용 사례

Scene Semantics API는 다음 시나리오에서 사용하도록 설계되었습니다.

  1. 실외 장면: 야외 장면만 지원하며 실내 사용 사례에는 적합하지 않습니다.

  2. 세로 방향: 기기의 기본 방향 모드 (예: 세로 모드)에서만 사용해야 합니다. 가로 모드에서는 시맨틱 라벨의 품질이 보장되지 않습니다.