Scene Semantics API로 사용자 환경 이해

플랫폼별 가이드

개발자는 Scene Semantics API를 사용하여 다양한 고품질 AR 환경에 필요한 사용자 주변의 장면을 파악할 수 있습니다. ML 모델을 기반으로 빌드된 Scene Semantics API는 ARCore의 기존 기하학적 정보를 보완하는 실시간 시맨틱 정보를 제공합니다.

야외 장면의 이미지가 주어지면 API는 하늘, 건물, 나무, 도로, 보도, 차량, 사람 등 유용한 시맨틱 클래스 집합에서 각 픽셀의 라벨을 반환합니다. 픽셀 라벨 외에도 Scene Semantics API는 각 픽셀 라벨의 신뢰도 값과 야외 장면에서 특정 라벨의 보급률을 쿼리하는 간편한 방법을 제공합니다.

왼쪽부터 입력 이미지의 예, 픽셀 라벨의 시맨틱 이미지, 상응하는 신뢰도 이미지의 예가 나와 있습니다.

Scene Semantics API를 사용하면 개발자가 낯선 도시를 통과할 수 있도록 도로와 인도, 동적 객체에 오클루전을 렌더링하는 사람과 차량, 하루 중 언제든지 일몰을 만드는 하늘, 모양을 수정하고 가상 객체를 고정하는 건물과 같은 특정 장면 구성요소를 식별할 수 있습니다.

시맨틱 라벨 및 품질

Scene Semantics API는 각각 해당하는 품질 또는 신뢰성이 적용된 여러 라벨을 제공합니다. 일반적으로 ML 모델은 더 작거나 희귀한 객체/표면의 클래스보다 크고 일반적인 객체/표면의 클래스를 더 잘 예측할 수 있습니다. 클래스는 다음과 같은 품질 등급으로 그룹화할 수 있으며, 높은 수준에서 낮은 등급으로 분류됩니다.

시맨틱 라벨 품질 등급
기본 장면 구성요소	sky 빌드 중 나무 도로 차량
주요 장면 세부정보	보도 지형 구조 물
사소한 장면 디테일	객체 사람

기기 호환성

Scene Semantics API는 Depth API와 동일한 지원되는 기기 목록을 공유합니다. 두 API를 모두 지원하는 기기의 최신 목록은 ARCore 지원 기기 페이지를 참고하세요.

지원되는 사용 사례

Scene Semantics API는 다음 시나리오에서 사용하도록 설계되었습니다.

1. 야외 장면: 야외 장면만 지원하며 실내 사용 사례에는 적합하지 않습니다.

2. 세로 방향: 기기의 기본 방향 모드 (세로 모드)에서만 사용해야 합니다. 가로 모드에서는 시맨틱 라벨의 품질이 보장되지 않습니다.