플랫폼별 가이드
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API를 사용하면 개발자가 사용자 주변의 장면을 파악할 수 있습니다. 이는 많은 고품질 AR 환경에 필요합니다. ML 모델을 기반으로 하는 Scene Semantics API는 ARCore의 기존 기하학적 정보를 보완하는 실시간 시맨틱 정보를 제공합니다.
야외 장면의 이미지가 주어지면 API는 하늘, 건물, 나무, 도로, 인도, 차량, 사람 등 유용한 시맨틱 클래스 집합에서 각 픽셀의 라벨을 반환합니다. Scene Semantics API는 픽셀 라벨 외에도 각 픽셀 라벨의 신뢰도 값과 야외 장면에서 특정 라벨의 보급률을 쿼리하는 간편한 방법을 제공합니다.
왼쪽부터 입력 이미지, 픽셀 라벨의 시맨틱 이미지, 해당하는 신뢰도 이미지의 예:
Scene Semantics API를 사용하면 개발자는 사용자가 낯선 도시를 탐색하는 데 도움이 되는 도로와 인도, 동적 객체의 가림을 렌더링하는 사람과 차량, 하루 중 어느 때나 일몰을 만드는 하늘, 외관을 수정하고 가상 객체를 고정하는 건물과 같은 특정 장면 구성요소를 식별할 수 있습니다.
시맨틱 라벨 및 품질
Scene Semantics API는 각각 상응하는 품질 또는 안정성을 갖는 여러 라벨을 제공합니다. 일반적으로 ML 모델은 더 작거나 더 희귀한 물체/표면의 클래스보다 더 크고 더 일반적인 물체/표면의 클래스를 더 잘 예측할 수 있습니다. 클래스는 다음과 같이 품질 등급으로 그룹화할 수 있으며, 등급은 높음에서 낮음으로 순위가 매겨집니다.
| 시맨틱 라벨 품질 등급 | |
|---|---|
| 기본 장면 구성요소 |
|
| 주요 장면 세부정보 |
|
| 경미한 장면 세부정보 |
|
기기 호환성
Scene Semantics API는 Depth API와 동일한 지원 기기 목록을 공유합니다. 두 API를 지원하는 기기의 최신 목록은 ARCore 지원 기기 페이지를 참고하세요.
지원되는 사용 사례
Scene Semantics API는 다음 시나리오에서 사용하도록 설계되었습니다.
실외 장면: 야외 장면만 지원하며 실내 사용 사례에는 적합하지 않습니다.
세로 방향: 기기의 기본 방향 모드 (예: 세로)에서만 사용해야 합니다. 가로 모드에서는 시맨틱 라벨의 품질이 보장되지 않습니다.