Руководства для конкретных платформ
Android (Котлин/Java)
Android НДК (С)
iOS
Единство (Фонд АР)
API семантики сцены позволяет разработчикам понять сцену, окружающую пользователя, что необходимо для многих высококачественных AR-приложений. API семантики сцены, созданный на основе модели машинного обучения, предоставляет семантическую информацию в реальном времени, которая дополняет существующую геометрическую информацию в ARCore.
Учитывая изображение сцены на открытом воздухе, API возвращает метку для каждого пикселя в наборе полезных семантических классов, таких как небо, здание, дерево, дорога, тротуар, транспортное средство, человек и т. д. В дополнение к меткам пикселей API семантики сцены также предлагает значения достоверности для каждой метки пикселя и простой в использовании способ запроса распространенности данной метки в сцене на открытом воздухе.
Слева направо примеры входного изображения, семантического изображения меток пикселей и соответствующего доверительного изображения:
С помощью API семантики сцены разработчики могут идентифицировать конкретные компоненты сцены, такие как дороги и тротуары, чтобы помочь пользователю пройти через незнакомый город, людей и транспортные средства для рендеринга окклюзий на динамических объектах, небо для создания заката в любое время суток, и здания для изменения их внешнего вида и привязки виртуальных объектов.
Семантические метки и качество
API семантики сцены предоставляет несколько меток, каждая из которых имеет соответствующее качество или надежность. Как правило, модель МО лучше прогнозирует классы более крупных и более распространенных объектов/поверхностей, чем классы меньших или более редких объектов/поверхностей. Классы можно сгруппировать по следующим уровням качества, расположенным от более высокого к более низкому:
| Уровни качества семантических меток | |
|---|---|
| Компоненты основной сцены |
|
| Основные детали сцены |
|
| Мелкие детали сцены |
|
Совместимость устройств
API семантики сцены использует тот же список поддерживаемых устройств, что и API глубины. Пожалуйста, обратитесь к странице поддерживаемых устройств ARCore для получения актуального списка устройств, поддерживающих оба API.
Поддерживаемые варианты использования
API семантики сцены предназначен для использования в следующих сценариях:
Сцены на открытом воздухе : поддерживаются только сцены на открытом воздухе и не предназначены для использования внутри помещений.
Портретная ориентация : следует использовать только в режиме ориентации устройства по умолчанию (т. е. портретной). Качество семантических меток в альбомном режиме не гарантируется.