La API de Raw Depth proporciona datos de profundidad para una imagen de la cámara que tiene una mayor precisión que los datos de la API de Depth, pero no siempre cubre todos los píxeles. Las imágenes de profundidad sin procesar, junto con las imágenes de confianza coincidentes, también pueden procesarse aún más, lo que permite que las apps usen solo los datos de profundidad que tienen suficiente exactitud para su caso de uso individual.
Compatibilidad con dispositivos
La profundidad sin procesar está disponible en todos los dispositivos compatibles con la API de Depth. La API de Raw Depth, al igual que la API de Depth completa, no requiere un sensor de profundidad de hardware compatible, como un sensor de tiempo de vuelo (ToF). Sin embargo, tanto la API de Raw Depth como la API de Full Depth usan cualquier sensor de hardware compatible que pueda tener un dispositivo.
API de Raw Depth frente a la API de Depth
La API de Raw Depth proporciona estimaciones de profundidad con mayor precisión, pero es posible que las imágenes de profundidad sin procesar no incluyan estimaciones de profundidad de todos los píxeles de la imagen de la cámara. Por el contrario, la API de Depth completa proporciona una profundidad estimada para cada píxel, pero los datos de profundidad por píxel pueden ser menos precisos debido a la interpolación y suavidad de las estimaciones de profundidad. El formato y el tamaño de las imágenes de profundidad son los mismos en ambas APIs. Solo difiere el contenido.
En la siguiente tabla, se ilustran las diferencias entre la API de Raw Depth y la API de Depth completa con una imagen de una silla y una mesa en una cocina.
| API | Muestra | Imagen de la cámara | Imagen de profundidad | Imagen de confianza |
|---|---|---|---|---|
| API de Raw Depth |
|
|
|
|
| API de Full Depth |
|
|
|
N/A |
Imágenes de confianza
En las imágenes de confianza que muestra la API de Raw Depth, los píxeles más claros tienen valores de confianza más altos: los píxeles blancos representan un nivel de confianza total y los negros representan la confianza. En general, las regiones de la imagen de la cámara que tienen más textura, como un árbol, tendrán una mayor confianza de profundidad sin procesar que las regiones que no la tienen, como una pared en blanco. Las superficies sin textura generalmente producen una confianza de cero.
Si el dispositivo objetivo tiene un sensor de profundidad de hardware compatible, es probable que la confianza en las áreas de la imagen que estén lo suficientemente cerca de la cámara sea mayor, incluso en superficies sin textura.
Costo de procesamiento
El costo de procesamiento de la API de Raw Depth es aproximadamente la mitad del de la API de Depth completa.
Casos de uso
Con la API de Raw Depth, puedes obtener imágenes de profundidad que proporcionen una representación más detallada de la geometría de los objetos de la escena. Los datos de profundidad sin procesar pueden ser útiles cuando se crean experiencias de RA en las que se necesitan una mayor precisión y detalles de profundidad para realizar tareas de comprensión de la geometría. En algunos casos de uso se incluye lo siguiente:
- Reconstrucción 3D
- Medición
- Detección de formas
Requisitos previos
Asegúrate de comprender los conceptos fundamentales de RA y cómo configurar una sesión de ARCore antes de continuar.
Habilitar profundidad
En una nueva sesión de ARCore, verifica si el dispositivo de un usuario es compatible con Depth. No todos los dispositivos compatibles con ARCore admiten la API de Depth debido a limitaciones de la capacidad de procesamiento. Para ahorrar recursos, la profundidad está inhabilitada de forma predeterminada en ARCore. Habilita el modo de profundidad para que tu app use la API de Depth.
int32_t is_depth_supported = 0; // Check whether the user's device supports the Depth API. ArSession_isDepthModeSupported(ar_session, AR_DEPTH_MODE_AUTOMATIC, &is_depth_supported); ArConfig* ar_config = NULL; ArConfig_create(ar_session, &ar_config); if (is_depth_supported) { ArConfig_setDepthMode(ar_session, ar_config, AR_DEPTH_MODE_AUTOMATIC); } CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS); ArConfig_destroy(ar_config);
Cómo obtener la imagen de profundidad sin formato más reciente
Llama a ArFrame_acquireRawDepthImage16Bits() para adquirir la imagen de profundidad sin procesar más reciente.
int64_t previous_depth_image_timestamp_ns = -1; int64_t depth_image_timestamp_ns; ArImage* depth_image = NULL; // Acquire the raw depth image for the current frame. ArStatus acquire_image_status = ArFrame_acquireRawDepthImage16Bits(ar_session, ar_frame, &depth_image); if (acquire_image_status == AR_SUCCESS) { // Optional: compare raw depth image timestamps. Use this check if your app // uses only new depth data. ArImage_getTimestamp(ar_session, depth_image, &depth_image_timestamp_ns); if (depth_image_timestamp_ns != previous_depth_image_timestamp_ns) { // Raw depth image is based on new depth data. previous_depth_image_timestamp_ns = depth_image_timestamp_ns; // … } // Release the acquired image. ArImage_release(depth_image); }
No todos los píxeles de imagen devueltos a través de la API de Raw Depth contendrán datos de profundidad, y no todos los fotogramas de ARCore contendrán una nueva imagen de profundidad sin procesar. Para determinar si la imagen de profundidad sin procesar del fotograma actual es nueva, compara su marca de tiempo con la marca de tiempo de la imagen de profundidad sin procesar anterior. Si las marcas de tiempo son diferentes, la imagen de profundidad sin procesar se basa en nuevos datos de profundidad. De lo contrario, la imagen de profundidad es una reproyección de datos de profundidad anteriores.
Imagen de Adquiere la información de confianza más reciente
Llama a ArFrame_acquireRawDepthConfidenceImage() para adquirir la imagen de confianza. Puedes usar la imagen de confianza para verificar la exactitud de cada píxel de profundidad sin procesar. Las imágenes de confianza se muestran en formato Y8. Cada píxel es un número entero de 8 bits sin firma. 0 indica la menor confianza, mientras que 255 indica la mayor.
// Acquire the raw depth confidence image. ArImage* confidence_image = NULL; ArStatus acquire_image_status = ArFrame_acquireRawDepthConfidenceImage( ar_session, ar_frame, &confidence_image); if (acquire_image_status == AR_SUCCESS) { // … // Release the acquired image. ArImage_release(confidence_image); }