Usa profundidad sin procesar en la app de AR Foundation para Android

La API de Raw Depth proporciona datos de profundidad para una imagen de la cámara que tiene una mayor precisión que los datos de la API de Depth, pero no siempre cubre todos los píxeles. Las imágenes de profundidad sin procesar, junto con las imágenes de confianza coincidentes, también pueden procesarse aún más, lo que permite que las apps usen solo los datos de profundidad que tienen suficiente exactitud para su caso de uso individual.

Compatibilidad con dispositivos

La profundidad sin procesar está disponible en todos los dispositivos compatibles con la API de Depth. La API de Raw Depth, al igual que la API de Depth completa, no requiere un sensor de profundidad de hardware compatible, como un sensor de tiempo de vuelo (ToF). Sin embargo, tanto la API de Raw Depth como la API de Full Depth usan cualquier sensor de hardware compatible que pueda tener un dispositivo.

API de Raw Depth frente a la API de Depth

La API de Raw Depth proporciona estimaciones de profundidad con mayor precisión, pero es posible que las imágenes de profundidad sin procesar no incluyan estimaciones de profundidad de todos los píxeles de la imagen de la cámara. Por el contrario, la API de Depth completa proporciona una profundidad estimada para cada píxel, pero los datos de profundidad por píxel pueden ser menos precisos debido a la interpolación y suavidad de las estimaciones de profundidad. El formato y el tamaño de las imágenes de profundidad son los mismos en ambas APIs. Solo difiere el contenido.

En la siguiente tabla, se ilustran las diferencias entre la API de Raw Depth y la API de Depth completa con una imagen de una silla y una mesa en una cocina.

API Muestra Imagen de la cámara Imagen de profundidad Imagen de confianza
API de Raw Depth
  • Es una imagen de profundidad sin formato que contiene una estimación de profundidad muy precisa para algunos (pero no todos) los píxeles de la imagen de la cámara.
  • Una imagen de confianza que proporciona la confianza para cada píxel de imagen de profundidad sin procesar. Los píxeles de imagen de la cámara que no tienen una estimación de profundidad tienen una confianza de cero.
API de Full Depth
  • Un sencillo "unido" de profundidad que contiene una estimación de profundidad para cada píxel.
  • No se proporciona una imagen de confianza con esta API.
N/A

Imágenes de confianza

En las imágenes de confianza que muestra la API de Raw Depth, los píxeles más claros tienen valores de confianza más altos: los píxeles blancos representan un nivel de confianza total y los negros representan la confianza. En general, las regiones de la imagen de la cámara que tienen más textura, como un árbol, tendrán una mayor confianza de profundidad sin procesar que las regiones que no la tienen, como una pared en blanco. Las superficies sin textura generalmente producen una confianza de cero.

Si el dispositivo objetivo tiene un sensor de profundidad de hardware compatible, es probable que la confianza en las áreas de la imagen que estén lo suficientemente cerca de la cámara sea mayor, incluso en superficies sin textura.

Costo de procesamiento

El costo de procesamiento de la API de Raw Depth es aproximadamente la mitad del de la API de Depth completa.

Casos de uso

Con la API de Raw Depth, puedes obtener imágenes de profundidad que proporcionen una representación más detallada de la geometría de los objetos de la escena. Los datos de profundidad sin procesar pueden ser útiles cuando se crean experiencias de RA en las que se necesitan una mayor precisión y detalles de profundidad para realizar tareas de comprensión de la geometría. En algunos casos de uso se incluye lo siguiente:

  • Reconstrucción 3D
  • Medición
  • Detección de formas

Requisitos previos

Asegúrate de comprender los conceptos fundamentales de RA y cómo configurar una sesión de ARCore antes de continuar.

Habilitar profundidad

En una sesión nueva de ARCore, verifica si el dispositivo de un usuario es compatible con Depth. No todos los dispositivos compatibles con ARCore admiten la API de Depth debido a limitaciones de la capacidad de procesamiento. Para ahorrar recursos, la profundidad está inhabilitada de forma predeterminada en ARCore. Habilita el modo de profundidad para que tu app use la API de Depth.

var occlusionManager = // Typically acquired from the Camera game object.

// Check whether the user's device supports the Depth API.
if (occlusionManager.descriptor?.supportsEnvironmentDepthImage)
{
    // If depth mode is available on the user's device, perform
    // the steps you want here.
}

Cómo obtener la imagen de profundidad sin formato más reciente

Llama a AROcclusionManager.TryAcquireEnvironmentDepthCpuImage() y usa AROcclusionManager.environmentDepthTemporalSmoothingRequested para obtener la imagen de profundidad sin procesar más reciente en la CPU.

Obtén la imagen de confianza de profundidad sin procesar más reciente

Llama a AROcclusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage() y usa AROcclusionManager.environmentDepthTemporalSmoothingRequested para obtener la imagen de confianza en la CPU.

// Attempt to get the latest environment depth image.
if (occlusionManager && occlusionManager.TryAcquireEnvironmentDepthConfidenceCpuImage(out XRCpuImage image))
{
    using (image)
    {
        UpdateRawImage(m_RawEnvironmentDepthConfidenceImage, image);
    }
}
else
{
    m_RawEnvironmentDepthConfidenceImage.enabled = false;
}