Usa profundidad sin procesar en tu app para Android

La API de Raw Depth proporciona datos de profundidad para una imagen de la cámara que tiene una mayor precisión que los datos de la API de Depth, pero no siempre cubre todos los píxeles. Las imágenes de profundidad sin procesar, junto con las imágenes de confianza coincidentes, también pueden procesarse aún más, lo que permite que las apps usen solo los datos de profundidad que tienen suficiente exactitud para su caso de uso individual.

Compatibilidad con dispositivos

La profundidad sin procesar está disponible en todos los dispositivos compatibles con la API de Depth. La API de Raw Depth, al igual que la API de Depth completa, no requiere un sensor de profundidad de hardware compatible, como un sensor de tiempo de vuelo (ToF). Sin embargo, tanto la API de Raw Depth como la API de Full Depth usan cualquier sensor de hardware compatible que pueda tener un dispositivo.

API de Raw Depth frente a la API de Depth

La API de Raw Depth proporciona estimaciones de profundidad con mayor precisión, pero es posible que las imágenes de profundidad sin procesar no incluyan estimaciones de profundidad de todos los píxeles de la imagen de la cámara. Por el contrario, la API de Depth completa proporciona una profundidad estimada para cada píxel, pero los datos de profundidad por píxel pueden ser menos precisos debido a la interpolación y suavidad de las estimaciones de profundidad. El formato y el tamaño de las imágenes de profundidad son los mismos en ambas APIs. Solo difiere el contenido.

En la siguiente tabla, se ilustran las diferencias entre la API de Raw Depth y la API de Depth completa con una imagen de una silla y una mesa en una cocina.

API	Muestra	Imagen de la cámara	Imagen de profundidad	Imagen de confianza
API de Raw Depth	Es una imagen de profundidad sin formato que contiene una estimación de profundidad muy precisa para algunos (pero no todos) los píxeles de la imagen de la cámara. Una imagen de confianza que proporciona la confianza para cada píxel de imagen de profundidad sin procesar. Los píxeles de imagen de la cámara que no tienen una estimación de profundidad tienen una confianza de cero.
API de Full Depth	Un sencillo "unido" de profundidad que contiene una estimación de profundidad para cada píxel. No se proporciona una imagen de confianza con esta API.			N/A

Imágenes de confianza

En las imágenes de confianza que muestra la API de Raw Depth, los píxeles más claros tienen valores de confianza más altos: los píxeles blancos representan un nivel de confianza total y los negros representan la confianza. En general, las regiones de la imagen de la cámara que tienen más textura, como un árbol, tendrán una mayor confianza de profundidad sin procesar que las regiones que no la tienen, como una pared en blanco. Las superficies sin textura generalmente producen una confianza de cero.

Si el dispositivo objetivo tiene un sensor de profundidad de hardware compatible, es probable que la confianza en las áreas de la imagen que estén lo suficientemente cerca de la cámara sea mayor, incluso en superficies sin textura.

Costo de procesamiento

El costo de procesamiento de la API de Raw Depth es aproximadamente la mitad del de la API de Depth completa.

Casos de uso

Con la API de Raw Depth, puedes obtener imágenes de profundidad que proporcionen una representación más detallada de la geometría de los objetos de la escena. Los datos de profundidad sin procesar pueden ser útiles cuando se crean experiencias de RA en las que se necesitan una mayor precisión y detalles de profundidad para realizar tareas de comprensión de la geometría. En algunos casos de uso se incluye lo siguiente:

Reconstrucción 3D
Medición
Detección de formas

Requisitos previos

Asegúrate de comprender los conceptos fundamentales de RA y cómo configurar una sesión de ARCore antes de continuar.

Habilitar profundidad

En una nueva sesión de ARCore, verifica si el dispositivo de un usuario es compatible con Depth. No todos los dispositivos compatibles con ARCore admiten la API de Depth debido a limitaciones de la capacidad de procesamiento. Para ahorrar recursos, la profundidad está inhabilitada de forma predeterminada en ARCore. Habilita el modo de profundidad para que tu app use la API de Depth.

Java

Config config = session.getConfig();

// Check whether the user's device supports Depth.
if (session.isDepthModeSupported(Config.DepthMode.AUTOMATIC)) {
  // Enable depth mode.
  config.setDepthMode(Config.DepthMode.AUTOMATIC);
}
session.configure(config);

Kotlin

if (session.isDepthModeSupported(Config.DepthMode.AUTOMATIC)) {
  session.configure(session.config.apply { depthMode = Config.DepthMode.AUTOMATIC })
}

Adquiere las imágenes de profundidad y confianza más recientes sin procesar

Llama a frame.acquireRawDepthImage16Bits() para adquirir la imagen de profundidad sin procesar más reciente. No todos los píxeles de imagen devueltos a través de la API de Raw Depth contendrán datos de profundidad, y no todos los fotogramas de ARCore contendrán una nueva imagen de profundidad sin procesar. Para determinar si la imagen de profundidad sin procesar del fotograma actual es nueva, compara su marca de tiempo con la marca de tiempo de la imagen de profundidad sin procesar anterior. Si las marcas de tiempo son diferentes, la imagen de profundidad sin procesar se basa en nuevos datos de profundidad. De lo contrario, la imagen de profundidad es una reproyección de datos de profundidad anteriores.

Llama a frame.acquireRawDepthConfidenceImage() para adquirir la imagen de confianza. Puedes usar la imagen de confianza para verificar la exactitud de cada píxel de profundidad sin procesar. Las imágenes de confianza se muestran en formato Y8. Cada píxel es un número entero de 8 bits sin firma. 0 indica la menor confianza, mientras que 255 indica la mayor.

Java

// Use try-with-resources, so that images are released automatically.
try (
// Depth image is in uint16, at GPU aspect ratio, in native orientation.
Image rawDepth = frame.acquireRawDepthImage16Bits();
    // Confidence image is in uint8, matching the depth image size.
    Image rawDepthConfidence = frame.acquireRawDepthConfidenceImage(); ) {
  // Compare timestamps to determine whether depth is is based on new
  // depth data, or is a reprojection based on device movement.
  boolean thisFrameHasNewDepthData = frame.getTimestamp() == rawDepth.getTimestamp();
  if (thisFrameHasNewDepthData) {
    ByteBuffer depthData = rawDepth.getPlanes()[0].getBuffer();
    ByteBuffer confidenceData = rawDepthConfidence.getPlanes()[0].getBuffer();
    int width = rawDepth.getWidth();
    int height = rawDepth.getHeight();
    someReconstructionPipeline.integrateNewImage(depthData, confidenceData, width, height);
  }
} catch (NotYetAvailableException e) {
  // Depth image is not (yet) available.
}

Kotlin

try {
  // Depth image is in uint16, at GPU aspect ratio, in native orientation.
  frame.acquireRawDepthImage16Bits().use { rawDepth ->
    // Confidence image is in uint8, matching the depth image size.
    frame.acquireRawDepthConfidenceImage().use { rawDepthConfidence ->
      // Compare timestamps to determine whether depth is is based on new
      // depth data, or is a reprojection based on device movement.
      val thisFrameHasNewDepthData = frame.timestamp == rawDepth.timestamp
      if (thisFrameHasNewDepthData) {
        val depthData = rawDepth.planes[0].buffer
        val confidenceData = rawDepthConfidence.planes[0].buffer
        val width = rawDepth.width
        val height = rawDepth.height
        someReconstructionPipeline.integrateNewImage(
          depthData,
          confidenceData,
          width = width,
          height = height
        )
      }
    }
  }
} catch (e: NotYetAvailableException) {
  // Depth image is not (yet) available.
}

¿Qué sigue?

Descubre cómo compilar tu propia app con Raw Depth en el codelab de Raw Depth.