Utiliser la profondeur brute dans votre application NDK Android

L'API Raw Depth fournit des données de profondeur pour une image d'appareil photo dont la précision est supérieure à celle des données complètes de l'API Depth, mais elle ne couvre pas toujours tous les pixels. Les images de profondeur brutes, ainsi que les images de confiance correspondantes, peuvent également être traitées plus en détail, ce qui permet aux applications d'utiliser uniquement les données de profondeur dont la précision est suffisante pour leur cas d'utilisation individuel.

Compatibilité avec les appareils

Elle est disponible sur tous les appareils compatibles avec l'API Depth. L'API Raw Depth, comme l'API Depth complète, ne nécessite pas de capteur de profondeur matériel compatible, tel qu'un capteur de durée de vol (ToF). Toutefois, les API Raw Depth et Full Depth utilisent toutes les deux tous les capteurs matériels compatibles d'un appareil.

Comparaison entre l'API Raw Depth et l'API Full Depth

L'API Raw Depth fournit des estimations de profondeur avec une plus grande précision, mais les images de profondeur brutes peuvent ne pas inclure d'estimations de profondeur pour tous les pixels de l'image de l'appareil photo. En revanche, l'API Full Depth fournit une estimation de la profondeur pour chaque pixel. Toutefois, les données de profondeur par pixel peuvent être moins précises en raison du lissage et de l'interpolation des estimations de profondeur. Le format et la taille des représentations de profondeur sont identiques dans les deux API. Seul le contenu diffère.

Le tableau suivant illustre les différences entre l'API Raw Depth et l'API Full Depth à l'aide d'une image d'une chaise et d'une table dans une cuisine.

API	Renvoie	Image de l'appareil photo	Image de profondeur	Image de confiance
API Raw Depth	Image de profondeur brute qui contient une estimation très précise de la profondeur pour certains pixels de l'image de l'appareil photo, mais pas pour tous. Image de confiance qui donne l'indice de confiance de chaque pixel d'image de profondeur brut. Le niveau de confiance des pixels de l'image de l'appareil photo sans estimation de la profondeur est de zéro.
API Full Depth	Un single "lissé" une image de profondeur qui contient une estimation de la profondeur pour chaque pixel. Aucune image de confiance n'est fournie avec cette API.			N/A

Images de confiance

Dans les images de confiance renvoyées par l'API Raw Depth, les pixels plus clairs ont des valeurs de confiance plus élevées, les pixels blancs représentant un niveau de confiance total et les pixels noirs un degré de confiance élevé. En général, les zones de l'image de l'appareil photo qui présentent le plus de texture (un arbre, par exemple) ont une confiance en la profondeur brute supérieure à celle des autres zones, comme un mur blanc. Les surfaces sans texture donnent généralement un indice de confiance de zéro.

Si l'appareil cible est équipé d'un capteur de profondeur compatible, les zones de l'image suffisamment proches de l'appareil photo seront probablement plus fiables, même sur des surfaces sans texture.

Coût de calcul

Le coût de calcul de l'API Raw Depth correspond à environ la moitié du coût de calcul de l'API Depth complète.

Cas d'utilisation

L'API Raw Depth vous permet d'obtenir des représentations de profondeur qui fournissent une représentation plus détaillée de la géométrie des objets de la scène. Les données de profondeur brutes peuvent être utiles pour créer des expériences de RA qui nécessitent davantage de précision et de détails pour les tâches de compréhension de la géométrie. Voici quelques cas d'utilisation :

Reconstruction 3D
Mesure
Détection de formes

Prérequis

Assurez-vous de bien maîtriser les concepts fondamentaux de la RA. et comment configurer une session ARCore avant de continuer.

Activer la profondeur

Dans une nouvelle session ARCore, vérifiez si l'appareil de l'utilisateur est compatible avec la fonctionnalité de profondeur. Les appareils compatibles ARCore ne sont pas tous compatibles avec l'API Depth en raison de contraintes de puissance de traitement. Pour économiser des ressources, la profondeur est désactivée par défaut sur ARCore. Activez le mode Profondeur pour que votre application utilise l'API Depth.

int32_t is_depth_supported = 0;

// Check whether the user's device supports the Depth API.
ArSession_isDepthModeSupported(ar_session, AR_DEPTH_MODE_AUTOMATIC,
                               &is_depth_supported);
ArConfig* ar_config = NULL;
ArConfig_create(ar_session, &ar_config);
if (is_depth_supported) {
  ArConfig_setDepthMode(ar_session, ar_config, AR_DEPTH_MODE_AUTOMATIC);
}
CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS);
ArConfig_destroy(ar_config);

Obtenir la dernière image de profondeur brute

Appelez ArFrame_acquireRawDepthImage16Bits() pour obtenir la dernière représentation de profondeur brute.

int64_t previous_depth_image_timestamp_ns = -1;
int64_t depth_image_timestamp_ns;
ArImage* depth_image = NULL;

// Acquire the raw depth image for the current frame.
ArStatus acquire_image_status =
    ArFrame_acquireRawDepthImage16Bits(ar_session, ar_frame, &depth_image);

if (acquire_image_status == AR_SUCCESS) {
  // Optional: compare raw depth image timestamps. Use this check if your app
  // uses only new depth data.
  ArImage_getTimestamp(ar_session, depth_image, &depth_image_timestamp_ns);
  if (depth_image_timestamp_ns != previous_depth_image_timestamp_ns) {
    // Raw depth image is based on new depth data.
    previous_depth_image_timestamp_ns = depth_image_timestamp_ns;
    // …
  }
  // Release the acquired image.
  ArImage_release(depth_image);
}

Les pixels d'image renvoyés par l'API Raw Depth ne contiennent pas tous des données de profondeur, et les images ARCore ne contiennent pas toutes une nouvelle image de profondeur brute. Pour déterminer si la représentation de profondeur brute de l'image actuelle est nouvelle, comparez son code temporel à celui de la précédente image de profondeur brute. Si les codes temporels sont différents, l'image de profondeur brute est basée sur les nouvelles données de profondeur. Sinon, la représentation de profondeur est une reprojection des données de profondeur précédentes.

Image "Obtenez la dernière confiance en soi"

Appelez ArFrame_acquireRawDepthConfidenceImage() pour obtenir l'image de confiance. Vous pouvez utiliser l'image de confiance pour vérifier la précision de chaque pixel de profondeur brut. Les images de confiance sont renvoyées au format Y8. Chaque pixel est un entier non signé de 8 bits. 0 indique le niveau de confiance le plus faible, tandis que 255 indique le niveau de confiance le plus élevé.

// Acquire the raw depth confidence image.
ArImage* confidence_image = NULL;
ArStatus acquire_image_status = ArFrame_acquireRawDepthConfidenceImage(
    ar_session, ar_frame, &confidence_image);

if (acquire_image_status == AR_SUCCESS) {
  // …
  // Release the acquired image.
  ArImage_release(confidence_image);
}