Ajouter des données personnalisées pendant l'enregistrement sur Android

L'API Recording & Playback vous permet d'enregistrer une session et de l'utiliser à la place d'un flux de caméra en temps réel. Toutefois, ces enregistrements ne contiennent que des données vidéo et des données des capteurs. Vous pouvez également ajouter des données personnalisées à un enregistrement de session et les récupérer pendant la lecture, comme si elles faisaient partie d'une image de caméra.

ARCore n'inclut pas automatiquement de données personnalisées dans les enregistrements. Il vous permet plutôt d'ajouter des données personnalisées à une image ARCore pendant l'enregistrement et de récupérer ces mêmes données à partir de l'image lors de la lecture. Il vous appartient de programmer l'application de sorte que l'utilisateur récupère les données qu'il attend lorsqu'il lit sa session.

Cas d'utilisation des données personnalisées

Ajouter des données personnalisées aux enregistrements élargit les possibilités de vos applications de RA. Voici quelques cas d'utilisation spécifiques.

Utiliser la RA en déplacement

Auparavant, les utilisateurs ne pouvaient accéder aux expériences de RA qu'au bon endroit et au bon moment. S'ils souhaitaient installer une lampe en réalité augmentée dans leur salon, ils devaient se tenir debout à cet endroit pour voir à quoi pourrait ressembler la lampe. Grâce aux titres personnalisés, ils peuvent s'enregistrer une fois dans leur salon et ajouter du mobilier virtuel à la scène quand ils en ont envie.

Co-créer des expériences de RA

En l'absence de session en direct, les utilisateurs disposent de bien plus d'options pour modifier la RA, ce qui leur permet de créer du contenu RA unique et d'y accéder n'importe où et n'importe quand. Par exemple, ils peuvent enregistrer un environnement donné, ajouter des effets de réalité augmentée et les partager avec leurs amis.

Prérequis

Assurez-vous de bien maîtriser les concepts fondamentaux de la RA. et comment configurer une session ARCore avant de continuer.

Enregistrer avec des données personnalisées

Créez un enregistrement de session avec des données personnalisées.

Initialiser un enregistrement avec des données personnalisées

Suivez ces étapes pour initialiser un enregistrement avec des données personnalisées. Pour démarrer, arrêter et vérifier une session d'enregistrement, consultez Enregistrer et lire une session de RA.

1. Obtenez un RecordingConfig.
2. Créez un Track avec un UUID personnalisé. Toutes les données personnalisées seront enregistrées ici.
3. Ajoutez le Track au RecordingConfig que vous avez créé lors de la configuration de la session.

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
UUID trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893"); // from UUID generator
Track track = new Track(session).setId(trackUUID);

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track);

// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use
// to get your data back during playback.
val trackUUID = UUID.fromString("de5ec7a4-09ec-4c48-b2c3-a98b66e71893") // from UUID generator
val track = Track(session).setId(trackUUID)

// Add the Track to the recordingConfig.
// recordingConfig must already be configured.
recordingConfig.addTrack(track)

Tous les nouveaux titres sont traités comme des enregistrements distincts, chacun d'entre eux occupant son propre UUID.

Facultatif: Configurer le canal avec des données supplémentaires

Au cas où vous souhaiteriez l'identifier ultérieurement, vous pouvez configurer une piste avec des données supplémentaires décrivant l'enregistrement de la session. Par exemple, vous pouvez "taguer" un titre en ajoutant une remarque indiquant le lieu et l'heure auxquels vous avez enregistré la session : "Cette session a été enregistrée dans un centre commercial l'après-midi".

// Set additional data on this track.
// For example, describe where you recorded the session.
byte[] customTrackData = "airport".getBytes(StandardCharsets.UTF_8);
track.setMetadata(ByteBuffer.wrap(customTrackData));

// Set additional data on this track.
// For example, describe where you recorded the session.
val customTrackData: ByteArray = "airport".toByteArray()
track.setMetadata(ByteBuffer.wrap(customTrackData))

Facultatif: Configurer le suivi avec un type MIME

Si votre application doit être compatible avec des outils externes, vous pouvez configurer un canal avec un type MIME qui décrit le type de données enregistrées dans le canal. Si vous ne spécifiez pas de type, les données seront classées dans la catégorie application/text. ARCore ignore le type MIME lors de la lecture des données.

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv");

// Set a MIME type for compatibility with external tools.
track.setMimeType("text/csv")

Enregistrer des pistes de données personnalisées

Toutes les données de suivi personnalisé sont enregistrées dans des Frame. Les sessions de RA utilisent session.update() pour obtenir un frame. L'heure à laquelle vous enregistrez des données sur une image est la même heure que celle à laquelle les données sont renvoyées pendant la lecture. Par exemple, si vous appelez recordTrackData() avec la valeur "A" à 00:07:02, vous recevez "A" au marque 00:07:02 lors de la lecture du titre.

Pour enregistrer une piste de données personnalisée, convertissez les données en ByteBuffer et appelez recordTrackData().

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  Lamp lampProduct = Lamp.FLOOR; // a floor lamp
  // Convert the lamp data into a byte array.
  ByteBuffer lampData = ByteBuffer.wrap(new byte[] {(byte) lampProduct.ordinal()});
  frame.recordTrackData(trackUUID, lampData);
}

// Place an AR lamp in a room.
if (placeLampButtonWasPressed) {
  val lampProduct = Lamp.FLOOR // a floor lamp
  // Convert the lamp data into a byte array.
  val lampData = ByteBuffer.wrap(byteArrayOf(lampProduct.ordinal.toByte()))
  frame.recordTrackData(trackUUID, lampData)
}

Lire des pistes de données personnalisées

Extrayez des données personnalisées à partir d'un enregistrement de session pendant la lecture.

Initialiser une lecture

Initialiser une lecture avec des données personnalisées revient à initialiser la lecture d'un enregistrement de session standard.

Renvoyer des données personnalisées

Appelez getUpdatedTrackData() pour récupérer les données personnalisées enregistrées sur une trame. Il est possible de récupérer des données de plusieurs pistes à partir d'une même trame. Par exemple, si vous avez appelé recordTrackData() deux fois sur la même image pendant l'enregistrement, vous obtenez deux instances de TrackData lors de la lecture.

// Fetch the data recorded on a select frame and place it in a container object.
Collection<TrackData> trackDataList = frame.getUpdatedTrackData(trackUUID);

// Fetch the data recorded on a select frame and place it in a container object.
val trackDataList: Collection<TrackData> = frame.getUpdatedTrackData(trackUUID)

Une fois que TrackData se trouve dans un objet conteneur, extrayez les octets des données personnalisées.

// Extract the bytes of custom data from the list of track data.
for (TrackData trackData : trackDataList) {
  ByteBuffer bytes = trackData.getData();
  Lamp lamp = Lamp.values()[bytes.get()]; // this is the lamp!
}

// Extract the bytes of custom data from the list of track data.
for (trackData in trackDataList) {
  val bytes = trackData.data
  val lamp = Lamp.values()[bytes.get().toInt()] // this is the lamp!
}

Étapes suivantes

• Découvrez comment créer votre propre application avec Recording & Playback en suivant l'atelier de programmation Recording & Playback.