Créer des textures personnalisées et des modèles 3D pour les faces augmentées

Pour implémenter des visages augmentés, vous avez besoin de textures et de modèles personnalisés à superposer sur les maillages de visage identifiés. Ces éléments sont créés par des artistes à l'avance dans un logiciel de modélisation et d'animation 3D, puis exportés en tant que fichiers FBX.

Fichiers canoniques

Les SDK sont fournis avec un fichier canonical_face_mesh.fbx et un fichier canonical_face_mesh.psd pour aider les artistes à créer des éléments qui se superposent correctement aux visages détectés par ARCore. Ces fichiers se trouvent dans le dossier assets/canonical_face_mesh.fbx.

Créer des modèles 3D avec le fichier FBX

Ce fichier contient la topologie du maillage de visages, les coordonnées de la texture UV et qui définit les zones faciales prises en charge fournies pour créer et des assets. Pour vous assurer qu'ils sont compatibles avec ARCore, les fichiers FBX doivent être enregistrés avec les paramètres compatibles.

Ce fichier contient une référence facemesh qui ne doit pas être exportée dans la version finale de WebRTC. ARCore génère et met à jour un maillage de visage distinct au moment de l'exécution.

Créez des textures 2D à l'aide du fichier PSD

La texture de référence du maillage de visage .psd permet de voir comment une texture créée par un artiste s'aligne sur les traits du visage d'un utilisateur au moment de l'exécution. Il comprend les éléments suivants : quatre couches:

  • Masque : indique l'emplacement des yeux, des narines et de la bouche dans la texture.
  • Lignes:consignes montrant l'alignement des traits du visage d'un utilisateur avec pendant l'exécution.
  • UVs:représente la triangulation du maillage de texture du visage à 468 points.
  • Arrière-plan : couche d'arrière-plan gris neutre pour que les trois autres composants soient visuellement clairs.

Si vous modifiez le fichier PSD, vous devriez voir vos modifications dès l'exportation.

Personnaliser le maillage de visages canonique

Si les modèles et les textures sont créés à l'aide de la assets/canonical_face_mesh.fbx inclus dans le SDK, ces paramètres sont également lors de l'exportation de fichiers FBX:

  • Assurez-vous que les maillages personnalisés sont mis en peau sur les os ou les régions associés.

  • Utilisez la hiérarchie suivante :

    asset
|__root
|   |__NOSE_TIP
|   |__FOREHEAD_RIGHT
|   |__FOREHEAD_LEFT
|__facemesh           <-- for reference
|__                   <-- place additional custom 3D meshes here

  • N'exportez pas le modèle facemesh inclus. Ce maillage est fourni à titre indicatif uniquement. ARCore créera un maillage de visages distinct au moment de l'exécution. Utilisez les UV dans facemesh comme référence lorsque vous créez des textures de maillage de visage personnalisées.

  • Placez des maillages personnalisés en tant qu'enfants du nœud asset.

  • L'utilisation d'espaces de noms est acceptée.

  • L'élément contient quatre os composés de régions root et NOSE_TIP, FOREHEAD_RIGHT et FOREHEAD_LEFT. Ne modifiez pas le nom ces os.