Benutzerdefinierte Texturen und 3D-Modelle für Augmented Faces erstellen

Wenn Sie Augmented Faces implementieren möchten, benötigen Sie benutzerdefinierte Texturen und Modelle, die auf erkannte Gesichtsmeshes gelegt werden. Diese Assets werden von Künstlern im Voraus in 3D-Modellierungs- und Animationssoftware erstellt und als FBX-Dateien exportiert.

Kanonische Dateien

Die SDKs enthalten eine canonical_face_mesh.fbx-Datei und eine canonical_face_mesh.psd-Datei, mit denen Künstler Assets erstellen können, die richtig auf Gesichtern platziert werden, die von ARCore erkannt werden. Sie finden diese Dateien im Ordner assets/canonical_face_mesh.fbx.

3D-Modelle mit der FBX-Datei erstellen

Die FBX-Datei enthält die Topologie des Gesichts-Mesh, UV-Texturkoordinaten und einen Rig, der die unterstützten Gesichtsregionen definiert, die zum Erstellen und Anhängen von Assets verwendet werden. Damit sie mit ARCore kompatibel sind, sollten FBX-Dateien mit unterstützten Einstellungen gespeichert werden.

Diese Datei enthält eine Referenz facemesh, die nicht als Teil der finalen FBX-Datei exportiert werden sollte. ARCore generiert und aktualisiert während der Laufzeit ein separates Gesichts-Mesh.

2D-Texturen mit der PSD-Datei erstellen

Mit der .psd-Referenztextur für das Gesichts-Mesh wird angezeigt, wie sich eine vom Künstler erstellte Textur bei der Laufzeit mit den Gesichtsmerkmalen eines Nutzers überschneidet. Es umfasst vier Ebenen:

  • Maske:Zeigt, wo sich die Augen, Nasenlöcher und der Mund in der Textur befinden.
  • Linien:Anhand dieser Linien wird dargestellt, wie sich die Gesichtszüge eines Nutzers während der Laufzeit mit einer Textur decken.
  • UVs:Stellt die Triangulation des 468-Punkt-Meshes für die Gesichtstextur dar.
  • Hintergrund:Eine neutral graue Hintergrundebene, die die anderen drei Komponenten visuell hervorhebt.

Wenn Sie die PSD-Datei ändern, sollten Sie die Änderungen sofort nach dem Export sehen.

Kanonisches Face-Mesh anpassen

Wenn Modelle und Texturen mit dem im SDK enthaltenen assets/canonical_face_mesh.fbx erstellt werden, sind diese Einstellungen auch beim Exportieren von FBX-Dateien erforderlich:

  • Achten Sie darauf, dass alle benutzerdefinierten 3D-Modelle mit den zugehörigen Knochen oder Regionen verbunden sind.

  • Verwenden Sie die folgende Hierarchie:

    asset
|__root
|   |__NOSE_TIP
|   |__FOREHEAD_RIGHT
|   |__FOREHEAD_LEFT
|__facemesh           <-- for reference
|__                   <-- place additional custom 3D meshes here

  • Exportieren Sie das enthaltene facemesh-Modell nicht. Dieses Mesh dient nur zu Referenzzwecken. ARCore erstellt zur Laufzeit ein separates Gesichts-Mesh. Verwenden Sie die UVs in facemesh als Referenz, wenn Sie benutzerdefinierte Gesichts-Mesh-Texturen erstellen.

  • Platzieren Sie benutzerdefinierte 3D-Modelle als untergeordnete Elemente des Knotens asset.

  • Die Verwendung von Namespaces wird unterstützt.

  • Das Asset enthält vier Knochen, die aus den Regionen root und NOSE_TIP, FOREHEAD_RIGHT und FOREHEAD_LEFT bestehen. Ändern Sie die Namen dieser Knochen nicht.