拡張顔を実装するには、識別された顔メッシュにオーバーレイするカスタマイズされたテクスチャとモデルが必要です。これらのアセットは、アーティストが 3D モデリング ソフトウェアやアニメーション ソフトウェアで事前に作成し、FBX ファイルとしてエクスポートします。
正規ファイル
SDK には、ARCore によって検出された顔に適切に重ねて表示されるアセットをアーティストが作成できるように、canonical_face_mesh.fbx ファイルと canonical_face_mesh.psd ファイルが付属しています。これらのファイルは assets/canonical_face_mesh.fbx フォルダにあります。
FBX ファイルで 3D モデルを作成
FBX ファイルには、顔メッシュ トポロジ、UV テクスチャ座標、アセットの作成とアタッチのために提供されるサポートされている顔の領域を定義するリグが含まれています。ARCore と互換性を確保するには、サポートされている設定を使用して FBX ファイルを保存する必要があります。
このファイルには、最終的な FBX の一部としてエクスポートしない参照 facemesh が含まれています。ARCore は、実行時に別の顔メッシュを生成して更新します。
PSD ファイルを使用して 2D テクスチャを作成する
.psd フェイスメッシュ リファレンス テクスチャは、アーティストが作成したテクスチャが実行時にユーザーの顔の特徴とどのように一致するかを確認するために使用されます。次の 4 つのレイヤがあります。
- マスク: テクスチャ内の目、鼻、口の位置を示します。
- 線: 実行時にユーザーの顔の特徴がテクスチャとどのように並ぶかを示すガイドライン。
- UV: 468 ポイントのフェース テクスチャ メッシュの三角形を表します。
- 背景: 他の 3 つのコンポーネントを視覚的に明確にするために、中間色のグレーの背景レイヤ。
PSD ファイルを変更した場合は、エクスポート後すぐに変更が反映されます。
標準の顔メッシュをカスタマイズする
SDK に含まれている assets/canonical_face_mesh.fbx を使用してモデルとテクスチャを作成している場合は、FBX ファイルをエクスポートするときにも次の設定が必要です。
カスタム メッシュが、関連するボーンまたは領域にスキニングされていることを確認します。
次の階層を使用します。
asset |__root | |__NOSE_TIP | |__FOREHEAD_RIGHT | |__FOREHEAD_LEFT |__facemesh <-- for reference |__ <-- place additional custom 3D meshes here
付属の
facemeshモデルはエクスポートしないでください。このメッシュは参照専用です。ARCore は、ランタイムで個別の顔メッシュを作成します。カスタムのフェイス メッシュ テクスチャを作成するときに、facemeshの UV をリファレンスとして使用します。カスタムメッシュを
assetノードの子として配置します。Namespace の使用がサポートされています。
このアセットには、
rootリージョン、NOSE_TIPリージョン、FOREHEAD_RIGHTリージョン、FOREHEAD_LEFTリージョンで構成される 4 つのボーンがあります。これらの骨の名前は変更しないでください。