顔を拡張した機能の概要

プラットフォーム固有のガイド

Augmented Faces API を使用すると、特殊なハードウェアを使用せずに、人間の顔の上にアセットをレンダリングできます。検出された顔のさまざまな領域をアプリが自動的に識別できるようにする特徴点を提供します。アプリは、これらの領域を使用して、個々の顔の輪郭に適切に一致するようにアセットをオーバーレイできます。

ユースケース

顔ベースの AR は、美容やアクセサリーの試着から、ユーザーが友だちと一緒に楽しめる顔のフィルタやエフェクトまで、さまざまなユースケースに対応しています。たとえば、3D モデルとテクスチャを使用して、キツネの特徴をユーザーの顔に重ね合わせることができます。

モデルは 2 頭のキツネの耳と 1 頭のキツネの鼻で構成されています。それぞれが個別のボーンであり、接続されている顔の領域に合わせて個別に移動できます。

テクスチャは、アイシャドウ、そばかすなどの色付けで構成されます。

実行時に、Augmented Faces API がユーザーの顔を検出し、テクスチャとモデルの両方をその顔にオーバーレイします。

オーグメンテッド フェイスの構成要素

Augmented Faces API は、中央のポーズ、3 つの領域のポーズ、3D 顔メッシュを提供します。

中央のポーズ

鼻の後ろに位置し、ユーザーの頭の中央を描くポーズ。頭の上に帽子などのアセットをレンダリングする場合に使用します。

リージョン ポーズ

左側の額、右側の額、鼻先に配置されるリージョン ポーズは、ユーザーの顔の重要な部分をマークします。鼻や耳の周囲にアセットをレンダリングする場合に使用します。

顔メッシュ

468 ポイントの密集した 3D フェイスメッシュにより、顔に正確に沿った適応性のある詳細なテクスチャをペイントできます。たとえば、仮想の眼鏡を鼻の特定の部分の背後に重ねる場合などに使用できます。メッシュは、この仮想画像を簡単にレンダリングできる十分な詳細な 3D 情報を収集します。