ML Kit の顔メッシュ検出 API を使用すると、自撮りのような画像用に 468 個の 3D ポイントの高精度メッシュをリアルタイムで生成できます。顔はカメラから 2 m 以内にある必要があります。
カメラから 2 m 以上離れた場所から顔を検出する場合は、ML Kit の顔検出 SDK をご覧ください。
顔メッシュ検出機能で使用される用語には、次のようなものがあります。
- 境界ボックスは、検出された顔の矩形領域です。
- 顔メッシュ情報は、468 の 3D 点とエッジをまとめたもので、検出された顔のジオメトリ メッシュを描画するために使用できます。
顔メッシュ検出 API は、検出された顔の顔メッシュを生成します。それぞれの顔には、468 個の 3D ポイントとエッジが含まれます。顔メッシュ検出では、AR フィルタ、自撮りキャプチャ、ビデオチャットなど、顔に対してリアルタイムでより正確な操作を行うことができます。
主な機能
- 顔の認識と検出: 検出された顔の境界ボックスを自撮り写真で取得します。
- 顔のメッシュ情報を取得する: 検出された顔の 468 個の 3D ポイントと三角形の情報を取得します。
- 動画フレームをリアルタイムで処理する。顔メッシュ検出はデバイス上で行われ、動画操作などのリアルタイム アプリケーションには十分な速度です。
検索結果の例
| 入力 | 出力（「境界ボックスのみ」モード） | 出力（「顔メッシュ」モード） |
|---|---|---|
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
ML Kit の顔検出 SDK との比較
| 顔メッシュ検出 API | Face Detection API | |
| おすすめのユースケース（例） |
|
|
| レイテンシ | 低（Google Pixel 3 で最大 14 ミリ秒）
リアルタイムに推奨 |
中（高速モードがオンになっていると、Google Pixel 3 で最大 60 ミリ秒） |
| 推奨される入力値 | 2 メートル以内の顔で撮影された顔 | 顔が写っている画像 |
| Face Points の出力 | 「顔のメッシュ」モードを有効にすると、顔ごとに 468 個の 3D ポイントと三角形の情報を利用できます。 | 「顔の輪郭」モードが有効になっている場合、顔ごとに 133 個の 2D ポイント。 |
| # 人の顔が認識されました |
|
|
| トラッキング ID | × | ○ |
| 顔の向き | × | ○ |
| 顔分類（笑顔など） | × | ○ |
| 実装オプション | バンドルのみ | バンドル / バンドルなし |
| アプリのサイズ | バンドル: 約 6.4 MB
バンドルなし: 利用不可 |
バンドル: 約 690 万 バンドルなし: ～ 0.6 MB |