顔メッシュ検出

ML Kit の顔メッシュ検出 API を使用すると、自撮り写真のような画像用に 468 個の 3D ポイントからなる高精度メッシュリアルタイムで生成できます。顔がカメラから 2 m 以内にある必要があります。

カメラから 2 m 以上離れた顔を検出する場合は、ML Kit の顔検出 SDK をご覧ください。

以下は、顔メッシュ検出機能に関する用語です。

  • 境界ボックスは、検出された顔の長方形の領域です。
  • 顔メッシュ情報は、検出された面のジオメトリ メッシュを描画するために使用できる 468 個の 3D ポイントとエッジのグループです。

顔メッシュ検出 API は、検出された顔の顔メッシュを生成します。各顔には、468 の 3D ポイントとエッジが含まれています。顔メッシュ検出を使用すると、AR フィルタ、自撮り写真の撮影、ビデオチャットなど、顔に対するより正確な処理をリアルタイムで実行できます。

Android

主な機能

  • 顔の認識と検索 自撮り写真で検出された顔の境界ボックスを取得します。
  • 顔メッシュ情報を取得する 検出された顔ごとに 468 の 3D ポイントと三角形の情報を取得します。
  • 動画フレームのリアルタイム処理: 顔メッシュ検出はデバイス上で実行され、動画操作などのリアルタイム アプリケーションに十分な速さです。

検索結果の例

入力 出力(「境界ボックスのみ」モード) 出力([フェイス メッシュ] モード)

ML Kit 顔検出 SDK との比較

顔メッシュ検出 API 顔検出 API
推奨されるユースケース(例)
  • 動画ストリーミングで顔の AR エフェクトを生成する
  • 自撮り写真に似た写真でのリアルタイムの顔検出(最大 2 m 以内の顔)
  • 写真に写っている顔の数を検出します
  • カメラから遠くにある顔を検出する
レイテンシ 低(Pixel 3 では約 14 ミリ秒)

リアルタイムに推奨

中(Google Pixel 3 で高速モードがオンの場合、最大 60 ミリ秒)
推奨される入力 撮影距離が約 2 m 以内の顔 顔が写っている画像
顔ポイントの出力 「フェイス メッシュ」モードが有効になっている場合、顔ごとに 468 個の 3D ポイントと三角形の情報。 「顔の輪郭」モードが有効になっている場合、顔ごとに 133 の 2D ポイント。
# 個の顔を認識しました
  • 「境界ボックスのみ」モード: 顔がカメラに近い場合(2 m 以下)の境界ボックスのみ
  • 「顔メッシュ」モード: 顔がカメラの近く(2 m 以内)にある限り、最大 2 つの境界ボックスとメッシュ
  • 「境界ボックス」モード: 1 以上。顔はカメラから離れてもかまいませんが、顔あたりの最小サイズは 100x100 ピクセルです。
  • 顔の輪郭: 最大 1(顔がカメラの近くにある場合のみ)
トラッキング ID ×
顔の向き ×
顔の分類(笑顔など) ×
実装オプション バンドルのみ バンドル / バンドルなし
アプリのサイズ バンドル型: 6.4 MB 以下

バンドルなし: まだ利用不可

バンドル型: 約 6.9 MB

バンドルなし: 0.6 MB 以下