ML Kit のサブジェクト セグメンテーション API を使用すると、デベロッパーは画像内の背景から複数の被写体を簡単に分離できるため、ステッカーの作成、背景の入れ替え、被写体へのクールな効果の追加などのユースケースを実現できます。
被写体とは、画像の前景に写っている最も目立つ人物、ペット、オブジェクトを指します。2 つの被写体が非常に近いか互いに接している場合、1 つの被写体とみなされます。
Subject Segment API は、入力画像を受け取り、フォアグラウンドの出力マスクまたはビットマップを生成します。また、検出された被写体ごとにマスクとビットマップを提供します（前景はすべての被写体を合わせた値に等しくなります）。
デフォルトでは、フォアグラウンド マスクとフォアグラウンド ビットマップは入力画像と同じサイズになります（個々の被写体のマスクとビットマップのサイズは入力画像のサイズとは異なる可能性があります）。マスクの各ピクセルには、0.0～1.0 の範囲の浮動小数点数が割り当てられます。数値が 1.0 に近いほどピクセルが被写体であるという信頼度が強くなり、その逆も同様です。
Google Pixel 7 Pro で測定された平均レイテンシは約 200 ms です。現在、この API は静止画像のみをサポートしています。
主な機能
- 複数被写体のセグメンテーション: すべての被写体を合わせて 1 つのマスクとビットマップを使用するのではなく、被写体ごとにマスクとビットマップを使用します。
- 被写体の認識: 認識される被写体は、物体、ペット、人間です。
- オンデバイスの処理: すべての処理がデバイス上で行われるため、ユーザーのプライバシーが保護され、ネットワーク接続は必要ありません。
検索結果の例
| 入力画像 | 出力画像 + マスク |
|---|---|
 |
 |
 |
 |
 |
 |