ML Kit のオンデバイス オブジェクト検出とトラッキング API を使用すると、画像またはライブカメラ フィード内のオブジェクトを検出して追跡できます。
必要に応じて、API に組み込まれている粗分類器を使用するか、独自のカスタム画像分類モデルを使用して、検出されたオブジェクトを分類できます。詳細については、カスタム LiteRT モデルを使用するをご覧ください。
オブジェクト検出とトラッキングはデバイス上で行われるため、画像検索パイプラインのフロントエンドとしても機能します。検出してフィルタリングしたオブジェクトは、Cloud Vision Product Search などのクラウド バックエンドに渡すことができます。
主な機能
- オブジェクト検出とトラッキング オブジェクトを検出し、画像内の位置を取得します。連続する画像フレーム間でオブジェクトをトラッキングします。
- 最適化されたオンデバイス モデル オブジェクト検出とトラッキングのモデルはモバイルデバイス用に最適化されており、ローエンド デバイスでもリアルタイム アプリケーションで使用することを前提としています。
- 主要なオブジェクト検出 画像内で最も主要なオブジェクトを自動的に判断します。
- 粗分類 オブジェクトを一般的なカテゴリに分類します。これにより、必要のないオブジェクトを除外できます。サポートされているカテゴリは、家庭用品、ファッション グッズ、食品、植物、場所です。
- カスタムモデルによる分類 独自のカスタム画像分類モデルを使用して、特定のオブジェクト カテゴリを識別またはフィルタします。画像の背景を除外することで、カスタムモデルのパフォーマンスを向上させます。
検索結果の例
画像間で最も目立つオブジェクトをトラッキングする
次の例は、ML Kit が提供するデフォルトの粗分類器を使用した、3 つの連続するフレームのトラッキング データを示しています。
 |
|
||||||||
 |
|
||||||||
 |
|
写真: Christian Ferrer [CC BY-SA 4.0]
静止画像内の複数のオブジェクト
次の例は、ML Kit が提供するデフォルトの粗分類器を使用して画像内で検出された 4 つのオブジェクトのデータを示しています。
| オブジェクト 0 | |
|---|---|
| 境界 | （1, 97）、（332, 97）、（332, 332）、（1, 332） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.95703125 |
| オブジェクト 1 | |
| 境界 | （186, 80）、（337, 80）、（337, 226）、（186, 226） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.84375 |
| オブジェクト 2 | |
| 境界 | （296, 80）、（472, 80）、（472, 388）、（296, 388） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.94921875 |
| Object 3 | |
| 境界 | （439, 83）、（615, 83）、（615, 306）、（439, 306） |
| カテゴリ | FASHION_GOOD |
| 分類の信頼度 | 0.9375 |
カスタム LiteRT モデルを使用する
デフォルトの粗分類器は 5 つのカテゴリ用に構築されており、検出されたオブジェクトに関する情報は限られています。花や食物の種類を区別するためのモデルなど、より狭い範囲のコンセプトに詳細に対応する、特殊化された分類器モデルが必要になる場合があります。
この API を使用すると、さまざまなソースのカスタム画像分類モデルをサポートすることで、特定のユースケースに合わせて調整できます。詳細については、ML Kit を使用したカスタムモデルを参照してください。カスタムモデルは、アプリにバンドルすることも、Cloud Storage から動的にダウンロードすることもできます。
入力画像の前処理
必要に応じて、オブジェクト検出とトラッキングでは、バイリニア画像のスケーリングとストレッチを使用して、基盤となるモデルの要件に合うように入力画像のサイズとアスペクト比を調整します。