ML Kit のオンデバイス オブジェクト検出とトラッキング API を使用すると、画像またはライブカメラ フィード内のオブジェクトを検出して追跡できます。
必要に応じて、API に組み込まれている大まかな分類器を使用するか、独自のカスタム画像分類モデルを使用して、検出されたオブジェクトを分類できます。詳細については、カスタム TensorFlow Lite モデルの使用をご覧ください。
オブジェクトの検出とトラッキングはデバイス上で行われるため、ビジュアル検索パイプラインのフロントエンドとして適しています。オブジェクトを検出してフィルタリングしたら、Cloud Vision Product Search などのクラウド バックエンドに渡すことができます。
主な機能
- オブジェクトの迅速な検出とトラッキング オブジェクトを検出し、画像内の位置を取得します。連続する画像フレーム間のオブジェクトを追跡します。
- オンデバイス モデルの最適化 オブジェクト検出とトラッキング モデルは、モバイル デバイス向けに最適化されており、ローエンド デバイスでもリアルタイム アプリケーションで使用することを目的としています。
- 認識しやすいオブジェクト検出 画像内で最も目立つオブジェクトを自動的に判別します。
- 大まかな分類: オブジェクトを幅広いカテゴリに分類します。不要なオブジェクトを除外できます。サポートされているカテゴリは、日用品、ファッション アイテム、食品、植物、場所です。
- カスタムモデルを使用した分類 独自のカスタム画像分類モデルを使用して、特定のオブジェクト カテゴリを識別またはフィルタリングします。画像の背景を除外して、カスタムモデルのパフォーマンスを向上させます。
検索結果の例
画像間で最も目立つオブジェクトをトラッキングする
以下の例は、ML Kit が提供するデフォルトの大まかな分類器を使用した 3 つの連続するフレームからのトラッキング データを示しています。
 |
|
||||||||
 |
|
||||||||
 |
|
写真: Christian Ferrer [CC BY-SA 4.0]
静止画像内の複数のオブジェクト
以下の例は、ML Kit が提供するデフォルトの大まかな分類器を使用して画像内で検出された 4 つのオブジェクトのデータを示しています。
| オブジェクト 0 | |
|---|---|
| 境界 | （1、97）、（332、97）、（332、332）、（1、332） |
| カテゴリ | ファッション性 |
| 分類の信頼度 | 0.95703125 |
| オブジェクト 1 | |
| 境界 | （186, 80）、（337, 80）、（337, 226）、（186, 226） |
| カテゴリ | ファッション性 |
| 分類の信頼度 | 0.84375 |
| オブジェクト 2 | |
| 境界 | （296, 80）、（472, 80）、（472, 388）、（296, 388） |
| カテゴリ | ファッション性 |
| 分類の信頼度 | 0.94921875 |
| オブジェクト 3 | |
| 境界 | （439, 83）、（615, 83）、（615, 306）、（439, 306） |
| カテゴリ | ファッション性 |
| 分類の信頼度 | 0.9375 |
カスタム TensorFlow Lite モデルの使用
デフォルトの大まかな分類器は 5 つのカテゴリ用に作成され、検出されたオブジェクトに関する限られた情報を提供します。より細かなコンセプトの領域をカバーする、より専門的な分類モデルが必要になることもあります。たとえば、花の種類や食の種類を区別するモデルなどです。
この API では、幅広いソースからカスタムの画像分類モデルをサポートすることで、特定のユースケースに合わせてカスタマイズできます。詳細については、ML Kit を使用したカスタムモデルをご覧ください。カスタムモデルは、アプリにバンドルすることも、Firebase Machine Learning のモデルデプロイ サービスを使用してクラウドから動的にダウンロードすることもできます。
入力画像の前処理
オブジェクトの検出とトラッキングは、必要に応じて、バイリニア画像の拡大縮小とストレッチを使用して、基盤となるモデルの要件に合わせて入力画像のサイズとアスペクト比を調整します。