オブジェクトの検出とトラッキング

ML Kit のオンデバイス オブジェクト検出とトラッキング API を使用すると、画像またはライブカメラ フィード内のオブジェクトを検出して追跡できます。

必要に応じて、API に組み込まれている大まかな分類器を使用するか、独自のカスタム画像分類モデルを使用して、検出されたオブジェクトを分類できます。詳細については、カスタム TensorFlow Lite モデルの使用をご覧ください。

オブジェクトの検出とトラッキングはデバイス上で行われるため、ビジュアル検索パイプラインのフロントエンドとして適しています。オブジェクトを検出してフィルタリングしたら、Cloud Vision Product Search などのクラウド バックエンドに渡すことができます。

iOS Android

主な機能

  • オブジェクトの迅速な検出とトラッキング オブジェクトを検出し、画像内の位置を取得します。連続する画像フレーム間のオブジェクトを追跡します。
  • オンデバイス モデルの最適化 オブジェクト検出とトラッキング モデルは、モバイル デバイス向けに最適化されており、ローエンド デバイスでもリアルタイム アプリケーションで使用することを目的としています。
  • 認識しやすいオブジェクト検出 画像内で最も目立つオブジェクトを自動的に判別します。
  • 大まかな分類: オブジェクトを幅広いカテゴリに分類します。不要なオブジェクトを除外できます。サポートされているカテゴリは、日用品、ファッション アイテム、食品、植物、場所です。
  • カスタムモデルを使用した分類 独自のカスタム画像分類モデルを使用して、特定のオブジェクト カテゴリを識別またはフィルタリングします。画像の背景を除外して、カスタムモデルのパフォーマンスを向上させます。

検索結果の例

画像間で最も目立つオブジェクトをトラッキングする

以下の例は、ML Kit が提供するデフォルトの大まかな分類器を使用した 3 つの連続するフレームからのトラッキング データを示しています。

トラッキング ID 0
境界 (95、45)、(496、45)、(496、240)、(95、240)
カテゴリ 場所
分類の信頼度 0.9296875
トラッキング ID 0
境界 (84, 46)、(478, 46)、(478, 247)、(84, 247)
カテゴリ 場所
分類の信頼度 0.8710938
トラッキング ID 0
境界 (53, 45)、(519, 45)、(519, 240)、(53, 240)
カテゴリ 場所
分類の信頼度 0.8828125

写真: Christian Ferrer [CC BY-SA 4.0]

静止画像内の複数のオブジェクト

以下の例は、ML Kit が提供するデフォルトの大まかな分類器を使用して画像内で検出された 4 つのオブジェクトのデータを示しています。

オブジェクト 0
境界 (1、97)、(332、97)、(332、332)、(1、332)
カテゴリ ファッション性
分類の信頼度 0.95703125
オブジェクト 1
境界 (186, 80)、(337, 80)、(337, 226)、(186, 226)
カテゴリ ファッション性
分類の信頼度 0.84375
オブジェクト 2
境界 (296, 80)、(472, 80)、(472, 388)、(296, 388)
カテゴリ ファッション性
分類の信頼度 0.94921875
オブジェクト 3
境界 (439, 83)、(615, 83)、(615, 306)、(439, 306)
カテゴリ ファッション性
分類の信頼度 0.9375

カスタム TensorFlow Lite モデルの使用

デフォルトの大まかな分類器は 5 つのカテゴリ用に作成され、検出されたオブジェクトに関する限られた情報を提供します。より細かなコンセプトの領域をカバーする、より専門的な分類モデルが必要になることもあります。たとえば、花の種類や食の種類を区別するモデルなどです。

この API では、幅広いソースからカスタムの画像分類モデルをサポートすることで、特定のユースケースに合わせてカスタマイズできます。詳細については、ML Kit を使用したカスタムモデルをご覧ください。カスタムモデルは、アプリにバンドルすることも、Firebase Machine Learning のモデルデプロイ サービスを使用してクラウドから動的にダウンロードすることもできます。

iOS Android

入力画像の前処理

オブジェクトの検出とトラッキングは、必要に応じて、バイリニア画像の拡大縮小とストレッチを使用して、基盤となるモデルの要件に合わせて入力画像のサイズとアスペクト比を調整します。