オブジェクトの検出とトラッキング

主な機能

• 高速なオブジェクト検出とトラッキング オブジェクトを検出して、画像内の位置を取得します。連続する画像フレーム間でオブジェクトを追跡します。
• オンデバイス モデルの最適化 オブジェクトの検出とトラッキング モデルは、モバイル デバイス向けに最適化されており、ローエンド デバイスでも、リアルタイム アプリケーションでの使用を想定しています。
• 認識しやすいオブジェクトの検出 画像内で最も視認性の高いオブジェクトを自動的に検出します。
• 大まかな分類: オブジェクトを広範なカテゴリに分類します。このカテゴリを使用すると、不要なオブジェクトを除外できます。サポートされているカテゴリは、日用品、ファッション アイテム、食品、植物、場所です。
• カスタムモデルによる分類 独自のカスタム画像分類モデルを使用して、特定のオブジェクト カテゴリを識別またはフィルタリングします。画像の背景を除外することで、カスタムモデルのパフォーマンスを向上させることができます。

検索結果の例

最も目立つオブジェクトを画像間でトラッキングする

以下の例は、ML Kit で提供されるデフォルトの粗い分類器を使用した、3 つの連続するフレームのトラッキング データを示しています。

	トラッキング ID 0 境界 （95, 45）、（496, 45）、（496, 240）、（95, 240） カテゴリ 場所 分類の信頼度 0.9296875
	トラッキング ID 0 境界 （84, 46）、（478, 46）、（478, 247）、（84, 247） カテゴリ 場所 分類の信頼度 0.8710938
	トラッキング ID 0 境界 （53, 45）、（519, 45）、（519, 240）、（53, 240） カテゴリ 場所 分類の信頼度 0.8828125

写真: Christian Ferrer [CC BY-SA 4.0]

静止画像内の複数のオブジェクト

以下の例は、ML Kit に用意されているデフォルトの粗い分類器を使用して、画像から検出された 4 つのオブジェクトのデータを示しています。

オブジェクト 0
境界	（1, 97）、（332, 97）、（332, 332）、（1, 332）
カテゴリ	FASHION_GOOD
分類の信頼度	0.95703125
オブジェクト 1
境界	（186, 80）、（337, 80）、（337, 226）、（186, 226）
カテゴリ	FASHION_GOOD
分類の信頼度	0.84375
オブジェクト 2
境界	（296, 80）、（472, 80）、（472, 388）、（296, 388）
カテゴリ	FASHION_GOOD
分類の信頼度	0.94921875
オブジェクト 3
境界	（439, 83）、（615, 83）、（615, 306）、（439, 306）
カテゴリ	FASHION_GOOD
分類の信頼度	0.9375

カスタム TensorFlow Lite モデルの使用

デフォルトの大まかな分類器は 5 つのカテゴリ用に作成され、検出されたオブジェクトに関する限定的な情報を提供します。たとえば、花の種類や食べ物の種類を区別するモデルなど、より狭いコンセプト領域をより詳細にカバーする、より特殊な分類器モデルが必要になる場合があります。

この API を使用すると、幅広いソースからのカスタム画像分類モデルをサポートすることで、特定のユースケースに合わせてカスタマイズできます。詳細については、ML Kit によるカスタムモデルをご覧ください。カスタムモデルは、アプリにバンドルすることも、Firebase Machine Learning のモデルデプロイ サービスを使用してクラウドから動的にダウンロードすることもできます。

iOS Android

入力画像の前処理

オブジェクトの検出とトラッキングでは、必要に応じて、バイリニア画像のスケーリングとストレッチを使用して、基盤となるモデルの要件に合うように入力画像のサイズとアスペクト比を調整します。