画像ラベル付け

主な機能

• 強力な汎用基本分類器 写真でよく見られるオブジェクトを表す 400 以上のカテゴリを認識します。
• カスタムモデルによるユースケースに合わせた調整 TensorFlow Hub にある他の事前トレーニング済みモデル、または TensorFlow、AutoML Vision Edge、TensorFlow Lite Model Maker でトレーニングされた独自のカスタムモデルを使用します。
• 使いやすいハイレベル API ローレベルのモデルの入出力、画像の前処理と後処理、処理パイプラインの構築に取り組む必要はありません。ML Kit は TensorFlow Lite モデルからラベルを抽出し、テキストの説明として提供します。

この API は、画像全体を記述する画像分類モデルを対象としています。靴や家具など、画像内の 1 つ以上のオブジェクトを分類する場合は、Object Detection & Tracking API のほうが適している可能性があります。

サポートされている画像分類モデル

Image Labeling API は、さまざまな画像分類モデルをサポートしています。

サポートされている画像分類モデル
ベースモデル	デフォルトでは、この API は、写真の最も一般的なコンセプトに対応する 400 以上のエンティティを認識する、強力な汎用の画像ラベル付けモデルを使用します。
カスタム TensorFlow Lite モデル	アプリケーション固有のコンセプトをターゲットにするために、API では幅広いソースからのカスタム画像分類モデルを使用できます。TensorFlow Hub からダウンロードした事前トレーニング済みモデルか、AutoML Vision Edge、TensorFlow Lite Model Maker、TensorFlow 自体でトレーニングされた独自のモデルを使用できます。モデルは、アプリにバンドルすることも、Firebase Machine Learning でホストして、実行時にダウンロードできます。

ベースモデルの使用

ML Kit の基本モデルは、人、もの、場所、アクティビティなどを識別するエンティティのリストを返します。各エンティティには、ML モデルの関連性の信頼度を示すスコアが付いています。この情報を使用して、メタデータの自動生成やコンテンツ管理などのタスクを実行できます。ML Kit に用意されているデフォルト モデルは、400 を超えるエンティティを認識します。

iOS Android

ラベルの例

画像ラベル付け API の基本モデルは、次の例に示すように 400 以上のラベルをサポートしています。

カテゴリ	ラベルの例
ユーザー	Crowd Selfie Smile
アクティビティ	Dancing Eating Surfing
被写体	Car Piano Receipt
動物	Bird Cat Dog
工場	Flower Fruit Vegetable
プレイス	Beach Lake Mountain

検索結果の例

付属の写真で認識されたエンティティの例です。

ラベル 0
テキスト	スタジアム
信頼	0.9205354
ラベル 1
テキスト	スポーツ
信頼	0.7531109
ラベル 2
テキスト	イベント
信頼	0.66905296
ラベル 3
テキスト	レジャー
信頼	0.59904146
ラベル 4
テキスト	サッカー
信頼	0.56384534
ラベル 5
テキスト	ネット
信頼	0.54679185
ラベル 6
テキスト	植物
信頼	0.524364

カスタム TensorFlow Lite モデルの使用

ML Kit のベース画像のラベル付けモデルは汎用向けに構築されています。写真で特に多いオブジェクトを表す 400 のカテゴリを認識するようにトレーニングされています。花の種類や食品の種類を区別するモデルなど、少数のカテゴリをより詳細に認識する特殊な画像分類モデルが必要になる場合があります。

この API を使用すると、幅広いソースからのカスタム画像分類モデルをサポートして、特定のユースケースに合わせて調整できます。詳細については、ML Kit によるカスタムモデルをご覧ください。カスタムモデルは、アプリにバンドルすることも、Firebase Machine Learning のモデルデプロイ サービスを使用してクラウドから動的にダウンロードすることもできます。

iOS Android

入力画像の前処理

必要に応じて、画像ラベル付けはバイリニア画像のスケーリングとストレッチを使用して、基盤となるモデルの要件に合うように入力画像のサイズとアスペクト比を調整します。