画像ラベル付け

主な機能

• 強力な汎用ベース分類子 写真で最も一般的なオブジェクトを説明する 400 以上のカテゴリを認識します。
• カスタムモデルでユースケースに合わせて調整する TensorFlow Hub の他の事前トレーニング済みモデル、または TensorFlow、AutoML、LiteRT でトレーニングした独自のカスタムモデルを使用します。
• 使いやすい高レベル API 低レベルのモデルの入出力、画像の前処理と後処理、処理パイプラインの構築を行う必要はありません。ML Kit は LiteRT モデルからラベルを抽出し、テキストの説明として提供します。

この API は、画像全体を説明する画像分類モデルを対象としています。靴や家具など、画像内の 1 つ以上のオブジェクトを分類する場合は、オブジェクトの検出とトラッキング API の方が適している可能性があります。

サポートされている画像分類モデル

Image Labeling API は、さまざまな画像分類モデルをサポートしています。

サポートされている画像分類モデル
ベースモデル	デフォルトでは、API は強力な汎用画像ラベル付けモデルを使用します。このモデルは、写真で最も一般的に見られるコンセプトに対応する 400 以上のエンティティを認識します。
カスタム LiteRT モデル	アプリ固有のコンセプトをターゲットにするため、API は幅広いソースのカスタム画像分類モデルを受け入れます。これらは、TensorFlow Hub からダウンロードされた事前トレーニング済みモデルや、AutoML、LiteRT、TensorFlow 自体でトレーニングされた独自のモデルです。モデルは、アプリにバンドルすることも、Cloud Storage でホストして実行時にダウンロードすることもできます。

ベースモデルの使用

ML Kit のベースモデルは、人物、物、場所、アクティビティなどを識別するエンティティのリストを返します。各エンティティには、ML モデルの関連性に対する信頼度を示すスコアが付いています。この情報を使用して、メタデータの自動生成やコンテンツの管理などのタスクを実行できます。ML Kit に付属のデフォルト モデルは、400 種類以上のエンティティを認識します。

iOS Android

ラベルの例

Image Labeling API のベースモデルでは、次のように 400 以上のラベルがサポートされます。

カテゴリ	ラベルの例
ユーザー	Crowd Selfie Smile
アクティビティ	Dancing Eating Surfing
被写体	Car Piano Receipt
動物	Bird Cat Dog
植物	Flower Fruit Vegetable
場所	Beach Lake Mountain

検索結果の例

添付の写真で認識されたエンティティの例を次に示します。

ラベル 0
テキスト	スタジアム
信頼度	0.9205354
ラベル 1
テキスト	スポーツ
信頼度	0.7531109
ラベル 2
テキスト	イベント
信頼度	0.66905296
ラベル 3
テキスト	レジャー
信頼度	0.59904146
ラベル 4
テキスト	サッカー
信頼度	0.56384534
ラベル 5
テキスト	ネット
信頼度	0.54679185
ラベル 6
テキスト	植物
信頼度	0.524364

カスタム LiteRT モデルを使用する

ML Kit の基本的な画像ラベル付けモデルは、汎用的な使用のために構築されています。写真で最も一般的なオブジェクトを説明する 400 のカテゴリを認識するようにトレーニングされています。アプリで、花の種類や食品の種類を区別するモデルなど、より狭い範囲のカテゴリを詳細に認識する特殊な画像分類モデルが必要になることがあります。

この API を使用すると、さまざまなソースのカスタム画像分類モデルをサポートすることで、特定のユースケースに合わせて調整できます。詳細については、ML Kit を使用したカスタムモデルを参照してください。カスタムモデルは、アプリにバンドルすることも、Cloud Storage から動的にダウンロードすることもできます。

iOS Android

入力画像の前処理

必要に応じて、画像ラベリングはバイリニア画像のスケーリングとストレッチを使用して、入力画像のサイズとアスペクト比を調整し、基盤となるモデルの要件に適合させます。