画像のラベル付け

ML Kit の画像ラベル付けの API を使用すると、幅広いカテゴリのグループで、画像内のエンティティに関する情報を検出して抽出できます。デフォルトの画像ラベル付けモデルにより、一般的な物体、場所、アクティビティ、動物種、製品などを識別できます。

カスタム画像分類モデルを使用して、特定のユースケースに合わせて検出を調整することもできます。詳細については、カスタム TensorFlow Lite モデルの使用をご覧ください。

主な機能

  • 強力な汎用基本分類器 写真で最も一般的なオブジェクトを示す 400 を超えるカテゴリを認識します。
  • カスタムモデルでユースケースを調整する TensorFlow Hub の他の事前トレーニング済みモデルや、TensorFlow、AutoML Vision Edge、TensorFlow Lite Model Maker でトレーニングされた独自のカスタムモデルを使用できます。
  • 使いやすいハイレベル API。低レベルのモデル入出力、画像の前処理と後処理、処理パイプラインの構築が不要です。ML Kit は、TensorFlow Lite モデルからラベルを抽出し、テキストの説明として提供します。

この API は、画像全体を表す画像分類モデルを対象としています。靴や家具など、画像内の 1 つ以上のオブジェクトを分類する場合は、Object Detection & amp; Tracking API の方が適しています。

サポートされている画像分類モデル

Image Labeling API では、さまざまな画像分類モデルがサポートされています。

サポートされている画像分類モデル
基本モデル デフォルトでは、この API では強力な汎用型画像ラベル付けモデルを使用して、写真で最も一般的なコンセプトを網羅する 400 を超えるエンティティを認識します。
カスタム TensorFlow Lite モデル アプリケーション固有のコンセプトをターゲットとするため、API は幅広いソースからカスタムの画像分類モデルを受け入れます。これらは、TensorFlow Hub からダウンロードした事前トレーニング済みモデルか、AutoML Vision Edge、TensorFlow Lite Model Maker、または TensorFlow 自体でトレーニングされた独自のモデルです。モデルはアプリにバンドルすることも、Firebase Machine Learning でホストして実行時にダウンロードすることもできます。

ベースモデルの使用

ML Kit の基本モデルは、人、もの、場所、アクティビティなどを識別するエンティティのリストを返します。各エンティティには、ML モデルの関連性に対する信頼度を表すスコアが付いています。この情報を使用して、メタデータの自動生成やコンテンツ管理などのタスクを実行できます。ML Kit に付属するデフォルト モデルは、400 を超える異なるエンティティを認識します。

iOS Android

ラベルの例

画像ラベル付け API の基本モデルは、次の例に示すように 400 以上のラベルをサポートしています。

カテゴリラベルの例
人 Crowd
Selfie
Smile
アクティビティ Dancing
Eating
Surfing
被写体 Car
Piano
Receipt
動物 Bird
Cat
Dog
工場 Flower
Fruit
Vegetable
プレイス Beach
Lake
Mountain

検索結果の例

添付の写真で認識されたエンティティの例を以下に示します。

写真: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
ラベル 0
テキスト スタジアム
信頼度 0.9205354
ラベル 1
テキスト スポーツ
信頼度 0.7531109
ラベル 2
テキスト イベント
信頼度 0.66905296
ラベル 3
テキスト レジャー
信頼度 0.59904146
ラベル 4
テキスト サッカー
信頼度 0.56384534
ラベル 5
テキスト ネット
信頼度 0.54679185
ラベル 6
テキスト 植物
信頼度 0.524364

カスタム TensorFlow Lite モデルの使用

ML Kit のベース画像ラベル付けモデルは汎用を想定して構築されています。写真で最も頻繁に見られるオブジェクトを説明する 400 のカテゴリを認識するようにトレーニングされています。アプリには、花の種類や料理の種類を区別するモデルなど、より狭い範囲のカテゴリを認識する特別な画像分類モデルが必要になることがあります。

この API を使用すると、幅広いソースからカスタムの画像分類モデルをサポートすることで、特定のユースケースに合わせてカスタマイズできます。詳細については、ML Kit を使用したカスタムモデルをご覧ください。カスタムモデルは、アプリにバンドルすることも、Firebase Machine Learning のモデルデプロイ サービスを使用してクラウドから動的にダウンロードすることもできます。

iOS Android

入力画像の前処理

必要に応じて、画像ラベル付けはバイリニア画像の拡大縮小とストレッチを使用して、基盤となるモデルの要件に合わせて入力画像のサイズとアスペクト比を調整します。