ML Kit の画像ラベル付け API を使用すると、幅広いカテゴリにわたる画像内のエンティティに関する情報を検出して抽出できます。デフォルトの画像ラベル付けモデルでは、一般的な物体、場所、アクティビティ、動物種、製品などを識別できます。
カスタム画像分類モデルを使用して、特定のユースケースに合わせて検出を調整することもできます。詳細については、カスタム TensorFlow Lite モデルの使用をご覧ください。
主な機能
- 強力な汎用基本分類器 写真でよく見られるオブジェクトを表す 400 以上のカテゴリを認識します。
- カスタムモデルによるユースケースに合わせた調整 TensorFlow Hub にある他の事前トレーニング済みモデル、または TensorFlow、AutoML Vision Edge、TensorFlow Lite Model Maker でトレーニングされた独自のカスタムモデルを使用します。
- 使いやすいハイレベル API ローレベルのモデルの入出力、画像の前処理と後処理、処理パイプラインの構築に取り組む必要はありません。ML Kit は TensorFlow Lite モデルからラベルを抽出し、テキストの説明として提供します。
この API は、画像全体を記述する画像分類モデルを対象としています。靴や家具など、画像内の 1 つ以上のオブジェクトを分類する場合は、Object Detection & Tracking API のほうが適している可能性があります。
サポートされている画像分類モデル
Image Labeling API は、さまざまな画像分類モデルをサポートしています。
サポートされている画像分類モデル | |
---|---|
ベースモデル | デフォルトでは、この API は、写真の最も一般的なコンセプトに対応する 400 以上のエンティティを認識する、強力な汎用の画像ラベル付けモデルを使用します。 |
カスタム TensorFlow Lite モデル | アプリケーション固有のコンセプトをターゲットにするために、API では幅広いソースからのカスタム画像分類モデルを使用できます。TensorFlow Hub からダウンロードした事前トレーニング済みモデルか、AutoML Vision Edge、TensorFlow Lite Model Maker、TensorFlow 自体でトレーニングされた独自のモデルを使用できます。モデルは、アプリにバンドルすることも、Firebase Machine Learning でホストして、実行時にダウンロードできます。 |
ベースモデルの使用
ML Kit の基本モデルは、人、もの、場所、アクティビティなどを識別するエンティティのリストを返します。各エンティティには、ML モデルの関連性の信頼度を示すスコアが付いています。この情報を使用して、メタデータの自動生成やコンテンツ管理などのタスクを実行できます。ML Kit に用意されているデフォルト モデルは、400 を超えるエンティティを認識します。
ラベルの例
画像ラベル付け API の基本モデルは、次の例に示すように 400 以上のラベルをサポートしています。
カテゴリ | ラベルの例 |
---|---|
ユーザー | Crowd Selfie Smile |
アクティビティ | Dancing Eating Surfing |
被写体 | Car Piano Receipt |
動物 | Bird Cat Dog |
工場 | Flower Fruit Vegetable |
プレイス | Beach Lake Mountain |
検索結果の例
付属の写真で認識されたエンティティの例です。
![](https://developers-dot-devsite-v2-prod.appspot.com/static/ml-kit/vision/image-labeling/images/1024px-Valais_Cup_2013_-_OM-FC_Porto_13-07-2013_-_Brice_Samba_en_extension.jpg?authuser=7&hl=ja)
ラベル 0 | |
---|---|
テキスト | スタジアム |
信頼 | 0.9205354 |
ラベル 1 | |
テキスト | スポーツ |
信頼 | 0.7531109 |
ラベル 2 | |
テキスト | イベント |
信頼 | 0.66905296 |
ラベル 3 | |
テキスト | レジャー |
信頼 | 0.59904146 |
ラベル 4 | |
テキスト | サッカー |
信頼 | 0.56384534 |
ラベル 5 | |
テキスト | ネット |
信頼 | 0.54679185 |
ラベル 6 | |
テキスト | 植物 |
信頼 | 0.524364 |
カスタム TensorFlow Lite モデルの使用
ML Kit のベース画像のラベル付けモデルは汎用向けに構築されています。写真で特に多いオブジェクトを表す 400 のカテゴリを認識するようにトレーニングされています。花の種類や食品の種類を区別するモデルなど、少数のカテゴリをより詳細に認識する特殊な画像分類モデルが必要になる場合があります。
この API を使用すると、幅広いソースからのカスタム画像分類モデルをサポートして、特定のユースケースに合わせて調整できます。詳細については、ML Kit によるカスタムモデルをご覧ください。カスタムモデルは、アプリにバンドルすることも、Firebase Machine Learning のモデルデプロイ サービスを使用してクラウドから動的にダウンロードすることもできます。
入力画像の前処理
必要に応じて、画像ラベル付けはバイリニア画像のスケーリングとストレッチを使用して、基盤となるモデルの要件に合うように入力画像のサイズとアスペクト比を調整します。