API для распознавания изображений в ML Kit позволяют обнаруживать и извлекать информацию об объектах на изображениях, относящихся к широкому спектру категорий. Модель по умолчанию может распознавать общие объекты, места, действия, виды животных, товары и многое другое.
Вы также можете использовать специальную модель классификации изображений, чтобы настроить обнаружение для определенного варианта использования. Подробнее об использовании специальной модели LiteRT…
Основные возможности
- Мощный базовый классификатор общего назначения Распознает более 400 категорий, описывающих наиболее часто встречающиеся объекты на фотографиях.
- Используйте собственные модели Вы можете использовать другие предварительно обученные модели из TensorFlow Hub или собственные модели, обученные с помощью TensorFlow, AutoML или LiteRT.
- Простые в использовании высокоуровневые API. Вам не нужно разбираться с низкоуровневыми входными и выходными данными модели, предварительной и последующей обработкой изображений или созданием конвейера обработки. ML Kit извлекает ярлыки из модели LiteRT и предоставляет их в виде текстового описания.
Обратите внимание, что этот API предназначен для моделей классификации изображений, которые описывают изображение целиком. Если вам нужно классифицировать один или несколько объектов на изображении, например обувь или мебель, лучше использовать API Обнаружение и отслеживание объектов.
Поддерживаемые модели классификации изображений
API для распознавания изображений поддерживают разные модели классификации изображений:
| Поддерживаемые модели классификации изображений | |
|---|---|
| Базовая модель | По умолчанию API использует мощную модель для распознавания изображений общего назначения, которая распознает более 400 объектов, охватывающих наиболее распространенные концепции на фотографиях. |
| Собственные модели LiteRT | Чтобы распознавать концепции, относящиеся к определенному приложению, API принимает пользовательские модели классификации изображений из самых разных источников. Это могут быть предварительно обученные модели, скачанные из TensorFlow Hub, или ваши собственные модели, обученные с помощью AutoML, LiteRT или TensorFlow. Модели можно встроить в приложение или разместить в Cloud Storage и скачивать во время выполнения. |
Использование базовой модели
Базовая модель ML Kit возвращает список объектов, которые идентифицируют людей, предметы, места, действия и т. д. Для каждой сущности указывается оценка, которая отражает уверенность модели машинного обучения в ее релевантности. На основе этих данных можно выполнять такие задачи, как автоматическое создание метаданных и модерация контента. Модель по умолчанию, которая поставляется с ML Kit, распознает более 400 различных объектов.
Примеры ярлыков
Базовая модель в API для добавления ярлыков к изображениям поддерживает более 400 ярлыков, например:
| Категория | Примеры ярлыков |
|---|---|
| Участники | CrowdSelfieSmile |
| Действия | DancingEatingSurfing |
| Объекты | CarPianoReceipt |
| Животные | BirdCatDog |
| Растения | FlowerFruitVegetable |
| Places | BeachLakeMountain |
Пример результатов
Вот пример объектов, распознанных на фотографии.
| Ярлык 0 | |
|---|---|
| Текст | Стадион |
| Уверенность | 0,9205354 |
| Ярлык 1 | |
| Текст | Спорт |
| Уверенность | 0,7531109 |
| Ярлык 2 | |
| Текст | Событие |
| Доверие | 0,66905296 |
| Ярлык 3 | |
| Текст | Досуг |
| Доверие | 0,59904146 |
| Ярлык 4 | |
| Текст | Футбол |
| Уверенность | 0,56384534 |
| Ярлык 5 | |
| Текст | Сеть |
| Уверенность | 0,54679185 |
| Ярлык 6 | |
| Текст | Растение |
| Уверенность | 0,524364 |
Как использовать собственную модель LiteRT
Базовая модель ML Kit для распознавания объектов на изображениях предназначена для общего назначения. Она обучена распознавать 400 категорий, описывающих наиболее распространенные объекты на фотографиях. Возможно, вам понадобится специализированная модель классификации изображений, которая распознает меньше категорий, но более детально, например модель, которая различает виды цветов или типы продуктов.
Этот API позволяет адаптировать модель под определенный вариант использования, поддерживая пользовательские модели классификации изображений из самых разных источников. Подробнее о специальных моделях с ML Kit… Собственные модели можно включить в приложение или динамически скачивать из Cloud Storage.
Предварительная обработка входного изображения
При необходимости функция Image Labeling использует билинейное масштабирование и растяжение изображений, чтобы привести их размер и соотношение сторон в соответствие с требованиями базовой модели.