Благодаря встроенному в ML Kit API для обнаружения и отслеживания объектов, вы можете обнаруживать и отслеживать объекты на изображении или в режиме реального времени с камеры.
При желании вы можете классифицировать обнаруженные объекты, используя либо встроенный в API грубый классификатор, либо собственную модель классификации изображений. Дополнительную информацию см. в разделе «Использование пользовательской модели LiteRT» .
Поскольку обнаружение и отслеживание объектов происходит на самом устройстве, это хорошо подходит в качестве интерфейса для конвейера визуального поиска. После обнаружения и фильтрации объектов их можно передать в облачную систему, например, Cloud Vision Product Search .
Ключевые возможности
- Быстрое обнаружение и отслеживание объектов. Обнаружение объектов и определение их местоположения на изображении. Отслеживание объектов на протяжении последовательных кадров изображения.
- Оптимизированная модель для мобильных устройств. Модель обнаружения и отслеживания объектов оптимизирована для мобильных устройств и предназначена для использования в приложениях реального времени, даже на устройствах с более низкими характеристиками.
- Функция автоматического определения наиболее заметного объекта на изображении.
- Грубая классификация. Разделите объекты на широкие категории, которые можно использовать для фильтрации неинтересных объектов. Поддерживаются следующие категории: товары для дома, модные товары, продукты питания, растения и места.
- Классификация с помощью пользовательской модели. Используйте собственную модель классификации изображений для идентификации или фильтрации определенных категорий объектов. Повысьте производительность вашей пользовательской модели, исключив фон изображения.
Пример результатов
Отслеживание наиболее заметного объекта на изображениях.
В следующем примере показаны данные отслеживания из трех последовательных кадров с использованием стандартного грубого классификатора, предоставляемого ML Kit.
 |
| ||||||||
 |
| ||||||||
 |
|
Фото: Кристиан Феррер [CC BY-SA 4.0]
Множество объектов на статическом изображении
В следующем примере показаны данные для четырех объектов, обнаруженных на изображении с помощью стандартного грубого классификатора, предоставляемого ML Kit.
| Объект 0 | |
|---|---|
| Границы | (1, 97), (332, 97), (332, 332), (1, 332) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0.95703125 |
| Объект 1 | |
| Границы | (186, 80), (337, 80), (337, 226), (186, 226) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0.84375 |
| Объект 2 | |
| Границы | (296, 80), (472, 80), (472, 388), (296, 388) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0.94921875 |
| Объект 3 | |
| Границы | (439, 83), (615, 83), (615, 306), (439, 306) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0,9375 |
Использование пользовательской модели LiteRT
Стандартный грубый классификатор построен на основе пяти категорий и предоставляет ограниченную информацию об обнаруженных объектах. Вам может потребоваться более специализированная модель классификатора, которая охватывает более узкую область понятий более подробно; например, модель для различения видов цветов или типов продуктов питания.
Этот API позволяет адаптироваться к конкретному сценарию использования, поддерживая пользовательские модели классификации изображений из широкого спектра источников. Подробнее см. в разделе «Пользовательские модели с ML Kit» . Пользовательские модели могут быть включены в ваше приложение или динамически загружены из облачного хранилища.
Предварительная обработка входного изображения
При необходимости, для обнаружения и отслеживания объектов используется билинейное масштабирование и растяжение изображения, позволяющее корректировать размер и соотношение сторон входного изображения в соответствии с требованиями базовой модели.