API для обнаружения и отслеживания объектов на устройстве из ML Kit позволяет обнаруживать и отслеживать объекты на изображении или в видеопотоке с камеры.
При необходимости вы можете классифицировать обнаруженные объекты, используя грубый классификатор, встроенный в API, или собственную модель классификации изображений. Подробнее об использовании специальной модели LiteRT…
Поскольку обнаружение и отслеживание объектов происходит на устройстве, оно хорошо работает как интерфейс конвейера визуального поиска. После обнаружения и фильтрации объектов их можно передать в облачный сервис, например Cloud Vision Product Search.
Основные возможности
- Быстрое обнаружение и отслеживание объектов Обнаруживайте объекты и определяйте их местоположение на изображении. отслеживать объекты на последовательных кадрах изображения;
- Оптимизированная локальная модель Модель обнаружения и отслеживания объектов оптимизирована для мобильных устройств и предназначена для использования в приложениях, работающих в реальном времени, даже на устройствах более низкого класса.
- Распознавание основных объектов Автоматическое определение основного объекта на изображении.
- Грубая классификация Классифицирует объекты по широким категориям, которые можно использовать для фильтрации ненужных объектов. Поддерживаются следующие категории: товары для дома, модная одежда, продукты питания, растения и места.
- Классификация с помощью пользовательской модели. Используйте собственную модель классификации изображений, чтобы идентифицировать или фильтровать определенные категории объектов. Чтобы улучшить работу модели, удалите фон изображения.
Пример результатов
Отслеживание самого заметного объекта на изображениях
В следующем примере показаны данные отслеживания из трех последовательных кадров с классификатором грубой очистки по умолчанию, предоставляемым ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Фото: Christian Ferrer [CC BY-SA 4.0]
Несколько объектов на статическом изображении
В приведенном ниже примере показаны данные для четырех объектов, обнаруженных на изображении с помощью классификатора по умолчанию, предоставленного ML Kit.
| Объект 0 | |
|---|---|
| Границы | (1, 97), (332, 97), (332, 332), (1, 332) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0,95703125 |
| Объект 1 | |
| Границы | (186, 80), (337, 80), (337, 226), (186, 226) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0,84375 |
| Объект 2 | |
| Границы | (296, 80), (472, 80), (472, 388), (296, 388) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0,94921875 |
| Объект 3 | |
| Границы | (439, 83), (615, 83), (615, 306), (439, 306) |
| Категория | FASHION_GOOD |
| Достоверность классификации | 0,9375 |
Как использовать собственную модель LiteRT
Стандартный классификатор общего назначения распознает пять категорий, предоставляя ограниченную информацию об обнаруженных объектах. Вам может понадобиться более специализированная модель классификатора, которая более подробно охватывает более узкую область понятий; например, модель для различения видов цветов или видов пищи.
Этот API позволяет адаптировать модель под определенный вариант использования, поддерживая пользовательские модели классификации изображений из самых разных источников. Подробнее о специальных моделях с ML Kit… Собственные модели можно включить в приложение или динамически скачивать из Cloud Storage.
Предварительная обработка входного изображения
При необходимости для обнаружения и отслеживания объектов используется билинейное масштабирование и растягивание изображений, чтобы привести их размер и соотношение сторон в соответствие с требованиями базовой модели.