Con la API de detección y seguimiento de objetos en el dispositivo de ML Kit, puedes detectar y hacer un seguimiento de objetos en una imagen o en el feed de una cámara en vivo.
De manera opcional, puedes clasificar los objetos detectados con el clasificador grueso integrado en la API o con tu propio modelo personalizado de clasificación de imágenes. Consulta Cómo usar un modelo de LiteRT personalizado para obtener más información.
Debido a que la detección y el seguimiento de objetos se realizan en el dispositivo, funciona bien como frontend de la canalización de búsqueda visual. Después de detectar y filtrar objetos, puedes pasarlos a un backend en la nube, como Cloud Vision Product Search.
Funciones clave
- Detección y seguimiento rápido de objetos Detecta objetos y obtén sus ubicaciones en la imagen. Haz un seguimiento de los objetos en los fotogramas de imágenes sucesivos.
- Modelo integrado en el dispositivo optimizado El modelo de detección de objetos y seguimiento está optimizado para dispositivos móviles y fue diseñado para usarse en aplicaciones en tiempo real, incluso en dispositivos de gama baja.
- Detección de objetos prominentes Determina automáticamente el objeto más prominente en una imagen.
- Clasificación ordinaria Clasifica los objetos en categorías amplias, que puedes usar para filtrar objetos que no te interesan. Se admiten las siguientes categorías: artículos para el hogar, artículos de moda, alimentos, plantas y lugares.
- Clasificación con un modelo personalizado Usa tu propio modelo de clasificación de imágenes personalizado para identificar o filtrar categorías de objetos específicos. Para que tu modelo personalizado funcione mejor, omite el fondo de la imagen.
Resultados de ejemplo
Haz un seguimiento del objeto más prominente en las imágenes
En el siguiente ejemplo, se muestran los datos de seguimiento de tres fotogramas sucesivos con el clasificador grueso predeterminado que proporciona ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Múltiples objetos en una imagen estática
En el siguiente ejemplo, se muestran los datos de los cuatro objetos detectados en la imagen con el clasificador grueso predeterminado que proporciona ML Kit.
| Objeto 0 | |
|---|---|
| Límites | (1, 97), (332, 97), (332, 332), (1, 332) |
| Categoría | FASHION_GOOD |
| Confianza de la clasificación | 0.95703125 |
| Objeto 1 | |
| Límites | (186, 80), (337, 80), (337, 226), (186, 226) |
| Categoría | FASHION_GOOD |
| Confianza de la clasificación | 0.84375 |
| Objeto 2 | |
| Límites | (296, 80), (472, 80), (472, 388), (296, 388) |
| Categoría | FASHION_GOOD |
| Confianza de la clasificación | 0.94921875 |
| Objeto 3 | |
| Límites | (439, 83), (615, 83), (615, 306), (439, 306) |
| Categoría | FASHION_GOOD |
| Confianza de la clasificación | 0.9375 |
Cómo usar un modelo personalizado de LiteRT
El clasificador grueso predeterminado se compila para cinco categorías, lo que proporciona información limitada sobre los objetos detectados. Es posible que necesites un modelo de clasificación más especializado que abarque un dominio de conceptos más limitado y detallado, por ejemplo, un modelo para distinguir entre especies de flores o tipos de comida.
Esta API te permite adaptarte a un caso de uso en particular, ya que admite modelos personalizados de clasificación de imágenes de una amplia variedad de fuentes. Consulta Modelos personalizados con ML Kit para obtener más información. Los modelos personalizados se pueden incluir en tu app o descargar de forma dinámica desde Cloud Storage.
Procesamiento previo de la imagen de entrada
Si es necesario, la detección y el seguimiento de objetos usan el ajuste bilineal de la escala y el estiramiento de la imagen para ajustar el tamaño y la relación de aspecto de la imagen de entrada de modo que cumplan con los requisitos del modelo subyacente.