Com a API de rastreamento e detecção de objetos no dispositivo do Kit de ML, é possível detectar e rastrear objetos em uma imagem ou um feed de câmera ao vivo.
Opcionalmente, você pode classificar os objetos detectados usando o classificador aproximado integrado à API ou seu próprio modelo de classificação de imagens personalizado. Consulte Como usar um modelo LiteRT personalizado para mais informações.
Como a detecção de objeto e o rastreamento ocorrem no dispositivo, eles funcionam bem como o front-end do pipeline de pesquisa visual. Depois de detectar e filtrar objetos, é possível transmiti-los para um back-end na nuvem, como o Cloud Vision Pesquisa de produtos.
Principais recursos
- Detecção e rastreamento rápidos de objetos : detecte objetos e receba os locais deles na imagem. Rastreie objetos em frames de imagem sucessivos.
- Modelo otimizado no dispositivo: o modelo de detecção de objeto e rastreamento é otimizado para dispositivos móveis e destina-se ao uso em aplicativos em tempo real, mesmo em dispositivos de baixo custo.
- Detecção de objetos proeminentes : determine automaticamente o objeto mais proeminente em uma imagem.
- Classificação aproximada : classifique objetos em categorias amplas, que podem ser usadas para filtrar objetos em que não se está interessado. As seguintes categorias são aceitas: artigos domésticos, artigos de moda, alimentos, plantas e lugares.
- Classificação com um modelo personalizado : use seu próprio modelo de classificação de imagens personalizado para identificar ou filtrar categorias de objetos específicos. Melhore o desempenho do modelo personalizado omitindo o plano de fundo da imagem.
Resultados de exemplo
Como acompanhar o objeto mais proeminente nas imagens
O exemplo a seguir mostra os dados de rastreamento de três frames sucessivos com o classificador aproximado padrão fornecido pelo Kit de ML.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Vários objetos em uma imagem estática
O exemplo a seguir mostra os dados dos quatro objetos detectados na imagem com o classificador aproximado padrão fornecido pelo Kit de ML.
| Objeto 0 | |
|---|---|
| Limites | (1, 97), (332, 97), (332, 332), (1, 332) |
| Categoria | FASHION_GOOD |
| Confiança de classificação | 0.95703125 |
| Objeto 1 | |
| Limites | (186, 80), (337, 80), (337, 226), (186, 226) |
| Categoria | FASHION_GOOD |
| Confiança de classificação | 0.84375 |
| Objeto 2 | |
| Limites | (296, 80), (472, 80), (472, 388), (296, 388) |
| Categoria | FASHION_GOOD |
| Confiança de classificação | 0.94921875 |
| Objeto 3 | |
| Limites | (439, 83), (615, 83), (615, 306), (439, 306) |
| Categoria | FASHION_GOOD |
| Confiança de classificação | 0.9375 |
Como usar um modelo LiteRT personalizado
O classificador aproximado padrão é criado para cinco categorias, fornecendo informações limitadas sobre os objetos detectados. Talvez seja necessário um modelo de classificador mais especializado que cubra um domínio de conceitos mais restrito em mais detalhes, por exemplo, um modelo para distinguir entre espécies de flores ou tipos de alimentos.
Essa API permite que você personalize um caso de uso específico com suporte a modelos de classificação de imagens personalizados de várias fontes. Consulte Modelos personalizados com o Kit de ML para saber mais. Os modelos personalizados podem ser agrupados com seu app ou baixados dinamicamente do Cloud Storage.
Pré-processamento de imagens de entrada
Se necessário, a detecção de objeto e o rastreamento usam o dimensionamento e o alongamento bilinear de imagens para ajustar o tamanho da imagem e a proporção da imagem de entrada para que ela atenda aos requisitos do modelo subjacente.