Com as APIs de rotulagem de imagens do ML Kit, é possível detectar e extrair informações sobre entidades em uma imagem em um amplo grupo de categorias. O modelo padrão de rotulagem de imagens pode identificar objetos gerais, lugares, atividades, espécies de animais, produtos e muito mais.
Também é possível usar um modelo personalizado de classificação de imagens para adaptar a detecção a um caso de uso específico. Consulte Como usar um modelo LiteRT personalizado para mais informações.
Principais recursos
- Um classificador de base poderoso para uso geral Reconhece mais de 400 categorias que descrevem os objetos mais encontrados em fotos.
- Adapte ao seu caso de uso com modelos personalizados Use outros modelos pré-treinados do TensorFlow Hub ou seu próprio modelo personalizado treinado com TensorFlow, AutoML ou LiteRT.
- APIs de alto nível fáceis de usar Não é necessário lidar com entrada/saída de modelo de baixo nível, pré e pós-processamento de imagens ou criação de um pipeline de processamento. O Kit de ML extrai os rótulos do modelo LiteRT e os fornece como uma descrição de texto.
Essa API é destinada a modelos de classificação de imagens que descrevem a imagem completa. Para classificar um ou mais objetos em uma imagem, como sapatos ou móveis, a API Detecção e rastreamento de objetos pode ser mais adequada.
Modelos de classificação de imagens compatíveis
As APIs Image Labeling são compatíveis com diferentes modelos de classificação de imagens:
| Modelos de classificação de imagens compatíveis | |
|---|---|
| Modelo de base | Por padrão, a API usa um modelo de rotulação de imagens poderoso e de uso geral que reconhece mais de 400 entidades que abrangem os conceitos mais encontrados em fotos. |
| Modelos LiteRT personalizados | Para segmentar conceitos específicos do aplicativo, a API aceita modelos personalizados de classificação de imagens de várias fontes. Eles podem ser modelos pré-treinados baixados do TensorFlow Hub ou seus próprios modelos treinados com o AutoML, o LiteRT ou o próprio TensorFlow. Os modelos podem ser agrupados com seu app ou hospedados com o Cloud Storage e baixados no tempo de execução. |
Como usar o modelo de base
O modelo de base do Kit de ML retorna uma lista de entidades que identificam pessoas, objetos, lugares, atividades e assim por diante. Cada entidade vem com uma pontuação que indica a confiança do modelo de ML quanto à relevância dela. Com essas informações, você pode executar tarefas, como a geração automática de metadados e a moderação de conteúdo. O modelo padrão fornecido com o Kit de ML reconhece mais de 400 entidades diferentes.
Exemplos de rótulos
O modelo de base na API de rotulagem de imagens oferece suporte a mais de 400 rótulos, como os exemplos a seguir:
| Categoria | Exemplos de rótulos |
|---|---|
| Pessoas | CrowdSelfieSmile |
| Atividades | DancingEatingSurfing |
| Coisas | CarPianoReceipt |
| Animais | BirdCatDog |
| Plantas | FlowerFruitVegetable |
| Lugares | BeachLakeMountain |
Resultados de exemplo
Confira um exemplo das entidades reconhecidas na foto.
| Rótulo 0 | |
|---|---|
| Texto | Estádio |
| Confiança | 0.9205354 |
| Rótulo 1 | |
| Texto | Esportes |
| Confiança | 0.7531109 |
| Rótulo 2 | |
| Texto | Evento |
| Confiança | 0.66905296 |
| Rótulo 3 | |
| Texto | Lazer |
| Confiança | 0.59904146 |
| Rótulo 4 | |
| Texto | Futebol |
| Confiança | 0.56384534 |
| Rótulo 5 | |
| Texto | Rede |
| Confiança | 0.54679185 |
| Rótulo 6 | |
| Texto | Planta |
| Confiança | 0.524364 |
Usar um modelo LiteRT personalizado
O modelo de rotulagem de imagens básico do ML Kit foi criado para uso geral. Ele foi treinado para reconhecer 400 categorias que descrevem os objetos mais encontrados em fotos. Seu app pode precisar de um modelo de classificação de imagens especializado que reconheça um número menor de categorias com mais detalhes, como um modelo que distingue entre espécies de flores ou tipos de alimentos.
Essa API permite que você se adapte a um caso de uso específico com suporte a modelos personalizados de classificação de imagens de várias fontes. Consulte Modelos personalizados com o Kit de ML para saber mais. Os modelos personalizados podem ser agrupados com seu app ou baixados dinamicamente do Cloud Storage.
Pré-processamento de imagens de entrada
Se necessário, a rotulagem de imagens usa o dimensionamento e o alongamento bilineares para ajustar o tamanho e a proporção da imagem de entrada de acordo com os requisitos do modelo subjacente.