Com as APIs de rotulagem de imagens do Kit de ML, é possível detectar e extrair informações sobre entidades em uma imagem em um amplo grupo de categorias. O modelo de rotulagem de imagens padrão pode identificar objetos gerais, lugares, atividades, espécies de animais, produtos e muito mais.
Também é possível usar um modelo personalizado de classificação de imagens para adaptar a detecção a um caso de uso específico. Consulte Como usar um modelo personalizado do TensorFlow Lite para mais informações.
Principais recursos
- Um eficiente classificador base de uso geral Reconhece mais de 400 categorias que descrevem os objetos mais encontrados nas fotos.
- Personalize seu caso de uso com modelos personalizados. Use outros modelos pré-treinados do TensorFlow Hub ou seu próprio modelo personalizado treinado com o TensorFlow, o AutoML Vision Edge ou o TensorFlow Lite Model maker.
- APIs de alto nível fáceis de usar Não é necessário lidar com entrada/saída de modelos de baixo nível, pré-processamento de imagens e pós-processamento ou criação de um pipeline de processamento. O Kit de ML extrai os rótulos do modelo do TensorFlow Lite e os fornece como uma descrição em texto.
Essa API é destinada a modelos de classificação de imagens que descrevem a imagem completa. Para classificar um ou mais objetos em uma imagem, como sapatos ou peças de móveis, a API Detecção e rastreamento de objetos pode ser uma opção melhor.
Modelos de classificação de imagem compatíveis
As APIs de rotulagem de imagens são compatíveis com diferentes modelos de classificação de imagem:
| Modelos de classificação de imagem compatíveis | |
|---|---|
| Modelo base | Por padrão, a API usa um poderoso modelo de rotulagem de imagens de uso geral que reconhece mais de 400 entidades que abrangem os conceitos mais encontrados nas fotos. |
| Modelos personalizados do TensorFlow Lite | Para segmentar conceitos específicos do aplicativo, a API aceita modelos personalizados de classificação de imagens de várias fontes. Podem ser modelos pré-treinados transferidos por download do TensorFlow Hub ou seus próprios modelos treinados com o AutoML Vision Edge, TensorFlow Lite Model Maker ou o próprio TensorFlow. Os modelos podem ser agrupados com seu app ou hospedados com o machine learning do Firebase e salvos no ambiente de execução. |
Como usar o modelo base
O modelo básico do Kit de ML retorna uma lista de entidades que identificam pessoas, coisas, lugares, atividades e assim por diante. Cada entidade vem com uma pontuação que indica a confiança do modelo de ML quanto à relevância dela. Com essas informações, você pode executar tarefas, como a geração automática de metadados e a moderação de conteúdo. O modelo padrão fornecido com o Kit de ML reconhece mais de 400 entidades diferentes.
Exemplos de rótulos
O modelo base na API de rotulagem de imagens oferece suporte a mais de 400 rótulos, como os exemplos a seguir:
| Categoria | Exemplos de rótulos |
|---|---|
| Pessoas | CrowdSelfieSmile |
| Atividades | DancingEatingSurfing |
| Android Things | CarPianoReceipt |
| Animais | BirdCatDog |
| Plantas | FlowerFruitVegetable |
| Places | BeachLakeMountain |
Resultados de exemplo
Veja um exemplo das entidades que foram reconhecidas na foto complementar.
| Rótulo 0 | |
|---|---|
| Texto | Estádio |
| Confiança | 0,9205354 |
| Rótulo 1 | |
| Texto | Esportes |
| Confiança | 0,7531109 |
| Rótulo 2 | |
| Texto | Evento |
| Confiança | 0,66905296 |
| Rótulo 3 | |
| Texto | Lazer |
| Confiança | 0,59904146 |
| Rótulo 4 | |
| Texto | Futebol |
| Confiança | 0,56384534 |
| Rótulo 5 | |
| Texto | Rede |
| Confiança | 0,54679185 |
| Rótulo 6 | |
| Texto | Planta |
| Confiança | 0,524364 |
Como usar um modelo personalizado do TensorFlow Lite
O modelo de rotulagem de imagens base do kit de ML foi criado para uso geral. Ele é treinado para reconhecer 400 categorias que descrevem os objetos mais encontrados nas fotos. Seu app pode precisar de um modelo especializado de classificação de imagens que reconhece um número menor de categorias em mais detalhes, como um modelo que distingue entre espécies de flores ou tipos de alimentos.
Essa API permite adaptar-se a um caso de uso específico, oferecendo suporte a modelos de classificação de imagem personalizados de várias fontes. Consulte Modelos personalizados com kit de ML para saber mais. Os modelos personalizados podem ser agrupados com seu app ou transferidos por download dinamicamente da nuvem usando o serviço de implantação de modelos do Firebase Machine Learning.
Pré-processamento de imagens de entrada
Se necessário, a rotulagem de imagens usa escalonamento e alongamento bidimensionais para ajustar o tamanho e a proporção da imagem de entrada. Assim, ela se adapta aos requisitos do modelo subjacente.