Com as APIs de rotulagem de imagens do Kit de ML, é possível detectar e extrair informações sobre entidades em uma imagem em um amplo grupo de categorias. O modelo padrão de rotulagem de imagens pode identificar objetos gerais, lugares, atividades, espécies animais, produtos e muito mais.
Também é possível usar um modelo de classificação de imagem personalizado para adaptar a detecção a um caso de uso específico. Consulte Como usar um modelo personalizado do TensorFlow Lite para mais informações.
Principais recursos
- Um classificador base de uso geral avançado Reconhece mais de 400 categorias que descrevem os objetos mais encontrados nas fotos.
- Adapte-se ao seu caso de uso com modelos personalizados Use outros modelos pré-treinados do TensorFlow Hub ou seu próprio modelo personalizado treinado com o TensorFlow, o AutoML Vision Edge ou o TensorFlow Lite Model Maker.
- APIs de alto nível e fáceis de usar Não é necessário lidar com entrada/saída de modelos de baixo nível, pré e pós-processamento de imagens nem com a criação de um pipeline de processamento. O kit de ML extrai os rótulos do modelo do TensorFlow Lite e os fornece como uma descrição de texto.
Essa API é destinada a modelos de classificação de imagem que descrevem a imagem completa. Para classificar um ou mais objetos em uma imagem, como sapatos ou peças de móvel, a API Object Detection & Tracking pode ser mais adequada.
Modelos de classificação de imagem compatíveis
As APIs Image Labeling oferecem suporte a diferentes modelos de classificação de imagem:
| Modelos de classificação de imagem compatíveis | |
|---|---|
| Modelo base | Por padrão, a API usa um eficiente modelo de rotulagem de imagens de uso geral que reconhece mais de 400 entidades que abrangem os conceitos mais encontrados nas fotos. |
| Modelos personalizados do TensorFlow Lite | Para ser direcionada a conceitos específicos do aplicativo, a API aceita modelos de classificação de imagem personalizados de uma grande variedade de origens. Eles podem ser modelos pré-treinados transferidos por download do TensorFlow Hub ou seus próprios modelos treinados com o AutoML Vision Edge, o TensorFlow Lite Model Maker ou o próprio TensorFlow. Os modelos podem ser incluídos no seu app ou hospedados com o Firebase Machine Learning e transferidos por download no ambiente de execução. |
Como usar o modelo base
O modelo base do Kit de ML retorna uma lista de entidades que identificam pessoas, coisas, lugares, atividades e assim por diante. Cada entidade vem com uma pontuação que indica a confiança do modelo de ML na relevância. Com essas informações, é possível executar tarefas como geração automática de metadados e moderação de conteúdo. O modelo padrão fornecido com o Kit de ML reconhece mais de 400 entidades diferentes.
Exemplos de rótulos
O modelo base na API de rotulagem de imagens aceita mais de 400 rótulos, como nos exemplos a seguir:
| Categoria | Exemplos de rótulos |
|---|---|
| Pessoas | CrowdSelfieSmile |
| Atividades | DancingEatingSurfing |
| Android Things | CarPianoReceipt |
| Animais | BirdCatDog |
| Plantas | FlowerFruitVegetable |
| Places | BeachLakeMountain |
Resultados de exemplo
Confira um exemplo das entidades que foram reconhecidas na foto complementar.
| Rótulo 0 | |
|---|---|
| Texto | Estádio |
| Confiança | 0,9205354 |
| Rótulo 1 | |
| Texto | Esportes |
| Confiança | 0,7531109 |
| Rótulo 2 | |
| Texto | Evento |
| Confiança | 0,66905296 |
| Rótulo 3 | |
| Texto | Lazer |
| Confiança | 0,59904146 |
| Rótulo 4 | |
| Texto | Futebol |
| Confiança | 0,56384534 |
| Rótulo 5 | |
| Texto | Rede |
| Confiança | 0,54679185 |
| Rótulo 6 | |
| Texto | Planta |
| Confiança | 0,524364 |
Como usar um modelo personalizado do TensorFlow Lite
O modelo de rotulagem de imagens básico do Kit de ML foi criado para uso geral. Ele é treinado para reconhecer 400 categorias que descrevem os objetos mais encontrados nas fotos. Seu app pode precisar de um modelo de classificação de imagem especializado que reconheça um número mais estreito de categorias com mais detalhes, como um modelo que distingue entre espécies de flores ou tipos de alimento.
Essa API permite adaptar a um caso de uso específico, oferecendo suporte a modelos de classificação de imagem personalizados de uma ampla variedade de origens. Consulte Modelos personalizados com o Kit de ML para saber mais. Os modelos personalizados podem ser empacotados com seu aplicativo ou baixados dinamicamente da nuvem usando o serviço de implantação de modelos do Firebase Machine Learning.
Pré-processamento de imagens de entrada
Se necessário, a rotulagem de imagens usa dimensionamento e alongamento bilineares para ajustar o tamanho e a proporção da imagem de entrada de modo que ela atenda aos requisitos do modelo subjacente.