Con le API di etichettatura delle immagini di ML Kit puoi rilevare ed estrarre informazioni sulle entità in un'immagine in un ampio gruppo di categorie. Il modello predefinito di etichettatura delle immagini può identificare oggetti, luoghi, attività, specie animali, prodotti e altri elementi generici.
Puoi anche utilizzare un modello di classificazione delle immagini personalizzato per adattare il rilevamento a un caso d'uso specifico. Per ulteriori informazioni, consulta la pagina Utilizzo di un modello TensorFlow Lite personalizzato.
Funzionalità chiave
- Un potente classificatore di base per uso generico Riconosce più di 400 categorie che descrivono gli oggetti più comuni nelle foto.
- Adatta il tuo caso d'uso con i modelli personalizzati Usa altri modelli preaddestrati di TensorFlow Hub o il tuo modello personalizzato addestrato con TensorFlow, AutoML Vision Edge o TensorFlow Lite Model Maker.
- API di alto livello facili da usare Non è necessario gestire operazioni di input/output dei modelli di basso livello, pre- e post-elaborazione delle immagini o creare una pipeline di elaborazione. ML Kit estrae le etichette dal modello TensorFlow Lite e le fornisce come descrizione del testo.
Tieni presente che questa API è destinata ai modelli di classificazione delle immagini che descrivono l'immagine completa. Per classificare uno o più oggetti in un'immagine, ad esempio scarpe o mobili, l'API Rilevamento e monitoraggio oggetti potrebbe essere più adatta.
Modelli di classificazione delle immagini supportati
Le API Image Labeling supportano diversi modelli di classificazione delle immagini:
| Modelli di classificazione delle immagini supportati | |
|---|---|
| Modello di base | Per impostazione predefinita, l'API utilizza un potente modello di etichettatura delle immagini per uso generico che riconosce più di 400 entità che coprono i concetti più comuni nelle foto. |
| Modelli personalizzati TensorFlow Lite | Per il targeting di concetti specifici per l'applicazione, l'API accetta modelli di classificazione delle immagini personalizzati da un'ampia gamma di origini. Possono essere modelli preaddestrati scaricati da TensorFlow Hub o i tuoi modelli addestrati con AutoML Vision Edge, TensorFlow Lite Model Maker o TensorFlow. I modelli possono essere abbinati alla tua app o ospitati con Firebase Machine Learning e scaricati in fase di esecuzione. |
Utilizzo del modello di base
Il modello di base di ML Kit restituisce un elenco di entità che identificano persone, cose, luoghi, attività e così via. Ogni entità riceve un punteggio che indica la certezza che il modello ML ha nella sua pertinenza. Con queste informazioni, puoi eseguire attività come la generazione automatica di metadati e la moderazione dei contenuti. Il modello predefinito fornito con ML Kit riconosce più di 400 entità diverse.
Esempi di etichette
Il modello di base nell'API di etichettatura delle immagini supporta oltre 400 etichette, come i seguenti esempi:
| Categoria | Esempi di etichette |
|---|---|
| Persone | CrowdSelfieSmile |
| Attività | DancingEatingSurfing |
| Cose | CarPianoReceipt |
| Animali | BirdCatDog |
| Piante | FlowerFruitVegetable |
| Luoghi | BeachLakeMountain |
Risultati di esempio
Ecco un esempio delle entità riconosciute nella foto associata.
| Etichetta 0 | |
|---|---|
| Testo | Stadio |
| Sicurezza | 0,9205354 |
| Etichetta 1 | |
| Testo | Sport |
| Sicurezza | 0,7531109 |
| Etichetta 2 | |
| Testo | Evento |
| Sicurezza | 0,66905296 |
| Etichetta 3 | |
| Testo | Tempo libero |
| Sicurezza | 0,59904146 |
| Etichetta 4 | |
| Testo | Calcio |
| Sicurezza | 0,56384534 |
| Etichetta 5 | |
| Testo | Netta |
| Sicurezza | 0,54679185 |
| Etichetta 6 | |
| Testo | Pianta |
| Sicurezza | 0,524364 |
Utilizzo di un modello TensorFlow Lite personalizzato
Il modello di etichettatura delle immagini di base di ML Kit è stato creato per l'uso generico. È addestrato a riconoscere 400 categorie che descrivono gli oggetti più comuni nelle foto. La tua app potrebbe aver bisogno di un modello di classificazione delle immagini specializzato che riconosca un numero maggiore di categorie, ad esempio un modello che distingue tra specie di fiori o tipi di cibo.
Questa API consente di personalizzare un determinato caso d'uso supportando modelli di classificazione delle immagini personalizzati da un'ampia gamma di origini. Per ulteriori informazioni, consulta Modelli personalizzati con ML Kit. I modelli personalizzati possono essere abbinati alla tua app o scaricati dinamicamente dal cloud tramite il servizio di deployment dei modelli di Firebase Machine Learning.
Pre-elaborazione immagine di input
Se necessario, l'etichettatura delle immagini utilizza la scalabilità e lo stretching dell'immagine bilineare per regolare le dimensioni e le proporzioni dell'immagine di input in modo che si adattino ai requisiti del modello sottostante.