L'API di rilevamento e tracciamento degli oggetti on-device di ML Kit ti consente di rilevare e tracciare oggetti in un feed immagine o videocamera in tempo reale.
Facoltativamente, puoi classificare gli oggetti rilevati utilizzando il classificatore approssimativo integrato nell'API o utilizzando il tuo modello di classificazione delle immagini personalizzato. Per ulteriori informazioni, consulta la pagina Utilizzo di un modello TensorFlow Lite personalizzato.
Poiché il rilevamento e il monitoraggio degli oggetti avviene sul dispositivo, funziona bene come front-end della pipeline di ricerca visiva. Dopo aver rilevato e filtrato gli oggetti, puoi trasferirli a un backend cloud, ad esempio Cloud Vision Product Search.
Funzionalità chiave
- Rilevamento e monitoraggio rapidi degli oggetti Rileva gli oggetti e individua le loro posizioni nell'immagine. Tiene traccia degli oggetti nei frame immagine successivi.
- Modello on-device ottimizzato Il modello di rilevamento e monitoraggio degli oggetti è ottimizzato per i dispositivi mobili e destinato all'uso in applicazioni in tempo reale, anche su dispositivi di fascia inferiore.
- Rilevamento di oggetti in evidenza Determina automaticamente l'oggetto più in evidenza in un'immagine.
- Classificazione approssimativa: classifica gli oggetti in categorie ampie che puoi utilizzare per filtrare gli oggetti che non ti interessano. Sono supportate le seguenti categorie: articoli per la casa, prodotti di moda, cibo, piante e luoghi.
- Classificazione con un modello personalizzato Utilizza il tuo modello di classificazione delle immagini personalizzato per identificare o filtrare categorie di oggetti specifiche. Migliora il rendimento del tuo modello personalizzato omettendo lo sfondo dell'immagine.
Risultati di esempio
Monitoraggio dell'oggetto più in evidenza nelle immagini
L'esempio riportato di seguito mostra i dati di monitoraggio di tre frame successivi con il classificatore predefinito approssimativo fornito da ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Più oggetti in un'immagine statica
L'esempio seguente mostra i dati relativi ai quattro oggetti rilevati nell'immagine con il classificatore approssimativo approssimativo fornito da ML Kit.
| Oggetto 0 | |
|---|---|
| Limiti | (1, 97), (332, 97), (332, 332), (1, 332) |
| Categoria | MODA_COSA |
| Confidenza nella classificazione | 0,95703125 |
| Oggetto 1 | |
| Limiti | (186, 80), (337, 80), (337, 226), (186, 226) |
| Categoria | MODA_COSA |
| Confidenza nella classificazione | 0,84375 |
| Oggetto 2 | |
| Limiti | (296, 80), (472, 80), (472, 388), (296, 388) |
| Categoria | MODA_COSA |
| Confidenza nella classificazione | 0,94921875 |
| Oggetto 3 | |
| Limiti | (439, 83), (615, 83), (615, 306), (439, 306) |
| Categoria | MODA_COSA |
| Confidenza nella classificazione | 0,9375 |
Utilizzo di un modello TensorFlow Lite personalizzato
Il classificatore approssimativo approssimativo viene creato per cinque categorie, fornendo informazioni limitate sugli oggetti rilevati. Potresti aver bisogno di un modello di classificazione più specializzato che copra più in dettaglio un dominio di concetti; ad esempio, un modello per distinguere tra specie di fiori o tipi di cibo.
Questa API ti consente di personalizzare un determinato caso d'uso supportando modelli di classificazione delle immagini personalizzati da un'ampia gamma di origini. Per ulteriori informazioni, consulta Modelli personalizzati con ML Kit. I modelli personalizzati possono essere abbinati alla tua app o scaricati dinamicamente dal cloud tramite il servizio di deployment dei modelli di Firebase Machine Learning.
Pre-elaborazione immagine di input
Se necessario, il rilevamento e il monitoraggio degli oggetti utilizzano la scalabilità e lo stretching delle immagini bilineali per regolare le dimensioni e le proporzioni dell'immagine di input in modo che si adattino ai requisiti del modello sottostante.