Con l'API di rilevamento di oggetti e monitoraggio on-device di ML Kit, puoi rilevare e monitorare gli oggetti in un'immagine o in un feed videocamera in tempo reale.
Facoltativamente, puoi classificare gli oggetti rilevati utilizzando il classificatore grossolano integrato nell'API o il tuo modello di classificazione delle immagini personalizzato. Per ulteriori informazioni, consulta Utilizzare un modello LiteRT personalizzato per ulteriori informazioni.
Poiché il rilevamento di oggetti e il monitoraggio avvengono sul dispositivo, funziona bene come frontend della pipeline di ricerca visiva. Dopo aver rilevato e filtrato gli oggetti, puoi passarli a un backend cloud, ad esempio Cloud Vision Product Search.
Funzionalità chiave
- Rilevamento di oggetti e monitoraggio rapidi Rileva gli oggetti e ottieni le loro posizioni nell'immagine. Monitora gli oggetti nei frame di immagini successivi.
- Modello on-device ottimizzato Il modello di rilevamento di oggetti e monitoraggio è ottimizzato per i dispositivi mobili ed è destinato all'uso in applicazioni in tempo reale, anche su dispositivi di fascia bassa.
- Rilevamento di oggetti in primo piano Determina automaticamente l'oggetto più in primo piano in un'immagine.
- Classificazione grossolana Classifica gli oggetti in categorie ampie, che puoi utilizzare per filtrare gli oggetti che non ti interessano. Sono supportate le seguenti categorie: articoli per la casa, articoli di moda, cibo, piante e luoghi.
- Classificazione con un modello personalizzato Utilizza il tuo modello di classificazione delle immagini personalizzato per identificare o filtrare categorie di oggetti specifiche. Migliora le prestazioni del tuo modello personalizzato escludendo lo sfondo dell'immagine.
Risultati di esempio
Monitoraggio dell'oggetto più in primo piano nelle immagini
L'esempio seguente mostra i dati di monitoraggio di tre frame successivi con il classificatore grossolano predefinito fornito da ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Più oggetti in un'immagine statica
L'esempio seguente mostra i dati dei quattro oggetti rilevati nell'immagine con il classificatore grossolano predefinito fornito da ML Kit.
| Oggetto 0 | |
|---|---|
| Limiti | (1, 97), (332, 97), (332, 332), (1, 332) |
| Categoria | FASHION_GOOD |
| Affidabilità della classificazione | 0.95703125 |
| Oggetto 1 | |
| Limiti | (186, 80), (337, 80), (337, 226), (186, 226) |
| Categoria | FASHION_GOOD |
| Affidabilità della classificazione | 0.84375 |
| Oggetto 2 | |
| Limiti | (296, 80), (472, 80), (472, 388), (296, 388) |
| Categoria | FASHION_GOOD |
| Affidabilità della classificazione | 0.94921875 |
| Oggetto 3 | |
| Limiti | (439, 83), (615, 83), (615, 306), (439, 306) |
| Categoria | FASHION_GOOD |
| Affidabilità della classificazione | 0.9375 |
Utilizzare un modello LiteRT personalizzato
Il classificatore grossolano predefinito è creato per cinque categorie e fornisce informazioni limitate sugli oggetti rilevati. Potresti aver bisogno di un modello di classificatore più specializzato che copra un dominio di concetti più ristretto in modo più dettagliato, ad esempio un modello per distinguere tra specie di fiori o tipi di alimenti.
Questa API ti consente di adattare un caso d'uso specifico supportando modelli di classificazione delle immagini personalizzati da un'ampia gamma di origini. Per saperne di più, consulta Modelli personalizzati con ML Kit. I modelli personalizzati possono essere inclusi nel pacchetto dell'app o scaricati dinamicamente da Cloud Storage.
Pre-elaborazione delle immagini di input
Se necessario, il rilevamento e il monitoraggio degli oggetti utilizzano il ridimensionamento e l'allungamento bilineare delle immagini per regolare le dimensioni e le proporzioni dell'immagine di input in modo che soddisfino i requisiti del modello sottostante.