Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Rilevamento e monitoraggio degli oggetti

Con l'API di rilevamento e monitoraggio degli oggetti sul dispositivo di ML Kit, puoi rilevare e tenere traccia degli oggetti in un feed di immagini o in una videocamera in tempo reale.

Facoltativamente, puoi classificare gli oggetti rilevati utilizzando il classificatore approssimativo integrato nell'API oppure utilizzando il tuo modello di classificazione delle immagini personalizzato. Per ulteriori informazioni, consulta la pagina Utilizzo di un modello TensorFlow Lite personalizzato.

Poiché il rilevamento e il monitoraggio degli oggetti avviene sul dispositivo, funziona bene anche come front-end della pipeline di ricerca visiva. Dopo aver rilevato e filtrato oggetti, puoi trasferirli a un backend cloud, come Cloud Product Search.

iOS Android

Funzionalità chiave

  • Rilevamento e monitoraggio rapidi degli oggetti Rileva gli oggetti e scopri le loro posizioni nell'immagine. Monitora oggetti nei frame di immagini successiva.
  • Modello ottimizzato sul dispositivo Il modello di rilevamento e monitoraggio degli oggetti è ottimizzato per i dispositivi mobili e destinato all'uso in applicazioni in tempo reale, anche sui dispositivi di fascia inferiore.
  • Rilevamento di oggetti in evidenza Determina automaticamente l'oggetto più in evidenza in un'immagine.
  • Classificazione approssimativa Classifica gli oggetti in categorie ampie, che puoi utilizzare per filtrare gli oggetti che non ti interessano. Sono supportate le seguenti categorie: casalinghi, articoli di moda, cibo, piante e luoghi.
  • Classificazione con un modello personalizzato Utilizza il tuo modello di classificazione delle immagini personalizzato per identificare o filtrare specifiche categorie di oggetti. Migliora il rendimento del tuo modello personalizzato omettendo lo sfondo dell'immagine.

Risultati di esempio

Monitoraggio dell'oggetto più in evidenza nelle immagini

L'esempio seguente mostra i dati di monitoraggio di tre frame successivi con il classificatore approssimativo approssimativo fornito da ML Kit.

ID monitoraggio 0
Limiti (95, 45), (496, 45), (496, 240), (95, 240)
Categoria POSIZIONE
Sicurezza della classificazione 0,9296875
ID monitoraggio 0
Limiti (84, 46), (478, 46), (478, 247), (84, 247)
Categoria POSIZIONE
Sicurezza della classificazione 0,8710938
ID monitoraggio 0
Limiti (53, 45), (519, 45), (519, 240), (53, 240)
Categoria POSIZIONE
Sicurezza della classificazione 0,8828125

Foto: Christian Ferrer [CC BY-SA 4.0]

Più oggetti in un'immagine statica

L'esempio seguente mostra i dati per i quattro oggetti rilevati nell'immagine con il classificatore approssimativo approssimativo fornito da ML Kit.

Oggetto 0
Limiti (1, 97), (332, 97), (332, 332), (1, 332)
Categoria MODA_COSA
Sicurezza della classificazione 0,95703125
Oggetto 1
Limiti (186, 80), (337, 80), (337, 226), (186, 226)
Categoria MODA_COSA
Sicurezza della classificazione 0,84375
Oggetto 2
Limiti (296, 80), (472, 80), (472, 388), (296, 388)
Categoria MODA_COSA
Sicurezza della classificazione 0,94921875
Oggetto 3
Limiti (439, 83), (615, 83), (615, 306), (439, 306)
Categoria MODA_COSA
Sicurezza della classificazione 0,9375

Utilizzo di un modello TensorFlow Lite personalizzato

Il classificatore approssimativo approssimativo viene creato per cinque categorie, fornendo informazioni limitate sugli oggetti rilevati. Potresti aver bisogno di un modello di classificazione più specializzato che copra un dominio più ristretto di concetti; ad esempio, un modello per distinguere tra specie di fiori o tipi di alimenti.

Questa API consente di adattare il modello a un particolare caso d'uso supportando modelli di classificazione delle immagini personalizzati da un'ampia gamma di origini. Per ulteriori informazioni, consulta Modelli personalizzati con ML Kit. I modelli personalizzati possono essere abbinati alla tua app o scaricati dinamicamente dal cloud utilizzando il servizio di deployment dei modelli di Firebase Machine Learning.

iOS Android

Pre-elaborazione immagine di input

Se necessario, il rilevamento e il monitoraggio degli oggetti utilizzano il ridimensionamento e l'allungamento bidimensionali delle immagini per regolare le dimensioni e le proporzioni dell'immagine di input in modo che soddisfino i requisiti del modello sottostante.