L'API de détection et de suivi d'objets sur l'appareil de ML Kit vous permet de détecter et de suivre des objets dans une image ou un flux de caméra en direct.
Vous pouvez également classer les objets détectés, soit en utilisant le classificateur approximatif intégré à l'API, soit en utilisant votre propre modèle de classification d'images personnalisé. Pour en savoir plus, consultez Utiliser un modèle LiteRT personnalisé.
Comme la détection et le suivi des objets se font sur l'appareil, ils fonctionnent bien comme frontend du pipeline de recherche visuelle. Après avoir détecté et filtré des objets, vous pouvez les transmettre à un backend cloud, tel que Cloud Vision Product Search.
Capacités clés
- Détection et suivi rapides des objets : détectez les objets et obtenez leur emplacement dans l'image. Suivez les objets dans les images successives.
- Modèle optimisé sur l'appareil Le modèle de détection d'objet et de suivi est optimisé pour les appareils mobiles et destiné à être utilisé dans des applications en temps réel, même sur les appareils bas de gamme.
- Détection d'objets importants : déterminez automatiquement l'objet le plus important d'une image.
- Classification générale Classez les objets dans de grandes catégories, que vous pouvez utiliser pour filtrer les objets qui ne vous intéressent pas. Les catégories suivantes sont acceptées : articles pour la maison, articles de mode, aliments, plantes et lieux.
- Classification avec un modèle personnalisé Utilisez votre propre modèle de classification d'images personnalisé pour identifier ou filtrer des catégories d'objets spécifiques. Améliorez les performances de votre modèle personnalisé en supprimant l'arrière-plan de l'image.
Exemples de résultats
Suivre l'objet le plus visible dans les images
L'exemple suivant montre les données de suivi de trois frames successifs avec le classificateur approximatif par défaut fourni par ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Photo : Christian Ferrer [CC BY-SA 4.0]
Plusieurs objets dans une image statique
L'exemple suivant montre les données des quatre objets détectés dans l'image avec le classificateur approximatif par défaut fourni par ML Kit.
| Objet 0 | |
|---|---|
| Limites | (1, 97), (332, 97), (332, 332), (1, 332) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,95703125 |
| Objet 1 | |
| Limites | (186, 80), (337, 80), (337, 226), (186, 226) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,84375 |
| Objet 2 | |
| Limites | (296, 80), (472, 80), (472, 388), (296, 388) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,94921875 |
| Object 3 | |
| Limites | (439, 83), (615, 83), (615, 306), (439, 306) |
| Catégorie | FASHION_GOOD |
| Niveau de confiance de la classification | 0,9375 |
Utiliser un modèle LiteRT personnalisé
Le classificateur grossier par défaut est conçu pour cinq catégories, ce qui fournit des informations limitées sur les objets détectés. Vous aurez peut-être besoin d'un modèle de classification plus spécialisé qui couvre un domaine de concepts plus restreint de manière plus détaillée (par exemple, un modèle permettant de distinguer les espèces de fleurs ou les types d'aliments).
Cette API vous permet de l'adapter à un cas d'utilisation particulier en prenant en charge les modèles de classification d'images personnalisés provenant de diverses sources. Pour en savoir plus, consultez Modèles personnalisés avec ML Kit. Les modèles personnalisés peuvent être fournis avec votre application ou téléchargés de manière dynamique depuis Cloud Storage.
Prétraitement des images d'entrée
Si nécessaire, la détection d'objet et le suivi d'objets utilisent la mise à l'échelle et l'étirement bilinéaires des images pour ajuster la taille d'image et le format de l'image d'entrée afin qu'ils répondent aux exigences du modèle sous-jacent.