Avec les API d'étiquetage d'images de ML Kit, vous pouvez détecter et extraire des informations sur les entités d'une image dans un large groupe de catégories. Le modèle d'étiquetage d'images par défaut peut identifier des objets, des lieux, des activités, des espèces animales, des produits, etc.
Vous pouvez également utiliser un modèle de classification d'images personnalisé pour adapter la détection à un cas d'utilisation spécifique. Pour en savoir plus, consultez la page Utiliser un modèle LiteRT personnalisé.
Capacités clés
- Un classificateur de base puissant et à usage général : il reconnaît plus de 400 catégories qui décrivent les objets les plus courants dans les photos.
- Adaptation à votre cas d'utilisation avec des modèles personnalisés : utilisez d'autres modèles pré-entraînés à partir de TensorFlow Hub ou votre propre modèle personnalisé entraîné avec TensorFlow, AutoML ou LiteRT.
- API de haut niveau faciles à utiliser : vous n'avez pas besoin de gérer les entrées/sorties de modèle de bas niveau, le prétraitement et le post-traitement des images, ni de créer un pipeline de traitement. ML Kit extrait les étiquettes du modèle LiteRT et les fournit sous forme de description textuelle.
Notez que cette API est destinée aux modèles de classification d'images qui décrivent l'image complète. Pour classer un ou plusieurs objets dans une image, tels que des chaussures ou des meubles, l'API de détection et de suivi d'objets peut être plus adaptée.
Modèles de classification d'images compatibles
Les API d'étiquetage d'images sont compatibles avec différents modèles de classification d'images :
| Modèles de classification d'images compatibles | |
|---|---|
| Modèle de base | Par défaut, l'API utilise un modèle d'étiquetage d'images puissant et à usage général qui reconnaît plus de 400 entités couvrant les concepts les plus courants dans les photos. |
| Modèles LiteRT personnalisés | Pour cibler des concepts spécifiques à une application, l'API accepte les modèles personnalisés de classification d'images provenant d'un large éventail de sources. Il peut s'agir de modèles pré-entraînés téléchargés à partir de TensorFlow Hub ou de vos propres modèles entraînés avec AutoML, LiteRT ou TensorFlow lui-même. Les modèles peuvent être regroupés avec votre application ou hébergés avec Cloud Storage et téléchargés au moment de l'exécution. |
Utiliser le modèle de base
Le modèle de base de ML Kit renvoie une liste d'entités qui identifient des personnes, des objets, des lieux, des activités, etc. Chaque entité est associée à un score qui indique la confiance du modèle de ML dans sa pertinence. Grâce à ces informations, vous pouvez effectuer des tâches telles que la génération automatique de métadonnées et la modération de contenu. Le modèle par défaut fourni avec ML Kit reconnaît plus de 400 entités différentes.
Exemples d'étiquettes
Le modèle de base de l'API d'étiquetage d'images est compatible avec plus de 400 étiquettes, comme les exemples suivants :
| Catégorie | Exemples d'étiquettes |
|---|---|
| Personnes | CrowdSelfieSmile |
| Activités | DancingEatingSurfing |
| Objets | CarPianoReceipt |
| Animaux | BirdCatDog |
| Plantes | FlowerFruitVegetable |
| Lieux | BeachLakeMountain |
Exemples de résultats
Voici un exemple des entités reconnues dans la photo d'accompagnement.
| Libellé 0 | |
|---|---|
| Texte | Stade |
| Confiance | 0.9205354 |
| Libellé 1 | |
| Texte | Sport |
| Confiance | 0.7531109 |
| Libellé 2 | |
| Texte | Événement |
| Confiance | 0.66905296 |
| Libellé 3 | |
| Texte | Loisir |
| Confiance | 0.59904146 |
| Libellé 4 | |
| Texte | Football |
| Confiance | 0.56384534 |
| Libellé 5 | |
| Texte | Nette |
| Confiance | 0.54679185 |
| Libellé 6 | |
| Texte | Plante |
| Confiance | 0.524364 |
Utiliser un modèle LiteRT personnalisé
Le modèle de base d'étiquetage d'images de ML Kit est conçu pour une utilisation générale. Il est entraîné pour reconnaître 400 catégories qui décrivent les objets les plus courants dans les photos. Votre application peut avoir besoin d'un modèle de classification d'images spécialisé qui reconnaît un nombre plus limité de catégories de manière plus détaillée, par exemple un modèle qui fait la distinction entre les espèces de fleurs ou les types d'aliments.
Cette API vous permet de l'adapter à un cas d'utilisation particulier en acceptant les modèles personnalisés de classification d'images provenant d'un large éventail de sources. Pour en savoir plus, consultez la page Modèles personnalisés avec ML Kit. Les modèles personnalisés peuvent être regroupés avec votre application ou téléchargés dynamiquement à partir de Cloud Storage.
Prétraitement des images d'entrée
Si nécessaire, l'étiquetage d'images utilise la mise à l'échelle et l'étirement bilinéaires des images pour ajuster la taille et le format de l'image d'entrée afin qu'ils répondent aux exigences du modèle sous-jacent.