Con las API de etiquetado de imágenes del Kit de AA, puedes detectar y extraer información sobre entidades en una imagen en un amplio grupo de categorías. El modelo de etiquetado de imágenes predeterminado puede identificar objetos generales, lugares, actividades, especies de animales, productos y mucho más.
También puedes usar un modelo de clasificación de imágenes personalizado para adaptar la detección a un caso práctico específico. Para obtener más información, consulta Usa un modelo personalizado de TensorFlow Lite.
Funciones clave
- Un potente clasificador básico de uso general Reconoce más de 400 categorías que describen los objetos que se encuentran con más frecuencia en las fotos.
- Adapta tu caso práctico con modelos personalizados Usa otros modelos previamente entrenados de TensorFlow Hub o tu propio modelo personalizado entrenado con TensorFlow, AutoML Vision Edge o Model Maker de TensorFlow Lite.
- API de alto nivel fáciles de usar. No es necesario tratar con entradas/salidas de modelos de bajo nivel, procesamiento previo y posterior de imágenes ni crear una canalización de procesamiento. El Kit de AA extrae las etiquetas del modelo de TensorFlow Lite y las proporciona como una descripción de texto.
Ten en cuenta que esta API está diseñada para los modelos de clasificación de imágenes que describen la imagen completa. Para clasificar uno o más objetos en una imagen, como zapatos o muebles, la API de Detección y seguimiento de objetos puede ser una mejor opción.
Modelos de clasificación de imágenes admitidos
Las API de etiquetado de imágenes admiten diferentes modelos de clasificación de imágenes:
| Modelos de clasificación de imágenes admitidos | |
|---|---|
| Modelo base | De forma predeterminada, la API usa un potente modelo de etiquetado de imágenes de uso general que reconoce más de 400 entidades que cubren los conceptos que se encuentran con mayor frecuencia en las fotos. |
| Modelos personalizados de TensorFlow Lite | Para orientarse a conceptos específicos de la aplicación, la API acepta modelos personalizados de clasificación de imágenes de una amplia variedad de fuentes. Pueden ser modelos previamente entrenados descargados desde TensorFlow Hub o tus propios modelos entrenados con AutoML Vision Edge, TensorFlow Lite Model Maker o TensorFlow en sí. Los modelos se pueden empaquetar con tu app o alojar con el aprendizaje automático de Firebase y descargar durante el tiempo de ejecución. |
Usa el modelo base
El modelo base del Kit de AA muestra una lista de entidades que identifican personas, objetos, lugares, actividades, etcétera. Cada entidad incluye una puntuación que indica la confianza que tiene el modelo de AA en su relevancia. Con esta información, puedes realizar tareas como la generación automática de metadatos y la moderación de contenido. El modelo predeterminado que se proporciona con el Kit de AA reconoce más de 400 entidades diferentes.
Etiquetas de ejemplo
El modelo base en la API de etiquetado de imágenes admite más de 400 etiquetas, como en los siguientes ejemplos:
| Categoría | Etiquetas de ejemplo |
|---|---|
| Personas | CrowdSelfieSmile |
| Actividades | DancingEatingSurfing |
| Things | CarPianoReceipt |
| Animales | BirdCatDog |
| Plantas | FlowerFruitVegetable |
| Places | BeachLakeMountain |
Resultados de ejemplo
Aquí tienes un ejemplo de las entidades que se reconocieron en la foto adjunta.
| Etiqueta 0 | |
|---|---|
| Text | Estadio |
| Confianza | 0,9205354 |
| Etiqueta 1 | |
| Text | Deportes |
| Confianza | 0,7531109 |
| Etiqueta 2 | |
| Text | Evento |
| Confianza | 0,66905296 |
| Etiqueta 3 | |
| Text | Ocio |
| Confianza | 0,59904146 |
| Etiqueta 4 | |
| Text | Fútbol |
| Confianza | 0,56384534 |
| Etiqueta 5 | |
| Text | Neta |
| Confianza | 0,54679185 |
| Etiqueta 6 | |
| Text | Planta |
| Confianza | 0,524364 |
Usa un modelo personalizado de TensorFlow Lite
El modelo base de etiquetado de imágenes base del Kit de AA se creó para uso general. Está entrenado para reconocer 400 categorías que describen los objetos más comunes en las fotos. Es posible que tu app necesite un modelo de clasificación de imágenes especializado que reconozca una cantidad menor de categorías con más detalle, como un modelo que distinga entre especies de flores o tipos de comida.
Esta API te permite adaptarte a un caso de uso específico, ya que admite modelos personalizados de clasificación de imágenes de una amplia variedad de fuentes. Para obtener más información, consulta Modelos personalizados con el Kit de AA. Los modelos personalizados se pueden agrupar con tu app o descargar de forma dinámica desde la nube mediante el servicio de implementación de modelos de aprendizaje automático de Firebase.
Procesamiento previo de imágenes de entrada
Si es necesario, el etiquetado de imágenes usa escalamiento bilineal y estiramiento para ajustar el tamaño de la imagen de entrada y la relación de aspecto a fin de que se ajusten a los requisitos del modelo subyacente.