图像标签

借助 ML Kit 的图像标记 API,您可以检测和提取图片中各种类别的实体信息。默认图像标记模型可以识别普通物体、地点、活动、动物品种、商品等。

您还可以使用自定义图片分类模型,根据具体应用场景量身定制检测功能。如需了解详情,请参阅使用自定义 LiteRT 模型

主要功能

  • 功能强大的通用基础分类器 可识别 400 多个类别,这些类别描述了照片中最常见的对象。
  • 使用自定义模型满足您的使用情形 使用 TensorFlow Hub 中的其他预训练模型,或使用您自己的自定义模型(通过 TensorFlow、AutoML 或 LiteRT 训练)。
  • 易于使用的高级 API 无需处理低级模型输入/输出、图片预处理和后处理,也无需构建处理流水线。机器学习套件会从 LiteRT 模型中提取标签,并以文本说明的形式提供这些标签。

请注意,此 API 适用于描述完整图片的图片分类模型。如需对图片中的一个或多个对象(例如鞋子或家具)进行分类,对象检测和跟踪 API 可能更适合。

支持的图片分类模型

图片标记 API 支持不同的图片分类模型:

支持的图片分类模型
基本模型 默认情况下,该 API 使用功能强大的通用图片标签模型,该模型可识别 400 多种实体,涵盖照片中最常见的概念。
自定义 LiteRT 模型 为了针对特定于应用的概念,该 API 接受来自各种来源的自定义图片分类模型。这些模型可以是从 TensorFlow Hub 下载的预训练模型,也可以是您使用 AutoML、LiteRT 或 TensorFlow 本身训练的自有模型。模型可以与应用捆绑,也可以托管在 Cloud Storage 中并在运行时下载。

使用基础模型

ML Kit 的基本模型会返回一个实体列表,用于识别人物、事物、地点、活动等。每个实体都带有一个分数,表示机器学习模型对相关性的置信度。借助此信息,您可以执行自动生成元数据和内容审核等任务。ML Kit 提供的默认模型可识别 400 多种不同的实体

iOS Android

标签示例

图片标记 API 中的基础模型支持 400 多个标签,如以下示例所示:

类别标签示例
人员 Crowd
Selfie
Smile
活动 Dancing
Eating
Surfing
事物 Car
Piano
Receipt
动物 Bird
Cat
Dog
植物 Flower
Fruit
Vegetable
地点 Beach
Lake
Mountain

示例结果

以下示例展示了在随附照片中识别出的实体。

照片:Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
标签 0
文本 体育馆
置信度 0.9205354
标签 1
文本 体育
置信度 0.7531109
标签 2
文本 事件
置信度 0.66905296
标签 3
文本 休闲
置信度 0.59904146
标签 4
文本 足球
置信度 0.56384534
标签 5
文本 Net
置信度 0.54679185
标签 6
文本 植物
置信度 0.524364

使用自定义 LiteRT 模型

机器学习套件的基础图片标签模型是一种通用模型。该模型经过训练,可识别 400 个类别,这些类别描述了照片中最常见的对象。您的应用可能需要一个专门的图片分类模型,该模型可以更详细地识别数量较少的类别,例如区分花卉种类或食品类型的模型。

此 API 支持来自各种来源的自定义图片分类模型,让您可以根据特定应用场景进行调整。如需了解详情,请参阅 ML Kit 自定义模型。自定义模型可以与应用捆绑在一起,也可以从 Cloud Storage 动态下载。

iOS Android

输入图片预处理

如有必要,图片标记会使用双线性图片缩放和拉伸来调整输入图片的大小和宽高比,使其符合底层模型的要求。