您可以使用 ML Kit 的裝置端物件偵測與追蹤 API，偵測及追蹤圖片或即時攝影機畫面中的物件。
您可以選擇使用 API 內建的粗略分類器，或使用自訂圖片分類模型，對偵測到的物件進行分類。詳情請參閱「使用自訂 LiteRT 模型」。
由於物件偵測和追蹤是在裝置上進行，因此很適合做為影像搜尋管道的前端。偵測及篩選物件後，您可以將物件傳遞至雲端後端，例如 Cloud Vision Product Search。
主要功能
- 快速物件偵測及追蹤 偵測物件並取得物件在圖片中的位置。追蹤連續影像畫面中的物件。
- 最佳化裝置端模型 物件偵測與追蹤模型已針對行動裝置進行最佳化，適用於即時應用程式，即使在低階裝置上也能運作。
- 顯眼物件偵測 自動判斷圖片中最顯眼的物件。
- 粗略分類 將物體分類到廣泛類別，可用於篩除不感興趣的物體。支援的類別包括： 居家用品、時尚用品、食品、植物和地點。
- 使用自訂模型分類 使用自訂圖片分類模型，識別或篩選特定物件類別。如要提升自訂模型的效能，請排除圖片背景。
搜尋結果範例
追蹤圖片中最顯眼的物件
以下範例顯示 ML Kit 提供的預設粗略分類器，在連續三個影格中追蹤到的資料。
 |
|
||||||||
 |
|
||||||||
 |
|
相片：Christian Ferrer [CC BY-SA 4.0]
靜態圖片中的多個物件
以下範例顯示 ML Kit 提供的預設粗略分類器，在圖片中偵測到的四個物件資料。
| 物件 0 | |
|---|---|
| 範圍 | (1, 97)、(332, 97)、(332, 332)、(1, 332) |
| 類別 | FASHION_GOOD |
| 分類信賴度 | 0.95703125 |
| 物件 1 | |
| 範圍 | (186, 80)、(337, 80)、(337, 226)、(186, 226) |
| 類別 | FASHION_GOOD |
| 分類信賴度 | 0.84375 |
| Object 2 | |
| 範圍 | (296, 80)、(472, 80)、(472, 388)、(296, 388) |
| 類別 | FASHION_GOOD |
| 分類信賴度 | 0.94921875 |
| Object 3 | |
| 範圍 | (439, 83)、(615, 83)、(615, 306)、(439, 306) |
| 類別 | FASHION_GOOD |
| 分類信賴度 | 0.9375 |
使用自訂 LiteRT 模型
預設粗略分類器是為五個類別所建構，提供的偵測物件資訊有限。您可能需要更專業的分類器模型，更詳細地涵蓋範圍較窄的概念領域；例如，區分花卉品種或食物類型的模型。
這項 API 支援來自各種來源的自訂圖片分類模型，可讓您根據特定用途進行調整。詳情請參閱「使用 ML Kit 的自訂模型」。自訂模型可與應用程式一併封裝，或從 Cloud Storage 動態下載。
輸入圖片預處理
如有需要，物件偵測和追蹤功能會使用雙線性圖片縮放和延展功能，調整輸入圖片的大小和顯示比例，以符合基礎模型的需求。