透過 ML Kit 的裝置端物件偵測和追蹤 API，您可以偵測及追蹤圖片或即時攝影機影像中的物件。
如有需要，您可以使用 API 內建的概略分類器或自己的自訂圖片分類模型，將偵測到的物件分類。詳情請參閱「使用自訂 TensorFlow Lite 模型」一文。
由於物件偵測和追蹤作業是在裝置上進行，因此也適用於視覺搜尋管道的前端。偵測及篩選物件後，您可以將物件傳送至雲端後端，例如 Cloud Vision Product Search。
主要功能
- 快速偵測及追蹤物件 偵測物件並在圖片中取得物件的位置。跨連續圖片的影格追蹤物件。
- 最佳化裝置端模型 物件偵測和追蹤模型已針對行動裝置進行最佳化，即使是在低階裝置上也能使用即時應用程式。
- 醒目物件偵測 自動判斷圖片中最醒目的物件。
- 粗略分類 將物件分為廣泛類別，可用來濾除不感興趣的物件。支援的類別如下：居家用品、時尚商品、食物、植物和地點。
- 使用自訂模型分類 使用自訂圖片分類模型識別或篩選特定物件類別。排除圖片的背景，自訂模型成效更佳
搜尋結果範例
追蹤不同圖片中最顯眼的物件
以下範例顯示三個連續影格的追蹤資料，且使用 ML Kit 提供的預設粗略分類分類器。
 |
|
||||||||
 |
|
||||||||
 |
|
相片：Christian Ferrer [CC BY-SA 4.0]
靜態圖片中的多個物件
以下範例顯示使用 ML Kit 提供的預設粗略分類器，在圖片中偵測到的四個物件資料。
| 物件 0 | |
|---|---|
| 範圍 | (1、97)、(332、97)、(332、332)、(1、332) |
| 類別 | FASHION_GOOD |
| 分類信心 | 0.95703125 |
| Object 1 | |
| 範圍 | (186、80)、(337、80)、(337、226)、(186、226) |
| 類別 | FASHION_GOOD |
| 分類信心 | 0.84375 |
| Object 2 | |
| 範圍 | (296、80)、(472、80)、(472、388)、(296、388) |
| 類別 | FASHION_GOOD |
| 分類信心 | 0.94921875 |
| Object 3 | |
| 範圍 | (439、83)、(615、83)、(615、306)、(439、306) |
| 類別 | FASHION_GOOD |
| 分類信心 | 0.9375 |
使用自訂 TensorFlow Lite 模型
預設粗細分類器是專為五個類別所設計，可提供偵測到的物件相關有限資訊。您可能需要使用更專業的分類器模型，以便更詳細地涵蓋更小的概念領域；例如，用於區分不同花朵或食品類型的模型。
這個 API 支援多種來源的自訂圖片分類模型，可讓您根據特定用途調整圖片內容。詳情請參閱「使用 ML Kit 自訂模型」一文。您可以將自訂模型與您的應用程式組合在一起，或是使用 Firebase 機器學習的模型部署服務從雲端動態下載。
輸入圖片預先處理
如有需要，物件偵測和追蹤功能會使用雙線性圖片縮放和延展功能，調整輸入圖片大小和顯示比例，使其符合基礎模型的要求。