偵測及追蹤物件

透過 ML Kit 的裝置端物件偵測和追蹤 API，您可以偵測及追蹤圖片或即時攝影機影像中的物件。

如有需要，您可以使用 API 內建的概略分類器或自己的自訂圖片分類模型，將偵測到的物件分類。詳情請參閱「使用自訂 TensorFlow Lite 模型」一文。

由於物件偵測和追蹤作業是在裝置上進行，因此也適用於視覺搜尋管道的前端。偵測及篩選物件後，您可以將物件傳送至雲端後端，例如 Cloud Vision Product Search。

iOS Android

主要功能

  • 快速偵測及追蹤物件 偵測物件並在圖片中取得物件的位置。跨連續圖片的影格追蹤物件。
  • 最佳化裝置端模型 物件偵測和追蹤模型已針對行動裝置進行最佳化，即使是在低階裝置上也能使用即時應用程式。
  • 醒目物件偵測 自動判斷圖片中最醒目的物件。
  • 粗略分類 將物件分為廣泛類別，可用來濾除不感興趣的物件。支援的類別如下：居家用品、時尚商品、食物、植物和地點。
  • 使用自訂模型分類 使用自訂圖片分類模型識別或篩選特定物件類別。排除圖片的背景，自訂模型成效更佳

搜尋結果範例

追蹤不同圖片中最顯眼的物件

以下範例顯示三個連續影格的追蹤資料，且使用 ML Kit 提供的預設粗略分類分類器。

追蹤 ID 0
範圍 (95、45)、(496、45)、(496、240)、(95、240)
類別 位置
分類信心 0.9296875
追蹤 ID 0
範圍 (84、46)、(478、46)、(478、247)、(84、247)
類別 位置
分類信心 0.8710938
追蹤 ID 0
範圍 (53、45)、(519、45)、(519、240)、(53、240)
類別 位置
分類信心 0.8828125

相片：Christian Ferrer [CC BY-SA 4.0]

靜態圖片中的多個物件

以下範例顯示使用 ML Kit 提供的預設粗略分類器，在圖片中偵測到的四個物件資料。

物件 0
範圍 (1、97)、(332、97)、(332、332)、(1、332)
類別 FASHION_GOOD
分類信心 0.95703125
Object 1
範圍 (186、80)、(337、80)、(337、226)、(186、226)
類別 FASHION_GOOD
分類信心 0.84375
Object 2
範圍 (296、80)、(472、80)、(472、388)、(296、388)
類別 FASHION_GOOD
分類信心 0.94921875
Object 3
範圍 (439、83)、(615、83)、(615、306)、(439、306)
類別 FASHION_GOOD
分類信心 0.9375

使用自訂 TensorFlow Lite 模型

預設粗細分類器是專為五個類別所設計，可提供偵測到的物件相關有限資訊。您可能需要使用更專業的分類器模型，以便更詳細地涵蓋更小的概念領域；例如，用於區分不同花朵或食品類型的模型。

這個 API 支援多種來源的自訂圖片分類模型，可讓您根據特定用途調整圖片內容。詳情請參閱「使用 ML Kit 自訂模型」一文。您可以將自訂模型與您的應用程式組合在一起，或是使用 Firebase 機器學習的模型部署服務從雲端動態下載。

iOS Android

輸入圖片預先處理

如有需要，物件偵測和追蹤功能會使用雙線性圖片縮放和延展功能，調整輸入圖片大小和顯示比例，使其符合基礎模型的要求。