
API การตรวจจับและการติดตามออบเจ็กต์ในอุปกรณ์ของ ML Kit ช่วยให้คุณตรวจจับ และติดตามออบเจ็กต์ในรูปภาพหรือฟีดกล้องสดได้
คุณเลือกจัดประเภทออบเจ็กต์ที่ตรวจพบได้ โดยใช้ตัวแยกประเภทแบบหยาบที่สร้างไว้ใน API หรือใช้โมเดลการแยกประเภทรูปภาพที่กำหนดเอง ดูข้อมูลเพิ่มเติมได้ที่การใช้โมเดล LiteRT ที่กำหนดเอง
เนื่องจากการตรวจจับและติดตามวัตถุเกิดขึ้นในอุปกรณ์ จึงทำงานได้ดีในฐานะ ส่วนหน้าของไปป์ไลน์การค้นหาภาพ หลังจากตรวจหาและกรองออบเจ็กต์แล้ว คุณจะส่งออบเจ็กต์ไปยังแบ็กเอนด์ระบบคลาวด์ เช่น Cloud Vision Product Search ได้
ความสามารถหลัก
- การตรวจจับออบเจ็กต์และติดตามอย่างรวดเร็ว ตรวจหาออบเจ็กต์และรับตำแหน่งของออบเจ็กต์ในรูปภาพ ติดตามออบเจ็กต์ใน เฟรมรูปภาพที่ต่อเนื่องกัน
- โมเดลในอุปกรณ์ที่ได้รับการเพิ่มประสิทธิภาพ โมเดลการตรวจจับออบเจ็กต์และติดตามได้รับการเพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่ และมีไว้เพื่อใช้ในแอปพลิเคชันแบบเรียลไทม์ แม้ในอุปกรณ์ระดับล่าง ก็ตาม
- การตรวจจับออบเจ็กต์ที่โดดเด่น กำหนดออบเจ็กต์ที่โดดเด่นที่สุดในรูปภาพโดยอัตโนมัติ
- การแยกประเภทแบบคร่าวๆ แยกประเภทออบเจ็กต์เป็นหมวดหมู่กว้างๆ ซึ่งคุณใช้เพื่อกรอง ออบเจ็กต์ที่ไม่สนใจออกได้ ระบบรองรับหมวดหมู่ต่อไปนี้ ของใช้ในบ้าน สินค้าแฟชั่น อาหาร พืช และสถานที่
- การจัดประเภทด้วยโมเดลที่กำหนดเอง ใช้โมเดลการจัดประเภทรูปภาพที่กำหนดเองเพื่อระบุหรือกรอง หมวดหมู่ออบเจ็กต์ที่เฉพาะเจาะจง ทำให้โมเดลที่กำหนดเองทำงานได้ดีขึ้นโดยไม่รวม พื้นหลังของรูปภาพ
ตัวอย่างผลการแข่ง
ติดตามวัตถุที่โดดเด่นที่สุดในรูปภาพ
ตัวอย่างต่อไปนี้แสดงข้อมูลการติดตามจาก 3 เฟรมต่อเนื่อง โดยใช้ตัวแยกประเภทแบบหยาบเริ่มต้นที่ ML Kit มีให้
![]() |
|
||||||||
![]() |
|
||||||||
![]() |
|
รูปภาพ: Christian Ferrer [CC BY-SA 4.0]
วัตถุหลายรายการในรูปภาพนิ่ง
ตัวอย่างต่อไปนี้แสดงข้อมูลของออบเจ็กต์ 4 รายการที่ตรวจพบในรูปภาพโดยใช้ตัวแยกประเภทแบบหยาบเริ่มต้นที่ ML Kit จัดเตรียมไว้ให้

| ออบเจ็กต์ 0 | |
|---|---|
| ขอบเขต | (1, 97), (332, 97), (332, 332), (1, 332) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการจัดประเภท | 0.95703125 |
| วัตถุ 1 | |
| ขอบเขต | (186, 80), (337, 80), (337, 226), (186, 226) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการจัดประเภท | 0.84375 |
| วัตถุ 2 | |
| ขอบเขต | (296, 80), (472, 80), (472, 388), (296, 388) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการจัดประเภท | 0.94921875 |
| ออบเจ็กต์ 3 | |
| ขอบเขต | (439, 83), (615, 83), (615, 306), (439, 306) |
| หมวดหมู่ | FASHION_GOOD |
| ความเชื่อมั่นในการจัดประเภท | 0.9375 |
การใช้โมเดล LiteRT ที่กำหนดเอง
เครื่องมือคัดแยกแบบหยาบเริ่มต้นสร้างขึ้นสำหรับ 5 หมวดหมู่ โดยให้ข้อมูลแบบจำกัดเกี่ยวกับออบเจ็กต์ที่ตรวจพบ คุณอาจต้องใช้โมเดลตัวแยกประเภทที่เฉพาะเจาะจงมากขึ้น ซึ่งครอบคลุมโดเมนแนวคิดที่แคบลงในรายละเอียดเพิ่มเติม เช่น โมเดลที่ใช้แยกแยะสายพันธุ์ของดอกไม้หรือประเภทของ อาหาร
API นี้ช่วยให้คุณปรับแต่งให้เหมาะกับกรณีการใช้งานเฉพาะได้โดยรองรับโมเดลการแยกประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย ดูข้อมูลเพิ่มเติมได้ที่ โมเดลที่กำหนดเองด้วย ML Kit โมเดลที่กำหนดเองสามารถรวมไว้กับแอปหรือดาวน์โหลดจาก Cloud Storage แบบไดนามิก
การประมวลผลล่วงหน้าของรูปภาพอินพุต
หากจำเป็น การตรวจจับออบเจ็กต์และการติดตามจะใช้การปรับขนาดรูปภาพแบบไบลิเนียร์และการยืดเพื่อปรับขนาดและสัดส่วนภาพของรูปภาพอินพุตให้เป็นไปตามข้อกำหนดของโมเดลพื้นฐาน


