การตรวจจับและติดตามวัตถุ

API การตรวจจับและการติดตามออบเจ็กต์ในอุปกรณ์ของ ML Kit ช่วยให้คุณตรวจจับ และติดตามออบเจ็กต์ในรูปภาพหรือฟีดกล้องสดได้

คุณเลือกจัดประเภทออบเจ็กต์ที่ตรวจพบได้ โดยใช้ตัวแยกประเภทแบบหยาบที่สร้างไว้ใน API หรือใช้โมเดลการแยกประเภทรูปภาพที่กำหนดเอง ดูข้อมูลเพิ่มเติมได้ที่การใช้โมเดล LiteRT ที่กำหนดเอง

เนื่องจากการตรวจจับและติดตามวัตถุเกิดขึ้นในอุปกรณ์ จึงทำงานได้ดีในฐานะ ส่วนหน้าของไปป์ไลน์การค้นหาภาพ หลังจากตรวจหาและกรองออบเจ็กต์แล้ว คุณจะส่งออบเจ็กต์ไปยังแบ็กเอนด์ระบบคลาวด์ เช่น Cloud Vision Product Search ได้

iOS Android

ความสามารถหลัก

  • การตรวจจับออบเจ็กต์และติดตามอย่างรวดเร็ว ตรวจหาออบเจ็กต์และรับตำแหน่งของออบเจ็กต์ในรูปภาพ ติดตามออบเจ็กต์ใน เฟรมรูปภาพที่ต่อเนื่องกัน
  • โมเดลในอุปกรณ์ที่ได้รับการเพิ่มประสิทธิภาพ โมเดลการตรวจจับออบเจ็กต์และติดตามได้รับการเพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่ และมีไว้เพื่อใช้ในแอปพลิเคชันแบบเรียลไทม์ แม้ในอุปกรณ์ระดับล่าง ก็ตาม
  • การตรวจจับออบเจ็กต์ที่โดดเด่น กำหนดออบเจ็กต์ที่โดดเด่นที่สุดในรูปภาพโดยอัตโนมัติ
  • การแยกประเภทแบบคร่าวๆ แยกประเภทออบเจ็กต์เป็นหมวดหมู่กว้างๆ ซึ่งคุณใช้เพื่อกรอง ออบเจ็กต์ที่ไม่สนใจออกได้ ระบบรองรับหมวดหมู่ต่อไปนี้ ของใช้ในบ้าน สินค้าแฟชั่น อาหาร พืช และสถานที่
  • การจัดประเภทด้วยโมเดลที่กำหนดเอง ใช้โมเดลการจัดประเภทรูปภาพที่กำหนดเองเพื่อระบุหรือกรอง หมวดหมู่ออบเจ็กต์ที่เฉพาะเจาะจง ทำให้โมเดลที่กำหนดเองทำงานได้ดีขึ้นโดยไม่รวม พื้นหลังของรูปภาพ

ตัวอย่างผลการแข่ง

ติดตามวัตถุที่โดดเด่นที่สุดในรูปภาพ

ตัวอย่างต่อไปนี้แสดงข้อมูลการติดตามจาก 3 เฟรมต่อเนื่อง โดยใช้ตัวแยกประเภทแบบหยาบเริ่มต้นที่ ML Kit มีให้

รหัสติดตาม 0
ขอบเขต (95, 45), (496, 45), (496, 240), (95, 240)
หมวดหมู่ PLACE
ความเชื่อมั่นในการจัดประเภท 0.9296875
รหัสติดตาม 0
ขอบเขต (84, 46), (478, 46), (478, 247), (84, 247)
หมวดหมู่ PLACE
ความเชื่อมั่นในการจัดประเภท 0.8710938
รหัสติดตาม 0
ขอบเขต (53, 45), (519, 45), (519, 240), (53, 240)
หมวดหมู่ PLACE
ความเชื่อมั่นในการจัดประเภท 0.8828125

รูปภาพ: Christian Ferrer [CC BY-SA 4.0]

วัตถุหลายรายการในรูปภาพนิ่ง

ตัวอย่างต่อไปนี้แสดงข้อมูลของออบเจ็กต์ 4 รายการที่ตรวจพบในรูปภาพโดยใช้ตัวแยกประเภทแบบหยาบเริ่มต้นที่ ML Kit จัดเตรียมไว้ให้

รองเท้า

ออบเจ็กต์ 0
ขอบเขต (1, 97), (332, 97), (332, 332), (1, 332)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการจัดประเภท 0.95703125
วัตถุ 1
ขอบเขต (186, 80), (337, 80), (337, 226), (186, 226)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการจัดประเภท 0.84375
วัตถุ 2
ขอบเขต (296, 80), (472, 80), (472, 388), (296, 388)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการจัดประเภท 0.94921875
ออบเจ็กต์ 3
ขอบเขต (439, 83), (615, 83), (615, 306), (439, 306)
หมวดหมู่ FASHION_GOOD
ความเชื่อมั่นในการจัดประเภท 0.9375

การใช้โมเดล LiteRT ที่กำหนดเอง

เครื่องมือคัดแยกแบบหยาบเริ่มต้นสร้างขึ้นสำหรับ 5 หมวดหมู่ โดยให้ข้อมูลแบบจำกัดเกี่ยวกับออบเจ็กต์ที่ตรวจพบ คุณอาจต้องใช้โมเดลตัวแยกประเภทที่เฉพาะเจาะจงมากขึ้น ซึ่งครอบคลุมโดเมนแนวคิดที่แคบลงในรายละเอียดเพิ่มเติม เช่น โมเดลที่ใช้แยกแยะสายพันธุ์ของดอกไม้หรือประเภทของ อาหาร

API นี้ช่วยให้คุณปรับแต่งให้เหมาะกับกรณีการใช้งานเฉพาะได้โดยรองรับโมเดลการแยกประเภทรูปภาพที่กำหนดเองจากแหล่งที่มาที่หลากหลาย ดูข้อมูลเพิ่มเติมได้ที่ โมเดลที่กำหนดเองด้วย ML Kit โมเดลที่กำหนดเองสามารถรวมไว้กับแอปหรือดาวน์โหลดจาก Cloud Storage แบบไดนามิก

iOS Android

การประมวลผลล่วงหน้าของรูปภาพอินพุต

หากจำเป็น การตรวจจับออบเจ็กต์และการติดตามจะใช้การปรับขนาดรูปภาพแบบไบลิเนียร์และการยืดเพื่อปรับขนาดและสัดส่วนภาพของรูปภาพอินพุตให้เป็นไปตามข้อกำหนดของโมเดลพื้นฐาน