API การแบ่งกลุ่มหัวเรื่องของ ML Kit ช่วยให้นักพัฒนาซอฟต์แวร์แยกเนื้อหาหลายวิชาออกจากพื้นหลังในรูปภาพได้อย่างง่ายดาย ทำให้ใช้งานกรณีการใช้งานต่างๆ ได้ เช่น สร้างสติกเกอร์ สลับพื้นหลัง หรือใส่เอฟเฟกต์เจ๋งๆ ให้กับวัตถุ
วัตถุหมายถึงผู้คน สัตว์เลี้ยง หรือวัตถุที่อยู่เบื้องหน้าของรูปภาพ หากวัตถุ 2 วัตถุอยู่ใกล้หรือสัมผัสกันมาก จะถือว่าเป็นวัตถุเดียว
API การแบ่งกลุ่มหัวเรื่องจะถ่ายภาพอินพุตและสร้างมาสก์เอาต์พุตหรือบิตแมปสำหรับพื้นหน้า และยังมีมาสก์และบิตแมปสำหรับวัตถุแต่ละรายการที่ตรวจพบ (พื้นหน้าเท่ากับทุกวิชารวมกัน)
โดยค่าเริ่มต้น มาสก์เบื้องหน้าและบิตแมปเบื้องหน้าจะมีขนาดเท่ากับรูปภาพอินพุต (ขนาดของมาสก์และบิตแมปของแต่ละวิชาจะแตกต่างจากขนาดรูปภาพที่ป้อน) แต่ละพิกเซลของมาสก์จะได้รับการกำหนดเลขทศนิยมที่มีช่วงระหว่าง 0.0 ถึง 1.0 ยิ่งตัวเลขใกล้เคียงกับ 1.0 มากเท่าไหร่
ก็ยิ่งมีความเชื่อมั่นมากขึ้นว่าพิกเซลนั้นแสดงถึงวัตถุหนึ่งๆ และในทางกลับกันด้วย
โดยเฉลี่ยแล้วเวลาในการตอบสนองที่วัดใน Pixel 7 Pro จะอยู่ที่ประมาณ 200 มิลลิวินาที ปัจจุบัน API นี้รองรับเฉพาะภาพนิ่งเท่านั้น
ความสามารถหลัก
- การแบ่งกลุ่มหลายวิชา: มีมาสก์และบิตแมปสำหรับแต่ละวิชา แทนมาสก์และบิตแมปรายการเดียวสําหรับทุกวิชารวมกัน
- การจดจำหัวเรื่อง: วัตถุที่จดจำคือวัตถุ สัตว์เลี้ยง และมนุษย์
- การประมวลผลในอุปกรณ์: การประมวลผลทั้งหมดจะทำในอุปกรณ์เพื่อรักษาความเป็นส่วนตัวของผู้ใช้และไม่ต้องมีการเชื่อมต่อเครือข่าย
ตัวอย่างผลการแข่ง
| รูปภาพที่ป้อน | รูปภาพเอาต์พุต + มาสก์ |
|---|---|
 |
 |
 |
 |
 |
 |