API phân đoạn chủ thể của Bộ công cụ học máy cho phép các nhà phát triển dễ dàng tách nhiều chủ thể khỏi nền trong một ảnh, cho phép các trường hợp sử dụng như tạo hình dán, hoán đổi nền hoặc thêm hiệu ứng thú vị vào chủ thể.
Chủ thể được xác định là người, thú cưng hoặc đối tượng nổi bật nhất ở phía trước của hình ảnh. Nếu 2 đối tượng rất gần hoặc chạm nhau, thì chúng được coi là một đối tượng duy nhất.
API phân đoạn đối tượng sẽ lấy hình ảnh đầu vào và tạo mặt nạ đầu ra hoặc bitmap cho nền trước. Tính năng này cũng cung cấp một mặt nạ và bitmap cho từng đối tượng được phát hiện (nền trước bằng với tất cả các đối tượng kết hợp).
Theo mặc định, mặt nạ trên nền trước và bitmap trên nền trước có cùng kích thước với hình ảnh đầu vào (kích thước mặt nạ và bitmap của từng chủ thể riêng lẻ có thể sẽ khác với kích thước hình ảnh đầu vào). Mỗi pixel của mặt nạ được gán một số thực có phạm vi từ 0.0 đến 1.0. Số càng gần 1.0 thì độ tin cậy của pixel càng cao và ngược lại.
Trung bình, độ trễ đo được trên Pixel 7 Pro là khoảng 200 mili giây. API này hiện chỉ hỗ trợ hình ảnh tĩnh.
Các khả năng chính
- Phân đoạn nhiều chủ đề: cung cấp mặt nạ và bitmap cho từng đối tượng riêng lẻ, thay vì một mặt nạ và bitmap duy nhất cho tất cả các đối tượng kết hợp.
- Nhận dạng chủ thể: các đối tượng được nhận dạng là đồ vật, thú cưng và con người.
- Xử lý trên thiết bị: toàn bộ quá trình xử lý đều được thực hiện trên thiết bị, giúp bảo vệ quyền riêng tư của người dùng và không cần kết nối mạng.
Kết quả mẫu
| Hình ảnh đầu vào | Hình ảnh đầu ra + Mặt nạ |
|---|---|
 |
 |
 |
 |
 |
 |