Với API theo dõi và phát hiện đối tượng trên thiết bị của Bộ công cụ học máy, bạn có thể phát hiện và theo dõi các đối tượng trong nguồn cấp dữ liệu hình ảnh hoặc máy ảnh trực tiếp.
Bạn có thể tuỳ ý phân loại các đối tượng đã phát hiện bằng cách sử dụng trình phân loại thô được tích hợp trong API hoặc sử dụng mô hình phân loại hình ảnh tuỳ chỉnh của riêng bạn. Hãy xem bài viết Sử dụng mô hình TensorFlow Lite tuỳ chỉnh để biết thêm thông tin.
Vì tính năng phát hiện và theo dõi đối tượng diễn ra trên thiết bị, nên tính năng này hoạt động tốt như giao diện người dùng của quy trình tìm kiếm bằng hình ảnh. Sau khi phát hiện và lọc đối tượng, bạn có thể truyền các đối tượng đó đến một phần phụ trợ của đám mây, chẳng hạn như Cloud Vision Product Search.
Các khả năng chính
- Phát hiện và theo dõi đối tượng nhanh Phát hiện đối tượng và định vị vị trí của đối tượng trong hình ảnh. Theo dõi các đối tượng trên các khung hình ảnh liên tiếp.
- Mô hình trên thiết bị được tối ưu hoá Mô hình phát hiện và theo dõi đối tượng được tối ưu hoá cho thiết bị di động và nhằm sử dụng trong các ứng dụng theo thời gian thực, ngay cả trên các thiết bị cấp thấp hơn.
- Phát hiện đối tượng nổi bật Tự động xác định đối tượng nổi bật nhất trong hình ảnh.
- Phân loại thô Phân loại đối tượng thành các danh mục rộng. Bạn có thể sử dụng phương pháp này để lọc ra các đối tượng mà bạn không quan tâm. Các danh mục sau được hỗ trợ: hàng gia dụng, hàng thời trang, thực phẩm, cây cối và địa điểm.
- Phân loại bằng mô hình tuỳ chỉnh Sử dụng mô hình phân loại hình ảnh tuỳ chỉnh của riêng bạn để xác định hoặc lọc các danh mục đối tượng cụ thể. Giúp mô hình tuỳ chỉnh hoạt động hiệu quả hơn bằng cách bỏ qua nền của hình ảnh.
Kết quả mẫu
Theo dõi đối tượng nổi bật nhất trên hình ảnh
Ví dụ bên dưới cho thấy dữ liệu theo dõi từ 3 khung liên tiếp bằng thuật toán phân loại thô mặc định do Bộ công cụ học máy cung cấp.
 |
|
||||||||
 |
|
||||||||
 |
|
Ảnh: Christian Ferrer [CC BY-SA 4.0]
Nhiều đối tượng trong một hình ảnh tĩnh
Ví dụ bên dưới cho thấy dữ liệu cho 4 đối tượng được phát hiện trong hình ảnh, thông qua thuật toán phân loại thô mặc định do Bộ công cụ học máy cung cấp.
| Đối tượng 0 | |
|---|---|
| Giới hạn | (1, 97), (332, 97), (332, 332), (1, 332) |
| Danh mục | FASHION_GOOD |
| Độ tin cậy của phân loại | 0,95703125 |
| Đối tượng 1 | |
| Giới hạn | (186, 80), (337, 80), (337, 226), (186, 226) |
| Danh mục | FASHION_GOOD |
| Độ tin cậy của phân loại | 0,84375 |
| Đối tượng 2 | |
| Giới hạn | (296, 80), (472, 80), (472, 388), (296, 388) |
| Danh mục | FASHION_GOOD |
| Độ tin cậy của phân loại | 0,94921875 |
| Đối tượng 3 | |
| Giới hạn | (439, 83), (615, 83), (615, 306), (439, 306) |
| Danh mục | FASHION_GOOD |
| Độ tin cậy của phân loại | 0,9375 |
Sử dụng mô hình TensorFlow Lite tuỳ chỉnh
Thuật toán phân loại thô mặc định được xây dựng cho 5 danh mục, cung cấp thông tin hạn chế về các đối tượng được phát hiện. Có thể bạn cần một mô hình phân loại chuyên biệt hơn bao gồm một miền khái niệm hẹp hơn; ví dụ: một mô hình để phân biệt giữa các loài hoa hoặc loại thức ăn.
API này cho phép bạn điều chỉnh cho phù hợp với một trường hợp sử dụng cụ thể bằng cách hỗ trợ các mô hình phân loại hình ảnh tuỳ chỉnh từ nhiều nguồn. Vui lòng tham khảo bài viết Mô hình tuỳ chỉnh đi kèm Bộ công cụ học máy để tìm hiểu thêm. Bạn có thể đóng gói các mô hình tuỳ chỉnh với ứng dụng của mình hoặc tự động tải xuống từ đám mây bằng cách sử dụng dịch vụ triển khai mô hình của Học máy trong Firebase.
Xử lý trước hình ảnh đầu vào
Nếu cần, tính năng phát hiện và theo dõi đối tượng sẽ sử dụng tỷ lệ và độ kéo giãn của hình ảnh song tuyến tính để điều chỉnh kích thước và tỷ lệ khung hình hình ảnh đầu vào sao cho phù hợp với các yêu cầu của mô hình cơ bản.