
Với API gắn nhãn hình ảnh của Bộ công cụ học máy, bạn có thể phát hiện và trích xuất thông tin về các thực thể trong hình ảnh trên nhiều nhóm danh mục. Mô hình gắn nhãn hình ảnh mặc định có thể xác định các đối tượng, địa điểm, hoạt động, loài động vật, sản phẩm, v.v. nói chung.
Bạn cũng có thể sử dụng mô hình phân loại hình ảnh tuỳ chỉnh để điều chỉnh hoạt động phát hiện cho một trường hợp sử dụng cụ thể. Hãy xem bài viết Sử dụng mô hình LiteRT tuỳ chỉnh để biết thêm thông tin.
Các chức năng chính
- Một bộ phân loại cơ sở đa năng mạnh mẽ Nhận dạng hơn 400 danh mục mô tả những đối tượng thường gặp nhất trong ảnh.
- Điều chỉnh cho phù hợp với trường hợp sử dụng của bạn bằng các mô hình tuỳ chỉnh Sử dụng các mô hình được huấn luyện trước khác từ TensorFlow Hub hoặc mô hình tuỳ chỉnh của riêng bạn được huấn luyện bằng TensorFlow, AutoML hoặc LiteRT.
- API cấp cao dễ sử dụng Không cần xử lý đầu vào/đầu ra mô hình cấp thấp, xử lý trước và sau hình ảnh hoặc xây dựng quy trình xử lý. Bộ công cụ học máy trích xuất nhãn từ mô hình LiteRT và cung cấp các nhãn đó dưới dạng nội dung mô tả bằng văn bản.
Xin lưu ý rằng API này dành cho các mô hình phân loại hình ảnh mô tả toàn bộ hình ảnh. Để phân loại một hoặc nhiều đối tượng trong hình ảnh, chẳng hạn như giày hoặc đồ nội thất, API Phát hiện và theo dõi đối tượng có thể phù hợp hơn.
Các mô hình phân loại hình ảnh được hỗ trợ
Image Labeling API hỗ trợ nhiều mô hình phân loại hình ảnh:
| Các mô hình phân loại hình ảnh được hỗ trợ | |
|---|---|
| Mô hình cơ sở | Theo mặc định, API này sử dụng một mô hình gắn nhãn hình ảnh đa năng mạnh mẽ, nhận dạng hơn 400 thực thể bao gồm những khái niệm thường gặp nhất trong ảnh. |
| Mô hình LiteRT tuỳ chỉnh | Để nhắm đến các khái niệm dành riêng cho ứng dụng, API này chấp nhận các mô hình phân loại hình ảnh tuỳ chỉnh từ nhiều nguồn. Đây có thể là các mô hình được huấn luyện trước mà bạn tải xuống từ TensorFlow Hub hoặc các mô hình của riêng bạn được huấn luyện bằng AutoML, LiteRT hoặc chính TensorFlow. Bạn có thể kết hợp các mô hình với ứng dụng hoặc lưu trữ bằng Cloud Storage và tải xuống trong thời gian chạy. |
Sử dụng mô hình cơ sở
Mô hình cơ sở của ML Kit trả về một danh sách các thực thể xác định người, vật, địa điểm, hoạt động, v.v. Mỗi thực thể đều có một điểm số cho biết độ tin cậy của mô hình học máy về mức độ liên quan của thực thể đó. Với thông tin này, bạn có thể thực hiện các tác vụ như tự động tạo siêu dữ liệu và kiểm duyệt nội dung. Mô hình mặc định do Bộ công cụ học máy cung cấp nhận dạng hơn 400 thực thể khác nhau.
Nhãn mẫu
Mô hình cơ sở trong API gắn nhãn hình ảnh hỗ trợ hơn 400 nhãn, chẳng hạn như các ví dụ sau:
| Danh mục | Nhãn mẫu |
|---|---|
| Mọi người | CrowdSelfieSmile |
| Hoạt động | DancingEatingSurfing |
| Sự vật | CarPianoReceipt |
| Động vật | BirdCatDog |
| Cây cối | FlowerFruitVegetable |
| Địa điểm | BeachLakeMountain |
Kết quả mẫu
Sau đây là ví dụ về các thực thể được nhận dạng trong bức ảnh đi kèm.
| Nhãn 0 | |
|---|---|
| Văn bản | Sân vận động |
| Độ tin cậy | 0,9205354 |
| Nhãn 1 | |
| Văn bản | Thể thao |
| Độ tin cậy | 0,7531109 |
| Nhãn 2 | |
| Văn bản | Sự kiện |
| Độ tin cậy | 0,66905296 |
| Nhãn 3 | |
| Văn bản | Giải trí |
| Độ tin cậy | 0,59904146 |
| Nhãn 4 | |
| Văn bản | Bóng đá |
| Độ tin cậy | 0,56384534 |
| Nhãn 5 | |
| Văn bản | Thực |
| Độ tin cậy | 0,54679185 |
| Nhãn 6 | |
| Văn bản | Thực vật |
| Độ tin cậy | 0,524364 |
Sử dụng mô hình LiteRT tuỳ chỉnh
Mô hình gắn nhãn hình ảnh cơ bản của ML Kit được xây dựng để sử dụng cho mục đích chung. Mô hình này được huấn luyện để nhận dạng 400 danh mục mô tả những đối tượng thường gặp nhất trong ảnh. Ứng dụng của bạn có thể cần một mô hình phân loại hình ảnh chuyên biệt nhận dạng một số lượng nhỏ hơn các danh mục một cách chi tiết hơn, chẳng hạn như một mô hình phân biệt giữa các loài hoa hoặc các loại thực phẩm.
API này cho phép bạn điều chỉnh theo một trường hợp sử dụng cụ thể bằng cách hỗ trợ các mô hình phân loại hình ảnh tuỳ chỉnh từ nhiều nguồn. Hãy tham khảo bài viết Các mô hình tuỳ chỉnh bằng Bộ công cụ học máy để tìm hiểu thêm. Bạn có thể kết hợp các mô hình tuỳ chỉnh với ứng dụng của mình hoặc tải các mô hình này xuống từ Cloud Storage một cách linh hoạt.
Xử lý trước hình ảnh đầu vào
Nếu cần, tính năng Gán nhãn cho hình ảnh sẽ sử dụng phương pháp điều chỉnh tỷ lệ và kéo giãn hình ảnh song tuyến tính để điều chỉnh kích thước hình ảnh và tỷ lệ khung hình của hình ảnh đầu vào sao cho phù hợp với các yêu cầu của mô hình cơ bản.