Dengan API deteksi dan pelacakan objek di perangkat dari ML Kit, Anda dapat mendeteksi dan melacak objek dalam gambar atau feed kamera live.
Secara opsional, Anda dapat mengklasifikasikan objek yang terdeteksi, baik dengan menggunakan pengklasifikasi kasar yang dibuat ke dalam API, atau menggunakan model klasifikasi gambar kustom Anda sendiri. Lihat Menggunakan model LiteRT kustom untuk mengetahui informasi selengkapnya.
Karena deteksi objek dan pelacakan terjadi di perangkat, ini berfungsi dengan baik sebagai frontend pipeline penelusuran visual. Setelah mendeteksi dan memfilter objek, Anda dapat meneruskannya ke backend cloud, seperti Cloud Vision Product Search.
Kemampuan utama
- Deteksi dan pelacakan objek yang cepat Mendeteksi objek dan mendapatkan lokasinya dalam gambar. Melacak objek di seluruh frame gambar yang berurutan.
- Model yang dioptimalkan di perangkat Model deteksi dan pelacakan objek dioptimalkan untuk perangkat seluler dan dimaksudkan untuk digunakan dalam aplikasi real-time, bahkan pada perangkat kelas bawah.
- Deteksi objek yang menonjol Menentukan objek yang paling menonjol dalam suatu gambar secara otomatis.
- Klasifikasi kasar Mengklasifikasikan objek ke dalam kategori luas, yang dapat Anda gunakan untuk memfilter objek yang tidak Anda minati. Kategori berikut ini didukung: peralatan rumah tangga, barang mode, makanan, tanaman, dan tempat.
- Klasifikasi dengan model kustom Gunakan model klasifikasi gambar kustom Anda sendiri untuk mengidentifikasi atau memfilter kategori objek tertentu. Buat model kustom Anda berperforma lebih baik dengan menghilangkan latar belakang gambar.
Hasil contoh
Melacak objek yang paling menonjol di antara sekumpulan gambar
Contoh berikut menunjukkan data pelacakan dari tiga frame berturut-turut dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Beberapa objek dalam gambar statis
Contoh berikut menunjukkan data untuk empat objek yang terdeteksi dalam gambar dengan pengklasifikasi kasar default yang disediakan oleh ML Kit.
| Objek 0 | |
|---|---|
| Batas | (1, 97), (332, 97), (332, 332), (1, 332) |
| Kategori | FASHION_GOOD |
| Tingkat keyakinan klasifikasi | 0,95703125 |
| Objek 1 | |
| Batas | (186, 80), (337, 80), (337, 226), (186, 226) |
| Kategori | FASHION_GOOD |
| Tingkat keyakinan klasifikasi | 0,84375 |
| Objek 2 | |
| Batas | (296, 80), (472, 80), (472, 388), (296, 388) |
| Kategori | FASHION_GOOD |
| Tingkat keyakinan klasifikasi | 0,94921875 |
| Objek 3 | |
| Batas | (439, 83), (615, 83), (615, 306), (439, 306) |
| Kategori | FASHION_GOOD |
| Tingkat keyakinan klasifikasi | 0,9375 |
Menggunakan model LiteRT kustom
Pengklasifikasi kasar default dibuat untuk lima kategori, sehingga memberikan informasi terbatas tentang objek yang terdeteksi. Anda mungkin memerlukan model klasifikasi yang lebih terspesialisasi yang mencakup domain konsep yang lebih sempit secara lebih mendetail; misalnya, model untuk membedakan spesies bunga atau jenis makanan.
API ini memungkinkan Anda menyesuaikan kasus penggunaan tertentu dengan mendukung model klasifikasi gambar kustom dari berbagai sumber. Lihat Model kustom dengan ML Kit untuk mempelajari lebih lanjut. Model kustom dapat dibundel dengan aplikasi Anda atau didownload secara dinamis dari Cloud Storage.
Pra-pemrosesan gambar input
Jika diperlukan, deteksi dan pelacakan objek menggunakan penskalaan dan peregangan gambar bilinear untuk menyesuaikan ukuran dan rasio aspek gambar input agar sesuai dengan persyaratan model pokok.