Dengan API deteksi dan pelacakan objek di perangkat dari ML Kit, Anda dapat mendeteksi dan melacak objek dalam gambar atau feed kamera langsung.
Secara opsional, Anda dapat mengklasifikasikan objek yang terdeteksi, dengan menggunakan pengklasifikasi mentah yang dibuat ke dalam API, atau menggunakan model klasifikasi gambar kustom Anda sendiri. Lihat Menggunakan model TensorFlow Lite kustom untuk mengetahui informasi selengkapnya.
Karena deteksi dan pelacakan objek terjadi di perangkat, ini berfungsi dengan baik sebagai front end dari pipeline penelusuran visual. Setelah mendeteksi dan memfilter objek, Anda dapat meneruskannya ke backend cloud, seperti Cloud Vision Product Search.
Kemampuan utama
- Deteksi dan pelacakan objek yang cepat Mendeteksi objek dan mendapatkan lokasinya dalam gambar. Melacak objek di frame gambar berturut-turut.
- Model pada perangkat yang dioptimalkan Model deteksi dan pelacakan objek dioptimalkan untuk perangkat seluler dan dimaksudkan untuk digunakan dalam aplikasi real time, bahkan pada perangkat kelas bawah.
- Deteksi objek yang menonjol Otomatis menentukan objek yang paling tampil beda dalam suatu gambar.
- Klasifikasi sementara Mengklasifikasikan objek ke dalam kategori yang luas, yang dapat Anda gunakan untuk memfilter objek yang tidak Anda minati. Kategori berikut ini didukung: peralatan rumah tangga, barang mode, makanan, tanaman, dan tempat.
- Klasifikasi dengan model kustom Gunakan model klasifikasi gambar kustom Anda sendiri untuk mengidentifikasi atau memfilter kategori objek tertentu. Buat model kustom Anda berperforma lebih baik dengan mengecualikan latar belakang gambar.
Hasil contoh
Melacak objek yang paling tampil beda di seluruh gambar
Contoh di bawah ini menampilkan data pelacakan dari tiga frame berurutan dengan pengklasifikasi mentah default yang disediakan oleh ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Beberapa objek dalam gambar statis
Contoh di bawah ini menampilkan data untuk empat objek yang terdeteksi dalam gambar dengan pengklasifikasi mentah default yang disediakan oleh ML Kit.
| Objek 0 | |
|---|---|
| Batas | (1, 97), (332, 97), (332, 332), (1, 332) |
| Kategori | MODE_GANTI |
| Keyakinan klasifikasi | 0,95703125 |
| Objek 1 | |
| Batas | (186, 80), (337, 80), (337, 226), (186, 226) |
| Kategori | MODE_GANTI |
| Keyakinan klasifikasi | 0,84375 |
| Objek 2 | |
| Batas | (296; 80), (472, 80), (472, 388), (296, 388) |
| Kategori | MODE_GANTI |
| Keyakinan klasifikasi | 0,94921875 |
| Objek 3 | |
| Batas | (439, 83), (615, 83), (615, 306), (439, 306) |
| Kategori | MODE_GANTI |
| Keyakinan klasifikasi | 0,9375 |
Menggunakan model TensorFlow Lite kustom
Pengklasifikasi mentah default dibuat untuk lima kategori, yang memberikan informasi terbatas tentang objek yang terdeteksi. Anda mungkin memerlukan model pengklasifikasi yang lebih terspesialisasi yang mencakup domain konsep yang lebih sempit secara lebih mendetail; misalnya, model untuk membedakan spesies bunga atau jenis makanan.
API ini memungkinkan Anda menyesuaikan kasus penggunaan tertentu dengan mendukung model klasifikasi gambar kustom dari berbagai sumber. Lihat Model kustom dengan ML Kit untuk mempelajari lebih lanjut. Model kustom dapat dipaketkan dengan aplikasi Anda atau didownload secara dinamis dari cloud menggunakan layanan deployment Model Firebase Machine Learning.
Pra-pemrosesan gambar input
Jika diperlukan, deteksi dan pelacakan objek menggunakan penskalaan dan perluasan gambar bilinear untuk menyesuaikan ukuran dan rasio lebar tinggi gambar input agar sesuai dengan persyaratan model yang mendasarinya.