Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Deteksi dan pelacakan objek

Dengan API deteksi dan pelacakan objek di perangkat dari ML Kit, Anda dapat mendeteksi dan melacak objek dalam gambar atau feed kamera langsung.

Jika ingin, Anda dapat mengklasifikasikan objek yang terdeteksi, baik menggunakan pengklasifikasi mentah yang dibuat ke dalam API, maupun menggunakan model klasifikasi gambar kustom Anda sendiri. Lihat Menggunakan model TensorFlow Lite kustom untuk mengetahui informasi selengkapnya.

Karena deteksi dan pelacakan objek terjadi di perangkat, fungsi ini berfungsi dengan baik sebagai front end pipeline penelusuran visual. Setelah mendeteksi dan memfilter objek, Anda dapat meneruskannya ke backend cloud, seperti Cloud Vision Product Search.

iOS Android

Kemampuan utama

  • Deteksi dan pelacakan objek yang cepat Mendeteksi objek dan mengetahui lokasinya di gambar. Melacak objek di seluruh frame gambar yang berurutan.
  • Model yang dioptimalkan di perangkat Model pelacakan dan deteksi objek dioptimalkan untuk perangkat seluler dan dimaksudkan untuk digunakan dalam aplikasi real-time, bahkan pada perangkat yang lebih rendah.
  • Deteksi objek yang terlihat jelas Secara otomatis menentukan objek yang paling tampil beda dalam gambar.
  • Klasifikasi sementara Mengklasifikasikan objek ke dalam kategori yang luas, yang dapat Anda gunakan untuk memfilter objek yang tidak Anda minati. Kategori berikut ini didukung: peralatan rumah tangga, barang mode, makanan, tanaman, dan tempat.
  • Klasifikasi dengan model kustom Gunakan model klasifikasi gambar kustom Anda sendiri untuk mengidentifikasi atau memfilter kategori objek tertentu. Buat model kustom Anda berperforma lebih baik tanpa mengabaikan latar belakang gambar.

Hasil contoh

Melacak objek yang paling tampil beda di seluruh gambar

Contoh di bawah ini menunjukkan data pelacakan dari tiga frame berturut-turut dengan pengklasifikasi mentah default yang disediakan oleh ML Kit.

ID Pelacakan 0
Batas (95, 45), (496, 45), (496, 240), (95, 240)
Kategori TEMPAT KERJA
Keyakinan klasifikasi 0,9296875
ID Pelacakan 0
Batas (84, 46), (478, 46), (478, 247), (84, 247)
Kategori TEMPAT KERJA
Keyakinan klasifikasi 0,8710938
ID Pelacakan 0
Batas (53, 45), (519, 45), (519, 240), (53, 240)
Kategori TEMPAT KERJA
Keyakinan klasifikasi 0,8828125

Foto: Christian Ferrer [CC BY-SA 4.0]

Beberapa objek dalam gambar statis

Contoh di bawah ini menunjukkan data untuk empat objek yang terdeteksi dalam gambar dengan pengklasifikasi mentah default yang disediakan oleh ML Kit.

Objek 0
Batas (1, 97), (332, 97), (332, 332), (1, 332)
Kategori FASHION_BAIK
Keyakinan klasifikasi 0,95703125
Objek 1
Batas (186, 80), (337, 80), (337, 226), (186, 226)
Kategori FASHION_BAIK
Keyakinan klasifikasi 0,84375
Objek 2
Batas (296, 80), (472, 80), (472, 388), (296, 388)
Kategori FASHION_BAIK
Keyakinan klasifikasi 0,94921875
Objek 3
Batas (439, 83), (615, 83), (615, 306), (439, 306)
Kategori FASHION_BAIK
Keyakinan klasifikasi 0,9375

Menggunakan model TensorFlow Lite kustom

Pengklasifikasi mentah default dibuat untuk lima kategori, yang memberikan informasi terbatas tentang objek yang terdeteksi. Anda mungkin memerlukan model pengklasifikasi yang lebih terspesialisasi yang mencakup domain konsep yang lebih sempit secara lebih mendetail; misalnya, model untuk membedakan spesies bunga atau jenis makanan.

API ini memungkinkan Anda menyesuaikan kasus penggunaan tertentu dengan mendukung model klasifikasi gambar kustom dari berbagai sumber. Harap baca Model kustom dengan ML Kit untuk mempelajari lebih lanjut. Model kustom dapat dipaketkan dengan aplikasi Anda atau didownload secara dinamis dari cloud menggunakan layanan deployment Model Machine Learning Firebase.

iOS Android

Pra-pemrosesan gambar input

Jika diperlukan, deteksi dan pelacakan objek menggunakan penskalaan dan perentangan gambar bilinear untuk menyesuaikan ukuran gambar dan rasio lebar tinggi input, sehingga sesuai dengan persyaratan model dasar.