Za pomocą interfejsu ML Kit do wykrywania obiektów i śledzenia na urządzeniu możesz wykrywać i śledzić obiekty na obrazie lub w przekazie z kamery na żywo.
Opcjonalnie możesz klasyfikować wykryte obiekty, korzystając z wbudowanego w interfejs API klasyfikatora zgrubnego lub własnego modelu klasyfikacji obrazów. Więcej informacji znajdziesz w artykule Korzystanie z niestandardowego modelu LiteRT.
Wykrywanie i śledzenie obiektów odbywa się na urządzeniu, dlatego dobrze sprawdza się jako interfejs wyszukiwania wizualnego. Po wykryciu i odfiltrowaniu obiektów możesz przekazać je do backendu w chmurze, np. do Cloud Vision Wyszukiwarka produktów.
Najważniejsze funkcje
- Szybkie wykrywanie i śledzenie obiektów Wykrywaj obiekty i uzyskuj informacje o ich lokalizacji na obrazie. śledzić obiekty w kolejnych klatkach obrazu;
- Zoptymalizowany model na urządzeniu Model wykrywania i śledzenia obiektów jest zoptymalizowany pod kątem urządzeń mobilnych i przeznaczony do użytku w aplikacjach działających w czasie rzeczywistym, nawet na urządzeniach z niższej półki.
- Wykrywanie najważniejszego obiektu Automatyczne określanie najważniejszego obiektu na obrazie.
- Klasyfikacja ogólna Klasyfikuj obiekty w szerokich kategoriach, których możesz używać do odfiltrowywania obiektów, które Cię nie interesują. Obsługiwane są te kategorie: artykuły gospodarstwa domowego, odzież, żywność, rośliny i miejsca.
- Klasyfikacja za pomocą modelu niestandardowego Użyj własnego modelu niestandardowego do klasyfikacji obrazów, aby identyfikować lub filtrować określone kategorie obiektów. Aby poprawić działanie modelu niestandardowego, pomiń tło obrazu.
Przykładowe wyniki
śledzenie najbardziej widocznego obiektu na obrazach,
Poniższy przykład pokazuje dane śledzenia z 3 kolejnych klatek z domyślnym klasyfikatorem zgrubnym udostępnianym przez ML Kit.
 |
|
||||||||
 |
|
||||||||
 |
|
Zdjęcie: Christian Ferrer [CC BY-SA 4.0]
Wiele obiektów na statycznym obrazie
Poniższy przykład pokazuje dane 4 obiektów wykrytych na obrazie za pomocą domyślnego klasyfikatora zgrubnego udostępnianego przez ML Kit.
| Obiekt 0 | |
|---|---|
| Ograniczenia | (1, 97), (332, 97), (332, 332), (1, 332) |
| Kategoria | FASHION_GOOD |
| Poziom ufności klasyfikacji | 0,95703125 |
| Obiekt 1 | |
| Ograniczenia | (186, 80), (337, 80), (337, 226), (186, 226) |
| Kategoria | FASHION_GOOD |
| Poziom ufności klasyfikacji | 0,84375 |
| Obiekt 2 | |
| Ograniczenia | (296, 80), (472, 80), (472, 388), (296, 388) |
| Kategoria | FASHION_GOOD |
| Poziom ufności klasyfikacji | 0,94921875 |
| Obiekt 3 | |
| Ograniczenia | (439, 83), (615, 83), (615, 306), (439, 306) |
| Kategoria | FASHION_GOOD |
| Poziom ufności klasyfikacji | 0,9375 |
Korzystanie z niestandardowego modelu LiteRT
Domyślny klasyfikator zgrubny jest przeznaczony do 5 kategorii i zapewnia ograniczone informacje o wykrytych obiektach. Możesz potrzebować bardziej wyspecjalizowanego modelu klasyfikatora, który obejmuje węższy zakres koncepcji w bardziej szczegółowy sposób, np. modelu do rozróżniania gatunków kwiatów lub rodzajów żywności.
Ten interfejs API umożliwia dostosowywanie do konkretnego przypadku użycia dzięki obsłudze niestandardowych modeli klasyfikacji obrazów z szerokiej gamy źródeł. Więcej informacji znajdziesz w artykule Modele niestandardowe w ML Kit. Modele niestandardowe można dołączyć do aplikacji lub pobrać dynamicznie z Cloud Storage.
Przetwarzanie wstępne obrazu wejściowego
W razie potrzeby wykrywanie i śledzenie obiektów wykorzystuje dwuliniowe skalowanie i rozciąganie obrazu, aby dostosować rozmiar i format obrazu wejściowego do wymagań modelu bazowego.