Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Wykrywanie i śledzenie obiektów

Interfejs ML Kit i interfejs API do wykrywania i śledzenia obiektów na urządzeniu pozwala wykrywać i śledzić obiekty w obrazie lub na kanale kamery na żywo.

Opcjonalnie możesz sklasyfikować wykryte obiekty. W tym celu możesz użyć prostego klasyfikatora wbudowanego w interfejs API lub własnego modelu klasyfikacji obrazów. Więcej informacji znajdziesz w artykule o używaniu niestandardowego modelu TensorFlow Lite.

Wykrywanie i śledzenie obiektów odbywa się na urządzeniu, więc działa to dobrze w przypadku interfejsu wizualnego wyszukiwania. Po wykryciu i odfiltrowaniu obiektów możesz przekazać je do backendu Cloud, takiego jak Wyszukiwanie produktów Cloud Vision.

iOS Android

Najważniejsze funkcje

  • Szybkie wykrywanie i śledzenie obiektów Wykrywanie obiektów i sprawdzanie ich lokalizacji na zdjęciu. Śledź obiekty w kolejnych klatkach obrazu.
  • Zoptymalizowany model na urządzeniu Model wykrywania i śledzenia obiektów jest zoptymalizowany pod kątem urządzeń mobilnych i przeznaczony do użycia w aplikacjach w czasie rzeczywistym, nawet na urządzeniach o niższej jakości.
  • Wykrywanie widocznych obiektów Automatycznie określa najbardziej widoczny obiekt na obrazie.
  • Przybliżona klasyfikacja Klasyfikuj obiekty w szerokie kategorie, których możesz używać do filtrowania obiektów, które Cię nie interesują. Obsługiwane są te kategorie: artykuły wyposażenia domu, ubrania, jedzenie, rośliny i miejsca.
  • Klasyfikacja z użyciem modelu niestandardowego Użyj własnego modelu klasyfikacji obrazów, aby zidentyfikować lub odfiltrować określone kategorie obiektów. Zwiększ skuteczność swojego modelu niestandardowego, pomijając tło obrazu.

Przykładowe wyniki

śledzenie najbardziej widocznego obiektu na obrazach,

Poniższy przykład pokazuje dane śledzenia z 3 kolejnych klatek z domyślnym, grubym klasyfikatorem udostępnionym przez ML Kit.

Identyfikator śledzenia 0
Ograniczenia (95, 45), (496, 45), (496, 240), (95, 240)
Kategoria MIEJSCE
Pewność klasyfikacji 0,9296875
Identyfikator śledzenia 0
Ograniczenia (84, 46), (478, 46), (478, 247), (84, 247)
Kategoria MIEJSCE
Pewność klasyfikacji 0,8710938
Identyfikator śledzenia 0
Ograniczenia (53, 45), (519, 45), (519, 240), (53, 240)
Kategoria MIEJSCE
Pewność klasyfikacji 0,8828125

Zdjęcie: Christian Ferrer [CC BY-SA 4.0]

Wiele obiektów w obrazie statycznym

Poniższy przykład pokazuje dane dla 4 obiektów wykrytych na obrazie z domyślnym grubym klasyfikatorem udostępnionym przez ML Kit.

Obiekt 0
Ograniczenia (1, 97), (332, 97), (332, 332), (1, 332)
Kategoria MODA_DOBRY
Pewność klasyfikacji 0,95703125
Obiekt 1
Ograniczenia (186, 80), (337, 80), (337, 226), (186, 226)
Kategoria MODA_DOBRY
Pewność klasyfikacji 0,84375
Obiekt 2
Ograniczenia (296, 80), (472, 80), (472, 388), (296, 388)
Kategoria MODA_DOBRY
Pewność klasyfikacji 0,94921875
Obiekt 3
Ograniczenia (439, 83), (615, 83), (615, 306), (439, 306)
Kategoria MODA_DOBRY
Pewność klasyfikacji 0,9375

Korzystanie z niestandardowego modelu TensorFlow Lite

Domyślny gruby klasyfikator jest tworzony dla 5 kategorii i zawiera ograniczone informacje o wykrytych obiektach. Być może potrzebne będzie bardziej specjalistyczny model klasyfikacji, który pozwala na bardziej szczegółowy dostęp do kategorii pojęć. Przykład: model służący do rozróżniania gatunków kwiatów lub rodzajów żywności.

Ten interfejs API umożliwia dopasowanie do konkretnego przypadku użycia dzięki obsłudze niestandardowych modeli klasyfikacji obrazów z wielu źródeł. Więcej informacji znajdziesz w artykule o niestandardowych modelach z zestawem ML. Modele niestandardowe można połączyć w pakiet z aplikacją lub dynamicznie pobierać z chmury za pomocą usługi wdrażania modeli systemów uczących się Firebase.

iOS Android

Wstępne przetwarzanie obrazu

W razie potrzeby funkcja wykrywania i śledzenia obiektów używa dwukierunkowego skalowania i rozciągania obrazu, by dostosować rozmiar i współczynnik proporcji obrazu wejściowego zgodnie z wymaganiami modelu bazowego.