Mit der ML Kit-API für die Objektsegmentierung können Entwickler in einem Bild ganz einfach mehrere Motive vom Hintergrund trennen. Dies ermöglicht Anwendungsfälle wie das Erstellen von Stickern, das Tauschen des Hintergrunds oder das Hinzufügen cooler Effekte zu Motiven.
Motive sind die auffälligsten Personen, Haustiere oder Objekte im Vordergrund des Bildes. Zwei Personen, die sehr dicht beieinander sind oder einander berühren, gelten als ein einzelnes Motiv.
Die Subject Segmentierung API generiert aus einem Eingabebild eine Ausgabemaske oder Bitmap für den Vordergrund. Außerdem stellt er eine Maske und eine Bitmap für jedes erkannte Objekt bereit (der Vordergrund entspricht allen Objekten zusammen).
Standardmäßig haben die Vordergrundmaske und die Bitmap im Vordergrund dieselbe Größe wie das Eingabebild. Die Maske und Bitmap jedes einzelnen Subjekts unterscheidet sich wahrscheinlich von der Größe des Eingabebilds. Jedem Pixel der Maske wird eine Gleitkommazahl in einem Bereich zwischen 0.0 und 1.0 zugewiesen. Je näher die Zahl an 1.0 liegt, desto höher ist die Konfidenz, dass das Pixel ein Objekt darstellt, und umgekehrt.
Im Durchschnitt beträgt die auf Pixel 7 Pro gemessene Latenz etwa 200 ms. Diese API unterstützt derzeit nur statische Bilder.
Hauptmerkmale
- Segmentierung nach mehreren Themen:Stellt Masken und Bitmaps für jedes einzelne Thema bereit, anstatt eine einzelne Maske und Bitmap für alle Themen zusammen.
- Objekterkennung:Zu erkennen sind Objekte, Haustiere und Menschen.
- Verarbeitung auf dem Gerät:Die gesamte Verarbeitung wird auf dem Gerät ausgeführt, um die Privatsphäre der Nutzer zu schützen und keine Netzwerkverbindung herzustellen.
Beispielergebnisse
| Eingabebild | Ausgabebild + Maske |
|---|---|
 |
 |
 |
 |
 |
 |