Konzepte der Gesichtserkennung

Mit der Gesichtserkennung können Sie menschliche Gesichter in visuellen Medien wie digitalen Bildern oder Videos orten. Wenn ein Gesicht erkannt wird, hat es eine zugehörige Position, Größe und Ausrichtung und kann nach Sehenswürdigkeiten wie Augen und Nase gesucht werden.

Im Folgenden finden Sie einige Begriffe, die wir in Bezug auf die Gesichtswiedererkennungsfunktion von ML Kit verwenden:

  • Mit der Gesichtserkennung wird die Gesichtserkennung auf Videosequenzen erweitert. Jedes Gesicht, das in einem Video zu sehen ist, kann beliebig lang erfasst werden. Das bedeutet, dass ein Gesicht, das in aufeinanderfolgenden Videobildern erkannt wurde, als eine Person identifiziert werden kann. Beachten Sie, dass dies keine Form der Gesichtserkennung ist. Die Funktion „Gesichtserkennung“ führt nur Rückschlüsse auf die Position und Bewegung der Gesichter in einer Videosequenz aus.

  • Ein Sehenswürdigkeit ist ein POI innerhalb eines Gesichts. Beispiele für Orientierungspunkte sind das linke und das rechte Auge sowie die Basis. Mit ML Kit können Sie Sehenswürdigkeiten auf einem erkannten Gesicht finden.

  • Eine Kontur ist eine Gruppe von Punkten, die der Form einer Gesichtswiedererkennung folgen. Mit ML Kit können Sie Konturen von Gesichtern finden.

  • Die Klassifizierung bestimmt, ob ein bestimmtes Gesichtsmerkmal vorhanden ist. Ein Gesicht kann beispielsweise danach klassifiziert werden, ob seine Augen offen oder geschlossen sind oder ob das Gesicht lächelt oder nicht.

Gesichtsausrichtung

Die folgenden Begriffe beschreiben den Winkel, in dem ein Gesicht in Bezug auf die Kamera ausgerichtet ist:

  • Euler X: Ein Gesicht mit einem positiven Euler X-Winkel ist nach oben gerichtet.
  • Euler Y: Ein Gesicht mit einem positiven Euler Y-Winkel zeigt in die Kamera rechts oder nach links, wenn die Kamera negativ ist.
  • Euler Z: Ein Gesicht mit einem positiven Euler Z-Winkel wird relativ zur Kamera gegen den Uhrzeigersinn gedreht.

Im ML Kit wird der Euler X-, Euler-Y- oder Euler-Z-Winkel eines erkannten Gesichts nicht gemeldet, wenn LANDMARK_MODE_NONE, CONTOUR_MODE_ALL, CLASSIFICATION_MODE_NONE und PERFORMANCE_MODE_FAST festgelegt sind.

Markierungen

Eine Sehenswürdigkeit ist ein POI innerhalb eines Gesichts. Beispiele für Sehenswürdigkeiten sind das linke Auge, das rechte Auge und die Nasenbasis.

ML Kit erkennt Gesichter, ohne nach Sehenswürdigkeiten zu suchen. Die Erkennung von Sehenswürdigkeiten ist ein optionaler Schritt, der standardmäßig deaktiviert ist.

In der folgenden Tabelle sind alle Sehenswürdigkeiten zusammengefasst, die mit dem Eulerwinkel Y eines verknüpften Gesichts erkannt werden können:

Winkel Euler Y Erkannte Sehenswürdigkeiten
-36 Grad linkes Auge, linker Mund, linkes Ohr, Nasenbasis, Wange
-36 bis -12 Grad linker Mund, Nasenbasis, unterer Mund, rechtes Auge, linkes Auge, linke Wange, linker Ohreinsatz
-12 bis 12 Grad rechtes Auge, linkes Auge, Nasenbasis, linke Wange, rechte Wange, linker Mund, rechter Mund, unterer Mund
12 bis 36 Grad rechter Mund, Nasenbasis, unterer Mund, linkes Auge, rechtes Auge, rechte Wange, rechte Ohrspitze
36 Grad rechtes Auge, rechter Mund, rechtes Ohr, Nasenbasis, rechte Wange

Jede erkannte Sehenswürdigkeit enthält die zugehörige Position im Bild.

Umrisse

Eine Kontur ist eine Gruppe von Punkten, die die Form eines Gesichts erkennen. Das folgende Bild zeigt, wie diese Punkte einem Gesicht zugeordnet werden. Klicken Sie auf das Bild, um es zu vergrößern:

Jede von ML Kit erkannte Merkmalskontur wird durch eine feste Anzahl von Punkten dargestellt:

Gesichtsoval 36 Punkte Oberlippe (oben) 11 Punkte
Linke Augenbraue (oben) 5 Punkte Oberlippe (unten) 9 Punkte
Linke Augenbraue (unten) 5 Punkte Unterlippe (oben) 9 Punkte
Rechte Augenbraue (oben) 5 Punkte Unterlippe (unten) 9 Punkte
Rechte Augenbraue (unten) 5 Punkte Nasenbrücke 2 Punkte
Linkes Auge 16 Punkte Nase unten 3 Punkte
Rechtes Auge 16 Punkte
Linke Wange (Mitte) 1 Punkt
Rechte Wange (Mitte) 1 Punkt

Wenn Sie alle Konturen einer Fläche auf einmal abrufen, erhalten Sie ein Array mit 133 Punkten, die Konturen zeigen (siehe unten):

Indexe von Elementkonturen
0-35 Gesichtsoval
36-40 Linke Augenbraue (oben)
41-45 Linke Augenbraue (unten)
46-50 Rechte Augenbraue (oben)
51-55 Rechte Augenbraue (unten)
56-71 Linkes Auge
72-87 Rechtes Auge
88-96 Oberlippe (unten)
97-105 Unterlippe (oben)
106-116 Oberlippe (oben)
117-125 Unterlippe (unten)
126, 127 Nasenbrücke
128-130 Nase unten (Hinweis: Mittelpunkt 128)
131 Linke Wange (Mitte)
132 Rechte Wange (Mitte)

Klassifizierung

Die Klassifizierung bestimmt, ob ein bestimmtes Gesichtsmerkmal vorhanden ist. ML Kit unterstützt derzeit zwei Klassifizierungen: Augen geöffnet und Lächeln.

Die Klassifizierung ist ein Sicherheitswert. Sie zeigt an, dass ein Gesichtsmerkmal vorhanden ist. Ein Wert von 0,7 oder höher für die lächelnde Klassifizierung gibt beispielsweise an, dass er mit hoher Wahrscheinlichkeit lächelt.

Beide Klassifizierungen basieren auf der Erkennung von Sehenswürdigkeiten.

Beachten Sie auch, dass die Klassifizierungen „Augen geöffnet“ und „Lächeln“ nur für Vorderseiten funktionieren, d.h. Gesichter mit einem kleinen Eulery-Winkel (zwischen -18 und 18 Grad).

Mindestgröße der Fläche

Die minimale Gesichtergröße ist die gewünschte Gesichtergröße, ausgedrückt als Verhältnis der Breite des Kopfes zur Breite des Bildes. Der Wert „0,1“ bedeutet beispielsweise, dass das kleinste zu durchsuchende Gesicht ungefähr 10% der Breite des zu durchsuchenden Bildes hat.

Die minimale Gesichtergröße ist ein Kompromiss zwischen Leistung und Genauigkeit. Wenn Sie die Mindestgröße verringern, kann der Detektor kleinere Gesichter finden, die Erkennung dauert jedoch länger. Kleinere Gesichter werden bei einer größeren Größe möglicherweise ausgeschlossen, aber schneller ausgeführt.

Die minimale Gesichtergröße ist keine feste Grenze. Der Detektor erkennt möglicherweise Gesichter, die etwas kleiner als angegeben sind.

Next Steps

So verwenden Sie die Gesichtserkennung in Ihrer iOS- oder Android-App: