Gesichts-Mesh-Erkennung

Mit der Face Mesh Detection API von ML Kit können Sie in Echtzeit ein hochpräzises Mesh-Netzwerk von 468 3D-Punkten für Selfie-ähnliche Bilder generieren. Die Gesichter sollten nicht weiter als zwei Meter von der Kamera entfernt sein.

Wenn Sie Gesichter in einer Entfernung von mehr als 2 Metern von der Kamera erkennen möchten, lesen Sie bitte das ML Kit-SDK für die Gesichtserkennung.

Im Folgenden finden Sie einige der Begriffe, die für die Gesichtswiedererkennung verwendet werden:

  • Der Begrenzungsrahmen ist ein rechteckiger Bereich für ein erkanntes Gesicht.
  • Face Mesh-Informationen sind eine Gruppe von 468 3D-Punkten und -Kanten, mit denen das Geometrienetz für ein erkanntes Gesicht gezeichnet werden kann.

Die Face Mesh Detection API generiert ein Gesichtsnetz für erkannte Gesichter, die jeweils 468 3D-Punkte und -Kanten enthalten. Mit der Gesichtserkennung können Sie in Echtzeit genauere Vorgänge an Gesichtern ausführen, z. B. AR-Filter, Selfies und Videoanrufe.

Android

Hauptmerkmale

  • Gesichter erkennen und finden: Rufen Sie den Begrenzungsrahmen für erkannte Gesichter in einem Selfie-ähnlichen Bild ab.
  • Informationen zum Gesichtsnetz abrufen: Hiermit können Sie die 468 3D-Punkte und Dreiecksinformationen für jedes erkannte Gesicht abrufen.
  • Videoframes in Echtzeit verarbeiten Die Gesichtsnetzerkennung erfolgt auf dem Gerät und ist schnell genug für Echtzeitanwendungen wie Videobearbeitung.

Beispielergebnisse

Eingabe Ausgabe (Modus „Nur Begrenzungsrahmen“) Ausgabe im Modus „Face Mesh“

Vergleich mit ML Kit Gesichtserkennung SDK

Face Mesh Detection API Face Detection API
Anwendungsfall empfohlen (Beispiele)
  • AR-Effekte auf Gesichtern beim Streamen von Videos erzeugen
  • Gesichtserkennung in Echtzeit in Selfie-ähnlichen Bildern (Gesicht innerhalb von ca. 2 Metern Entfernung)
  • Erkennt, wie viele Gesichter in einem Bild vorhanden sind
  • Erkennt Gesichter, die weit von der Kamera entfernt sind
Latenz Niedrig (bei Pixel 3 etwa 14 ms)

Empfohlen für Echtzeit

 Mittel (~60 ms auf Pixel 3, wenn der Schnellmodus aktiviert ist)
Empfohlene Eingabe Gesichter im Umkreis von etwa 2 Metern aufgenommen Alle Bilder mit Gesichtern
Gesichtspunkteausgabe Für jede Fläche, 468 3D-Punkte und Dreiecksinformationen, wenn der „Gesichtsnetz“-Modus aktiviert ist. Für jedes Gesicht werden 133 2D-Punkte angezeigt, wenn der Modus „Gesichtskontur“ aktiviert ist.
# Gesichter erkannt
  • Modus „Nur Begrenzungsrahmen“: >=1 Begrenzungsrahmen, solange sich Gesichter nah an der Kamera befinden (<= ~2 Meter entfernt)
  • Modus „Face Mesh“: max. 2 Begrenzungsrahmen und Mesh-Netzwerke, sofern sich Gesichter nah an der Kamera befinden (im Umkreis von etwa 2 Metern)
  • "Begrenzungsrahmen"-Modus: >=1; Gesichter können weit von der Kamera entfernt sein, aber die Mindestgröße beträgt 100 x 100 Pixel pro Fläche.
  • Gesichtskonturen: max. 1, solange sich Gesichter nah an der Kamera befinden
Tracking-ID Nein Ja
Gesichtsausrichtung Nein Ja
Gesichtsklassifizierung (z.B. Lächeln) Nein Ja
Implementierungsmöglichkeiten Nur gebündelt Gebündelt / Nicht gebündelt
App-Größe Gebündelt: ~6,4 MB

Nicht gruppiert: noch nicht verfügbar

 Gebündelt: ~6,9 MB

Nicht gebündelt: ~0,6 MB