Die richtige Beleuchtung

Plattformspezifische Anleitungen

Damit du realistische AR-Erlebnisse schaffen kannst, musst du unbedingt die richtige Beleuchtung auswählen. Wenn einem virtuellen Objekt ein Schatten fehlt oder es ein glänzendes Material hat, das den umgebenden Raum nicht widerspiegelt, können die Nutzenden spüren, dass das Objekt nicht ganz passt, auch wenn sie nicht erklären können, warum. Das liegt daran, dass Menschen unbewusst Signale darüber wahrnehmen, wie Objekte in ihrer Umgebung beleuchtet werden. Die Lighting Estimation API analysiert gegebene Bilder auf solche Hinweise und liefert detaillierte Informationen zur Beleuchtung in einer Szene. Sie können diese Informationen dann beim Rendern virtueller Objekte verwenden, um sie unter denselben Bedingungen wie die Szene zu beleuchten, in der sie platziert sind, damit Nutzer sich nicht von der Realität abwenden.

Beleuchtungshinweise

Die Lighting Estimation API bietet detaillierte Daten, mit denen Sie beim Rendern virtueller Objekte verschiedene Lichtsignale nachahmen können. Dazu gehören Schatten, Umgebungslicht, Schattierungen, Glanzlichter und Reflexionen.

Schatten

Schatten sind oft richtungsweisend und geben den Zuschauern Aufschluss darüber, woher die Lichtquellen stammen.

Umgebungslicht

Umgebungslicht ist das diffuse Licht, das aus der Umgebung einfällt und alles sichtbar macht.

Schattierung

Die Schattierung ist die Intensität des Lichts. So können beispielsweise verschiedene Teile desselben Objekts in derselben Szene unterschiedlich schattiert sein, je nach Winkel zum Betrachter und Nähe zu einer Lichtquelle.

Spiegelungen

Spiegelungen sind glänzende Oberflächen, die eine Lichtquelle direkt reflektieren. Highlights an einem Objekt ändern sich relativ zur Position eines Betrachters in einer Szene.

Stimmungsprotokoll

Licht wird von Oberflächen unterschiedlich reflektiert, je nachdem, ob die Oberfläche sphärisch (stark reflektierend) oder diffus (nicht reflektierend) ist. Eine Metallkugel hat beispielsweise einen hohen Glanz und reflektiert ihre Umgebung, während eine andere Kugel, die in einem matten Grau lackiert ist, diffus ist. Die meisten realen Objekte haben eine Kombination dieser Eigenschaften. Denken Sie an eine abgenutzte Bowlingkugel oder eine stark beanspruchte Kreditkarte.

Reflexionsflächen nehmen auch die in der Umgebung wirkenden Farben auf. Die Farbe eines Objekts kann direkt von der Farbe seiner Umgebung beeinflusst werden. Ein weißer Ball in einem blauen Raum nimmt beispielsweise einen bläulichen Farbton an.

HDR-Modus für die Umgebung

Diese Modi bestehen aus separaten APIs, die eine detaillierte und realistische Lichtschätzung für Richtungslicht, Schatten, Glanzlichter und Reflexionen ermöglichen.

Im Modus „Umgebungs-HDR“ werden die Kamerabilder mithilfe von maschinellem Lernen in Echtzeit analysiert und die Umgebungsbeleuchtung synthetisiert, um ein realistisches Rendering virtueller Objekte zu ermöglichen.

Dieser Modus zur Lichteinschätzung bietet folgende Vorteile:

1. Haupt-Lichtquelle Stellt die Hauptlichtquelle dar. Kann verwendet werden, um Schatten zu werfen.

2. Ambient spherical harmonics. Stellt die verbleibende Umgebungslichtenergie in der Szene dar.

3. Eine HDR-Cubemap: Kann zum Rendern von Reflexionen in glänzenden Metallobjekten verwendet werden.

Sie können diese APIs in verschiedenen Kombinationen verwenden. Für den realistischsten Effekt sollten sie jedoch zusammen verwendet werden.

Hauptrichtungslicht

Die API für das Haupt-Direktlicht berechnet die Richtung und Intensität der Hauptlichtquelle der Szene. Anhand dieser Informationen können virtuelle Objekte in Ihrer Szene vernünftig positionierte Glanzlichter zeigen und Schatten in eine Richtung werfen, die mit anderen sichtbaren realen Objekten übereinstimmt.

Sehen Sie sich dazu diese beiden Bilder derselben virtuellen Rakete an. Auf dem Bild links ist ein Schatten unter der Rakete zu sehen, dessen Richtung jedoch nicht mit den anderen Schatten in der Szene übereinstimmt. Bei der Rakete rechts zeigt der Schatten in die richtige Richtung. Das ist ein subtiler, aber wichtiger Unterschied, der die Rakete in der Szene verankert, da die Richtung und Intensität des Schattens besser zu den anderen Schatten in der Szene passen.

     

Wenn sich die Hauptlichtquelle oder ein beleuchtetes Objekt bewegt, passt der Glanzfleck auf dem Objekt seine Position in Echtzeit relativ zur Lichtquelle an.

Die Länge und Richtung von Richtungsschatten passen sich ebenfalls an die Position der Hauptlichtquelle an, genau wie in der Realität. Zur Veranschaulichung dieses Effekts sehen Sie sich diese beiden Modelle an, eines virtuell und das andere real. Die Mannequin auf der linken Seite ist die virtuelle.

Umgebungskugelharmonik

Zusätzlich zur Lichtenergie des Haupt-Lichtstrahls bietet ARCore sphärische Harmonische, die das gesamte Umgebungslicht aus allen Richtungen in der Szene darstellen. Verwenden Sie diese Informationen beim Rendern, um subtile Hinweise hinzuzufügen, die die Definition virtueller Objekte hervorheben.

Betrachten Sie diese beiden Bilder desselben Raketenmodells. Die Rakete auf der linken Seite wird mithilfe von Informationen zur Lichtschätzung gerendert, die von der Haupt-API für Richtungslicht erkannt wurden. Die Rakete auf der rechten Seite wird anhand von Informationen dargestellt, die von der Hauptrichtungslicht- und der Umgebungssphärischen Oberschwingungs-APIs erkannt werden. Die zweite Rakete ist deutlich besser zu erkennen und fügt sich nahtloser in die Szene ein.

     

HDR-Würfelkarte

Verwenden Sie die HDR-Kubuskarte, um realistische Reflexionen auf virtuellen Objekten mit mittlerer bis hoher Glanzigkeit zu rendern, z. B. auf glänzenden Metalloberflächen. Die Cubemap wirkt sich auch auf die Schattierung und das Erscheinungsbild von Objekten aus. Das Material eines glänzenden Objekts, das von einer blauen Umgebung umgeben ist, reflektiert beispielsweise blaue Farbtöne. Die Berechnung der HDR-Cubemap erfordert eine geringe zusätzliche CPU-Berechnung.

Ob Sie die HDR-Cubemap verwenden sollten, hängt davon ab, wie ein Objekt seine Umgebung reflektiert. Da die virtuelle Rakete aus Metall ist, hat sie eine starke Spiegelkomponente, die die Umgebung direkt widerspiegelt. Daher profitiert es von der Cubemap. Ein virtuelles Objekt mit einem mattgrauen Material hat dagegen überhaupt keine Glanzkomponente. Die Farbe hängt hauptsächlich von der diffusen Komponente ab und würde von einer Cubemap nicht profitieren.

Alle drei Environmental HDR APIs wurden verwendet, um die Rakete unten zu rendern. Die HDR-Kubuskarte ermöglicht die Reflexionen und weiteren Highlights, die das Objekt vollständig in der Szene verankern.

Hier ist dasselbe Raketenmodell in unterschiedlich beleuchteten Umgebungen. Alle diese Szenen wurden mit Informationen aus den drei APIs gerendert und es wurden Richtungsschatten angewendet.

           

Modus „Umgebungsintensität“

Im Modus „Umgebungsintensität“ werden die durchschnittliche Pixelintensität und die Skalare für die Farbkorrektur für ein bestimmtes Bild bestimmt. Diese grobe Einstellung ist für Anwendungsfälle gedacht, bei denen eine präzise Beleuchtung nicht entscheidend ist, z. B. für Objekte mit integrierter Beleuchtung.

Pixelintensität

Erfasst die durchschnittliche Pixelintensität der Beleuchtung in einer Szene. Sie können diese Beleuchtung auf ein ganzes virtuelles Objekt anwenden.

Farbe

Er erkennt den Weißabgleich für jeden einzelnen Frame. Anschließend können Sie ein virtuelles Objekt so farbkorrigieren, dass es sich besser in die Gesamtfarbe der Szene einfügt.

Umgebungsprüfungen

Umgebungsproben ordnen 360-Grad-Kameraansichten Umgebungstexturen wie Würfelkarten zu. Mit diesen Texturen können dann virtuelle Objekte realistisch beleuchtet werden, z. B. eine virtuelle Metallkugel, die den Raum, in dem sie sich befindet, „reflektiert“.