Realistycznie oświetlone wirtualne obiekty w scenie

Dowiedz się, jak korzystać z szacowania oświetlenia w swoich aplikacjach.

Wymagania wstępne

Zanim przejdziesz dalej, upewnij się, że rozumiesz podstawowe zagadnienia związane z rozszerzoną rzeczywistością oraz że wiesz, jak skonfigurować sesję ARCore.

Skonfiguruj interfejs API raz na sesję z odpowiednim trybem

Skonfiguruj szacowanie oświetlenia raz na sesję dla wybranego trybu.

// Configure the session with the Lighting Estimation API in ENVIRONMENTAL_HDR mode.
Config config = session.getConfig();
config.setLightEstimationMode(LightEstimationMode.ENVIRONMENTAL_HDR);
session.configure(config);

// Configure the session with the Lighting Estimation API in AMBIENT_INTENSITY mode.
Config config = session.getConfig();
config.setLightEstimationMode(LightEstimationMode.AMBIENT_INTENSITY);
session.configure(config);

// Configure the session with the Lighting Estimation API turned off.
Config config = session.getConfig();
config.setLightEstimationMode(LightEstimationMode.DISABLED);
session.configure(config);

// Configure the session with the Lighting Estimation API in ENVIRONMENTAL_HDR mode.
Config config = session.config
config.lightEstimationMode = LightEstimationMode.ENVIRONMENTAL_HDR
session.configure(config)

// Configure the session with the Lighting Estimation API in AMBIENT_INTENSITY mode.
Config config = session.config
config.lightEstimationMode = LightEstimationMode.AMBIENT_INTENSITY
session.configure(config)

// Configure the session with the Lighting Estimation API turned off.
Config config = session.config
config.lightEstimationMode = LightEstimationMode.DISABLED
session.configure(config)

Skonfiguruj tryb ENVIRONMENTAL_HDR

Aby skonfigurować tryb ENVIRONMENTAL_HDR, pobierz szacunkowy poziom światła dla każdej klatki, a potem pobierz komponenty oświetlenia HDR, których chcesz użyć.

void update() {
  // Get the current frame.
  Frame frame = session.update();

  // Get the light estimate for the current frame.
  LightEstimate lightEstimate = frame.getLightEstimate();

  // Get intensity and direction of the main directional light from the current light estimate.
  float[] intensity = lightEstimate.getEnvironmentalHdrMainLightIntensity(); // note - currently only out param.
  float[] direction = lightEstimate.getEnvironmentalHdrMainLightDirection();
  app.setDirectionalLightValues(intensity, direction); // app-specific code.

  // Get ambient lighting as spherical harmonics coefficients.
  float[] harmonics = lightEstimate.getEnvironmentalHdrAmbientSphericalHarmonics();
  app.setAmbientSphericalHarmonicsLightValues(harmonics); // app-specific code.

  // Get HDR environmental lighting as a cubemap in linear color space.
  Image[] lightmaps = lightEstimate.acquireEnvironmentalHdrCubeMap();
  for (int i = 0; i < lightmaps.length /*should be 6*/; ++i) {
    app.uploadToTexture(i, lightmaps[i]);  // app-specific code.
  }
}

fun update() {
  // Get the current frame.
  val frame = session.update()

  // Get the light estimate for the current frame.
  val lightEstimate = frame.lightEstimate

  // Get intensity and direction of the main directional light from the current light estimate.
  val intensity = lightEstimate.environmentalHdrMainLightIntensity
  val direction = lightEstimate.environmentalHdrMainLightDirection
  app.setDirectionalLightValues(intensity, direction) // app-specific code.

  // Get ambient lighting as spherical harmonics coefficients.
  val harmonics = lightEstimate.environmentalHdrAmbientSphericalHarmonics
  app.ambientSphericalHarmonicsLightValues = harmonics // app-specific code.

  // Get HDR environmental lighting as a cubemap in linear color space.
  val lightMaps = lightEstimate.acquireEnvironmentalHdrCubeMap();
  for ((index, lightMap) in lightMaps.withIndex()) { // 6 maps total.
    app.uploadToTexture(index, lightMap); // app-specific code.
  }
}

Konfigurowanie trybu AMBIENT_INTENSITY

Jeśli zamierzasz używać komponentu korekcji kolorów na urządzeniu AMBIENT_INTENSITY najpierw unikaj przydzielania korekcji kolorów do każdej klatki przez ponowne wykorzystanie przydziału udostępnionego.

 // Avoid allocation on every frame.
float[] colorCorrection = new float[4];

val colorCorrection = floatArrayOf(0.0f, 0.0f, 0.0f, 0.0f)

Uzyskaj szacowane oświetlenie dla każdego klatki, a potem komponenty natężenia oświetlenia otoczenia, których chcesz użyć.

void update() {
  // Get the current frame.
  Frame frame = session.update();

  // Get the light estimate for the current frame.
  LightEstimate lightEstimate = frame.getLightEstimate();

  // Get the pixel intensity of AMBIENT_INTENSITY mode.
  float pixelIntensity = lightEstimate.getPixelIntensity();

  // Read the pixel color correction of AMBIENT_INTENSITY mode into colorCorrection.
  lightEstimate.getColorCorrection(colorCorrection, 0);
}

fun update() {
    // Get the current frame.
  val frame = session.update()

  // Get the light estimate for the current frame.
  val lightEstimate = frame.lightEstimate

  // Get the pixel intensity of AMBIENT_INTENSITY mode.
  val pixelIntensity = lightEstimate.pixelIntensity

  // Read the pixel color correction of AMBIENT_INTENSITY mode into colorCorrection.
  lightEstimate.getColorCorrection(colorCorrection, 0)
}

Zapewnianie oszczędności energii dzięki interfejsom API do obsługi środowiska HDR

Oszczędzanie energii to zasada, zgodnie z którą światło odbite od powierzchni nigdy nie mogą być silniejsze niż przed uderzeniem w powierzchnię. Ta reguła jest egzekwowana w renderowaniu opartym na fizyce, ale zwykle jest pomijana w starszych pipeline’ach do renderowania używanych w grach wideo i aplikacjach mobilnych.

Jeśli korzystasz z fizycznego potoku renderowania z użyciem środowiska HDR szacunków, jedynie fizyczne zużycie materiałów wirtualnych obiektów.

Jeśli nie korzystasz z fizycznego potoku, jednak masz kilka opcje:

• Najlepszym rozwiązaniem jest przejście na rurociąg oparty na fizycznych komponentach.

• Jeśli to nie jest możliwe, dobrym rozwiązaniem jest pomnożenie przez wartość albedo z materiału niefizycznego opartego na zachowaniu energii współczynnik konwersji. Dzięki temu można mieć pewność, że co najmniej model cieniowania BRDF można przekształcić w model oparty na fizyce. Każdy BRDF ma inny czynnik, na przykład dla odbicia rozproszonego jest to 1/Pi.