ARCore obsługuje teraz elektroniczną stabilizację obrazu (EIS), która pomaga uzyskać płynny podgląd z aparatu. EIS zapewnia stabilizację przez obserwację ruchu telefonu za pomocą żyroskopu i stosowanie siatki homograficznej kompensacji w granicach tekstury aparatu, aby eliminować drobne wstrząsy. Technologia EIS jest obsługiwana tylko w orientacji pionowej. Wszystkie orientacje będą obsługiwane w wersji 1.39.0 ARCore.
Zapytanie o obsługę EIS i włączanie EIS
Aby włączyć EIS, skonfiguruj sesję tak, aby używała AR_IMAGE_STABILIZATION_MODE_EIS. Jeśli urządzenie nie obsługuje funkcji EIS, z ARCore zostanie zgłoszony wyjątek.
int enableEis = 0; ArSession_isImageStabilizationModeSupported( ar_session, AR_IMAGE_STABILIZATION_MODE_EIS, &enableEis); if (!enableEis) { return; } // Create a session config. ArConfig* ar_config = NULL; ArConfig_create(ar_session, &ar_config); // Enable Electronic Image Stabilization. ArConfig_setImageStabilizationMode(ar_session, ar_config, AR_IMAGE_STABILIZATION_MODE_EIS); CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS); // Release config resources. ArConfig_destroy(ar_config);
Przekształć współrzędne
Gdy funkcja EIS jest włączona, mechanizm renderowania musi używać zmodyfikowanych współrzędnych urządzenia i dopasowanych współrzędnych tekstury, które podczas renderowania tła kamery uwzględniają kompensację EIS. Aby uzyskać współrzędne kompensowane EIS, użyj parametru ArFrame_transformCoordinates3d, używając AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES jako danych wejściowych i AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES jako danych wyjściowych, aby uzyskać współrzędne urządzenia 3D, lub AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED jako danych wyjściowych, aby uzyskać współrzędne tekstur 3D. Obecnie jedynym obsługiwanym typem współrzędnych wejściowych w przypadku elementu ArFrame_transformCoordinates3d jest AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES.
int kNumVertices = 4; // Positions of the quad vertices in clip space (X, Y). const GLfloat kVertices[] = { -1.0f, -1.0f, +1.0f, -1.0f, -1.0f, +1.0f, +1.0f, +1.0f, }; float transformed_vertices_[4 * 3]; float transformed_uvs_[4 * 3]; ArFrame_transformCoordinates3d( session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES, kNumVertices, kVertices, AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES, transformed_vertices_); ArFrame_transformCoordinates3d( session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES, kNumVertices, kVertices, AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED, transformed_uvs_); glActiveTexture(GL_TEXTURE0); glBindTexture(GL_TEXTURE_EXTERNAL_OES, camera_texture_id_); glUseProgram(camera_program_); glUniform1i(camera_texture_uniform_, 0); // Set the vertex positions and texture coordinates. glVertexAttribPointer(camera_position_attrib_, 3, GL_FLOAT, false, 0, transformed_vertices_); glVertexAttribPointer(camera_tex_coord_attrib_, 3, GL_FLOAT, false, 0, transformed_uvs_); glEnableVertexAttribArray(camera_position_attrib_); glEnableVertexAttribArray(camera_tex_coord_attrib_);
Gdy funkcja EIS jest wyłączona, wyjściowe współrzędne 3D są odpowiednikiem ich odpowiedników 2D, przy czym wartości Z nie powodują żadnych zmian.
Modyfikowanie cieniowania
Obliczone współrzędne 3D należy przekazać do cieniowania tła. Bufory wierzchołkowe są teraz trójwymiarowe z technologią EIS:
layout(location = 0) in vec4 a_Position;
layout(location = 1) in vec3 a_CameraTexCoord;
out vec3 v_CameraTexCoord;
void main() {
gl_Position = a_Position;
v_CameraTexCoord = a_CameraTexCoord;
}
Dodatkowo cieniowanie fragmentów musi zastosować korektę perspektywy:
precision mediump float;
uniform samplerExternalOES u_CameraColorTexture;
in vec3 v_CameraTexCoord;
layout(location = 0) out vec4 o_FragColor;
void main() {
vec3 tc = (v_CameraTexCoord / v_CameraTexCoord.z);
o_FragColor = texture(u_CameraColorTexture, tc.xy);
}
Więcej informacji znajdziesz w przykładowej aplikacji hello_eis_kotlin.