ARCore unterstützt jetzt die elektronische Bildstabilisierung (EIS), die eine flüssige Kameravorschau ermöglicht. Das EIS sorgt für Stabilisierung, indem die Smartphone-Bewegung mithilfe eines Gyroskops beobachtet und ein kompensations-homographisches Mesh-Netzwerk innerhalb der Grenzen der Kameratextur angewendet wird, um kleinere Erschütterungen auszugleichen. EIS wird nur im Hochformat des Geräts unterstützt. Alle Ausrichtungen werden in der ARCore-Version 1.39.0 unterstützt.
EIS-Unterstützung abfragen und EIS aktivieren
Konfigurieren Sie Ihre Sitzung für die Verwendung von AR_IMAGE_STABILIZATION_MODE_EIS, um EIS zu aktivieren. Wenn das Gerät die EIS-Funktion nicht unterstützt, wird in ARCore eine Ausnahme ausgelöst.
int enableEis = 0; ArSession_isImageStabilizationModeSupported( ar_session, AR_IMAGE_STABILIZATION_MODE_EIS, &enableEis); if (!enableEis) { return; } // Create a session config. ArConfig* ar_config = NULL; ArConfig_create(ar_session, &ar_config); // Enable Electronic Image Stabilization. ArConfig_setImageStabilizationMode(ar_session, ar_config, AR_IMAGE_STABILIZATION_MODE_EIS); CHECK(ArSession_configure(ar_session, ar_config) == AR_SUCCESS); // Release config resources. ArConfig_destroy(ar_config);
Koordinaten umwandeln
Wenn EIS aktiviert ist, muss der Renderer beim Rendern des Kamerahintergrunds die modifizierten Gerätekoordinaten und übereinstimmenden Texturkoordinaten verwenden, die die EIS-Kompensation beinhalten. Verwenden Sie zum Abrufen der EIS-kompensierten Koordinaten ArFrame_transformCoordinates3d als Eingabe und AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES als Ausgabe, um 3D-Gerätekoordinaten zu erhalten, und AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED als Ausgabe, um 3D-Texturkoordinaten zu erhalten.AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES Derzeit wird für ArFrame_transformCoordinates3d nur der Eingabekoordinatentyp AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES unterstützt.
int kNumVertices = 4; // Positions of the quad vertices in clip space (X, Y). const GLfloat kVertices[] = { -1.0f, -1.0f, +1.0f, -1.0f, -1.0f, +1.0f, +1.0f, +1.0f, }; float transformed_vertices_[4 * 3]; float transformed_uvs_[4 * 3]; ArFrame_transformCoordinates3d( session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES, kNumVertices, kVertices, AR_COORDINATES_3D_EIS_NORMALIZED_DEVICE_COORDINATES, transformed_vertices_); ArFrame_transformCoordinates3d( session, frame, AR_COORDINATES_2D_OPENGL_NORMALIZED_DEVICE_COORDINATES, kNumVertices, kVertices, AR_COORDINATES_3D_EIS_TEXTURE_NORMALIZED, transformed_uvs_); glActiveTexture(GL_TEXTURE0); glBindTexture(GL_TEXTURE_EXTERNAL_OES, camera_texture_id_); glUseProgram(camera_program_); glUniform1i(camera_texture_uniform_, 0); // Set the vertex positions and texture coordinates. glVertexAttribPointer(camera_position_attrib_, 3, GL_FLOAT, false, 0, transformed_vertices_); glVertexAttribPointer(camera_tex_coord_attrib_, 3, GL_FLOAT, false, 0, transformed_uvs_); glEnableVertexAttribArray(camera_position_attrib_); glEnableVertexAttribArray(camera_tex_coord_attrib_);
Wenn EIS deaktiviert ist, entsprechen die 3D-Ausgabekoordinaten ihren 2D-Gegenstücken, wobei z-Werte so eingestellt sind, dass keine Änderung erfolgt.
Shader ändern
Die berechneten 3D-Koordinaten sollten an Hintergrund-Rendering-Shader übergeben werden. Die Vertex-Zwischenspeicher sind jetzt 3D mit EIS:
layout(location = 0) in vec4 a_Position;
layout(location = 1) in vec3 a_CameraTexCoord;
out vec3 v_CameraTexCoord;
void main() {
gl_Position = a_Position;
v_CameraTexCoord = a_CameraTexCoord;
}
Außerdem muss der Fragment-Shader eine Perspektivkorrektur anwenden:
precision mediump float;
uniform samplerExternalOES u_CameraColorTexture;
in vec3 v_CameraTexCoord;
layout(location = 0) out vec4 o_FragColor;
void main() {
vec3 tc = (v_CameraTexCoord / v_CameraTexCoord.z);
o_FragColor = texture(u_CameraColorTexture, tc.xy);
}
Weitere Informationen finden Sie in der Beispiel-App hello_eis_kotlin.