ARCore unterstützt jetzt die elektronische Bildstabilisierung (EIS), die eine flüssige Kameravorschau ermöglicht. Das EIS sorgt für Stabilisierung, indem die Smartphone-Bewegung mithilfe eines Gyroskops beobachtet und ein kompensations-homographisches Mesh-Netzwerk innerhalb der Grenzen der Kameratextur angewendet wird, um kleinere Erschütterungen auszugleichen. EIS wird nur im Hochformat des Geräts unterstützt. Alle Ausrichtungen werden in der ARCore-Version 1.39.0 unterstützt.
EIS-Unterstützung abfragen und EIS aktivieren
Konfigurieren Sie Ihre Sitzung für die Verwendung von ImageStabilizationMode.EIS
, um EIS zu aktivieren. Wenn das Gerät die EIS-Funktion nicht unterstützt, wird in ARCore eine Ausnahme ausgelöst.
Java
if (!session.isImageStabilizationModeSupported(Config.ImageStabilizationMode.EIS)) { return; } Config config = session.getConfig(); config.setImageStabilizationMode(Config.ImageStabilizationMode.EIS); session.configure(config);
Kotlin
if (!session.isImageStabilizationModeSupported(Config.ImageStabilizationMode.EIS)) return session.configure( session.config.apply { imageStabilizationMode = Config.ImageStabilizationMode.EIS } )
Koordinaten umwandeln
Wenn EIS aktiviert ist, muss der Renderer beim Rendern des Kamerahintergrunds die modifizierten Gerätekoordinaten und übereinstimmenden Texturkoordinaten verwenden, die die EIS-Kompensation beinhalten. Um die EIS-kompensierten Koordinaten zu erhalten, verwenden Sie Frame.transformCoordinates3d()
als Eingabe und EIS_NORMALIZED_DEVICE_COORDINATES
als Ausgabe, um 3D-Gerätekoordinaten zu erhalten, und EIS_TEXTURE_NORMALIZED
als Ausgabe, um 3D-Texturkoordinaten zu erhalten.OPENGL_NORMALIZED_DEVICE_COORDINATES
Derzeit wird für Frame.transformCoordinates3d()
nur der Eingabekoordinatentyp OPENGL_NORMALIZED_DEVICE_COORDINATES
unterstützt.
Java
final FloatBuffer cameraTexCoords = ByteBuffer.allocateDirect(COORDS_BUFFER_SIZE_3D) .order(ByteOrder.nativeOrder()) .asFloatBuffer(); final FloatBuffer screenCoords = ByteBuffer.allocateDirect(COORDS_BUFFER_SIZE_3D) .order(ByteOrder.nativeOrder()) .asFloatBuffer(); final FloatBuffer NDC_QUAD_COORDS_BUFFER = ByteBuffer.allocateDirect(COORDS_BUFFER_SIZE_2D) .order(ByteOrder.nativeOrder()) .asFloatBuffer() .put( new float[] { /*0:*/ -1f, -1f, /*1:*/ +1f, -1f, /*2:*/ -1f, +1f, /*3:*/ +1f, +1f, }); final VertexBuffer screenCoordsVertexBuffer = new VertexBuffer(render, /* numberOfEntriesPerVertex= */ 3, null); final VertexBuffer cameraTexCoordsVertexBuffer = new VertexBuffer(render, /* numberOfEntriesPerVertex= */ 3, null); NDC_QUAD_COORDS_BUFFER.rewind(); frame.transformCoordinates3d( Coordinates2d.OPENGL_NORMALIZED_DEVICE_COORDINATES, NDC_QUAD_COORDS_BUFFER, Coordinates3d.EIS_NORMALIZED_DEVICE_COORDINATES, screenCoords); screenCoordsVertexBuffer.set(screenCoords); NDC_QUAD_COORDS_BUFFER.rewind(); frame.transformCoordinates3d( Coordinates2d.OPENGL_NORMALIZED_DEVICE_COORDINATES, NDC_QUAD_COORDS_BUFFER, Coordinates3d.EIS_TEXTURE_NORMALIZED, cameraTexCoords); cameraTexCoordsVertexBuffer.set(cameraTexCoords);
Kotlin
val COORDS_BUFFER_SIZE_2D = 2 * 4 * Float.SIZE_BYTES val COORDS_BUFFER_SIZE_3D = 3 * 4 * Float.SIZE_BYTES val cameraTexCoords = ByteBuffer.allocateDirect(COORDS_BUFFER_SIZE_3D) .order(ByteOrder.nativeOrder()) .asFloatBuffer() val screenCoords = ByteBuffer.allocateDirect(COORDS_BUFFER_SIZE_3D) .order(ByteOrder.nativeOrder()) .asFloatBuffer() val cameraTexCoordsVertexBuffer = VertexBuffer(render, /* numberOfEntriesPerVertex= */ 3, null) val screenCoordsVertexBuffer = VertexBuffer(render, /* numberOfEntriesPerVertex= */ 3, null) val NDC_QUAD_COORDS_BUFFER = ByteBuffer.allocateDirect(COORDS_BUFFER_SIZE_2D) .order(ByteOrder.nativeOrder()) .asFloatBuffer() .apply { put( floatArrayOf( /* 0: */ -1f, -1f, /* 1: */ +1f, -1f, /* 2: */ -1f, +1f, /* 3: */ +1f, +1f ) ) } NDC_QUAD_COORDS_BUFFER.rewind() frame.transformCoordinates3d( Coordinates2d.OPENGL_NORMALIZED_DEVICE_COORDINATES, NDC_QUAD_COORDS_BUFFER, Coordinates3d.EIS_NORMALIZED_DEVICE_COORDINATES, screenCoords ) screenCoordsVertexBuffer.set(screenCoords) NDC_QUAD_COORDS_BUFFER.rewind() frame.transformCoordinates3d( Coordinates2d.OPENGL_NORMALIZED_DEVICE_COORDINATES, NDC_QUAD_COORDS_BUFFER, Coordinates3d.EIS_TEXTURE_NORMALIZED, cameraTexCoords ) cameraTexCoordsVertexBuffer.set(cameraTexCoords)
Wenn EIS deaktiviert ist, entsprechen die 3D-Ausgabekoordinaten den 2D-Koordinaten, wobei die z-Werte so eingestellt sind, dass keine Änderung erfolgt.
Shader ändern
Die berechneten 3D-Koordinaten sollten an Hintergrund-Rendering-Shader übergeben werden. Die Vertex-Zwischenspeicher sind jetzt 3D mit EIS:
layout(location = 0) in vec4 a_Position;
layout(location = 1) in vec3 a_CameraTexCoord;
out vec3 v_CameraTexCoord;
void main() {
gl_Position = a_Position;
v_CameraTexCoord = a_CameraTexCoord;
}
Außerdem muss der Fragment-Shader eine Perspektivkorrektur anwenden:
precision mediump float;
uniform samplerExternalOES u_CameraColorTexture;
in vec3 v_CameraTexCoord;
layout(location = 0) out vec4 o_FragColor;
void main() {
vec3 tc = (v_CameraTexCoord / v_CameraTexCoord.z);
o_FragColor = texture(u_CameraColorTexture, tc.xy);
}
Weitere Informationen finden Sie in der Beispiel-App hello_eis_kotlin.