Criar uma sessão de RA imersiva usando o WebXR

Esta página vai orientar você na criação de um aplicativo de RA imersivo simples usando o WebXR.

Você precisará de um ambiente de desenvolvimento compatível com o WebXR para começar.

Criar uma página HTML

O WebXR requer a interação do usuário para iniciar uma sessão. Crie um botão que chame activateXR(). Depois de carregar a página, o usuário poderá usar esse botão para iniciar a experiência de RA.

Crie um novo arquivo com o nome index.html e adicione o seguinte código HTML:

<!doctype html>
<html>
<head>
  <meta charset="UTF-8">
  <meta name="viewport"
        content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
  <title>Hello WebXR!</title>

  <!-- three.js -->
  <script src="https://unpkg.com/three@0.126.0/build/three.js"></script>
</head>
<body>

<!-- Starting an immersive WebXR session requires user interaction.
    We start this one with a simple button. -->
<button onclick="activateXR()">Start Hello WebXR</button>
<script>
async function activateXR() {
  // Add a canvas element and initialize a WebGL context that is compatible with WebXR.
  const canvas = document.createElement("canvas");
  document.body.appendChild(canvas);
  const gl = canvas.getContext("webgl", {xrCompatible: true});

  // To be continued in upcoming steps.
}
</script>
</body>
</html>

Inicializar três.js

Muita coisa acontece quando o botão "Iniciar" é pressionado. Para configurar um ambiente 3D, é possível usar uma biblioteca de renderização para exibir uma cena.

Neste exemplo, você vai usar a three.js, uma biblioteca de renderização JavaScript 3D que oferece um renderizador WebGL. O Three.js lida com renderização, câmeras e gráficos de cena, facilitando a exibição de conteúdo 3D na Web.

Criar uma cena

Um ambiente 3D é geralmente modelado como uma cena. Crie um THREE.Scene que contenha elementos de RA. O código a seguir permite olhar para uma caixa colorida não iluminada em RA.

Adicione este código à parte de baixo da função activateXR():

const scene = new THREE.Scene();

// The cube will have a different color on each side.
const materials = [
  new THREE.MeshBasicMaterial({color: 0xff0000}),
  new THREE.MeshBasicMaterial({color: 0x0000ff}),
  new THREE.MeshBasicMaterial({color: 0x00ff00}),
  new THREE.MeshBasicMaterial({color: 0xff00ff}),
  new THREE.MeshBasicMaterial({color: 0x00ffff}),
  new THREE.MeshBasicMaterial({color: 0xffff00})
];

// Create the cube and add it to the demo scene.
const cube = new THREE.Mesh(new THREE.BoxBufferGeometry(0.2, 0.2, 0.2), materials);
cube.position.set(1, 1, 1);
scene.add(cube);

Configurar a renderização usando três.js

Para visualizar essa cena em RA, você precisa de um renderizador e uma câmera. O renderizador usa a WebGL para desenhar sua cena na tela. A câmera descreve a janela de visualização em que a cena é visualizada.

Adicione este código à parte de baixo da função activateXR():

// Set up the WebGLRenderer, which handles rendering to the session's base layer.
const renderer = new THREE.WebGLRenderer({
  alpha: true,
  preserveDrawingBuffer: true,
  canvas: canvas,
  context: gl
});
renderer.autoClear = false;

// The API directly updates the camera matrices.
// Disable matrix auto updates so three.js doesn't attempt
// to handle the matrices independently.
const camera = new THREE.PerspectiveCamera();
camera.matrixAutoUpdate = false;

Criar uma XRSession

O ponto de entrada para o WebXR é pelo XRSystem.requestSession(). Use o modo immersive-ar para permitir que o conteúdo renderizado seja visualizado em um ambiente real.

Um XRReferenceSpace descreve o sistema de coordenadas usado para objetos no mundo virtual. O modo 'local' é mais adequado para uma experiência de RA com um espaço de referência que tem uma origem próxima ao espectador e um acompanhamento estável.

Para criar XRSession e XRReferenceSpace, adicione este código à parte de baixo da função activateXR():

// Initialize a WebXR session using "immersive-ar".
const session = await navigator.xr.requestSession("immersive-ar");
session.updateRenderState({
  baseLayer: new XRWebGLLayer(session, gl)
});

// A 'local' reference space has a native origin that is located
// near the viewer's position at the time the session was created.
const referenceSpace = await session.requestReferenceSpace('local');

Renderizar a cena

Agora você pode renderizar o cenário. XRSession.requestAnimationFrame() programa um callback que é executado quando o navegador está pronto para renderizar um frame.

Durante o callback do frame da animação, chame XRFrame.getViewerPose() para ver a pose do visualizador em relação ao espaço de coordenadas local. Ele é usado para atualizar a câmera de cena, mudando a forma como o usuário visualiza o mundo virtual antes que o renderizador desenhe a cena usando a câmera atualizada.

Adicione este código à parte de baixo da função activateXR():

// Create a render loop that allows us to draw on the AR view.
const onXRFrame = (time, frame) => {
  // Queue up the next draw request.
  session.requestAnimationFrame(onXRFrame);

  // Bind the graphics framebuffer to the baseLayer's framebuffer
  gl.bindFramebuffer(gl.FRAMEBUFFER, session.renderState.baseLayer.framebuffer)

  // Retrieve the pose of the device.
  // XRFrame.getViewerPose can return null while the session attempts to establish tracking.
  const pose = frame.getViewerPose(referenceSpace);
  if (pose) {
    // In mobile AR, we only have one view.
    const view = pose.views[0];

    const viewport = session.renderState.baseLayer.getViewport(view);
    renderer.setSize(viewport.width, viewport.height)

    // Use the view's transform matrix and projection matrix to configure the THREE.camera.
    camera.matrix.fromArray(view.transform.matrix)
    camera.projectionMatrix.fromArray(view.projectionMatrix);
    camera.updateMatrixWorld(true);

    // Render the scene with THREE.WebGLRenderer.
    renderer.render(scene, camera)
  }
}
session.requestAnimationFrame(onXRFrame);

Executar o Hello WebXR

Navegue até o arquivo WebXR no seu dispositivo. Você verá um cubo colorido de todos os lados.

Adicionar um teste de hit

Uma maneira comum de interagir com o mundo da RA é por meio de um hit test, que encontra uma interseção entre um raio e uma geometria do mundo real. No Hello WebXR, você vai usar um teste de hit para colocar um girassol no mundo virtual.

Remover o cubo de demonstração

Remova o cubo não iluminado e substitua-o por uma cena que inclua iluminação:

const scene = new THREE.Scene();

const directionalLight = new THREE.DirectionalLight(0xffffff, 0.3);
directionalLight.position.set(10, 15, 10);
scene.add(directionalLight);

Usar o recurso hit-test

Para inicializar a funcionalidade de teste de hit, solicite a sessão com o recurso hit-test. Encontre o fragmento requestSession() anterior e adicione hit-test a ele:

const session = await navigator.xr.requestSession("immersive-ar", {requiredFeatures: ['hit-test']});

Adicionar um carregador de modelos

No momento, o cenário contém apenas um cubo colorido. Para tornar a experiência mais interessante, adicione um carregador de modelos, que permita o carregamento de modelos GLTF.

Na tag <head> do documento, adicione GLTFLoader da três.js.

<!-- three.js -->
<script src="https://unpkg.com/three@0.126.0/build/three.js"></script>

<script src="https://unpkg.com/three@0.126.0/examples/js/loaders/GLTFLoader.js"></script>

Carregar modelos GLTF

Use o carregador de modelos da etapa anterior para carregar um retículo de segmentação e um girassol da Web.

Adicione este código acima de onXRFrame:

const loader = new THREE.GLTFLoader();
let reticle;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/reticle/reticle.gltf", function(gltf) {
  reticle = gltf.scene;
  reticle.visible = false;
  scene.add(reticle);
})

let flower;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/sunflower/sunflower.gltf", function(gltf) {
  flower = gltf.scene;
});

// Create a render loop that allows us to draw on the AR view.
const onXRFrame = (time, frame) => {

Criar uma origem de teste de hit

Para calcular interseções com objetos reais, crie um XRHitTestSource usando XRSession.requestHitTestSource(). O raio usado para o teste de hit tem o espaço de referência viewer como origem, o que significa que o teste de hit é feito no centro da janela de visualização.

Para criar uma origem de teste de hit, adicione este código depois de criar o espaço de referência local:

// A 'local' reference space has a native origin that is located
// near the viewer's position at the time the session was created.
const referenceSpace = await session.requestReferenceSpace('local');

// Create another XRReferenceSpace that has the viewer as the origin.
const viewerSpace = await session.requestReferenceSpace('viewer');
// Perform hit testing using the viewer as origin.
const hitTestSource = await session.requestHitTestSource({ space: viewerSpace });

Como desenhar um retículo de alvo

Para deixar claro onde o girassol será colocado, adicione um retículo de alvo à cena. Esse retículo parecerá estar preso a superfícies do mundo real, indicando onde o girassol estará ancorado.

XRFrame.getHitTestResults retorna uma matriz de XRHitTestResult e expõe interseções com geometria do mundo real. Use essas interseções para posicionar o retículo de segmentação em cada frame.

camera.projectionMatrix.fromArray(view.projectionMatrix);
camera.updateMatrixWorld(true);

const hitTestResults = frame.getHitTestResults(hitTestSource);
if (hitTestResults.length > 0 && reticle) {
  const hitPose = hitTestResults[0].getPose(referenceSpace);
  reticle.visible = true;
  reticle.position.set(hitPose.transform.position.x, hitPose.transform.position.y, hitPose.transform.position.z)
  reticle.updateMatrixWorld(true);
}

Como adicionar interações com um toque

XRSession recebe eventos select quando o usuário conclui uma ação principal. Em uma sessão de RA, isso corresponde a um toque na tela.

Faça um novo girassol aparecer quando o usuário tocar na tela adicionando este código durante a inicialização:

let flower;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/sunflower/sunflower.gltf", function(gltf) {
  flower = gltf.scene;
});

session.addEventListener("select", (event) => {
  if (flower) {
    const clone = flower.clone();
    clone.position.copy(reticle.position);
    scene.add(clone);
  }
});

Testar o teste de hit

Use seu dispositivo móvel para acessar a página. Depois que o WebXR entender o ambiente, o retículo deverá aparecer em superfícies reais. Toque na tela para posicionar um girassol, que pode ser visto de todos os lados.

Próximas etapas