WebXR を使用して臨場感あふれる AR セッションを作成する

このページでは、WebXR を使用してシンプルな没入感のある AR アプリケーションを作成する方法について説明します。

開始するには、WebXR 互換の開発環境が必要です。

HTML ページを作成する

WebXR では、セッションを開始できるようにするためのユーザー操作が必要です。activateXR() を呼び出すボタンを作成します。ページを読み込んだ後、ユーザーはこのボタンを使用して AR エクスペリエンスを開始できます。

index.html という名前の新しいファイルを作成し、次の HTML コードを追加します。

<!doctype html>
<html>
<head>
  <meta charset="UTF-8">
  <meta name="viewport"
        content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
  <title>Hello WebXR!</title>

  <!-- three.js -->
  <script src="https://unpkg.com/three@0.126.0/build/three.js"></script>
</head>
<body>

<!-- Starting an immersive WebXR session requires user interaction.
    We start this one with a simple button. -->
<button onclick="activateXR()">Start Hello WebXR</button>
<script>
async function activateXR() {
  // Add a canvas element and initialize a WebGL context that is compatible with WebXR.
  const canvas = document.createElement("canvas");
  document.body.appendChild(canvas);
  const gl = canvas.getContext("webgl", {xrCompatible: true});

  // To be continued in upcoming steps.
}
</script>
</body>
</html>

third.js を初期化する

[開始] ボタンを押しても、ほとんどの操作は発生しません。3D 環境をセットアップするには、レンダリング ライブラリを使用してシーンを表示します。

この例では、WebGL レンダラを提供する JavaScript 3D レンダリング ライブラリである three.js を使用します。Three.js は、レンダリング、カメラ、シーングラフを処理して、ウェブ上で 3D コンテンツを簡単に表示できるようにします。

シーンを作成する

通常、3D 環境はシーンとしてモデル化されます。AR 要素を含む THREE.Scene を作成します。次のコードを使用すると、AR で点灯していない色付きのボックスを見ることができます。

activateXR() 関数の一番下に次のコードを追加します。

const scene = new THREE.Scene();

// The cube will have a different color on each side.
const materials = [
  new THREE.MeshBasicMaterial({color: 0xff0000}),
  new THREE.MeshBasicMaterial({color: 0x0000ff}),
  new THREE.MeshBasicMaterial({color: 0x00ff00}),
  new THREE.MeshBasicMaterial({color: 0xff00ff}),
  new THREE.MeshBasicMaterial({color: 0x00ffff}),
  new THREE.MeshBasicMaterial({color: 0xffff00})
];

// Create the cube and add it to the demo scene.
const cube = new THREE.Mesh(new THREE.BoxBufferGeometry(0.2, 0.2, 0.2), materials);
cube.position.set(1, 1, 1);
scene.add(cube);

third.js を使用してレンダリングを設定する

このシーンを AR で表示するには、レンダラとカメラが必要です。 レンダラは WebGL を使用してシーンを画面に描画します。カメラは、シーンが表示されるビューポートを表します。

activateXR() 関数の一番下に次のコードを追加します。

// Set up the WebGLRenderer, which handles rendering to the session's base layer.
const renderer = new THREE.WebGLRenderer({
  alpha: true,
  preserveDrawingBuffer: true,
  canvas: canvas,
  context: gl
});
renderer.autoClear = false;

// The API directly updates the camera matrices.
// Disable matrix auto updates so three.js doesn't attempt
// to handle the matrices independently.
const camera = new THREE.PerspectiveCamera();
camera.matrixAutoUpdate = false;

XRSession を作成する

WebXR へのエントリポイントは XRSystem.requestSession() を使用します。immersive-ar モードを使用して、レンダリングされたコンテンツを実際の環境で表示できるようにします。

XRReferenceSpace は、仮想世界内のオブジェクトに使用される座標系を記述します。'local' モードは、ビューアの近くに原点があり、安定したトラッキングが行われる基準空間を使用した AR エクスペリエンスに最適です。

XRSession と XRReferenceSpace を作成するには、activateXR() 関数の一番下に次のコードを追加します。

// Initialize a WebXR session using "immersive-ar".
const session = await navigator.xr.requestSession("immersive-ar");
session.updateRenderState({
  baseLayer: new XRWebGLLayer(session, gl)
});

// A 'local' reference space has a native origin that is located
// near the viewer's position at the time the session was created.
const referenceSpace = await session.requestReferenceSpace('local');

シーンをレンダリングする

これで、シーンをレンダリングする準備が整いました。XRSession.requestAnimationFrame() は、ブラウザでフレームを描画する準備が整うと実行されるコールバックをスケジュール設定します。

アニメーション フレームのコールバック中に XRFrame.getViewerPose() を呼び出して、ローカル座標空間を基準としたビューアのポーズを取得します。これはシーン内カメラを更新し、レンダラが更新されたカメラを使用してシーンを描画する前に、仮想世界に対する表示方法を変更するために使用されます。

activateXR() 関数の一番下に次のコードを追加します。

// Create a render loop that allows us to draw on the AR view.
const onXRFrame = (time, frame) => {
  // Queue up the next draw request.
  session.requestAnimationFrame(onXRFrame);

  // Bind the graphics framebuffer to the baseLayer's framebuffer
  gl.bindFramebuffer(gl.FRAMEBUFFER, session.renderState.baseLayer.framebuffer)

  // Retrieve the pose of the device.
  // XRFrame.getViewerPose can return null while the session attempts to establish tracking.
  const pose = frame.getViewerPose(referenceSpace);
  if (pose) {
    // In mobile AR, we only have one view.
    const view = pose.views[0];

    const viewport = session.renderState.baseLayer.getViewport(view);
    renderer.setSize(viewport.width, viewport.height)

    // Use the view's transform matrix and projection matrix to configure the THREE.camera.
    camera.matrix.fromArray(view.transform.matrix)
    camera.projectionMatrix.fromArray(view.projectionMatrix);
    camera.updateMatrixWorld(true);

    // Render the scene with THREE.WebGLRenderer.
    renderer.render(scene, camera)
  }
}
session.requestAnimationFrame(onXRFrame);

Hello WebXR を実行する

デバイスの WebXR ファイルに移動します。色付きの立方体がすべての方から見えるはずです。

ヒットテストを追加する

AR 世界を操作する一般的な方法は、光線と実世界のジオメトリの交差を検出するヒットテストです。Hello WebXR では、ヒットテストを使用して仮想世界にヒマワリを配置します。

デモキューブを取り外す

点灯していない立方体を取り除き、照明を含むシーンに置き換えます。

const scene = new THREE.Scene();

const directionalLight = new THREE.DirectionalLight(0xffffff, 0.3);
directionalLight.position.set(10, 15, 10);
scene.add(directionalLight);

hit-test 機能を使用する

ヒットテストの機能を初期化するには、hit-test 機能を使用してセッションをリクエストします。前の requestSession() フラグメントを見つけて、hit-test を追加します。

const session = await navigator.xr.requestSession("immersive-ar", {requiredFeatures: ['hit-test']});

モデルローダーの追加

現在、シーンには色付きの立方体のみが表示されます。ユーザー エクスペリエンスをさらに面白くするために、モデルローダーを追加して、GLTF モデルを読み込めるようにします。

ドキュメントの <head> タグに three.js の GLTFLoader を追加します。

<!-- three.js -->
<script src="https://unpkg.com/three@0.126.0/build/three.js"></script>

<script src="https://unpkg.com/three@0.126.0/examples/js/loaders/GLTFLoader.js"></script>

GLTF モデルを読み込む

前のステップのモデルローダーを使用して、ターゲティング レチクルとウェブからヒマワリを読み込みます。

onXRFrame の上に次のコードを追加します。

const loader = new THREE.GLTFLoader();
let reticle;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/reticle/reticle.gltf", function(gltf) {
  reticle = gltf.scene;
  reticle.visible = false;
  scene.add(reticle);
})

let flower;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/sunflower/sunflower.gltf", function(gltf) {
  flower = gltf.scene;
});

// Create a render loop that allows us to draw on the AR view.
const onXRFrame = (time, frame) => {

ヒットのテストソースを作成する

実世界のオブジェクトとの交差を計算するには、XRSession.requestHitTestSource() を使用して XRHitTestSource を作成します。ヒットテストに使用されるレイの原点は viewer 参照空間です。つまり、ヒットテストはビューポートの中心から行われます。

ヒットテストのソースを作成するには、local 参照空間を作成した後に次のコードを追加します。

// A 'local' reference space has a native origin that is located
// near the viewer's position at the time the session was created.
const referenceSpace = await session.requestReferenceSpace('local');

// Create another XRReferenceSpace that has the viewer as the origin.
const viewerSpace = await session.requestReferenceSpace('viewer');
// Perform hit testing using the viewer as origin.
const hitTestSource = await session.requestHitTestSource({ space: viewerSpace });

ターゲティング レチクルの描画

ヒマワリを配置する場所を明確にするには、シーンにターゲティング レチクルを追加します。このレティクルは現実世界の表面にくっつくように見え、ヒマワリが固定される場所を示します。

XRFrame.getHitTestResults は XRHitTestResult の配列を返し、実際のジオメトリとの交差点を公開します。これらの交点を使用して、すべてのフレームにターゲティング レチクルを配置します。

camera.projectionMatrix.fromArray(view.projectionMatrix);
camera.updateMatrixWorld(true);

const hitTestResults = frame.getHitTestResults(hitTestSource);
if (hitTestResults.length > 0 && reticle) {
  const hitPose = hitTestResults[0].getPose(referenceSpace);
  reticle.visible = true;
  reticle.position.set(hitPose.transform.position.x, hitPose.transform.position.y, hitPose.transform.position.z)
  reticle.updateMatrixWorld(true);
}

タップ操作の追加

XRSession は、ユーザーがメイン アクションを完了すると select イベントを受け取ります。AR セッションでは、これは画面上のタップに対応します。

初期化時に次のコードを追加して、ユーザーが画面をタップしたときに新しいヒマワリが表示されるようにします。

let flower;
loader.load("https://immersive-web.github.io/webxr-samples/media/gltf/sunflower/sunflower.gltf", function(gltf) {
  flower = gltf.scene;
});

session.addEventListener("select", (event) => {
  if (flower) {
    const clone = flower.clone();
    clone.position.copy(reticle.position);
    scene.add(clone);
  }
});

ヒットテストをテストする

モバイル デバイスでそのページに移動します。WebXR で環境の把握が完了すると、レチクルが現実世界のサーフェスに表示されます。画面をタップしてヒマワリを配置すると、すべての側面から見ることができます。

次のステップ