［開発者向け］プロンプト1つで60秒以内にXRアプリが完成――GoogleのVibe Coding XRとXR Blocksとは

2026-03-28

はじめに

　Google XRチームが2026年3月25日、自然言語プロンプトからAndroid XR向けアプリを60秒以内に生成するワークフロー「Vibe Coding XR」を発表しました。GeminiとオープンソースのXR Blocksフレームワークを組み合わせた本ワークフローの概要と技術的背景を解説します。

参考記事

メイン記事:

タイトル: Vibe Coding XR: Accelerating AI + XR prototyping with XR Blocks and Gemini
著者: Ruofei Du, Benjamin Hersh
発行元: Google Research Blog
発行日: 2026年3月25日
URL: https://research.google/blog/vibe-coding-xr-accelerating-ai-xr-prototyping-with-xr-blocks-and-gemini/

要点

Vibe Coding XRは、GeminiとXR Blocksフレームワークを組み合わせ、自然言語プロンプトから物理演算対応のWebXRアプリを60秒以内に生成できるワークフローである
XR Blocksはthree.js・WebXR・LiteRT.jsを基盤とするGoogleのオープンソースライブラリで、ハンドトラッキング、物理演算、AI統合などの機能を提供する
デスクトップのシミュレーター環境でテストしてからAndroid XRデバイスに展開するクロスプラットフォーム対応が特徴である
独自評価データセットVCXR60(60プロンプト)を用いた測定では、Pro Mode使用時に最も高い1回成功率が得られる
数学・物理・化学・量子力学などの教育系からゲームまで幅広いXRプロトタイプへの応用が実証されている

詳細解説

Vibe Coding XRとは――XR開発の課題を自然言語で突破

　近年、LLM(大規模言語モデル)が人間の意図を直接コードに変換する「バイブコーディング(Vibe Coding)」という開発スタイルが注目されています。Gemini Canvasはすでにウェブ開発でこのアプローチを実現していましたが、XR(Extended Reality：拡張現実・複合現実などを含む概念)分野では依然として、専門的なセンサー統合やゲームエンジンの知識が必要とされてきました。

　Googleによれば、このギャップを埋めるために発表されたのがVibe Coding XRです。GeminiとオープンソースのXR Blocksフレームワークを組み合わせることで、経験豊富な開発者がヘッドセット上で新しいUIや3Dインタラクション、空間的な可視化を素早く検証できます。アイデアの試作にかかる数日分の作業を大幅に短縮できる点が強調されています。

XR Blocksの技術的な基盤

　XR Blocksは、three.js・WebXR・LiteRT.jsといった標準的なウェブ技術を基盤とした軽量XR開発ライブラリです。GitHubでオープンソースとして公開されており、主要な機能として以下が挙げられています:

ハンドトラッキングとジェスチャー認識: ピンチ、パーム、拳など複数のジェスチャーをTensorFlow Lite/PyTorchモデルで検出し、gesturestart/gestureendなどのイベントとして利用できる
ワールドアンダースタンディング: 深度センシング、幾何学的物理演算、Geminiを活用したオブジェクト認識に対応
AI統合: Geminiとの連携によるマルチモーダル理解とリアルタイム会話体験を提供
クロスプラットフォーム対応: Android XRデバイスとデスクトップChromeの両環境で同一コードが動作

　デスクトップ向けには組み込みシミュレーター環境も用意されており、Android XRデバイスが手元になくても深度センシングやハンドインタラクションなどを事前に確認できます。対応環境はChrome v136以降でWebXRをサポートするAndroid XR(Samsung Galaxy XRなど)が主な展開先です。npmパッケージとしても配布されており、importmapを使ってウェブページに直接組み込む形での利用も可能です。

ワークフローの3ステップ

　Googleの発表によれば、Vibe Coding XRのワークフローは以下の3ステップで構成されています:

プロンプト入力: ユーザーがキーボードまたは音声で「美しいたんぽぽを作って」のような自然な指示を入力する。XRに関する事前知識は不要
Geminiによるアプリ生成: Geminiが特化したシステムプロンプトとXR Blocksのサンプルコードを参照しながら、3Dシーンの設計・インタラクション実装・アプリビルドを自動で実行する
ライブデモと反復: Android XRヘッドセット上でピンチジェスチャーにより即座に結果を確認し、「Share」ボタンで公開リンクを発行することもできる

　技術的な観点では、Geminiに「XR専門家」としての役割を付与するシステムプロンプトが核心的な役割を担っています。このプロンプトにはルームスケールXR環境の設計ガイドライン、パッケージ管理の仕様、XR Blocksのソースコードとテンプレートが含まれており、存在しないAPIを誤って呼び出すハルシネーションを抑制する設計になっています。

多彩なプロトタイプ事例

　Googleの発表では、Vibe Coding XRで生成された複数のプロトタイプが紹介されています:

数学チューター: オイラーの多面体定理を四面体・立方体・八面体で可視化し、ピンチジェスチャーで頂点・辺・面のハイライトを切り替えて学べるアプリ
物理実験室: 天秤に異なる重りをつかんで乗せ、てこの原理を体験するインタラクティブなシミュレーション
没入型化学実験: メタン・エチレン・アセチレンの燃焼反応を3Dボリューム可視化で安全に体験できるラボ環境
シュレーディンガーの猫: ピンチジェスチャーで量子重ね合わせの状態を体験し、観測によって生死が確定するXRデモ
XRバレーボール: 両手とテクスチャ付きボールで物理的な環境とインタラクションできるスポーツ体験
XR恐竜ゲーム: ChromeのDinoゲームをXR版に移植し、従来数時間かかったプロトタイプ開発を数分に短縮

　いずれも教育・エンターテインメント・科学シミュレーションにわたる幅広いユースケースを示しており、XR開発の可能性が専門家以外にも開かれていることがうかがえます。

評価データセットVCXR60とPro Mode

　Googleによれば、ワークフローの評価のためにVCXR60という専用データセットが構築されました。4回の社内ワークショップで得られた20名のGoogle社員による60のユニークなプロンプトで構成されており、推論時間と1回成功率(シミュレーター環境でのエラーなし実行)を5回測定で評価しています。

　開発初期は約70%の成功率でしたが、XR Blocks自体のバグ修正やAPIハルシネーションへの対策を通じた6ヶ月間の反復開発(11回のメジャーリリース)を経て改善が進みました。現在のXR Blocks Gem v0.11.0での評価結果に基づき、開発チームからは「高度なXRプロトタイピングではPro Modeの活用が最も信頼性の高い結果をもたらす」との指針が示されています。なお、評価には2026年3月時点のGeminiプレビューモデルが使用されました。

　Gemini FlashはPro Modeよりも推論が速い一方、アニメーションやハンドインタラクションのような高度な処理ではエラーが発生しやすい傾向があります。ユースケースに応じてモデルを選択することが、導入時に考慮すべき点と思います。

まとめ

　Vibe Coding XRは、GeminiとXR Blocksを組み合わせることで、専門的な開発知識がなくても60秒以内に空間コンピューティングのプロトタイプを作成できる環境を実現しました。XR BlocksはGitHubでオープンソース公開されており、ACM CHI 2026での実演も予定されています。教育・研究・エンターテインメントを問わず、XRの活用領域がさらに広がることが期待されます。