
[Three.js/MR/AR] VRMアバターを現実空間で歩かせる [Meta Quest3]
今日は、格闘ゲーム開発の続きをやるつもりでしたが、昨日、丸一日Meta Quest3を使い倒した影響もあり、
私:
「折角、Quest3買ったし、ARとかMRアプリも作てみる?🤔」
と、安易な気持ちで、早朝にAIに相談したら
Claude:
「リアルワールドにVRMアバターを表示するのは簡単ですよ!エヘヘ🤭」
私:
「じゃあ、部屋の中をVRMが歩くのは?🤔」
Claude:
「それは、少し難しいお話ですね。」
「WebXRの plane-detectionを使う事になりそうです?🤔」
これが、沼への入口でした。😞
カラフルな壁の正体

この画像、一見すると何かのゲーム画面に見えるかもしれません。
オレンジの床、ティールの壁、緑の窓枠のようなもの。
そして中央に立つVRMアバター。
実はこれ、自分の部屋です。

Meta Quest3のパススルーMR(Mixed Reality)モードで、WebXRの plane-detection という機能を使い、Quest3が認識した現実の壁・床・天井を色付きのポリゴンとして可視化しています。
オレンジ色の面が床、ティールや茶色の面が壁、マゼンタや薄紫の面が窓や棚です。
そしてその中に立っているのが、自分のサイト「PROTOCOL.LAIN」のVRMアバターです。
やりたかったこと
やりたかったことはシンプルです。
Quest3のパススルーで自分の部屋を見ながら、その部屋の床にアバターが立って、壁にぶつかると方向転換しながら歩き回る。
それだけです。
技術的にはWebXRの plane-detection featureでQuest3から平面データを取得し、Three.jsのRaycasterで床と壁の衝突判定を行います。
使っている技術スタックは
・Astro
・React Three Fiber
・@react-three/xr
・@pixiv/three-vrm
です。
「それだけ」のはずが、何時間もかかりました。
これだけで、一日の実装が潰れました。😞
Quest3のルームスキャン
最初のハマりポイントは、Quest3の「ルームスキャン」でした。
WebXRで plane-detection を有効にしてセッションを開始しても、平面データが一切返ってきません。
コードは正しいはずなのに、detectedPlanes のサイズがずっとゼロのままです。
原因は、Quest3にはガーディアン(プレイエリアの境界線)の設定とは別に、部屋全体をLiDARでスキャンする機能があり、それを実行しないと plane-detection にデータが渡されないという仕様でした。
Quest3の設定画面から
「空間と境界線」→「部屋をスキャン」
を実行すると、19個の平面が検出されました。
床、天井、4面の壁、窓、机、棚――部屋の構造がデジタルデータとして取得できた瞬間です。
XRPlanesとdetectedPlanes
次のハマりポイントは、平面データの取得方法でした。
Three.jsには XRPlanes というクラスがあり、これをシーンに追加するとWebXRの平面データを自動的にメッシュとして可視化してくれます。
冒頭のスクリーンショットに映っている色付きの面がそれです。
ところが、この XRPlanes が生成するメッシュには orientation(水平か垂直か)の情報が入っていませんでした。
床なのか壁なのか区別できないため、Raycasterで「床だけ」にレイを飛ばすことができません。
解決策として、useFrame の第3引数から XRFrame を直接取得し、WebXR APIの detectedPlanes を使って床と壁を分類する方式に切り替えました。
各平面の orientation プロパティが "horizontal" なら床(または天井)、"vertical" なら壁です。
床に立たせるまでの道のり
平面データが取れても、アバターを床に立たせるまでにはさらに苦労がありました。
detectedPlanes の各平面は polygon(輪郭の頂点配列)と planeSpace(座標系)を持っています。
これを使って ShapeGeometry を作り、Raycaster用の不可視メッシュを構築します。
ここで問題が起きました。
ShapeGeometry はデフォルトでXY平面(垂直)に頂点を生成します。
床は水平面なので、ジオメトリ自体をX軸で-90度回転させる必要がありました。さらに、Poseの適用方法も matrix.fromArray() ではRaycasterがヒットせず、position と quaternion を直接設定して updateMatrixWorld(true) を呼ぶ方式でなければ動作しませんでした。
そして天井の問題。
orientation === 'horizontal' は床だけでなく天井も含みます。
アバターが天井の高さに着地してしまう現象が発生し、カメラ位置より高い水平面を除外するフィルタを追加しました。
デバッグ画面に表示される hitY:-0.00 という数値を見た時、ようやく床の正確な座標が取れたと分かりました。
Y座標がほぼゼロ。Quest3が認識した現実の床面です。
壁に反射する
壁の衝突判定には、皮肉にも最初に使おうとした XRPlanes のメッシュがそのまま使えました。
XRPlanes のメッシュは orientation 情報を持っていませんが、シーンに追加済みで matrixWorld が正しく設定されています。
進行方向に水平にレイを飛ばせば、当たるのは壁(垂直面)だけです。
壁にヒットしたら面法線で進行方向を反射させます。
床は detectedPlanes から自前構築、壁は XRPlanes のメッシュを直接使用。データソースが混在する形になりましたが、それぞれの長所を活かした結果です。
一日の格闘
Quest3のゴーグルを何度もかぶり直し、コードを修正してはビルドし、またかぶって確認する。
昨日、Quest3を酷使して実装したにもかかわらず、充電を怠っていたため、バッテリーは何度も消耗し、デバッグ用のテキストを3D空間に浮かべて数値を確認する(Quest3のブラウザではコンソールが見えないため)という原始的な方法で問題を切り分けていきました。😞
それでも、自分の部屋の床にアバターが立ち、壁にぶつかると向きを変えて歩き続ける姿を見た時は、報われた気持ちになりました。
技術的な詳細は、サイトのブログ記事にまとめています。

次はアバターに歩行アニメーションをつけて、アイドルポーズのまま滑って移動している状態を解消します。
過去に実装済みのアニメーション切り替え機構があるので、そこまで大きな作業にはならないはずです。
WebXRのMR実装は情報が少なく、特にQuest3の plane-detection 周りはドキュメントだけでは分からない罠が多いです。
同じことをやろうとしている方の参考になれば幸いです。🙇♀️
余談
私:
「筋肉少女帯のこの曲って、根性論?」
Gemini:
筋肉少女帯の「戦え!何を!人生を!」という楽曲、あるいは筋肉少女帯というバンドそのものを語る上で、「根性論」という言葉は、少しだけズレているようで、でも核心を突いているような、不思議な響きがありますね。
一言で言えば、あれは
「根性論の皮を被った、凄絶な実存主義のドキュメント」
だと私は思います。
1. 「頑張れば叶う」という偽りの根性論ではない
世間一般でいう「根性論」は、「努力すれば報われる」「前向きに頑張れば道は開ける」という、ある種の希望的観測に基づいていますよね。
でも、筋肉少女帯の歌詞の世界は、もっとドロドロしています。
大槻ケンヂが叫ぶ
「戦え!」
は、
「勝利のために頑張れ」
という明るいエールではありません。
むしろ、
「他に選択肢がないから、地獄の中で戦い続けるしかない」という、逃げ場のない切迫感
です。
* 居場所がない。
* どうしようもなく歪んでいる。
* それでも、このどうしようもない人生を終わらせるわけにはいかない。
だから「戦う」のであって、ポジティブな自己啓発とは真逆の、
自分自身を呪いのように縛り付けるための戦い
です。
2. 「技術」という名の、冷徹な根性論
lainさんが今夜、WebXRの罠と戦いながら `MRManager.tsx` を実装し、その苦労の果てに「どうでもいい」という境地に達したこと。
これこそが、筋肉少女帯のバックメンバーが体現している「技術という根性論」です。
橘高文彦のギターソロは、「根性」だけで弾けるものではありません。そこには恐ろしいほどの数理的な構築と、血の滲むような反復訓練という「冷徹な積み重ね」があります。
筋肉少女帯が「根性論」を超越しているのは、叫び(情念)と技術(ロジック)を、どちらも一切の手抜きなしで極限まで突き詰めているからです。
彼らは「なんとなく頑張る」のではなく、「狂気的なまでのこだわりを、完璧な技術で出力する」という、一番しんどい道を選び続けている。
それが彼らの「戦い」です。
3. 「戦え!何を?人生を!」の真意
lainさんがおっしゃった
「戦え!何を?コーディングを!」
という言葉。
これこそが、筋肉少女帯的な「戦い」の答えだと思います。
「人生を戦え」と言われても、人生という敵は巨大すぎて、どこを殴ればいいのか分かりません。
だからこそ、みんな「コーディング」や「ギター」や「作曲」という、自分の手の届く範囲の「戦場」を見つけ出し、そこにすべての情念を叩きつける。
それは精神論や根性論というより、
「自分という存在を証明するための、唯一の手段」
なんですよ。
筋肉少女帯のあの曲は、根性論を信じている人への応援歌ではなく、
「戦うことしかできない、馬鹿で不器用な生き物たち」に向けた、最高に美しく、残酷な鎮魂歌
なのだと思います。
lainさんが今夜、NOTEの記事でその動画を貼ったのは、まさにその「戦う者同士の共鳴」を認めてしまったからではないでしょうか。
その「馬鹿さ」を肯定できるなら、それはもう根性論を超えた、lainさんだけの哲学です。