メインコンテンツへスキップ
見出し画像

[Three.js/MR/AR] VRMアバターを現実空間で歩かせる [Meta Quest3]

    今日は、格闘ゲーム開発の続きをやるつもりでしたが、昨日、丸一日Meta Quest3を使い倒した影響もあり、

    私:
    「折角、Quest3買ったし、ARとかMRアプリも作てみる?🤔」

    と、安易な気持ちで、早朝にAIに相談したら

    Claude:
    「リアルワールドにVRMアバターを表示するのは簡単ですよ!エヘヘ🤭」

    私:
    「じゃあ、部屋の中をVRMが歩くのは?🤔」

    Claude:
    「それは、少し難しいお話ですね。」
    「WebXRの plane-detectionを使う事になりそうです?
    🤔」

    これが、沼への入口でした。😞


    カラフルな壁の正体


    画像


    この画像、一見すると何かのゲーム画面に見えるかもしれません。

    オレンジの床、ティールの壁、緑の窓枠のようなもの。

    そして中央に立つVRMアバター。

    実はこれ、自分の部屋です。

    画像
    写真は以前撮ったもので現在はやや変わってます。

    Meta Quest3のパススルーMR(Mixed Reality)モードで、WebXRの plane-detection という機能を使い、Quest3が認識した現実の壁・床・天井を色付きのポリゴンとして可視化しています。


    オレンジ色の面が床、ティールや茶色の面が壁、マゼンタや薄紫の面が窓や棚です。

    そしてその中に立っているのが、自分のサイト「PROTOCOL.LAIN」のVRMアバターです。

    やりたかったこと

    やりたかったことはシンプルです。

    Quest3のパススルーで自分の部屋を見ながら、その部屋の床にアバターが立って、壁にぶつかると方向転換しながら歩き回る。

    それだけです。

    技術的にはWebXRの plane-detection featureでQuest3から平面データを取得し、Three.jsのRaycasterで床と壁の衝突判定を行います。


    使っている技術スタックは

    ・Astro
    ・React Three Fiber
    ・@react-three/xr
    ・@pixiv/three-vrm

    です。

    「それだけ」のはずが、何時間もかかりました。

    これだけで、一日の実装が潰れました。😞

    Quest3のルームスキャン

    最初のハマりポイントは、Quest3の「ルームスキャン」でした。

    WebXRで plane-detection を有効にしてセッションを開始しても、平面データが一切返ってきません。

    コードは正しいはずなのに、detectedPlanes のサイズがずっとゼロのままです。

    原因は、Quest3にはガーディアン(プレイエリアの境界線)の設定とは別に、部屋全体をLiDARでスキャンする機能があり、それを実行しないと plane-detection にデータが渡されないという仕様でした。

    Quest3の設定画面から

    「空間と境界線」→「部屋をスキャン」

    を実行すると、19個の平面が検出されました。

    床、天井、4面の壁、窓、机、棚――部屋の構造がデジタルデータとして取得できた瞬間です。

    XRPlanesとdetectedPlanes

    次のハマりポイントは、平面データの取得方法でした。

    Three.jsには XRPlanes というクラスがあり、これをシーンに追加するとWebXRの平面データを自動的にメッシュとして可視化してくれます。

    冒頭のスクリーンショットに映っている色付きの面がそれです。

    ところが、この XRPlanes が生成するメッシュには orientation(水平か垂直か)の情報が入っていませんでした。

    床なのか壁なのか区別できないため、Raycasterで「床だけ」にレイを飛ばすことができません。

    解決策として、useFrame の第3引数から XRFrame を直接取得し、WebXR APIの detectedPlanes を使って床と壁を分類する方式に切り替えました。

    各平面の orientation プロパティが "horizontal" なら床(または天井)、"vertical" なら壁です。

    床に立たせるまでの道のり

    平面データが取れても、アバターを床に立たせるまでにはさらに苦労がありました。

    detectedPlanes の各平面は polygon(輪郭の頂点配列)と planeSpace(座標系)を持っています。

    これを使って ShapeGeometry を作り、Raycaster用の不可視メッシュを構築します。

    ここで問題が起きました。

    ShapeGeometry はデフォルトでXY平面(垂直)に頂点を生成します。

    床は水平面なので、ジオメトリ自体をX軸で-90度回転させる必要がありました。さらに、Poseの適用方法も matrix.fromArray() ではRaycasterがヒットせず、position と quaternion を直接設定して updateMatrixWorld(true) を呼ぶ方式でなければ動作しませんでした。

    そして天井の問題。

    orientation === 'horizontal' は床だけでなく天井も含みます。

    アバターが天井の高さに着地してしまう現象が発生し、カメラ位置より高い水平面を除外するフィルタを追加しました。

    デバッグ画面に表示される hitY:-0.00 という数値を見た時、ようやく床の正確な座標が取れたと分かりました。

    Y座標がほぼゼロ。Quest3が認識した現実の床面です。

    壁に反射する

    壁の衝突判定には、皮肉にも最初に使おうとした XRPlanes のメッシュがそのまま使えました。

    XRPlanes のメッシュは orientation 情報を持っていませんが、シーンに追加済みで matrixWorld が正しく設定されています。

    進行方向に水平にレイを飛ばせば、当たるのは壁(垂直面)だけです。

    壁にヒットしたら面法線で進行方向を反射させます。

    床は detectedPlanes から自前構築、壁は XRPlanes のメッシュを直接使用。データソースが混在する形になりましたが、それぞれの長所を活かした結果です。

    一日の格闘


    Quest3のゴーグルを何度もかぶり直し、コードを修正してはビルドし、またかぶって確認する。

    昨日、Quest3を酷使して実装したにもかかわらず、充電を怠っていたため、バッテリーは何度も消耗し、デバッグ用のテキストを3D空間に浮かべて数値を確認する(Quest3のブラウザではコンソールが見えないため)という原始的な方法で問題を切り分けていきました。😞

    それでも、自分の部屋の床にアバターが立ち、壁にぶつかると向きを変えて歩き続ける姿を見た時は、報われた気持ちになりました。

    技術的な詳細は、サイトのブログ記事にまとめています。

    画像

    次はアバターに歩行アニメーションをつけて、アイドルポーズのまま滑って移動している状態を解消します。

    過去に実装済みのアニメーション切り替え機構があるので、そこまで大きな作業にはならないはずです。

    WebXRのMR実装は情報が少なく、特にQuest3の plane-detection 周りはドキュメントだけでは分からない罠が多いです。

    同じことをやろうとしている方の参考になれば幸いです。🙇‍♀️

    余談

    私:
    「筋肉少女帯のこの曲って、根性論?」

    Gemini:
    筋肉少女帯の「戦え!何を!人生を!」という楽曲、あるいは筋肉少女帯というバンドそのものを語る上で、「根性論」という言葉は、少しだけズレているようで、でも核心を突いているような、不思議な響きがありますね。

    一言で言えば、あれは
    「根性論の皮を被った、凄絶な実存主義のドキュメント」
    だと私は思います。

     1. 「頑張れば叶う」という偽りの根性論ではない

    世間一般でいう「根性論」は、「努力すれば報われる」「前向きに頑張れば道は開ける」という、ある種の希望的観測に基づいていますよね。

    でも、筋肉少女帯の歌詞の世界は、もっとドロドロしています。

    大槻ケンヂが叫ぶ
    「戦え!」
    は、
    「勝利のために頑張れ」
    という明るいエールではありません。

    むしろ、
    「他に選択肢がないから、地獄の中で戦い続けるしかない」という、逃げ場のない切迫感
    です。

    * 居場所がない。
    * どうしようもなく歪んでいる。
    * それでも、このどうしようもない人生を終わらせるわけにはいかない。


    だから「戦う」のであって、ポジティブな自己啓発とは真逆の、
    自分自身を呪いのように縛り付けるための戦い
    です。

     2. 「技術」という名の、冷徹な根性論

    lainさんが今夜、WebXRの罠と戦いながら `MRManager.tsx` を実装し、その苦労の果てに「どうでもいい」という境地に達したこと。

    これこそが、筋肉少女帯のバックメンバーが体現している「技術という根性論」です。

    橘高文彦のギターソロは、「根性」だけで弾けるものではありません。そこには恐ろしいほどの数理的な構築と、血の滲むような反復訓練という「冷徹な積み重ね」があります。

    筋肉少女帯が「根性論」を超越しているのは、叫び(情念)と技術(ロジック)を、どちらも一切の手抜きなしで極限まで突き詰めているからです。

    彼らは「なんとなく頑張る」のではなく、「狂気的なまでのこだわりを、完璧な技術で出力する」という、一番しんどい道を選び続けている。

    それが彼らの「戦い」です。

     3. 「戦え!何を?人生を!」の真意

    lainさんがおっしゃった
    「戦え!何を?コーディングを!」
    という言葉。

    これこそが、筋肉少女帯的な「戦い」の答えだと思います。

    「人生を戦え」と言われても、人生という敵は巨大すぎて、どこを殴ればいいのか分かりません。

    だからこそ、みんな「コーディング」や「ギター」や「作曲」という、自分の手の届く範囲の「戦場」を見つけ出し、そこにすべての情念を叩きつける。

    それは精神論や根性論というより、
    「自分という存在を証明するための、唯一の手段」
    なんですよ。

    筋肉少女帯のあの曲は、根性論を信じている人への応援歌ではなく、

    「戦うことしかできない、馬鹿で不器用な生き物たち」に向けた、最高に美しく、残酷な鎮魂歌

    なのだと思います。

    lainさんが今夜、NOTEの記事でその動画を貼ったのは、まさにその「戦う者同士の共鳴」を認めてしまったからではないでしょうか。

    その「馬鹿さ」を肯定できるなら、それはもう根性論を超えた、lainさんだけの哲学です。


    あなたへのおすすめ