メインコンテンツへスキップ
見出し画像

VRChatワールド「Chordfloats」解説 -音以外について-

    先日公開した以下のVRChatワールド「Chordfloats」の解説記事です。
    この記事では音以外について解説します。

    VRChatワールド「Chordfloats」をPublishしました!
    Particle Lifeをベースにした触れる人工生命があるワールドです。サウンドシェーダーでAmbisonicsのような立体音響の処理をリアルタイムに行っており、パーティクルの集まっている方から音が聞こえます。#VRChat_world紹介 #VRChat pic.twitter.com/GeVcOlfE1x

    — Ayano (@AYANO_TFT) March 26, 2025

    音については以下の記事で解説しています。

    Particle Life(GPUパーティクル)

    まず、Particle Lifeと呼ばれるアルゴリズムは私のオリジナルとかではありません。Jeffrey VentrellaのClusterが初出のようです。元は2Dですが、3Dへの拡張も珍しいものではありません。
    また以下の通り、VRChatへの持ち込みも前例がいくつかあります。

    以下の動画の5:08からアルゴリズムが説明されています。
    (英語ですが、絵だけでもだいたいわかると思います)

    シンプルなアルゴリズムで、
    ・各色が各色に引き寄せられる/離れる力を定義した非対称のマトリクスがある
    ・各パーティクルは近づきすぎたときは一定の力で離れるが、その手前の距離(下記画像の青い部分)ではマトリクスに従って引き寄せられる/離れる
    といった感じです。

    画像
    上記動画6:05から引用

    これだけのアルゴリズムでボルボックスのような緑藻等を想起するような複雑な形が現れます。

    Houdiniを使い慣れている場合、以下の動画に沿って実装するとすぐに動きを確認できるのでオススメです。

    近傍探索の最適化

    VRChat上で実装する場合に問題になるのが近傍探索の最適化です。
    今回持ち込んだ主なきっかけは最適化の方法が思いついたからです。
    まずCompute Shaderが使えないので、諸々の楽なアプローチは取れません。
    Particle LifeはBoidsと似ていますが、3Dでうまく動作させるにはかなり多くの近傍点を参照する必要があります。体感では最低100程度、そこからも多ければ多いほど動きのクオリティが上がります。
    なので、Voronoi Trackingのような手法では不足があります。

    今回は以下のようにしました。いずれも正確さよりも1Fあたりの計算量を抑えつつ、影響し得る近傍点をわずかでも計算に取り込むことを意識しています。
    ・2DのRenderTexture上で並び変えるためソートはXZのみ行い、Y軸は無視する。パーティクルは縦方向には比較的広がらないため。
    ・4Fかけて順番に上下左右のピクセルとの比較を行い、並び順が正しくなければ入れ替える。時間方向にソートの負荷を分散している。
    ・自身の場所を中心に10x10の領域の座標を取得するが、その位置を毎フレーム10pxずつズラすことで中央付近は4/9の頻度で取得され、外側はそれより低い頻度で取得されるようにする。加速度は小さめに設定されているため、Velocityへの影響はゆっくりでも問題ない一方、取得できる領域が小さいと動きのクオリティが下がってしまう。

    画像
    このように取得する領域を毎フレームズラしていく
    元々はこの半分のオフセット量で中央付近は常時取得していたが、
    より広い範囲を参照できるこの形の方が動きが良かった

    これで十分な速度、十分な動きのクオリティとなりました。

    マトリクスの入替

    45秒ごとにUdon側でParticle Lifeのマトリクスの入替を行っています。
    ・一定の範囲内でランダムに引力・斥力を再設定
    ・シード値にはMath.Floor(Networking.GetServerTimeInSeconds()+0.5)を利用することで、プレイヤー間で同じマトリクスが現れるように
    ※パーティクルの位置こそ同期できないが、現れる形状の傾向は同様になる
    ・マトリクスはVRCShader.SetGlobalFloatArrayで設定
    ※Material.SetFloatArrayでももちろんOK

    インタラクション

    ・localplayer.GetTrackingData()から手のトラッキング位置をグローバル変数にセット
    ・Velocityの計算時に手が近ければ離れるように

    ルックの調整等

    ・群体を成したときだけはっきり見えてほしかったため、影響範囲内にある他パーティクルの個数で輝度が変化するように
    ・手で触れたときにも輝度が大きく上昇するように
    ・音のリズムと同じ周期でも輝度が上がるように

    Particle Lifeについては以上です。
    次は何かオリジナリティのあるアルゴリズムを実装したいところです。

    なおVRChatにおける最新のミニマムなGPUパーティクルの実装方法は以下の記事が大変参考になります。もう1年半前ですがここからは変わっていないはずです。私もこちらに倣って進めました。

    GPUパーティクルが何か…は今回は割愛します。直接聞いてください。

    オーロラ(レイマーチング)

    画像

    良い感じのオーロラを作りました。
    嘘で、2年近く前に作ったものをようやくPublicに出せました。
    レイマーチングのオーロラ自体は良くありますが、ループを20くらいまで減らせばQuest単機でもなんとか動作するくらいの負荷に収まっているのが特徴です。PCであれば35-50ループくらいで十分綺麗になります。

    画像
    これは2023年7月の写真です…

    近いうちBoothに有料で出すのでどこまで解説するかというのはありますが、読んでわかる人は元から作れると思うので大体書きます。

    画像

    上のようなCRTを用意します。メインとなるRチャンネルではSin波をノイズで歪めたり、Bチャンネルにはオーロラの縦筋が出るようなノイズを入れたりしています。レイマーチング中で計算すると計算量が爆発する要素をあらかじめCRTで計算することで軽量化しています。オーロラの形状はほぼ垂直方向に変化しなくてよいこと、ふわっと光っているのでテクスチャの解像度を高くしなくても問題ないことも相性が良いです。

    あとは適当に地球の半径やオーロラの発生高度(100-500kmらしい)を考慮してレイの開始位置を決め、 固定長レイマーチングの要領でレイを飛ばして取得した値やレイの高度から色を決めます。また固定長レイマーチングではよく使われるテクニックですが、レイの開始位置に0からステップ長までのランダムな値を足すことで、少ないステップ数でも層状のアーティファクトが出るのを防いでいます。

    レイマーチ部分の作りがシンプルでも、色の決め方の部分で色々と自由にできるのがレイマーチングの面白いところだと最近は思うようになりました。

    浮島(Houdini)

    実作業よりワールド側のデザインをどうするかで時間がかかりました。
    立体音響Particle Life、オーロラ、草といった各要素は昨年11月中には揃っていたのに、それらをどういった地形に配置するかだけが決まらず、そのまま3月まで放置することになります。

    最終的に、オーロラを遮蔽しない且つParticle Lifeがいて違和感のない地形ということで、中央の島が少し高めになっている浮島になりました。

    このイラストを見ていたら、リング状の浮島が衝撃波のエフェクトのように見えてきたので、そういう作り方をしてみることにしました。

    こういったチュートリアルを参考にpopnetでノイズや空気抵抗を考慮したパーティクルのシミュレーションを行い、TimeShiftで良いと思ったところで止めます。TransformでYスケールを0にして平面上に配置し直します。

    画像
    TimeShiftまで

    VEXで近傍点の数から各pointに密度の情報を持たせ、それをremapしてpscaleにします。
    Platinic SOPで正八面体を出し、上半分をClipで削除して逆ピラミッド状の形を作り、それをcopytopointsで各pointにコピーします。

    画像
    逆ピラミッドを適切なscaleで撒いた時点で割とそれっぽい

    あとはよくあるVDBモデリングの要領で、vdbfrompolygonsでVDB化->volumeVOPでcurlnoiseなどをかけて岩っぽくなるよう調整->convertVDBでポリゴンに戻す->polyreduceでポリゴンを減らす、という感じです。

    画像
    PolyReduceまで

    詳しくは割愛しますが、その後仕上げの調整では
    ・labs delete small parts
    ・mountain SOP
    ・tridivide
    等を使っています。
    ライトマップ向けのuv展開がなかなか難しかったですが、labs uv remove overlapが便利でした。

    中央の島はパーティクルを別のフレームで止めたものから作っています。遠景とメインの島を分けているのは、ポリゴンやライトマップの解像度をそれぞれ設定したかったというのもあります。

    草(ジオメトリシェーダー+Houdini)

    草はベースとなるメッシュをHoudini上で作成し、専用のジオメトリシェーダーを使って生やしています。

    画像
    下端の色を地面と繋げると良い感じになる

    ベースメッシュのuvには色のばらつきや長さの情報を入れこんでいます。
    シェーダー側で計算するとコストが高いノイズを事前に計算しておけること、草があるエリアの端の方に短い草を増やすといったシェーダー単体では取得できない周囲の情報も入れこめること、生えるエリアのコントロールも容易になること等、シェーダー単体で完結させるのに比べて負荷的にも見た目的にも有利な点が多いです。一方で専用のベースメッシュを使うため汎用性は下がり、配布等が難しくなることとトレードオフになります。

    まず島のメッシュから法線が上向きの部分を取り出し、FastRemeshでだいたい均等なポリゴンにします。
    HalfEdgeを含むPrimitiveをグループ化し、GroupExpandで広げることで足場の端付近には草が生えないようにします。

    画像
    オレンジの範囲は端なので削除する

    適当にノイズをかけたりして、草が生える範囲のポリゴンだけを残したうえでuvやuv2に必要な情報を入れて完成です。
    草が生える範囲を決めるとき、AttributeFromMapでUnity側と同じようにテクスチャを貼り、色が暗い部分だけが残るようにしています。

    画像
    完成形、これが草の生える範囲になる

    シェーダー側では、せっかくグローバル変数に手のトラッキング位置を入れていたので、草にも触れるようにしました。草の先端が手を中心にする球の表面まで押し出されるような計算をし、手に近いほど元の位置から計算後の位置に近づくようにしています。

    また、草の揺れに使うノイズテクスチャはpngでは精度が足りず動きがガタガタしていたので、half精度のexrに差し替えて改善しました。
    こういったノイズもHoudiniのCopernicsで出力できるので何かと便利です。
    (保存時に拡張子を変えるだけでpng/exrどちらも出せる)

    まとめ

    Shader、Houdiniに触れている方向けのトーンで書いてしまいましたが、こちらもより詳しく聞きたい方はVRChat内で捕まえる等してください。
    シェーダーやHoudini、ワールド制作の話は常にしたいと思っています。

    HoudiniについてはVRC Houdini勉強会というグループに3年ほどお世話になっており、とてもおすすめです。隔週日曜の20時から、有志が発表を行うという形式で聞くだけの参加もOKとなっています。参加自体はHoudiniを未インストールでも問題なく、テーマによってはワールド制作をしている方全般が楽しめるような内容の発表も多いです。

    あなたへのおすすめ