メインコンテンツへスキップ
見出し画像

VRChatワールド「Chordfloats」解説 -音について-

    先日公開した以下のVRChatワールド「Chordfloats」の解説記事です。
    この記事では音について解説します。

    VRChatワールド「Chordfloats」をPublishしました!
    Particle Lifeをベースにした触れる人工生命があるワールドです。サウンドシェーダーでAmbisonicsのような立体音響の処理をリアルタイムに行っており、パーティクルの集まっている方から音が聞こえます。#VRChat_world紹介 #VRChat pic.twitter.com/GeVcOlfE1x

    — Ayano (@AYANO_TFT) March 26, 2025

    私は音にはあまり詳しくなく(音響の専門知識は無く、DTM等に触れたこともなく、楽器の演奏経験もほぼ無い)、どちらかといえばシェーダー書き/テクニカルアーティスト/Unityエンジニア的な属性なので、音のことについては間違いがあるかもしれません。ご了承ください。
    また、気づいた際は直接ご指摘頂けると助かります。
    音以外の部分については以下の記事で解説しています。

    シェーダーで音を出す、とは

    まずここからだと思います。ここからではない方は次の項まで飛ばしてください。
    直感的にはシェーダーと音は繋がらないように思いますし、直接お話しした方からの質問も立体音響よりまずこれについてのものが多かったです。

    シェーダーで音を出すということ自体はVRChat内外で以前から行っている人が多くおり、私自身もそういった方々の記事を参考に学習を進めました。
    既にシェーダーに触れている場合、以下の記事が入門に最適かと思います。

    そのうえで、この項では
    ・シェーダーに触れたことが無いVRChatterにも概要が伝わる
    ・シェーダーやUdonに触れている場合はVRChat環境でのサウンドシェーダーの実装方法がイメージできる
    ことを目指して改めて説明してみます。

    シェーダーのうち、フラグメントシェーダー(またはピクセルシェーダー)と呼ばれる部分では、画像の各ピクセル、つまり1つ1つのドットの色を毎フレーム計算して返しています。
    色はRGBAの4つの要素を持っています。4chとか4次元とか言います。
    256x256の領域でフラグメントシェーダーを実行した場合、65565個x4chの数値が毎フレーム得られます。
    Quest3の解像度であれば毎フレーム9114624個x4chの膨大な数値(※1)が返ってきていますが、皆さんが購入した高価なGPUによって1/90秒から1/30秒に収まるくらいの速度で毎フレーム計算されています。
    ※1 実際には半透明などによる重複もあり計算自体はもっと多いはずですが

    画面(または画像)の色はRGBAの4ch x 解像度 x fpsのデータで、フラグメントシェーダーはその計算をするためのプログラムである、ということが伝わっていれば大丈夫です。

    一方で音のデータはどのように扱われているでしょうか。
    以下の記事の図示が非常にわかりやすいので、まずは「はじめに:サンプリングと量子化」の部分を読んでみてください。

    サンプリングレートは44100Hzとか48000Hzとかありますが、これは色でいうところのfpsのようなものです。
    音のサンプリングデータは-1から+1の値(Unityではfloat)で表され、モノラルであれば1ch、ステレオであれば2chとなります。
    つまり、1秒あたり44100個のfloatの数値があれば、それは音として解釈することができます。

    UnityではAudioClip.SetDataというメソッド(≒機能)が提供されており、これはVRChatのUdon#でも利用可能です。
    AudioClip.SetDataは、AudioClipにfloatの配列を渡す(上書きする)ことができます。要は自前で用意した44100fpsの数値の羅列があれば、それを音として鳴らすことができるということです。
    そして、Udon#ではVRCAsyncGPUReadbackという機能も提供されており、シェーダーで計算した結果の数値をUdon#の処理に取り込むことができます。

    これらを利用し、
    ①シェーダーで音声の波形を直接計算し
    ②そのデータをUdon#側で取得し
    ③更にそのデータをAudioClipにセットする

    ということを行っています。
    色と音では要素数が違いますが、これはRチャンネルだけを使うようにすればいいだけです。赤だけ計算するシェーダーです。

    わかる人向け補足:
    RenderTextureFormat.RFloatのRenderTextureであれば、OnAsyncGpuReadbackCompleteのrequest.TryGetData()でfloat配列を取得できます。

    またfpsが足りていません(色30-90fpsに対し音44100fps)が、これは少し先のデータまでまとめて渡すことで解決できます。シェーダーで計算した一番左上のピクセルから右下に向かって順に未来のサンプリングデータとして解釈されるので、シェーダー側で時間として使う変数にオフセットをかけてサンプリングデータの計算を行います。
    今回は0.2秒のAudioClipを用意し、0.1秒ごとに4410サンプルのデータをセットしています。
    このあたりは計算負荷、インタラクティブ要素への反応速度、プレイヤーのFPS低下時の途切れ防止…あたりを考慮して変更できると思います。
    とりあえず「音のデータが足りなくて鳴らない」が一番良くないので、プレイヤーのfpsが10fpsまで下がっても耐えるところを目途にして0.1秒分を送ることにしました。10fps以下まで下がっていたら流石に体験としては崩壊しているためですが、一方でワールド自体をいくら軽くしても人の集まり次第で20fpsくらいは全然あり得るのがVRChat特有の難しさかもしれません。

    AudioSource.timeSamplesから現在の位置を取得し、半分に分けた領域を跨ぐ毎に新しいデータをAsyncGPUReadbackから拾っていますが、
    ・更新頻度はもっと増やした方が良い
    ・シェーダー側である程度対策しているものの、音量が急激に変化した際などに不連続波形のクリックノイズが発生する
    という課題があります。
    ※クリックノイズについては私の実装が悪いだけの可能性があります
    OnAudioFilterReadが使える(未検証)という情報もあったので、この辺の送り方についてはより適した方法を今後検証するつもりです。

    ここまでのデータの送り方については、以下の記事の「機械の音再生」の項を参考にさせて頂きました。

    ということで(?)あとはシェーダーで音声波形を計算するだけで簡単に音を出すことができる状態になりました。

    具体的な音声波形の作り方について、基礎的な部分は割愛します。
    まずは冒頭のらくとあいすさんの記事を読んでみてください。

    そのうえで、今回は以下のような実装をしました。
    ・45秒ごとに全体のシード値と、全8色のパーティクルの色毎のシード値が変更される(Particle Lifeのマトリクス内で用いている値と共通)
    ・パーティクルが集合しているほど、その1つ1つから発せられる音量が大きくなるように(群体を形成していないものからは音が鳴らない)
    ・不協和音にならない8種の音の組合せを用意し、全体のシード値に応じて8種の音全体の高さを上下にシフトする(転調)
    ・色毎のシード値を元に、用意したリズムから1つが選ばれる。基本は4拍子だが、少し5拍子と3拍子のリズムも混ざっている(ポリリズム)
    ・ただのサイン波や三角波だと味がしないので、いくつか試してみて相性がいいと思ったフルートとオーボエの倍音成分を使用した

    当初は4拍子だけでリズムのパターンを作っていたのですが、変化が小さく悩んでいたところ、フレンドからポリリズムというのがあるので取り入れてみてはどうかと提案してもらいました。これは雰囲気の幅を広げるのにかなり貢献してくれたように思います。

    また音のリズムがParticle Lifeの動きとはほとんど連動していないというところには若干の心残りがあります。つまり、Particle Lifeに触ったら音が鳴るとか、群体が合流したところで旋律が発生するとか、そういう話です。
    そういったインタラクティブ性とBGMとしての最低限の体裁を両立する良い形が無いか考えてみたのですが思いつかず、今回は見送る形となりました。おそらくこれはインタラクティブミュージック全般でぶつかりやすい課題でしょうが、より良い落としどころが見つけられれば再挑戦してみたいところです。

    サウンドシェーダー部分については以上です。
    本当はVRChat上で動作するミニマムなコードを提示できれば良いのですが、前述の課題が残っていることと、今回のコードがParticle Lifeと密結合なものになっていることから見送ります。

    私は音楽について全く詳しくないわけですが、音声波形をシェーダーで描くという方法で音を直接作ることができるのは非常に面白い体験です。
    ここまで読んでくれた方はぜひやってみてください。

    立体音響の実装

    ようやく本題です。
    「触れるParticle Life」まで制作できたところで、なんらかの音を出したいと思いました。それまで全く音のことは考えていなかったのですが「Particle Lifeから音を出す」なら立体音響にすることを考えなければならない…ことになります。ただの2D Audioで「Particle Lifeから」音が鳴っているように感じさせるのは難しいです。
    ※音に合わせて光っていればある程度はそう感じるでしょうし、今回もそれはそれで実装しているとはいえ

    しかしParticle Lifeのようなものから3Dの音を発生させるには以下の問題があります。
    ・65565個のGPUパーティクル全てに個別のAudioSourceを追従させて音を鳴らすことはできない(VRChatの3D AudioSourceの個数制限、それが仮になくてもGameObjectを移動させる負荷、サウンドシェーダー側の計算量の問題等)
    ・群体の中心部などにある程度音の発生源をまとめるとしても、群体の判定が非常に難しい(境界が無く、随時変形・分離・合流を繰り返す)

    一応は考えてみたものの、正直どういうアプローチが良いか全くわからなかったので、詳しそうな方々に聞いてみました。

    画像
    2024年10月、VRCワールド「よるとうげ」の公開直後。
    音やシェーダーに詳しいメンバーがたくさん集まっていたインスタンスにて。

    ・suzukiさんが公開しているワールド「Sandy Beach」では、プレイヤーに追従する4つのAudioSourceを用いて立体音響を表現している(音源が平面的なのでAudioSourceの配置も水平に前後左右4つ)
    ・「Sandy Beach」では減衰込みの音量を計算後、MipMapを用いることで高速に平均している
    ・群体のクラスター化を試みるより、アンビソニックスと同じアプローチで各パーティクルからの音量を集積、4~8個程度のAudioSourceに分配して再生する方法が有望そう

    等の情報・アドバイスを頂きました。
    特にらくとあいすさん、suzukiさんからは具体的な実装内容に直結する知見を頂き大変助かりました。ありがとうございました!

    アンビソニックスを踏襲する部分は以下の資料を参考にしました。
    https://www.jstage.jst.go.jp/article/itej/68/8/68_616/_pdf/-char/ja

    以下が実際に作成した処理の流れです。
    ①正四面体の頂点の位置(今回は左上前、右下前、左下後、右上後)に仮想マイクがあるとして、距離減衰とカージオイド指向性を考慮した各マイクにおける音量を計算。そこから球面調和関数の0次、1次係数を計算してRenderTextureのRGBAに収める。
    ②パーティクルの色毎に異なる音を出したいので一旦別々のRenderTextureに分離、空いている隙間をd4rkpl4y3rさんの仕組みを利用して詰める。詰めたテクスチャを再度まとめることで色毎に同じmipmap領域にまとまったテクスチャとなる。
    ③適切なmipmapレベルで値を取り出すことで色毎の球面調和関数の平均を取得できる。
    ④球面調和関数から、立方体の頂点の位置に対応する8個のスピーカーごとの音量が決定できるので、それを用いて8個分のサウンドシェーダーで波形を書き出す。サウンドシェーダー内ではパーティクルの色毎にも異なる処理を行って加算する。

    ①は特にわからない言葉も多いと思うので、1つずつ説明していきます。

    距離減衰はそのままですが、音は障害物が無ければ逆二乗の法則で減衰するので、普通に音量を距離の2乗で割ります。今回は床があるので、床面からの反射を考慮して少し加算する項を追加して距離減衰の計算としました。

    カージオイド指向性というのはマイクの指向性の1つで、計算としてはハーフランバートと同じになります。正面の音はそのまま拾い、逆向きだった場合は全く拾わないというだけです。

    volume[i] = dot(normalize(HeadSpacePos), micDir[i]) * 0.5 + 0.5;

    距離減衰とカージオイド指向性を合わせると仮想マイクごとの音量がわかります。

    これを球面調和関数の0次、1次係数(W, X, Y, Z成分)に変換します。
    球面調和関数について正しく説明できるほど私も理解しているわけではないですが…CGにおいては、複雑な照明等の情報を決められた要素数まで圧縮するために使われます。例えばライトプローブでは2次係数まで保存されていて、複雑な環境光の情報を9要素x3(RGB)まで圧縮しています。
    今回はRenderTexture1枚に収まる4要素まで圧縮しました。より多くの要素を保存すればより再現度の高い立体音響になることが期待できますが、今回は通常のアンビソニックスと同様としました。計算方法は前述の資料に倣っています(資料の座標系はUnityと異なるので注意)。

    画像
    ①の処理が終わった段階のRenderTexture
    LocalPlayerを中心に減衰する球面調和関数の0次、1次係数

    ②③パーティクルの色毎にテクスチャを分離、その後空いているピクセルを詰めます。これはd4rkpl4y3rさんの仕組みをそのまま使っています。8色のパーティクルの数は全て同じなので、ZOrder curveで詰めれば簡単に再合成できます。その後「Sandy Beach」に倣ってmipmapから色毎の平均を取得しています。
    もう少しパーティクルの数が少なければ、1つ1つに対しサウンドシェーダーを実行する線もあった(試してないだけなので実は問題ないかも?)と思いますが、今回は65565個とあまりにも多いので色毎の実行としています。これは同じ音が2か所から鳴っている状態は表現できないことを意味していて、2つの同じ色の群体に両側から囲まれたときにはその平均位置、自分のいるところから音が鳴っているように聞こえるはずです。

    ④最後は色毎にサウンドシェーダーの処理を実行し全て合算、その後通常のアンビソニックスと同様に球面調和関数から8個のスピーカー音量を計算し波形に掛け算しています。この際のスピーカー音量の計算方法も前述の資料に倣っています。
    サウンドシェーダーは4410x8(0.1秒xスピーカーの数)の領域で実行されています。

    方針が決まってから仕組みの実装そのものはそれほど苦労しなかったのですが、主にクリックノイズを軽減するための音量の補正と検証に時間がかかりました。
    わかりやすいところで言えば①の収音の工程で素直に逆二乗するだけだとパーティクルがAudioListenerに重なりそうなとき音量が無限大に近づいてしまうのでクランプするとか、スピーカー毎の音もある程度でクランプしておくとか、そういう処理が入っています。

    まとめ

    今回はサウンドシェーダーxシェーダー上での立体音響処理でしたが、必ずしも音源がサウンドシェーダーである必要は無い仕組みなので、モチポリ・ファクトリーのような形で収録済み音源を利用し、それに対しリアルタイムに立体音響処理を行うといったこともできそうです。音源の位置も、数が少ないのであればCPU側から渡したものを利用しても問題なさそうです。
    VRChat上、またVRChatに限らないバーチャル空間上ので立体音響処理のアプローチとして割と可能性があるように感じています。
    個人的にもまた違う形で利用したものを作りたいです。

    わかってしまえば(実装はともかく)そこまで難しい仕組みではないはずなんですが、どうしても用語が難しい印象を与えるものが多いな…と思いながら書いています。
    既にクローズドな場で1か所お声がけ頂いていますが、質問込みの発表みたいな機会があればその方が良かったりするのかなと思っています。
    聞き手の属性(音楽側の方、シェーダー書き、その他前提知識の違い)や反応次第で言葉を選んだり、具体的な実装方法まで踏み込むかどうか決めたいので…

    興味がある方はTwitter(X)等でご連絡、またはVRChat内でお声がけください。

    あなたへのおすすめ