メインコンテンツへスキップ
見出し画像

VRChatを声で操作するシステムの作り方(音声認識→OSC→Contact→Udon)

VRChatのワールドを声で操作するシステムを作った。「電気消して」で部屋の照明が落ち、「ルームツーにテレポート」で指定地点へ移動する。MZボイスキャプチャー(MZVC)という名前で運用している。

この記事はその構築方法をまとめたものである。前半は仕組みと設計判断、後半は実装手順と実際に踏んだ罠を扱う。

先に結論を書く。この種のシステムの難所は音声認識ではない。音声認識は既製のエンジンを組み込めば動く。難所は、認識結果をワールド側のスクリプトへ届ける経路がVRChatに用意されていないことにある。

信号の流れ

発話からワールドが反応するまで、信号は次の順で形を変える。

① マイク入力
② 音声認識(ローカル・オフライン)
③ OSC送信(アドレスは avatar/parameters/VC_cmdN)
④ アバターのFXアニメーションが発信機を移動させる
⑤ ワールドの Contact Receiver が接触を検知
⑥ Udonがコマンドを実行(必要なものは全員に同期)

④が冗長に見えるはずである。認識結果を直接ワールドへ渡せば済む話に見えるが、それができない。理由を次に書く。

制約:外部からワールドへ値を渡す経路がない

VRChatにはOSC(Open Sound Control)による外部連携がある。PC上のアプリからUDPで値を送ると、VRChatがそれを受け取る。ここまでは公式機能である。

ただしOSCが書き換えられるのは自分のアバターのパラメータだけである。ワールド側のUdonスクリプトへ直接値を渡す経路は公式には存在しない。仕様としてそうなっているため、迂回策を探すのは筋が悪い。

整理すると次のようになる。

・音声認識アプリ→(OSC)→アバター:公式ルートあり
・音声認識アプリ→ワールド:経路なし
・アバター→ワールド:ここをどう繋ぐかが問題

3つ目をどう繋ぐかが、システム全体の設計を決める。

唯一の経路:PhysBone Contact

VRChatには、アバターと対象オブジェクトの接触を検知する Contact Sender(発信機)と Contact Receiver(受信機)がある。本来はアバター同士の接触判定や、ワールド側スイッチの押下に使うものである。しかし事実上、これがアバターからワールドへ情報を渡せる唯一の公式チャンネルでもある。

したがって構成はこうなる。音声認識の結果でアバターのFXアニメーションを再生し、そのアニメーションで発信機を物理的に移動させる。ワールド側の受信機に接触した瞬間、Udonが起動する。

遠回りに見えるが、公式に許された経路がここしかない。このシステムの構造は、すべてこの制約から決まっている。

設計判断①:音声認識はローカルで動かす

選択肢はクラウドAPIかローカルエンジンかの2つである。ローカル(Vosk)を選んだ。判断材料は精度ではなく運用条件だった。

・遅延:ローカルはほぼゼロ。クラウドは通信の往復分を待つ
・費用:ローカルは無料。クラウドは発話量に比例して増える
・常時起動:VRChatで遊ぶ間、マイクは数時間開きっぱなしになる。クラウドだと課金が続き、雑談を含む全音声が外部へ送られる
・配布:ローカルはモデル同梱で完結。クラウドは利用者にAPIキーの取得を要求することになる

日本語モデルは95MB程度なのでアプリに同梱できる。結果として、ダウンロードして起動するだけの配布形態になった。精度差は後段の判定で埋められる範囲だった。

設計判断②:1コマンド=1チャンネル

最も時間を無駄にした部分であり、最大の学びでもある。

コマンドが増えると、アバターの同期パラメータ数を節約するためにビット合成を考える。4ビットで16種類、5ビットで32種類。発想としては正しい。これで一度組んで失敗した。

ビット合成は、複数のパラメータが同時に正しい値になっていることを前提にする。しかしネットワーク同期は値を1つずつ、別々のタイミングで運ぶ。0101(5番)を送っても、受信側は途中で0001や0100を一瞬観測する。存在しないコマンドが誤爆する。ローカルテストでは再現せず、人がいるインスタンスでのみ発生する。

同じ理由で、1本のパラメータを高速に点滅させて番号を表現するストローブ方式も破棄した。フレームレートが落ちた環境ではパルスが欠ける。

最終的な方式は単純である。コマンドごとに、専用のパラメータ・専用の発信機・専用の受信機を1セットずつ持つ。パラメータ消費は増え、配線も増えるが、中間状態が存在しない。パラメータが1本立てばそのコマンドであり、それ以上の解釈がない。

同期が絡む設計では、符号化の効率よりも、あり得ない中間状態を作らないことを優先したほうがよい。

設計判断③:認識のゆらぎを2段構えで吸収する

ローカル認識は一定の割合で誤認識する。実際に記録された例を挙げる。

・「ルームツーにテレポート」→「ルーム通にテレポート」「ルーム痛にレポート」
・「ルームワン」→「ルームは」「ルーム湾」
・「カーテン」→「ガーテン」「カーデン」

完全一致で判定するとこれらは落ちる。逆に曖昧一致を強めると、雑談中の単語で照明が消える。そこで判定を2段に分けた。

1段目はフレーズ一致である。「カーテン開けて」のような完全形が来たら即採用する。速く、確実に通る。

2段目はキーワード群のAND判定である。コマンドを意味の骨格に分解し、各グループから1語ずつ揃ったときだけ成立とする。「温泉へテレポート」なら、移動を表す語の群(テレポ、てれぽ、レポート、行き、行く、連れてって)と、行き先の群(温泉、おんせん、旅館、お風呂、風呂)の両方から拾えたときに発火する。「温泉に連れてって」でも通り、「温泉よかったね」では発火しない。

候補語を列挙する作業は泥臭いが、音声UIの品質は認識エンジンの性能よりこの後段で決まる。

もう1点、確定結果が出るまで実行しないこと。途中経過の暫定結果で発火させると、言い終わる前に動作が始まる。判定を一行足すだけだが体感が変わる。

設計判断④:効果範囲を先に決める

コマンドは効果範囲で2種類に分かれる。

・照明の点灯や色変更:その場の全員に反映する(同期する)
・テレポート:発話者本人だけを動かす(同期しない)

後者を同期させると、誰か一人の発話でインスタンス全員が移動する。

さらに発話位置でも動作を変えている。メインの建物で「消して」と言えば額縁のスポットライトが、ワンルームで言えば天井灯が消える。どちらの部屋にもいなければ何も起きない。実装は受信機を部屋ごとに置くだけである。

コマンド表を作る段階で、誰に効くか(全員か本人のみか)と、どこで効くか(グローバルか部屋単位か)の2列を持たせておくと、後から作り直さずに済む。

設計判断⑤:フィードバックを返す

発話から動作までは実測で1秒程度かかる。この間に反応がないと、利用者は認識されなかったと判断してもう一度発話する。結果として二重に発火する。

対策として、コマンドが成立した時点で確認を返している。

・音声:「承知しました」を、近くの人にだけ聞こえる音量で鳴らす
・視覚:アバターに付けたリング型アクセサリが発光して回る。色コマンドなら該当色の宝石が光る
・結果:照明の変化やテレポートそのもの

視覚側は趣味の領域だが、反応が返らないインターフェースは、正常に動作していても故障しているように受け取られる。実装時間の何割かをここに割く価値がある。

前半のまとめ

前半の設計を整理すると次のとおり。

・音声認識:ローカル(Vosk・95MB)。常時起動・オフライン・同梱配布のため
・アバターへの伝達:OSC。唯一の公式経路
・ワールドへの伝達:PhysBone Contact。唯一の公式経路
・コマンドの表現:1コマンド=1チャンネル。中間状態を作らない
・認識のゆらぎ:フレーズ一致とキーワードのAND判定
・効果範囲:コマンドごとに同期と非同期を決める
・フィードバック:音・光・結果の3系統

ここまでが設計の話である。以降は実装手順と、実際に踏んだ罠を扱う。アプリ側のOSC送出、アバター側の配線(罠の大半はここにある)、ワールド側Udonの構造、動かないときの切り分け手順の順に書く。

あなたへのおすすめ