メインコンテンツへスキップ
見出し画像

【怪文書】超低遅延音楽セッションアプリ開発進捗報報告

    うさぎちゃんの野心的プロジェクト「LSSS」は、SYNCROOMをライバルに超低遅延セッション実現を目指したアプリです。
    ほんとにそんなこと言って大丈夫なのか?
    現状うさぎ星↔️東京リージョンAWS間の往復で 26ms の低遅延での音声伝送ができることを確認できました。これは結構速い!
    ※ 4/9 UDP処理改良で往復14msまで遅延を短縮できました!

    深夜のP2P実験ぴょん
    東京リージョンのAWS上のWindowsに音声を送ってエコーバックしてきた声(左)とローカルの音声(右)のタイミング比較です
    かなりラグ少ないような気がする!
    ブツブツするのがだいぶ気になりますが、これはバッファの処理改善で解消するはず(してほしい)#LSSS pic.twitter.com/O0U3hMQuwn

    — ドコカノうさぎ🐰メタバースアイドル🎤VIVE公式アンバサダー (@patsupyon) March 4, 2025

    LSSS = Light Speed Sonic Sync

    ● スペック

    音声品質は16bit、48000Hz、PCM無圧縮です。(転送レートは800Kbpsくらい)
    まだ音声にプチプチノイズがのるなど課題がありますが、これは遅延とは別の原因なので解決は可能な見込みです。
    (ノイズが再生が間にあわずあふれたバッファをクリアするときに発生するのでロジックで解決したい→ゼロクロス法で解決できそう)

    ● SYNCROOMの性能

    ライバルのSYNCROOMはアプリ上では片道のラグを表示してるようですが、近距離なら8~9ms(ということは往復で16~18ms)でることがあるようです。

    実際にはこれにオーディオインターフェースとの入出力ラグがあるので実測するともっとかかります(つよつよオーディオインターフェースを使って6msとしましょう)

    実際にネット越しにセッション(デュエット)する場合、こちらの声が相手にとどいてそれを聞いた相手が歌って、その声が自分側にもどってきて耳に聞こえるまでの時間が重要です。

    ● ラグ計算

    ラグは以下で発生します。先程のSYNCROOMの最速環境を例にあげると

    1. マイク入力のオーディオインターフェースのラグ:6ms

    2. 相手への通信(バッファリングなどのラグ含む):8ms

    3. 相手のPCからヘッドホン出力のオーディオインターフェースのラグ:6ms

    4. 相手(人間)の反応時間は0とする 

    5. マイク入力のオーディオインターフェースのラグ:6ms

    6. 自分への通信(バッファリングなどのラグ含む):8ms

    7. 自分のPCからヘッドホン出力のオーディオインターフェースのラグ:6ms

    ということで往復で 40ms のラグということになります。

    ● LSSSの計測結果の解釈

    LSSSの 26ms のラグは上記の2,6,7 の部分の処理にあたります。
    その部分をSYNCROOMの場合で合計する22msになります。SYNCROOMほうが4ms速いじゃん

    とはいえ、うさぎの環境のオーディオインターフェース(バッファ256ということもあり)はラグは6msより大きいです。
    現時点ではこの勝負引き分けかな!
    LSSSはまだまだ改善の余地があるのでSYNCROOMより速くなる可能性あります

    ● さらなるラグ軽減の可能性

    音声バッファ処理を除いたデータの転送だけに限定すると、うさぎ星↔️東京リージョンAWS間で6msでデータ転送が往復します。オーディオインターフェースのラグより小さい!人間には認識できないレベルです。
    バッファ処理の最適化を重ねれば理論値ではここまでいくのでは?
    バッファの処理は最終的にはASIOのドライバー次第なんで限界ありますが、DAWでの録音時のモニター音声のラグに文句言う人はいないでしょうし十分以上の成果はだせるはず。

    ● LSSSの強み

    あと、LSSSは遠距離に強いかもしれない。
    なぜかSYNCROOMは遠方だと通信ラグが妙に大きい環境多いですね。
    うさぎ星↔️福岡でデータ転送が22msのみのラグでできています。遠距離だとLSSSのほうがラグが小さくなる可能性あります。

    うさぎ星から沙影ちゃんちまで900Kmくらい。
    沙影ちゃんちまで音声を送って、それをそのまま送り返す実験をしたぴょん

    右側がローカルのうさぎの声で、左側が往復1800Kmを旅してきた声です。
    送った声が返ってくるラグは30ms以下な気がする。下手したらローカルの遅めのボイチェンより速い。#LSSS pic.twitter.com/F9t8X6TAv4

    — ドコカノうさぎ🐰メタバースアイドル🎤VIVE公式アンバサダー (@patsupyon) March 11, 2025


    画像
    StudioOneで波形を見て遅延を計測(下がローカル、上が1800Kmの旅で帰ってきた音声)

    沙影ちゃんとのループバックは40ms。
    純粋にデータだけなら20msで返ってきてるので差分はASIOに渡すバッファ分かな。

    いまバッファサイズは512サンプルなので、512/48000で約0.01 = 10ms。
    録音再生でそれぞれ10msかかって+20msになるなら理屈があう

    バッファサイズを減らせばラグはさらにへらせそう。
    ただそのぶんパケット数が増えるからUDPといえどもつまっちゃって遅延しちゃう。でもその程度でつまらないでほしい。どこがボトルネックになっているか調べなきゃ

    ● P2Pの実現方法

    みんなのお家のパソコンはインターネットに直接晒されているわけではなくルーターを介してNAT経由でつながっています。
    そのため直接は通信が行えません。
    そこで、UDPホールパンチングという手法をつかって直接パケットが届くようにしています。
    そのためには通信したい二人がお互いのIPアドレスをポート番号を知る必要があります。

    そのための通信調停とロビー機能の実現のために、サーバー側アプリも開発しました。
    通信するときはサーバーの部屋(複数開ける)にはいると、同じ部屋にはいった人のIPアドレスを取得できるようになっています。

    一定時間経過するとポートが閉じてしまうので死活監視を兼ねて定期的にサーバーからもパケットを送信しています(エコーバックしてもらってPing値も測定)

    こちらはなかなかいい感じに実装できましたので、いろんな用途で使えそうです。
    スクリプト1つAWSで動かすだけなので運用も簡単(要 .Net core)

    アプリ名は「RabbitHole」と名付けました。

    ● 今後の課題

    今後の課題としてはUDP通信の安定性がどうなるか。
    P2Pなので参加者数が増えれば増えるほど乗算で通信量がふえることになりますが帯域はともかく、UDPのパケットをそんなに大量にさばけるのかという疑問があります。
    現状もバッファサイズを256(512byte)より小さくすると通信が遅れて途切れ途切れになるので、この辺が限界なのか?
    でも、Windowsでも秒間15万パケットは処理できるという話もありまだまだ余裕なはず。がんばれWindows!
    アプリ側の処理の問題もありそうではある!この辺を早めにクリアしたい。

    ● さらなる野望

    P2Pで低遅延が実現できることはわかっています・・・が!
    いまのメタバースはとにかくラグが多い!
    低遅延なメタバースをつくってでニッチを攻めたい。音楽ライブをはじめ演劇、ダンスでは唯一無二の存在になれたらなあと考えています。
    LSSSはそのための基礎研究でもあります。

    ● さまざまな不安

    うさぎちゃんが趣味で作れているくらいなので、大企業がこの方向でいこう!ってなったら簡単に実装できちゃいそうですね><
    しかしニッチバースに大企業が事業継続できる採算性はあるのか? ないなら、うさぎちゃんは生き残れるかもしれない!

                                                            *     *    *

    ● ついに沙影ちゃんとリモートデュエット

    深夜のP2P実験
    大きな前進!ついに沙影ちゃんとリモートデュエットできたぴょん!

    うさぎ星←→福岡の遠距離でもラグが少ないのでかなり喋りやすいし声を重ねてのデュエットも歌いやすいです。
    想定してたよりはまだラグはあるけど、もっと低遅延にできるはず。引き続き開発進めます!#LSSS pic.twitter.com/tQHkA5JDms

    — ドコカノうさぎ🐰メタバースアイドル🎤VIVE公式アンバサダー (@patsupyon) March 10, 2025

    ASIO録音、UDPホールパンチングによるP2P、UDPパケット通信、ASIO再生のすべてのパーツがそろってついに念願のリモートデュエットを実現したよ!
    理屈のうえではできるはずでしたが、ほんとに動作すると感動です!!!

    カエルの歌を輪唱じゃなくてタイミング合わせて歌えました。
    もっとラグは減らしたし減らせるとおもいますが、まずは第1目標達成です。
    今後も開発を進めていきますので乞うご期待!

    最新情報はTwitter でハッシュタグ #LSSS で検索してください!

    https://x.com/search?q=%23LSSS&src=typed_query

    最新情報

    4/14 悩まされていたノイズを大幅低減できました!

    超低遅延セッションアプリ #LSSS 実用化の目処がたってきたぴょん
    ノイズ問題が大幅改善!
    うさぎ星↔️AWS東京リージョンでの往復でラグ 15ms です(片道7.5秒)。
    通信自体は往復8秒(片道4秒)でできてます。… pic.twitter.com/0ByyWcDHHP

    — ドコカノうさぎ🐰メタバースアイドル🎤VIVE公式アンバサダー (@patsupyon) April 14, 2025

    ノイズ問題が大幅改善!実用化の目処がたってきたぴょん

    うさぎ星↔️AWS東京リージョンでの往復でラグ 15ms です(片道7.5秒)。
    通信自体は往復8秒(片道4秒)でできてます。

    【いままでの課題】
    受信した音声パケットにはタイミングにゆらぎがあるため再生できなかった分がバッファにどんどんたまって遅延が増えていった。乱暴にバッファクリアしていると盛大にノイズが載った。

    【今回の改良】
    バッファがたまったときにゼロクロッシング法でノイズが少なくなるポイントでスキップすることでノイズ低減できた。波形の符号が切り替わるポイント間をスキップする方法だけど、変異が最も穏やかな箇所を採用することにすることで更にノイズを減らせた

    【今後の改良】
    ・ノイズが低減されたとはいえまだプチプチノイズが入る。ノイズ除去のアルゴリズムを追加するか別方式も試す(再生テンポを速くするなど)
    ・音声データレベルでは往復8msで返ってきてるので7ms余計に時間がかかっている(そのうち3ms強はASIOドライバーやオーディオインターフェース分)
    ・ローカルの自分のマイク音声と相手の音声をミックスして再生できるようにする
    ・オケ音源を再生できるようにする(自分の声にミックスして送信する)
    ・パケットのジッタを計測して改良につなげる

                                                            *     *    *

    ● おまけ

    LSSSのロゴはChatGPTさんに作ってもらいました!

    画像
    LIGHT SPEED SONIC SYNC ロゴ

    怪文書をChatGPTさんに読んでもらった感想

    画像

    ● 今後について

    ある程度完成度がたかまってきましたら実際に音楽セッションをされているみなさんに試用していただきたいと考えています。
    その際はご協力よろしくおねがいします。


     
     
    テクノロジーをスパイスにかわいくなりたいVTuber「ドコカノうさぎ」です。 VR世界&イベント紹介/ライブ開催、UnityやBlenderでの制作などクリエイト活動 #ジビエーズ としてアイドル活動もしてます! noteでは制作やTIPS記事、レビュー記事を書いています

    あなたへのおすすめ