メインコンテンツへスキップ
見出し画像
Photo byglue_ar

🚀 次世代AI配信相棒システム「AIVT-Studio-v2」徹底解剖

    🚀 次世代AI配信相棒システム「AIVT-Studio-v2」徹底解剖

    個人開発でここまで来た!「ただのチャットAI」を超え、配信の空気まで読む「真の相棒(Sidekick)」を目指して開発しているプロジェクトの全貌を公開します。


    🌟 このシステムの何が凄いのか?(主要機能)

    0. 「目に見える会話」:爆速リアルタイム字幕

    精度の高い音声認識(ASR)により、自分の発話を即座に画面上に字幕表示。配信のアクセシビリティを飛躍的に高めます。

    0.5. 「世界に届ける」:多言語同時翻訳

    DeepL または Google 翻訳とシームレスに連携。自分の言葉も、AIの言葉も、指定した言語(英語、中国語 etc...)へリアルタイムで翻訳・表示し、海外リスナーとの壁を取り払います。

    1. 究極のリスニング体験:呼吸を合わせる「割り込み」機能 【NEW!】

    「AIが喋っている途中に被せて話し始めても、AIが空気を読んで即座に黙る」機能を実装。

    • 仕組み: マイクの入力RMS値をリアルタイム監視。TTS再生中でも、ユーザーの発話エネルギーが閾値を超えた瞬間に再生プロセスを強制終了。

    • 効果: 「AIのセリフが終わるのを待つ」というストレスが消え、人間同士のようなテンポの良い会話が実現しました。

    2. マルチプラットフォーム対応のコメント自動応答

    「コメビュ」と強固に連携し、YouTube/Twitch/ニコ生など、あらゆる配信プラットフォームのコメントをAIが「見て」返答します。

    • 神機能: メンション(@ニア 等)が来た時だけ反応するスマートモード搭載。

    3. AIが「画面を見て」実況する:Vision連動

    最新のビジョンモデル(Gemini / GPT-4o-mini)を統合。

    • AIが一定時間ユーザーの無言を検知すると、「現在のゲーム画面をキャプチャして内容を理解し、独り言や実況を行う」。

    • あなたが集中して黙っている時も、AIの相棒が配信を盛り上げ続けます。


    🛠 技術スタック (The Tech Behind Nia)

    • Backend: Python (FastAPI / Socket.IO)

    • Frontend: React / TypeScript / Vite / TailwindCSS

    • 音声認識 (ASR): faster-whisper (Whisper Medium / GPU) / Web Speech API

    • 多言語翻訳: DeepL API / Google Translate API

    • 思考エンジン (LLM): OpenAI GPT-4o-mini / Google Gemini 2.0-2.5

    • 画像認識 (Vision): Gemini / GPT-4o-mini

    • 音声合成 (TTS): AivisSpeech (Local) / Edge-TTS

    • ステート管理: Zustand (Frontend シームレス連携)


    💡 こだわりの「エモ」ポイント

    • 動的なリップシンク: マイク入力(自分)またはTTS出力(AI)の音量に合わせてアバターの口が動きます。

    • アイドルトーク: 誰も喋っていない時間が続くと、AIが自ら話題を提供。配信に「静寂」を作りません。


    注)配布予定はありません

     
     
    運用・開発ログです。 字幕ツールやOBSプラグインを自作したり、AIを活用しています ここは、その開発過程や、試して良かった技術設定の備忘録。 同じように個人で工夫しながら配信環境を作りたい人や、技術周りに興味がある人やAIの有効活用のヒントになれば嬉しいです。

    あなたへのおすすめ