
🚀 次世代AI配信相棒システム「AIVT-Studio-v2」徹底解剖
🚀 次世代AI配信相棒システム「AIVT-Studio-v2」徹底解剖
個人開発でここまで来た!「ただのチャットAI」を超え、配信の空気まで読む「真の相棒(Sidekick)」を目指して開発しているプロジェクトの全貌を公開します。
🌟 このシステムの何が凄いのか?(主要機能)
0. 「目に見える会話」:爆速リアルタイム字幕
精度の高い音声認識(ASR)により、自分の発話を即座に画面上に字幕表示。配信のアクセシビリティを飛躍的に高めます。
0.5. 「世界に届ける」:多言語同時翻訳
DeepL または Google 翻訳とシームレスに連携。自分の言葉も、AIの言葉も、指定した言語(英語、中国語 etc...)へリアルタイムで翻訳・表示し、海外リスナーとの壁を取り払います。
1. 究極のリスニング体験:呼吸を合わせる「割り込み」機能 【NEW!】
「AIが喋っている途中に被せて話し始めても、AIが空気を読んで即座に黙る」機能を実装。
仕組み: マイクの入力RMS値をリアルタイム監視。TTS再生中でも、ユーザーの発話エネルギーが閾値を超えた瞬間に再生プロセスを強制終了。
効果: 「AIのセリフが終わるのを待つ」というストレスが消え、人間同士のようなテンポの良い会話が実現しました。
2. マルチプラットフォーム対応のコメント自動応答
「コメビュ」と強固に連携し、YouTube/Twitch/ニコ生など、あらゆる配信プラットフォームのコメントをAIが「見て」返答します。
神機能: メンション(@ニア 等)が来た時だけ反応するスマートモード搭載。
3. AIが「画面を見て」実況する:Vision連動
最新のビジョンモデル(Gemini / GPT-4o-mini)を統合。
AIが一定時間ユーザーの無言を検知すると、「現在のゲーム画面をキャプチャして内容を理解し、独り言や実況を行う」。
あなたが集中して黙っている時も、AIの相棒が配信を盛り上げ続けます。
🛠 技術スタック (The Tech Behind Nia)
Backend: Python (FastAPI / Socket.IO)
Frontend: React / TypeScript / Vite / TailwindCSS
音声認識 (ASR): faster-whisper (Whisper Medium / GPU) / Web Speech API
多言語翻訳: DeepL API / Google Translate API
思考エンジン (LLM): OpenAI GPT-4o-mini / Google Gemini 2.0-2.5
画像認識 (Vision): Gemini / GPT-4o-mini
音声合成 (TTS): AivisSpeech (Local) / Edge-TTS
ステート管理: Zustand (Frontend シームレス連携)
💡 こだわりの「エモ」ポイント
動的なリップシンク: マイク入力(自分)またはTTS出力(AI)の音量に合わせてアバターの口が動きます。
アイドルトーク: 誰も喋っていない時間が続くと、AIが自ら話題を提供。配信に「静寂」を作りません。
注)配布予定はありません