Claude CodeでAIチャットボットをド素人が作った話
はじめに
完全ローカル動作するAIチャットボットのデスクトップアプリを、FastAPI + Tauri + React で一から作りました。音声合成・感情表現・Web検索まで備えた本格的な構成です。外部APIは一切使わず、すべて自分のPC上で完結します。
完成したものの概要
LLM:Ollama または LM Studio 経由でローカルモデルを使用
音声合成(TTS):Irodori-TTS-Server(日本語特化モデル)
Web検索:DuckDuckGo(APIキー不要)
フロントエンド:Tauri v2 + React 18 + TypeScript
バックエンド:Python FastAPI + WebSocket
データ保存:SQLite(会話履歴・設定の永続化)
キャラクター名・パーソナリティ・モデル・音声設定などはUIから変更でき、再起動後も設定が保持されます。
システム構成
[Tauri Desktop App]
└─ React (TypeScript) フロントエンド
↕ WebSocket / REST API
[FastAPI バックエンド]
├─ LLM Client (OpenAI互換 → Ollama / LM Studio)
├─ TTS Client → Irodori-TTS-Server (:8088)
├─ Web Search → DuckDuckGo
└─ SQLite (会話履歴 / 設定)
実装フェーズ
Phase 1:バックエンド基盤
FastAPI のプロジェクト構成を整え、設定管理・LLMクライアント・TTSクライアント・感情抽出・オーケストレーターを実装しました。
設定管理は pydantic-settings を使い、lru_cache を使わないミュータブルなシングルトンにしました。これにより、UIから設定を変更したときに即座にランタイムへ反映できます。
backend/config.py
class Settings(BaseSettings):
llm_base_url: str = "http://localhost:11434/v1"
llm_model: str = "llama3.1:8b"
tts_base_url: str = "http://localhost:8088/v1"
tts_num_steps: int = 10
character_name: str = "アシスタント"
character_personality: str = ""
# ...
settings = Settings() # lru_cache なし=setattr で変更可能
LLMへの出力には感情タグ [感情:happy] を埋め込む指示をシステムプロンプトに含め、フロントエンドのアバター表示と連動させています。
Phase 2:WebSocket + 会話履歴
WebSocketエンドポイントを実装し、LLMのストリーミング出力をリアルタイムでフロントエンドに流す仕組みを作りました。
SQLiteには3つのテーブルを用意しました:
conversations:会話セッション
messages:メッセージ履歴
app_settings:設定のキーバリューストア
会話履歴のソートで ORDER BY created_at DESC を使うと、同じ秒内に挿入されたメッセージの順番が狂うバグがありました。ORDER BY id DESC に変更することで解決しました。
Phase 3:Tauri + React フロントエンド
Tauri v2 + React 18 + TypeScript でデスクトップアプリのUIを実装しました。スタイリングは Tailwind CSS v4(@tailwindcss/vite プラグイン)、状態管理は Zustand を使っています。
主なコンポーネント:
チャット画面(メッセージ一覧・入力フォーム)
アバター表示(感情に応じて normal.png / happy.png などを切り替え)
設定モーダル
WebSocket接続状態インジケーター
Phase 4:Web検索 / 設定永続化 / エラーハンドリング
Function Callingを使ってWeb検索を組み込みました。LLMが必要と判断したときだけ検索を行い、結果を踏まえて再度回答します。当初はSearXNG(セルフホスト検索エンジン)を予定していましたが、Dockerなしで動かすためにDuckDuckGoの非公式ライブラリに差し替えました。
TTS パイプラインの工夫
最初のTTS実装では、LLMが全文生成し終わってからTTS処理を開始するという直列な流れでした。これでは長文の回答で体感のラグが大きくなります。
そこでストリーミング中に文末を検出し、即座にTTSタスクをスケジュールするパイプラインに変更しました。
LLM streaming ─→ 文末検出 ─→ asyncio.create_task() で即スケジュール
↓
Semaphore(1) で直列実行
(並列リクエストによるサーバー過負荷を防ぐ)
_tts_semaphore = asyncio.Semaphore(1)
async def on_chunk(text: str):
# 文末検出時に即 create_task
for clause in to_synthesize:
asyncio.create_task(
_synthesize_and_send(clause, idx, send_event)
)
async def _synthesize_and_send(text, index, send_event):
async with _tts_semaphore: # 直列実行を保証
audio_bytes = await synthesize(text)
await send_event({"type": "audio_chunk", "data": b64, "index": index})
LLMがまだ生成中でも、最初の文が出た時点でTTSが動き始めるため、体感の応答速度が大幅に改善されます。
Irodori-TTS-Server のセットアップ
日本語TTSには Irodori-TTS-Server を使いました。同じ作者の Irodori-TTS(Gradioアプリ)とは別リポジトリなので注意が必要です。
Gradio UI版:https://github.com/Aratako/Irodori-TTS(ポート7860)
REST APIサーバー版:https://github.com/Aratako/Irodori-TTS-Server(ポート8088)
バックエンドから呼び出すには REST API サーバー版が必要です。
音声ファイルの登録は voices/ ディレクトリに .wav を置くだけです。ファイル名がそのままボイスIDになります(大文字・小文字を正確に合わせる必要あり)。
tts_client.py
response = await client.post(
f"{settings.tts_base_url}/audio/speech",
json={
"model": "irodori-tts",
"input": text,
"voice": settings.tts_voice_id,
"response_format": "wav",
"irodori": {"num_steps": settings.tts_num_steps},
},
)
irodori.num_steps は推論ステップ数で、デフォルト40・最速10でも品質は十分でした。10に設定することで音声生成速度が大幅に向上しました。
起動バッチファイル
毎回複数のターミナルを立ち上げるのは面倒なので、一発起動の start.bat を作成しました。
起動順序と待機時間を考慮して以下の順に立ち上げます:
Ollama(すでに起動中なら無視)
Irodori-TTS-Server
FastAPIバックエンド(3秒後)
フロントエンド / Tauri(5秒後)
日本語を含むバッチファイルは文字化けしやすいため、PowerShell から [System.IO.File]::WriteAllText で ANSI エンコード指定して生成しました。
ハマったポイントまとめ
問題原因解決策
TTS 404エラー(1回目)TTS_BASE_URL に /v1 が抜けていた.env に /v1 を追記
TTS 404エラー(2回目)GradioアプリのポートにAPIリクエストしていたIrodori-TTS-Server(別リポジトリ)を導入
TTS 400 Bad Request モデル名が間違っていたirodori-tts に修正
TTS Unknown voicewav ファイル名の大文字・小文字が違ったファイル名を小文字に統一
TTS 並列エラー 複数リクエストが同時にサーバーへ飛んでいたasyncio.Semaphore(1) で直列化
会話履歴の順番がずれる ORDER BY created_at は同秒内で不定ORDER BY id に変更
設定がリセットされる 起動時にDB復元処理がなかったlifespan で load_settings_from_db() を呼ぶ
バッチファイルが文字化け .bat の日本語エンコード問題ASCII のみに書き直し
duckduckgo_search の警告 パッケージが ddgs にリネームされたpip install ddgs で解決
最終的な構成ファイル
chatbot/
├── .env
├── start.bat
├── backend/
│ ├── main.py
│ ├── config.py
│ ├── requirements.txt
│ ├── db/
│ │ ├── database.py
│ │ └── models.py
│ ├── routers/
│ │ ├── chat.py
│ │ └── settings.py
│ └── services/
│ ├── llm_client.py
│ ├── tts_client.py
│ ├── orchestrator.py
│ ├── emotion.py
│ └── web_search.py
└── frontend/
└── src/
├── App.tsx
├── types/index.ts
├── store/chatStore.ts
├── hooks/useWebSocket.ts
└── components/
├── SettingsModal.tsx
└── ...
おわりに
完全ローカルで動くAIチャットボットをゼロから作ってみましたが、思った以上に実用的なものができました。特にTTSのパイプライン化による体感速度の改善は大きく、ストリーミング生成と音声生成を並行させるアーキテクチャは汎用的に使えそうです。
Ollama + Tauri + FastAPI の組み合わせは、プライバシーを守りつつ本格的なAIアプリを作りたい人にとって有力な選択肢だと思います。
↑ここまでAI文
↓ちょっとだけ中の人
これを作った次の日にOpen-LLM-VtuberとかAITuberKitとかあることを知ったという・・・Open-LLM-Vtuberのペットモードは往年の何か伺かを思い出させるものであったことは言うまでもない。
