
声が、0.5秒で返ってくる相棒にした土曜日 ― Silero VADと、すぐ話し出すストリーム発話
こんにちは!YaroTechです。
土曜日です。継続投稿340日目になりました。
ここ最近、ThinkPad X1 Carbonの中だけで動く音声相棒を、少しずつ育ててきました。先日は「クロ助」と呼びかけて起動させるウェイクワード(openWakeWord)を入れたところまで進み、そのときに「次の宿題」として二つ残していました。一つは、話し終わりを自動で判定する仕組み。もう一つは、日本語の「クロ助」を専用ワードとして学習させること。今日はそのうち前者、つまり「話し終わりの自動検出」を本丸に据えて、入口・区切り・出口を一本のループにまとめ上げました。さらに、しゃべり出しのテンポも大きく改善できたので、その実機の手応えを丸ごと記録します。
正直に先に言っておくと、「クロ助」専用ワードのカスタム学習のほうは、今回も手をつけられませんでした。これは次の宿題として、できなかったまま残します。できた風には書きません。
※見出し画像のプロンプトは一番下におまけで公開中!
🖥️ 実行環境
今回も主役はThinkPad X1 Carbon Gen13です。音声パイプラインは一貫してこの1台で完結させています。
ThinkPad X1 Carbon Gen13(Core Ultra 7 258V / Intel Arc 140V / NPU Intel AI Boost 48TOPS / メモリ32GB / Windows 11 Home 25H2・x64)
Python 3.12.10 / OpenVINO 2026.2 / openvino-genai 2026.2
音声認識(STT):whisper-base(OpenVINO・NPU常駐)
言語モデル(LLM):Qwen2.5-1.5B-Instruct(llama.cpp(CPUビルド b8581)/ llama-server port 18181)
音声合成(TTS):VOICEVOX(春日部つむぎ/speaker=8)
ウェイクワード:openWakeWord 0.6.0(onnxruntime 1.26.0 / ONNX)
今回の主役:Silero VAD(openWakeWordに同梱の `silero_vad.onnx`。追加インストールなしで、onnxruntimeから直接動かしています)
ひとつ注記です。openWakeWordとonnxruntimeはx64前提で動かしています。ARM64機(私が別で使っているSurface Laptopなど)はこの構成の対象外なので、同じ手順を試す方はx64マシンでお願いします。
🎯 この記事で得られること
音声相棒づくりで、多くの人が最初にぶつかるのが「いつ録音を止めればいいか問題」です。今日はそこを軸に、次の三つを持ち帰っていただけます。
一つめは、固定時間や音量で区切る方式と、VAD(話し終わりの自動検出)の違いです。録音を「何秒で切る」のではなく「話し終わったら切る」に変えると、会話の自然さが一段変わります。二つめは、入口(ウェイクワード)・区切り(VAD)・中身(STT/LLM/TTS)・出口(終了ワード)を一本のループに統合すると、体験がどう変わるか。三つめは、しゃべり出しの速さの作り方です。文章を丸ごと合成し終えてから話すのではなく、句読点ごとに先読みして話し始めると、最初の声がぐっと早く返ってきます。
そして最後に、うまくいかなかったところも正直に共有します。日本語「クロ助」専用ワードのカスタム学習は、今回も次の宿題のままです。
📊 実際の成果
いちばん体感が変わったのは、しゃべり出しの速さです。改善前は、応答の文章をまるごと音声に合成し終えるまで何も聞こえず、こちらは無言の数秒間をじっと待つことになっていました。体感では5〜10秒の沈黙です。
これを、句読点ごとに先読み合成しながら話し出す「ストリーム発話」に変えたところ、最初の声が出るまでが0.49〜1.00秒になりました。最初のひと声が1秒以内で返ってくると、会話のテンポは別物になります。実際に使ってみて、「かなりテンポよく会話できた」というのが正直な手応えでした。
区切りの主役であるSilero VADも、想像以上に軽い働き者でした。モデルの読み込みは0.03秒、1フレームあたりの推論は平均0.29〜0.30ミリ秒です。1フレームが32ミリ秒ぶんの音声なので、その処理にかかる時間は全体のおよそ1%。発話があるときのVADスコアは0.66〜1.00とくっきり立ち上がり、「いま声がある/ない」をはっきり判定してくれました。
🚀 実践内容
今回やったことは、大きく三つのアプローチに分けられます。
① 同梱のSilero VADを、追加インストールなしで直接動かす
うれしい発見だったのが、ウェイクワードに使っているopenWakeWordの中に、すでにSilero VADのモデル(`silero_vad.onnx`)が同梱されていたことです。つまり新しく何かをインストールしなくても、このファイルをonnxruntimeから直接呼び出すだけで、話し終わりの自動検出が始められました。
同梱モデルはv4系で、16kHzの音声を512サンプル(32ミリ秒)ずつのフレームに区切って渡すと、そのフレームに人の声らしさがどれだけあるかをスコアで返してくれます。このスコアが下がって一定時間続いたら「話し終わった」と判定する、という素直な仕組みです。
② 入口・区切り・中身・出口を、一本のループに統合する
次に、これまで別々だった部品を一本につなぎました。入口はopenWakeWord(「クロ助」と呼んで起動)、区切りは今回のSilero VAD(話し終わりを待つ)、中身はwhisper-base(聞き取り)→Qwen2.5-1.5B(考える)→VOICEVOX(しゃべる)、そして出口は「ばいばい」と言うと会話を終える、という流れです。
実機での内訳はこうなりました。ウェイクワードの読み込みは0.06〜0.10秒で、「hey jarvis」の検出スコアは0.49〜0.85。これは英語のワードを日本語話者の私が発音しているのでばらつきますが、ちゃんと起動はします。聞き取り(whisper-base/NPU)はモデルの読み込みこそ初回だけ約10.2〜10.7秒かかりますが、いったん載ってしまえば文字起こし自体は0.06〜0.17秒。考える部分(llama.cppのCPU推論・8スレッド)は0.46〜1.43秒でした。
動作中のシステム負荷も見ておきました。CPUは47〜56%(llama.cppのCPU推論が主役)、NPUは0〜2%(whisperが動く一瞬だけ)、GPUは1〜2%、メモリは16.5GB/31.5GB(52%)。つまり、待機しているあいだはNPUがほぼ0%で、肝心の聞き取りの足を引っ張らない、という設計になっています。
③ TTSを句読点ごとのストリーム発話にして、初声を早くする
最後が、テンポを決定づけた工夫です。これまでは応答文を最後まで音声に変換し終えてから再生していたので、文が長いほど待ち時間が伸びていました。これを、句読点が来るたびにそこまでを先に合成して話し始める方式に変えました。読点や句点を「ここまでで一度しゃべってよい区切り」として使う、というイメージです。
この一手で、最初の声が出るまでが0.49〜1.00秒に短縮されました。ここで大事なのは、いわゆる「応答の速さ」と「最初の声が出るまでの速さ」は別物だということです。前者はLLMが考え終わるまで、後者はそこからさらに音声が鳴り始めるまで。会話の体感を決めるのは後者なので、今回はそこを測って改善しました。
⚠️ つまずきポイントと解決策
きれいに完成しただけ、では正直な記録になりません。今回ぶつかった壁を、そのまま書きます。
間(ま)の長さは、速さとのトレードオフだった
VADで「無音がどれくらい続いたら話し終わりとみなすか」を決める必要があります。これを700ミリ秒にすると、話し終わってすぐ反応してくれて速いのですが、少し考えながら話して間が空くと途中で切られがちになります。1000ミリ秒にすると、ゆっくり話しても切られにくくなる代わりに、反応がもったりします。両方試した結果、会話用には700ミリ秒を採用しました。速さを取った形ですが、ここは好みと使い方で変わるところです。
会話モード中は、VADがテレビの声まで拾ってしまう
これが今回いちばん正直に書いておきたい限界です。待機しているあいだは、ウェイクワード(openWakeWord)がテレビの音をきちんと弾いてくれます。ところが、いったん会話モードに入ると、区切り役のVADには「これは自分の声か、テレビの声か」を見分けるゲートがありません。VADはあくまで「人の声らしさ」を見ているだけなので、テレビから流れる人の声も普通に拾ってしまうのです。実際、テスト中にテレビの音声(「おじんのお客さんが」というセリフ)をそのまま取り込んでしまいました。これは仕組み上の構造的な限界で、いまのところ静かな環境を前提にするしかありません。将来的には話者識別(自分の声だけを通すゲート)が課題になります。

whisper-baseは軽さ優先ゆえに、たまに聞き間違える
聞き取りに使っているwhisper-baseは、軽くて速い代わりに精度は控えめです。実際に「元気」が「電気」に、「ビス」が「バチカン」になるといった誤変換が出ました。これも軽さとのトレードオフとして、正直なところとして残しておきます。
日本語環境では `PYTHONUTF8=1`
細かいですが、Windowsで日本語まわりの文字化けを避けるため、`PYTHONUTF8=1` を設定しておくと安定します。地味ですが効きます。

💡 応用例
入口・区切り・出口がそろったことで、「声だけで一周回る相棒」の骨格がようやく形になりました。「クロ助」と呼べば起き、話し終われば自動で待つのをやめて考え始め、「ばいばい」と言えば眠る。キーボードに一度も触れずに一往復できる、というのは想像以上に気持ちのいい体験です。
設計面で気に入っているのは、待機中のNPU使用率がほぼ0%という点です。普段はNPUを遊ばせておき、聞き取りが必要になった一瞬だけ使う。こうしておくと、常駐させていても他の作業の足を引っ張りません。音声相棒を「常に起動しっぱなしにしておく道具」として考えると、この「待機中は限りなく軽い」という性質はけっこう重要になります。

🔗 関連記事
今回の内容に関連する過去記事もぜひご覧ください:
📝 まとめ
340日目の土曜は、X1の中だけで動く音声相棒に「話し終わりの自動検出」を入れて、入口・区切り・中身・出口を一本のループにまとめました。
区切りの主役はSilero VAD。openWakeWordに同梱されていたモデルを、追加インストールなしでそのまま使えました。読み込み0.03秒、推論は1フレームあたり0.3ミリ秒前後と、とても軽い働き者でした。さらにTTSを句読点ごとのストリーム発話に変えたことで、最初の声が出るまでが0.49〜1.00秒に。実際に使って「かなりテンポよく会話できた」というのが正直な手応えです。
一方で、会話モード中はVADがテレビの声まで拾ってしまうという構造的な限界も見えました。whisper-baseのたまの聞き間違いも含めて、ここは静かな環境を前提にする、という割り切りの上での完成です。そして、日本語「クロ助」専用ワードのカスタム学習は、今回も手をつけられず、次の宿題のまま残りました。
🚀 次回予告
次こそ、残してきた宿題の本丸――「クロ助」専用ウェイクワードのカスタム学習に挑みます。openWakeWordは合成音声から学習させる仕組みなのですが、日本語のワードは英語のTTSに綴りを寄せる必要があり、ここに壁があります。学習自体もColabが必要になりそうです。あわせて、今回見えた「会話モード中もテレビを弾く」ための話者識別やゲートも、その先の課題として考えていきます。手元の相棒を、もう一歩だけ賢くしていきます。お楽しみに!
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロ助の参考画像(`AI擬人化\Gemini_Generated_Image_クロ助(Claude Desktop).png`)を添付して、人物の一貫性を確保しています。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。サイズは必ず横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「Gemini_Generated_Image_クロ助(Claude Desktop).png」→ クロ助(クリーム色ケーブルニット・丸眼鏡・ダークブラウンのウェーブヘアの女性)
キャラクターは必ず添付画像の外見を忠実に再現してください。
## 見出し画像案
### デザインコンセプト
- 背景: あたたかいティールから、やわらかなクリーム色へのグラデーション(軽やかでテンポのよい会話の空気)
- メインビジュアル: クロ助が、机の上のノートPC(X1)に向かって話しかけ、話し終わると自然に"間"が生まれて録音がすっと締まる様子
- 中央: クロ助(ダークブラウンのウェーブヘア、丸眼鏡、クリーム色ケーブルニット、女性)。やさしい表情で、画面に向かって軽やかに話しかけている
- 手元: ノートPC(X1)の画面に音声の波形が描かれ、話し終わったところに"くぎり線"がすっと入る(=Silero VAD=区切りの可視化)
- 周囲: 声がすぐ返ってくるテンポ感を、軽やかに往復する吹き出しで表現
- テキスト要素(3段):
- 上段(白・太字・30pt): 「話し終わりを、自動で待つ」
- 中段(特大ゴールド・48pt): 「声が0.5秒で返る相棒」
- 下段(白・細字・22pt): 「Silero VAD+ストリーム発話・340日目」
- 装飾: 軽やかな吹き出しの往復、波形とくぎり線、やわらかい光の粒
### 作成手順
1. 画像サイズ(1536×1024px)の横長フォーマット
2. あたたかいティールからクリーム色への、軽やかでテンポのよいグラデーション背景を設定
3. クロ助(中央・ノートPCに話しかけている)を配置
4. 添付したクロ助の参考画像と外見を一致させる(女性・クリーム色ニット・丸眼鏡・ウェーブヘア)
5. ノートPCの画面に音声波形を描き、話し終わりに"くぎり線"が入る様子を象徴的に描く
6. 装飾要素:軽やかに往復する吹き出し、波形とくぎり線、やわらかい光の粒
7. テキストを3段構成で追加(上段30pt白・中段48ptゴールド・下段22pt白)
8. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置(右下ではない)
9. 全体のバランスを確認して完成#YaroTech #生成AI #音声AI #ローカルLLM #SileroVAD #ClaudeDesktop #継続は力なり #AI活用