メインコンテンツへスキップ
見出し画像

「クロ助」だけに反応させたい ― 音量で起動する相棒を、"特定の単語"で起きる本物のウェイクワードに作り変える話

    こんにちは!YaroTechです。

    継続投稿336日目。今日は月曜の平日ハンズオン回です。

    ここ数日はClaude Fable 5まわりの緊急企画が続いていました。お待たせしました、今日は予告していた"本物のウェイクワード"の回です。

    先日(Day330)、ThinkPad X1の中だけで「声で起動 → 会話 → ばいばいで待機」までは動きました。でも、起動の判定が「音量(音が鳴ったか)」だったので、TVや独り言でも勝手に起動してしまう、という壁にぶつかったんです。

    今日はその壁を、「音が鳴ったか」ではなく「"特定の単語"が鳴ったか」だけを判定する専用エンジン=openWakeWordで突破します。結論から言うと、TVを5分つけっぱなしにしても一度も誤起動しませんでした。

    ※見出し画像のプロンプトは一番下におまけで公開中!

    今日の環境

    • ThinkPad X1 Carbon Gen13(Core Ultra 7 258V / Intel Arc 140V / NPU Intel AI Boost 48TOPS / 32GB / Windows 11 Home 25H2・x64)

    • Python 3.12 / OpenVINO

    • STT:whisper-base(NPU常駐)

    • LLM:ローカルのQwen2.5-1.5B

    • TTS:VOICEVOX(春日部つむぎ)

    • 今回の追加:openWakeWord 0.6.0(推論はonnxruntime 1.26.0/ONNX)+ Silero VAD(openWakeWordに同梱)

    ひとつ注意点。openWakeWord/onnxruntimeの導入はx64マシン前提の話です。同じWindowsでもARM64機(Surface Laptopなど)はホイールまわりの事情が変わるので、その話はまた別の機会に。

    この記事でわかること

    • 「音量で起動」と「特定の単語で起動」の決定的な違い(Day330の壁の正体)

    • openWakeWordの仕組み(文字起こしを一切せず、ワードらしさだけをスコアリング)と、TVを無視できる理由

    • 本体はApache-2.0でも、事前学習済みモデルはCC BY-NC-SA(非商用)というライセンスの落とし穴

    • 日本語「クロ助」を専用ワードにするにはカスタム学習が要る、という現実(今回は英語ワードでPoC)

    • 固定録音をやめる本格VAD(Silero VAD)への道

    結果サマリ(Before/After)

    Before(Day330・音量方式)は、「音が鳴ったら録音して文字起こし」という作りでした。だからTVをつけると勝手に録音が走り、誤起動の温床になっていました。

    After(今日・openWakeWord)は、こうなりました。

    • モデル読込:0.06〜0.12秒

    • 推論:1フレーム(80ms)あたり平均2.5〜2.7ms(フレーム予算の約3%)

    • 静かな部屋で「ヘイ ジャービス」と呼ぶと、スコアが0.8〜0.99まで上がって起動(最大0.99)

    • TVを普通の音量で5.1分つけっぱなしにして、誤起動0回(TV音声でのスコアは最大0.27までしか上がらず)

    • 待機中のNPU占有率は0%(ウェイクワードの聴取はCPU側だけで完結)

    「特定の単語にだけ起きる/TVは完全に無視する」。Day330でぶつかった壁が、実機で消えたのを確認できました。

    やってみた

    やったことはシンプルで、openWakeWordを常時聴取のループに組み込むだけです。マイクから80msごとに音を取り、その都度「ワードらしさ」をスコアリングして、しきい値を超えたら起動。文字起こしは一切していません。

    まず英語の事前学習済みワード「hey jarvis」でPoCしました。静かな部屋で呼びかけると、スコアがしっかり0.8〜0.99まで上がって起動します。検出そのものはかなり優秀で、「ちゃんと言えば確実に反応する」という手応えでした。

    しきい値(threshold)は0.4〜0.5あたりが実用域。ここで一点、面白い学びがありました。10回呼んで起動カウントが5〜6回に見えたのですが、これはしきい値のせいではなく、起動後の2秒クールダウンと、私が呼ぶ間隔が短かったせいで、高スコアの連発が1回にまとめられていたんです。つまり取りこぼしというより、カウントの数え方の問題でした。

    そして本番。TVを普通の音量でつけて、何も呼びかけずに5分放置します。結果は誤起動0回。TV音声に対するスコアは最大でも0.27で、しきい値の0.4にすら届きませんでした。しかもこれは敏感な0.4設定での話です。音量で起動していたDay330とは、まるで別物の挙動でした。

    つまずきポイントと解決策

    正直に、今日の段階で残っている課題も書いておきます。

    ひとつめは日本語。事前学習済みのワードは英語中心(hey jarvis、alexaなど)で、「クロ助」を専用ワードにするにはカスタムモデルの自前学習が必要です。openWakeWordは合成音声で学習データを自動生成する仕組みを持っていますが、学習はそれなりに重く、Colab等が推奨されます。今日はここまで手が回らなかったので、「クロ助」専用ワードは次の宿題に回します。隠さず正直に。

    ふたつめはライセンス。openWakeWord本体はApache-2.0(OSS・無料)ですが、同梱の事前学習済みモデルはCC BY-NC-SA 4.0(非商用)です。学習データの都合でこうなっています。個人ブログのPoC検証は問題ありませんが、商用プロダクトへの組み込みは要注意。Day327で書いた「性能表よりライセンス表」の実例第2弾ですね。

    みっつめは細かい運用。しきい値は高すぎると呼んでも起きず、低すぎると誤検知が増えます。呼んでいるのにカウントが伸びないときは、クールダウンを短くするか、呼ぶ間隔を2秒以上あけると素直になります。あとWindowsのx64ではtfliteは使わず、onnxruntimeだけで動きます。文字化け対策のPYTHONUTF8=1も、これまでと同じく効きました。

    応用例

    入口(ウェイクワード)+区切り(VAD)+出口(Day326の終了ワード「ばいばい」)が揃えば、声だけで会話が開いて閉じる相棒に近づきます。

    うれしい発見として、待機中のNPUが0%だった点があります。ウェイクワードの聴取はCPU側で完結するので、STT(whisper)が使うNPUは空いたまま。常時聴取させても、肝心の文字起こしの足を引っ張らない設計にできます。

    次の一手としては、Silero VAD(openWakeWordに同梱・MITライセンス)で固定録音をやめて、話し終わりを自動検出する方向。これも追加パッケージなしで賄える見込みなのが心強いところです。

    関連記事

    まとめ

    • ウェイクワードは「音の検出」ではなく「特定の単語の検出」。openWakeWordは文字起こしせずワードらしさだけを見るので、TVを無視できる

    • TVを5.1分つけても誤起動0回(スコア最大0.27)。Day330の「音量検出だとTVで誤起動」の壁が消えた

    • 軽い:モデル読込0.06〜0.12秒、推論2.5〜2.7ms/フレーム、待機中のNPUは0%

    • ライセンスは要注意:本体Apache-2.0でも事前学習済みモデルはCC BY-NC-SA(非商用)

    • 日本語「クロ助」専用ワードのカスタム学習と、Silero VADでの固定録音廃止は次の宿題

    次回予告

    次は「クロ助」専用ワードのカスタム学習を仕上げつつ、Silero VADで固定録音をやめて話し終わりを自動検出する回にします。入口・区切り・出口がそろった「声だけで回る相棒」の完成形に、もう一歩近づけます。


    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成。

    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使いで、下記条件のnote見出し画像をサイズは横長で作成してください。
    
    【デザイン】
    - 背景:机の上のThinkPad X1。ダークブルー〜ティールに、左から朝〜昼の光。クラウドに出さないオフライン感として、薄い鍵マーク/結界の円でX1を囲む
    - 中央左:女性キャラクター(ダークブラウンのウェーブヘア、丸眼鏡、クリーム色のケーブルニット、柔和で清楚)。「クロ助!」と笑顔で呼びかけ、口元からくっきり光る音声波形を送る
    - 中央右:ThinkPad X1。その声にはパッと反応して起動(光る・目を覚ます)
    - 周囲:TVのアイコンや雑談の吹き出し(「ニュースです」「ねえねえ」等)からも波形が来ているが、X1はそれらをスルー(×印で弾く/グレーアウト)=「特定の単語だけに反応」を視覚化
    - 補助:常時聴取アイコン(耳/波)、声の区切りを示す波形のくぎり線
    
    【テキスト3段】
    - 上段(白・太字・30pt):「TVには反応しない」
    - 中段(特大ゴールド・48pt):「"クロ助"だけで起きる相棒」
    - 下段(白・細字・22pt):「openWakeWord+VAD・336日目」
    
    【作成手順】
    1. サイズ(1536×1024px)の横長フォーマット
    2. ダークブルー〜ティール+左からの朝〜昼の光のグラデーション背景
    3. 女性キャラクター(中央左・呼びかける笑顔)とThinkPad X1(中央右・反応して起動)を配置
    4. 添付した参考画像と外見を一致させる(女性・クリーム色ニット・丸眼鏡・ウェーブヘア)
    5. キャラ→PCの波形(くっきり光る)と、TV/雑談→PCの波形(×で弾かれる)を描き分ける/PCを囲む薄い鍵・結界を配置
    6. 装飾:常時聴取アイコン、区切り線、TV/雑談アイコン、朝〜昼の光の粒
    7. テキストを3段構成で追加(上段30pt白・中段48ptゴールド・下段22pt白)
    8. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置
    9. 全体のバランスを確認して完成
     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 480日間継続投稿中| 🎉 フォロワー1930名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ