メインコンテンツへスキップ

社内完結の音声認識を作ってみたら、日本語の文字起こし精度が意外とよかった話


    はじめに

    外部APIを一切使わずに、社内サーバーだけで日本語の音声認識を動かすプロトタイプを作りました。正直なところ「オープンなモデルだと日本語は厳しいだろう」と思っていたのですが、試してみると想像以上に普通に使える精度でした。

    この記事では、作ったものの構成と、台本を読み上げた音声で測った精度、うまくいった点・いかなかった点をまとめます。


    作ったもの

    ブラウザで話すだけで文字になり、間違いをその場で直して、直したデータでモデルを再学習できる、という一連の流れを全部自前で動かしています。

    1. ブラウザで録音する(または通話のように話し続ける)

    2. サーバーで文字起こしする

    3. 画面で誤りを直し、「学習に使う」にチェックして保存する

    4. 承認済みデータがたまったら LoRA で再学習する

    5. 検証データで CER(文字誤り率)が下がったときだけ、モデルを差し替える

    画面は2つあります。

    • 録音画面: 1発話ずつ録音して文字起こしします。

    • リアルタイム画面(/live.html): 話し終えるごとに確定文が追記されます。途中表示用のモデル(ReazonSpeech)を別に置くと、話している間の途中結果も薄い色で出ます。「通話を始める」から「通話を終える」までが1つの通話としてまとまり、終了後に行ごとに再生しながら直せます。

    専門用語は glossary.txt に1行ずつ書いておくと、認識前のヒント(Whisper の initial_prompt)として渡します。再学習も再起動もいりません。

    構成

    FastAPI のサーバー1つに、確定用の Whisper(faster-whisper)と、任意で途中表示用の sherpa-onnx(ReazonSpeech)を載せています。全体を Docker で動かすので、Python のインストールはいりません。


    画像
    確定はWhisper、途中表示は別モデル(任意)が担当する

    点線の部分は、途中表示用のモデルを data/sherpa-ja/ に置いたときだけ動きます。日本語の ReazonSpeech は非ストリーミング型なので、話している途中の音声を約0.7秒ごとに認識し直す「疑似ストリーミング」にしています。

    精度を試してみた

    条件

    • モデル: faster-whisper small(言語は ja で固定、beam_size=5、VADあり)

    • 実行環境: CPUのみ(int8)、Docker

    • 途中表示用のモデル: sherpa-onnx + ReazonSpeech(int8)

    よかった点

    • くだけた話し言葉が、ほぼそのまま文字になる。

    • 量や台数などの数字が算用数字で出る。

    • 2文をつなげた長めの発話でも意味が崩れない。

    • 「うーん」のような相槌も拾うので、通話の記録としてそのまま読める。

    苦手だった点

    • カタカナ語の伸ばしや促音を取り違えることがある。

    • 「〜っちゃ〜」のような口語の繰り返しを取りこぼす。

    • 句読点がほぼ付かない。読みやすくするには後処理がいりそうです。

    業務でよく出る言葉は glossary.txt に書いておくと直る可能性があります。効果は、このあと台本で測っています。

    CER(文字誤り率): large-v3-turbo で 7.3%(数字の表記をそろえると 3.9%)。台本を読み上げて測った結果を次にまとめます。

    台本を読み上げて CER を測った

    CPU だけでも Whisper large-v3-turbo なら CER 7.3%、数字の表記をそろえると 3.9% でした。ただし処理には、話した時間より長くかかります。

    条件

    • 台本: 開発チームの朝会を想定した15文、412文字(scripts/daihon.txt)

    • 音声: 筆者が PC のマイクで一度読んだ 71 秒(無音で13個に区切られた)

    • 同じ録音を各モデルで認識し直した。CPU のみ(int8)

    • 比べる前に、全角半角をそろえて句読点と空白を除いた


    画像
    モデル別の結果

    数字の表記: 台本は「三件」「二ギガバイト」「三百ミリ秒」と漢数字で書いていますが、Whisper は「3件」「2GB」「300ミリ秒」と書きます。意味は同じでも CER では誤りに数えられるので、そろえた値も載せました。「二割」が「に割」になったような聞き間違いは、そろえずに誤りのままにしています。

    残った誤り: 英字の製品名が一番の弱点でした。

    • 「Docker」は、どのモデルでも「特化」になった

    • 「Pod」は「夫」(small)、「ポット」(medium)、「ホット」(large-v3-turbo)

    • 「Kubernetes」は large-v3-turbo だけが正しく、small は「クバネズ」

    • small では「三百ミリ秒くらいかかって」が「300ミリビューを くらく買って」になった

    ReazonSpeech の CER が 31.1% の理由: 聞き間違いより、文の抜けが原因でした。2文を続けて話した区切りで、前半の文をまるごと落としていました(「昨日は…出しました」など)。認識できた部分の精度は small と同じくらいです。話している途中の短い音声をすばやく出す役には十分なので、確定は Whisper に任せる今の分担が合っています。

    処理時間: CPU で話した時間より速く処理できたのは small だけでした。CPU で使うなら small、精度が要るなら GPU で large-v3-turbo がよさそうです(GPU では未計測)。

    用語ヒントに製品名を3つ入れた

    glossary.txt に「Docker」「Kubernetes」「Pod」の3語を書くだけで、どのモデルも CER が下がりました。large-v3-turbo は数字の表記をそろえると 1.9% で、412文字中の誤りは8文字でした。再学習も再起動もいりません。


    画像
    ヒントを入れた結果

    変わったところ

    • 「Kubernetes」と「Pod」は、3モデルとも正しくなった

    • 「Docker」が正しくなったのは medium だけ。small は「他の」、large-v3-turbo は「Tocker」

    • ヒントにない言葉も変わった。small の「くらく買って」は「くらい掛かって」に直った一方、medium の「タイムゾーン」は「タイムゾン」に悪くなった

    • 処理時間はほぼ変わらなかった

    ヒントには台本に出てくる言葉を選んだので、結果は良く出やすい条件です。実際に使うときは、その職場でよく出る製品名や社名を書いておく使い方になります。使った用語は scripts/glossary_dev.txt に置いています。

    途中表示用モデルは入れたほうがいい

    途中表示用モデルを入れると、話し始めて約0.7秒で文字が出始めます。入れないと、話し終えてから数秒待つまで画面に何も出ず、動いているのか分かりにくくなります。

    モデルに付属しているテスト音声(ニュースの読み上げ、約13秒)を実際の速さで流した結果です。

    画像
    ニュースの読み上げ結果

    途中表示には句読点がありません。それでもこの音声では、漢字の誤りがなく、確定用の Whisper small より正確でした(太字が誤り)。ただし音声は1本だけで、しかも読み上げなので、普通の会話でも同じとは限りません。

    動いている様子

    リアルタイム画面で話したときの画面です。話している間は途中結果が薄い色で出て、話し終えると Whisper の確定文に切り替わります。

    ソースコード

    コードは GitHub に置いています。Docker があれば、手元のPCでそのまま試せます。

    • リポジトリ: yk-planning/ja-asr-demo

    • 起動は次の4行です。ブラウザで http://localhost:8000 を開きます。

    git clone https://github.com/yk-planning/ja-asr-demo.git
    cd ja-asr-demo
    python scripts/fetch_sherpa.py
    docker compose up --build

    scripts/fetch_sherpa.py は途中表示用のモデル(約170MB)を取得します。省いても動きますが、その場合は話し終えてから確定文だけが出ます。

    このアプリにはログイン機能がありません。組織内で共有するときは、前段に認証を置いてください。

    まとめ

    GPUなし・外部APIなしの Whisper small でも、日本語の普通の会話なら「直しながら使える」精度は出ました。話している間に文字が出ると使い心地が大きく変わるので、途中表示用モデルは入れるのがおすすめです。残る誤りは用語辞書と、直したデータでの再学習で減らせる見込みです。

    次にやること

    • glossary.txt に入れた「Docker」がまだ外れるので、書き方(「Docker(ドッカー)」など)を変えて試す

    • GPU で large-v3-turbo の処理時間を測る

    • 承認データが20件を超えたら LoRA 再学習を試す

    • 今は確定処理を直列で動かしているので、同時に使う人数が増えたらキュー化を考える

    YK Planning では、社内で完結する AI の導入を支援しています。


    この記事が参加している募集

    あなたへのおすすめ