社内完結の音声認識を作ってみたら、日本語の文字起こし精度が意外とよかった話
はじめに
外部APIを一切使わずに、社内サーバーだけで日本語の音声認識を動かすプロトタイプを作りました。正直なところ「オープンなモデルだと日本語は厳しいだろう」と思っていたのですが、試してみると想像以上に普通に使える精度でした。
この記事では、作ったものの構成と、台本を読み上げた音声で測った精度、うまくいった点・いかなかった点をまとめます。
作ったもの
ブラウザで話すだけで文字になり、間違いをその場で直して、直したデータでモデルを再学習できる、という一連の流れを全部自前で動かしています。
ブラウザで録音する(または通話のように話し続ける)
サーバーで文字起こしする
画面で誤りを直し、「学習に使う」にチェックして保存する
承認済みデータがたまったら LoRA で再学習する
検証データで CER(文字誤り率)が下がったときだけ、モデルを差し替える
画面は2つあります。
録音画面: 1発話ずつ録音して文字起こしします。
リアルタイム画面(/live.html): 話し終えるごとに確定文が追記されます。途中表示用のモデル(ReazonSpeech)を別に置くと、話している間の途中結果も薄い色で出ます。「通話を始める」から「通話を終える」までが1つの通話としてまとまり、終了後に行ごとに再生しながら直せます。
専門用語は glossary.txt に1行ずつ書いておくと、認識前のヒント(Whisper の initial_prompt)として渡します。再学習も再起動もいりません。
構成
FastAPI のサーバー1つに、確定用の Whisper(faster-whisper)と、任意で途中表示用の sherpa-onnx(ReazonSpeech)を載せています。全体を Docker で動かすので、Python のインストールはいりません。

点線の部分は、途中表示用のモデルを data/sherpa-ja/ に置いたときだけ動きます。日本語の ReazonSpeech は非ストリーミング型なので、話している途中の音声を約0.7秒ごとに認識し直す「疑似ストリーミング」にしています。
精度を試してみた
条件
モデル: faster-whisper small(言語は ja で固定、beam_size=5、VADあり)
実行環境: CPUのみ(int8)、Docker
途中表示用のモデル: sherpa-onnx + ReazonSpeech(int8)
よかった点
くだけた話し言葉が、ほぼそのまま文字になる。
量や台数などの数字が算用数字で出る。
2文をつなげた長めの発話でも意味が崩れない。
「うーん」のような相槌も拾うので、通話の記録としてそのまま読める。
苦手だった点
カタカナ語の伸ばしや促音を取り違えることがある。
「〜っちゃ〜」のような口語の繰り返しを取りこぼす。
句読点がほぼ付かない。読みやすくするには後処理がいりそうです。
業務でよく出る言葉は glossary.txt に書いておくと直る可能性があります。効果は、このあと台本で測っています。
CER(文字誤り率): large-v3-turbo で 7.3%(数字の表記をそろえると 3.9%)。台本を読み上げて測った結果を次にまとめます。
台本を読み上げて CER を測った
CPU だけでも Whisper large-v3-turbo なら CER 7.3%、数字の表記をそろえると 3.9% でした。ただし処理には、話した時間より長くかかります。
条件
台本: 開発チームの朝会を想定した15文、412文字(scripts/daihon.txt)
音声: 筆者が PC のマイクで一度読んだ 71 秒(無音で13個に区切られた)
同じ録音を各モデルで認識し直した。CPU のみ(int8)
比べる前に、全角半角をそろえて句読点と空白を除いた

数字の表記: 台本は「三件」「二ギガバイト」「三百ミリ秒」と漢数字で書いていますが、Whisper は「3件」「2GB」「300ミリ秒」と書きます。意味は同じでも CER では誤りに数えられるので、そろえた値も載せました。「二割」が「に割」になったような聞き間違いは、そろえずに誤りのままにしています。
残った誤り: 英字の製品名が一番の弱点でした。
「Docker」は、どのモデルでも「特化」になった
「Pod」は「夫」(small)、「ポット」(medium)、「ホット」(large-v3-turbo)
「Kubernetes」は large-v3-turbo だけが正しく、small は「クバネズ」
small では「三百ミリ秒くらいかかって」が「300ミリビューを くらく買って」になった
ReazonSpeech の CER が 31.1% の理由: 聞き間違いより、文の抜けが原因でした。2文を続けて話した区切りで、前半の文をまるごと落としていました(「昨日は…出しました」など)。認識できた部分の精度は small と同じくらいです。話している途中の短い音声をすばやく出す役には十分なので、確定は Whisper に任せる今の分担が合っています。
処理時間: CPU で話した時間より速く処理できたのは small だけでした。CPU で使うなら small、精度が要るなら GPU で large-v3-turbo がよさそうです(GPU では未計測)。
用語ヒントに製品名を3つ入れた
glossary.txt に「Docker」「Kubernetes」「Pod」の3語を書くだけで、どのモデルも CER が下がりました。large-v3-turbo は数字の表記をそろえると 1.9% で、412文字中の誤りは8文字でした。再学習も再起動もいりません。

変わったところ
「Kubernetes」と「Pod」は、3モデルとも正しくなった
「Docker」が正しくなったのは medium だけ。small は「他の」、large-v3-turbo は「Tocker」
ヒントにない言葉も変わった。small の「くらく買って」は「くらい掛かって」に直った一方、medium の「タイムゾーン」は「タイムゾン」に悪くなった
処理時間はほぼ変わらなかった
ヒントには台本に出てくる言葉を選んだので、結果は良く出やすい条件です。実際に使うときは、その職場でよく出る製品名や社名を書いておく使い方になります。使った用語は scripts/glossary_dev.txt に置いています。
途中表示用モデルは入れたほうがいい
途中表示用モデルを入れると、話し始めて約0.7秒で文字が出始めます。入れないと、話し終えてから数秒待つまで画面に何も出ず、動いているのか分かりにくくなります。
モデルに付属しているテスト音声(ニュースの読み上げ、約13秒)を実際の速さで流した結果です。

途中表示には句読点がありません。それでもこの音声では、漢字の誤りがなく、確定用の Whisper small より正確でした(太字が誤り)。ただし音声は1本だけで、しかも読み上げなので、普通の会話でも同じとは限りません。
動いている様子
リアルタイム画面で話したときの画面です。話している間は途中結果が薄い色で出て、話し終えると Whisper の確定文に切り替わります。
ソースコード
コードは GitHub に置いています。Docker があれば、手元のPCでそのまま試せます。
リポジトリ: yk-planning/ja-asr-demo
起動は次の4行です。ブラウザで http://localhost:8000 を開きます。
git clone https://github.com/yk-planning/ja-asr-demo.git
cd ja-asr-demo
python scripts/fetch_sherpa.py
docker compose up --buildscripts/fetch_sherpa.py は途中表示用のモデル(約170MB)を取得します。省いても動きますが、その場合は話し終えてから確定文だけが出ます。
このアプリにはログイン機能がありません。組織内で共有するときは、前段に認証を置いてください。
まとめ
GPUなし・外部APIなしの Whisper small でも、日本語の普通の会話なら「直しながら使える」精度は出ました。話している間に文字が出ると使い心地が大きく変わるので、途中表示用モデルは入れるのがおすすめです。残る誤りは用語辞書と、直したデータでの再学習で減らせる見込みです。
次にやること
glossary.txt に入れた「Docker」がまだ外れるので、書き方(「Docker(ドッカー)」など)を変えて試す
GPU で large-v3-turbo の処理時間を測る
承認データが20件を超えたら LoRA 再学習を試す
今は確定処理を直列で動かしているので、同時に使う人数が増えたらキュー化を考える
YK Planning では、社内で完結する AI の導入を支援しています。