
Gemini(Hydrogen)に聞きながら、MacローカルAIで文字起こしを作ってみた
Ollamaと言ったけど、結局LM studioでもよかったようなモヤモヤ感はありましたが、ターミナルからの作業(半日x2回)で、Chromeの拡張機能作って読み込ませたり、ターミナルでいろいろやってできました。
Ollama使った感はありませんw 以下GEMINIくんまとめです。
今回、手元の操作用 Mac mini と、ローカルAIサーバとして稼働させている Mac Studio をLAN内で連携させ、ブラウザで再生中の講義音声をリアルタイムに分割送信し、完全ローカル環境で文字起こしからMarkdown形式の講義ノート作成まで自動化する仕組みを構築しました。
1. システムの全体構成と役割分担
1台のマシンにすべての負荷をかけるのではなく、普段使いのクライアント機と、Apple Siliconの豊富なユニファイドメモリを持つ推論用サーバ機で役割を明確に分けています。
Plaintext
┌─────────────────────────────────────────────────────────────┐
│ クライアント側:Mac mini(手元の操作用) │
│ ┌───────────────────────────────────────────────────────┐ │
│ │ Google Chrome(講義動画を再生) │ │
│ │ └─ 自作Chrome拡張機能(Manifest V3) │ │
│ │ ├─ スピーカーへ音声をパススルー再生 │ │
│ │ └─ 5分ごとに音声を切り出し(.webm) │ │
│ └──────────────────────────┬────────────────────────────┘ │
└─────────────────────────────┼───────────────────────────────┘
│ LAN経由(HTTP POST /chunk, /finish)
▼
┌─────────────────────────────────────────────────────────────┐
│ サーバ側:Mac Studio(ローカルAI処理専用) │
│ ┌───────────────────────────────────────────────────────┐ │
│ │ FastAPI(uvicorn / ポート8765) │ │
│ │ ├─ 1. 受信したWebMを ffmpeg でデコード │ │
│ │ ├─ 2. mlx-whisper(whisper-large-v3-turbo)で文字起こし│ │
│ │ │ └─ raw_transcript.txt に逐次追記 │ │
│ │ └─ 3. 終了時に Ollama(gemma4:31b)へ全文を送信 │ │
│ │ └─ lecture_note.md(構造化ノート)を保存 │ │
│ └───────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
クライアント側(Mac mini / Google Chrome): 自作のChrome拡張機能(Manifest V3)を使用。開いている講義タブの音声だけを直接キャプチャし、5分ごとに独立した音声ファイル(.webm)へ切り出してLAN経由でMac Studioへ送信します。
中継APIサーバ(Mac Studio / FastAPI): Mac miniから送られてくる音声チャンクを受け取り、文字起こしと要約のパイプラインを制御します。
音声認識(Mac Studio / mlx-whisper): ffmpeg でWebM音声を内部デコードしたあと、Apple SiliconのGPU(MLXフレームワーク)上で whisper-large-v3-turbo を動かし、日本語の講義音声を高速・高精度にテキスト化します。
要約・構造化(Mac Studio / Ollama gemma4:31b): 文字起こしされた全文を受け取り、フィラーの除去や誤変換の文脈補正、見出し付きのMarkdownノートへの構造化を担当します。
2. 設計上の工夫:なぜ「5分ごとの分割処理」にしたのか
45分〜1時間におよぶ講義を録音する場合、講義終了後にまとめて音声ファイルを送ると、ファイルサイズの肥大化による通信エラーや、文字起こし完了までの長い待ち時間が発生します。
今回の仕組みでは、ChromeのOffscreen Document機能を使い、録音中もスピーカーから音声を途切れずに再生しつつ、裏側で5分ごとにレコーダーをローテーションして逐次サーバへ送信しています。
Mac Studio側ではチャンクが届くたびに mlx-whisper がバックグラウンドで文字起こしを進め、raw_transcript.txt にタイムスタンプ付きで追記していきます。そのため、講義が終わって「停止してノート作成」ボタンを押した時点では、最後の数分間の文字起こしとLLMによる要約処理だけが走る仕組みになり、待ち時間を最小限に抑えられます。
3. 実際にOllamaへ渡している要約プロンプト
文字起こしされた生のテキストには、「えー」「あのー」といったフィラー(言い淀み)や、専門用語の誤変換が含まれます。そこで、FastAPIからOllama(gemma4:31b)へリクエストを送る際は、以下のようなシステムプロンプトを指定して「単なる要約」ではなく「構造化された講義ノート」として出力させています。
Plaintext
あなたは優秀な講義ノート作成アシスタントです。
音声認識で文字起こしされた講義テキストを受け取り、以下のルールで読みやすいMarkdown形式の講義ノートを作成してください。
1. 「えー」「あのー」などのフィラーや、音声認識特有の明らかな誤変換を文脈に沿って自然に修正する。
2. 講義の流れに沿って適切な見出し(##, ###)を付け、論理的に構造化する。
3. 重要な概念・専門用語・結論は箇条書きや太字で整理し、情報の漏れがないようにまとめる。
4. 最後に「全体の要旨(3〜5行)」と「重要キーワード一覧」を付記する。
このプロンプトに加えて、APIリクエストのパラメータでコンテキスト長(num_ctx)を 32768 に拡張しておくことで、45分〜1時間分の講義テキスト(数万字規模)も途中で途切れることなく一気に1本のMarkdownノートへまとめられます。
4. 構築時にハマりやすかったポイントとセキュリティ上の前提
実際に動かしてみると、いくつかの技術的な落とし穴がありました。これから似た環境を作る方の参考になれば幸いです。
Chrome Manifest V3のタブキャプチャ権限: バックグラウンド(Service Worker)側から直接 tabCapture を呼び出すとセキュリティ制限でエラーになるため、ユーザーが拡張機能アイコンをクリックしたポップアップ側(ユーザージェスチャー起点)で streamId を取得して渡す設計にしました。
Mac Studio側の ffmpeg パス問題:mlx-whisper は内部で ffmpeg を呼び出して音声を読み込みます。Homebrewで ffmpeg を導入したうえで、FastAPI起動時に /opt/homebrew/bin へPATHを通しておく必要があります。
セキュリティ上の前提(自宅LAN内での閉域運用): すべての音声データとテキスト処理が自宅のローカルネットワーク内で完結するため、外部クラウドに講義内容が送信されることはありません。一方で、FastAPIサーバ側はLAN内での利便性を優先し認証なしで待ち受けているため、ルーターのポート開放は行わず、信頼できるローカルネットワーク内専用として運用しています。
5. 実際の運用フロー
普段の使い方は非常にシンプルです。
Chromeで講義ページを開き、拡張機能の「録音開始」をクリック(アイコンに赤い REC バッジが点灯)。
講義が終わったら「停止してノート作成」をクリック。
1〜2分ほど待つと、Mac Studio上の指定フォルダ(Documents/LectureNotes/日時ID/)に、全文テキスト(raw_transcript.txt)と構造化された講義ノート(lecture_note.md)が保存されます。
手元のMac miniのVS CodeからRemote - SSHでMac Studioのフォルダを開いておけば、生成されたばかりのMarkdownノートをその場ですぐに閲覧・編集できます。通信費もAPI課金もゼロで、自分専用の講義アーカイブが自動的に溜まっていく快適な学習環境が整いました。