メインコンテンツへスキップ
見出し画像

  Gemini(Hydrogen)に聞きながら、MacローカルAIで文字起こしを作ってみた

    Ollamaと言ったけど、結局LM studioでもよかったようなモヤモヤ感はありましたが、ターミナルからの作業(半日x2回)で、Chromeの拡張機能作って読み込ませたり、ターミナルでいろいろやってできました。
    Ollama使った感はありませんw 以下GEMINIくんまとめです。

    今回、手元の操作用 Mac mini と、ローカルAIサーバとして稼働させている Mac Studio をLAN内で連携させ、ブラウザで再生中の講義音声をリアルタイムに分割送信し、完全ローカル環境で文字起こしからMarkdown形式の講義ノート作成まで自動化する仕組みを構築しました。

    1. システムの全体構成と役割分担

    1台のマシンにすべての負荷をかけるのではなく、普段使いのクライアント機と、Apple Siliconの豊富なユニファイドメモリを持つ推論用サーバ機で役割を明確に分けています。

    Plaintext

    ┌─────────────────────────────────────────────────────────────┐
    │  クライアント側:Mac mini(手元の操作用)                      │
    │  ┌───────────────────────────────────────────────────────┐  │
    │  │ Google Chrome(講義動画を再生)                        │  │
    │  │   └─ 自作Chrome拡張機能(Manifest V3)                 │  │
    │  │        ├─ スピーカーへ音声をパススルー再生              │  │
    │  │        └─ 5分ごとに音声を切り出し(.webm)             │  │
    │  └──────────────────────────┬────────────────────────────┘  │
    └─────────────────────────────┼───────────────────────────────┘
                                  │ LAN経由(HTTP POST /chunk, /finish)
                                  ▼
    ┌─────────────────────────────────────────────────────────────┐
    │  サーバ側:Mac Studio(ローカルAI処理専用)                  │
    │  ┌───────────────────────────────────────────────────────┐  │
    │  │ FastAPI(uvicorn / ポート8765)                        │  │
    │  │   ├─ 1. 受信したWebMを ffmpeg でデコード               │  │
    │  │   ├─ 2. mlx-whisper(whisper-large-v3-turbo)で文字起こし│  │
    │  │   │      └─ raw_transcript.txt に逐次追記             │  │
    │  │   └─ 3. 終了時に Ollama(gemma4:31b)へ全文を送信      │  │
    │  │          └─ lecture_note.md(構造化ノート)を保存      │  │
    │  └───────────────────────────────────────────────────────┘  │
    └─────────────────────────────────────────────────────────────┘
    
    • クライアント側(Mac mini / Google Chrome): 自作のChrome拡張機能(Manifest V3)を使用。開いている講義タブの音声だけを直接キャプチャし、5分ごとに独立した音声ファイル(.webm)へ切り出してLAN経由でMac Studioへ送信します。

    • 中継APIサーバ(Mac Studio / FastAPI): Mac miniから送られてくる音声チャンクを受け取り、文字起こしと要約のパイプラインを制御します。

    • 音声認識(Mac Studio / mlx-whisper): ffmpeg でWebM音声を内部デコードしたあと、Apple SiliconのGPU(MLXフレームワーク)上で whisper-large-v3-turbo を動かし、日本語の講義音声を高速・高精度にテキスト化します。

    • 要約・構造化(Mac Studio / Ollama gemma4:31b): 文字起こしされた全文を受け取り、フィラーの除去や誤変換の文脈補正、見出し付きのMarkdownノートへの構造化を担当します。

    2. 設計上の工夫:なぜ「5分ごとの分割処理」にしたのか

    45分〜1時間におよぶ講義を録音する場合、講義終了後にまとめて音声ファイルを送ると、ファイルサイズの肥大化による通信エラーや、文字起こし完了までの長い待ち時間が発生します。

    今回の仕組みでは、ChromeのOffscreen Document機能を使い、録音中もスピーカーから音声を途切れずに再生しつつ、裏側で5分ごとにレコーダーをローテーションして逐次サーバへ送信しています。

    Mac Studio側ではチャンクが届くたびに mlx-whisper がバックグラウンドで文字起こしを進め、raw_transcript.txt にタイムスタンプ付きで追記していきます。そのため、講義が終わって「停止してノート作成」ボタンを押した時点では、最後の数分間の文字起こしとLLMによる要約処理だけが走る仕組みになり、待ち時間を最小限に抑えられます。

    3. 実際にOllamaへ渡している要約プロンプト

    文字起こしされた生のテキストには、「えー」「あのー」といったフィラー(言い淀み)や、専門用語の誤変換が含まれます。そこで、FastAPIからOllama(gemma4:31b)へリクエストを送る際は、以下のようなシステムプロンプトを指定して「単なる要約」ではなく「構造化された講義ノート」として出力させています。

    Plaintext

    あなたは優秀な講義ノート作成アシスタントです。
    音声認識で文字起こしされた講義テキストを受け取り、以下のルールで読みやすいMarkdown形式の講義ノートを作成してください。
    
    1. 「えー」「あのー」などのフィラーや、音声認識特有の明らかな誤変換を文脈に沿って自然に修正する。
    2. 講義の流れに沿って適切な見出し(##, ###)を付け、論理的に構造化する。
    3. 重要な概念・専門用語・結論は箇条書きや太字で整理し、情報の漏れがないようにまとめる。
    4. 最後に「全体の要旨(3〜5行)」と「重要キーワード一覧」を付記する。
    

    このプロンプトに加えて、APIリクエストのパラメータでコンテキスト長(num_ctx)を 32768 に拡張しておくことで、45分〜1時間分の講義テキスト(数万字規模)も途中で途切れることなく一気に1本のMarkdownノートへまとめられます。

    4. 構築時にハマりやすかったポイントとセキュリティ上の前提

    実際に動かしてみると、いくつかの技術的な落とし穴がありました。これから似た環境を作る方の参考になれば幸いです。

    • Chrome Manifest V3のタブキャプチャ権限: バックグラウンド(Service Worker)側から直接 tabCapture を呼び出すとセキュリティ制限でエラーになるため、ユーザーが拡張機能アイコンをクリックしたポップアップ側(ユーザージェスチャー起点)で streamId を取得して渡す設計にしました。

    • Mac Studio側の ffmpeg パス問題:mlx-whisper は内部で ffmpeg を呼び出して音声を読み込みます。Homebrewで ffmpeg を導入したうえで、FastAPI起動時に /opt/homebrew/bin へPATHを通しておく必要があります。

    • セキュリティ上の前提(自宅LAN内での閉域運用): すべての音声データとテキスト処理が自宅のローカルネットワーク内で完結するため、外部クラウドに講義内容が送信されることはありません。一方で、FastAPIサーバ側はLAN内での利便性を優先し認証なしで待ち受けているため、ルーターのポート開放は行わず、信頼できるローカルネットワーク内専用として運用しています。

    5. 実際の運用フロー

    普段の使い方は非常にシンプルです。

    1. Chromeで講義ページを開き、拡張機能の「録音開始」をクリック(アイコンに赤い REC バッジが点灯)。

    2. 講義が終わったら「停止してノート作成」をクリック。

    3. 1〜2分ほど待つと、Mac Studio上の指定フォルダ(Documents/LectureNotes/日時ID/)に、全文テキスト(raw_transcript.txt)と構造化された講義ノート(lecture_note.md)が保存されます。

    手元のMac miniのVS CodeからRemote - SSHでMac Studioのフォルダを開いておけば、生成されたばかりのMarkdownノートをその場ですぐに閲覧・編集できます。通信費もAPI課金もゼロで、自分専用の講義アーカイブが自動的に溜まっていく快適な学習環境が整いました。