AI議事録の裏側、ぜんぶ公開します 〜どのAIが何をしているのか、初心者向けに分解〜
こんにちは。ギブアンドサポート合同会社の吉田です。
前回、「会議を録画して、議事録とナレッジづくりをAIに任せている」という記事を書きました。今回はその続きで、議事録ができあがるまでの裏側を公開します。「AIに議事録を作らせる」と一口に言っても、実は1つのAIが全部やっているわけではありません。ここを分解して見せるのが今回の趣旨です。
その前に、議事録のあるあるを少しだけ。
1時間の会議のために、2時間かけて議事録を書いている
議事録係を任された若手が、メモに必死で議論に参加できていない
上司の赤入れと修正で3往復、完成する頃には次の会議が来ている
「あれ、これ誰の発言だっけ」と録音を聞き直す深夜
議事録は大事な文書ですが、作る作業そのものは、正直、人間がやらなくていい仕事だと思っています。
全体像:5つの工程と、それぞれの「担当者」
わが社の仕組みでは、議事録は5つの工程でできあがります。会社の分業に例えると、こんな布陣です。
録画する(担当:仕組み) — 録画ボタンは人が押さない。Botが会議予定を巡回して自動でオン
文字にする(担当:耳のいい書き起こし係) — 音声認識の専門AI
議事録にまとめる(担当:ベテラン書記) — 高性能なAI
検品する(担当:検品係) — 軽量で速いAI
清書する(担当:プログラム) — AIなし
ポイントは、AIが3種類も出てくることと、最後の清書にあえてAIを使わないことです。いわゆるAIエージェントといっていいでしょう。工程1の録画は前回の記事で書いたので、今回は2から順に説明します。
工程2:文字にする — 音声認識の専門AI
まず、録画された音声を文字にします。ここで働くのはChatGPTやClaudeのような会話型AIではなく、音声認識の専門AI(わが社ではWhisperXというオープンソースのモデル)です。文字起こしと同時に、声の特徴から「どこからどこまでが同じ人の発言か」も切り分けてくれます。
さらにわが社では、私や社内メンバーの「声紋」(声の指紋のようなもの)を事前に登録してあり、「この声は吉田」と機械的に確定させています。議事録で一番信頼を損なうのは、言った人を間違えることです。だからここは推測に頼らず、物理的に決める。地味ですが、一番こだわっている部分です。
もうひとつ、この工程には「用語集」という裏方がいます。自治体や業界の会議には、制度名・システム名・地名といった固有名詞が大量に出てきて、音声認識はここでよく聞き間違えます。そこで、よく出る専門用語をあらかじめ用語集に登録しておき、文字起こしの前にAIへ「今日はこういう言葉が出てきますよ」と耳打ちしておきます。
この用語集、実は勝手に育ちます。AIが作った議事録を人間が手直しすると、Botがその修正差分を分析して、「これは聞き間違いの修正だな」と判断したものを用語集に追加していくのです(追加前に人間が承認します)。つまり、直せば直すほど、次から同じ聞き間違いをしなくなる。用語集を育てる作業を別途がんばるのではなく、議事録を直すといういつもの作業の副産物として育つ、というのがミソです。
それでも防げない聞き間違いがあります。発音が同じ言葉です。たとえば自治体の会議に頻出する「原課(げんか)」を、音声認識は平気で「玄関」と書いてきます。「基幹システム」が「機関システム」になっていることも。こればかりは前後の文脈で判断するしかないので、文字起こしのあとに、AIが文脈から根拠を添えて修復する工程を挟んでいます。
※技術者向け:AWSのGPUサーバーでWhisperX large-v3を動かし、話者分離の結果に声紋ベクトルの照合を重ねています。用語集はYAMLで管理してWhisperXのinitial_promptに渡す方式。処理はすべて日本国内リージョンです。
工程3:議事録にまとめる — そこそこ賢いAI(Claude Sonnet)
文字起こしができたら、いよいよ議事録化です。ここで登場するのがClaudeです。Claudeにはいくつかグレードがあり、この工程では中位モデルのSonnetを使います（本当は上位モデルのopusを使いたいが審査が通らない…。）。ただし「Sonnetを1回呼んで、はい議事録」ではありません。仕事を分けて、何度も呼びます。
その前に、カンペを持たせます。 Sonnetに渡すのは文字起こしだけではありません。会議予定と会議チャットから拾った議題・出席者。クライアント台帳に登録してある担当者名・部署・導入システムの正式表記。その案件のこれまでの経緯をまとめたプロファイル。人間の書記だって、出席者名簿も前回までの経緯も知らずに良い議事録は書けませんよね。AIも同じです。さらに、過去に人間が議事録を直した「直され方のパターン」も直近分を渡して、同じ指摘を繰り返されないようにしています。
まず、章立て。実はここ、Sonnetに任せていません。 AIに章立てを任せると、実際の会議の進行順ではなく「きれいなテーマ別」に再構成したがるうえ、やり直すたびに構成が変わるからです。わが社では、全発言に付けたタグ(工程4で説明します)をもとに、プログラムが時系列で議論のまとまりを検出して章の切れ目を決めます。構成は機械的に固定して、Sonnetには各章の中身を書くことに専念させる。この分担にしてから、議事録の再現性がぐっと上がりました。
次に、各章の執筆。 ここがSonnetの本丸です。1時間の会議には数百の発言があります。その中から議論の核になる発言だけを絞り込み、章タイトルと概要を書き、決定事項を「誰が・何を・する」の形に整えます。このとき、プロンプト(AIへの指示文)でこんなルールを課しています。
言っていないことを書かない
数値は言い換えず、発言のまま書く
「〜と思う」という発言を「〜である」に格上げしない
「AとBが重なると問題になる」を「Aが問題」に単純化しない(因果関係の保持)
聞き取れない箇所は推測で埋めず「(要確認)」を付ける
AIに文章力を発揮してほしいのではなく、忠実であってほしい。議事録とは、そういう文書だと思います。
それから、話者の最終チェック。 音声認識の話者分離は完璧ではないので、Sonnetが文脈(名乗り、呼びかけ、話の流れ)から「この発言、本当にこの人?」を見直します。ただし、工程2の声紋で確定した話者は動かしません。AIの推測より、物理的な証拠が上。この序列は崩さないようにしています。
最後に、自己批判。 書き上がった議事録をもう一度Sonnetに渡して、「根拠のない記述はないか」「発言の趣旨を変えていないか」と疑わせます。人間でも、書いた直後の自分の文章は客観視できませんよね。AIも同じです。だから「書く仕事」と「疑う仕事」は、別の呼び出しに分けます。仕上げに表記の揺れ(「サーバ/サーバー」のような)も統一します。
※おまけに、議事録が完成すると「次回打合せのアジェンダ案」もSonnetが作って届けてくれます。素材は決定事項と宿題だけに限定して、新しい情報の創作は禁止。ここでも忠実性ルールは同じです。
工程4:下ごしらえと検品 — 速くて安いAI(Claude Haiku)
さきほど「検品係」と紹介しましたが、白状すると、HaikuはSonnetの前でも働いています。前後から挟むイメージです。
Sonnetの前は、下ごしらえ。 数百の発言ひとつひとつに「この発言はどの話題か」「決定を含む発言か」というタグを付けていきます。1件1件は単純な判定ですが、数が膨大です。こういう「速さと数が正義」の仕事は、軽量モデルの独壇場。そしてこのタグが、さきほどの章立ての材料になります。助言や提案らしき発言に先に印を付けて、Sonnetが見落とさないようにするのもHaikuの仕事です。
Sonnetの後は、検品。 3種類やっています。
品質チェック:「決定事項に対応する発言が本当に存在するか」「因果関係を勝手に単純化していないか」といった検査項目に照らして議事録を照合し、引っかかった箇所に警告を付ける
会話成立チェック:「主な発言」を通しで読み、「質問に誰も答えていない」「話が急に飛んでいる」といった不自然さを検出する
宿題の整理:会議から拾ったTODOのうち意味が重複しているものをまとめてから、タスク管理ツールに登録する
検品で大事にしているルールが2つあります。ひとつは、書いた本人に検品させないこと。Sonnetの自己批判とは別に、必ず別のモデルの目を通します。もうひとつは、検品係が休んでも出荷は止めないこと。検品の仕組みにトラブルがあっても、議事録本体は届きます(警告が付かなくなるだけ)。検品のために本業を止めない、という設計です。
賢いモデルは利用料も高いので、全部Sonnetにやらせると費用がかさみます。数を打つ仕事は軽量モデルに、頭を使う本番だけ中位モデルに。人間の職場と同じで、適材適所の分業が、品質とコストを両立させるコツです。
工程5:清書する — ここはあえてAIなし
最後の清書、つまりWordの議事録テンプレートへの流し込みは、AIを使わずプログラムで機械的にやります。日時や場所も、AIには書かせません。会議予定の情報からそのまま転記します。
理由は単純で、確定している事実をAIに書かせると、たまに間違えるからです。AIが得意なのは文章を組み立てることで、事実を正確に転記することは、昔ながらのプログラムのほうが確実です。AIに何を任せて、何を任せないか。この線引きが、AI活用の設計で一番大事なところだと思っています。
できあがりの形 — 議事録と発言録の2点セット
工程5まで通ると、Wordファイルが2つ届きます。「議事録」(まとめ)と「発言録」(全発言の逐語記録)です。議事録の構成は、こんな形です。
議題:〇〇システム更新に関する打合せ
日時:令和8年7月10日(金)10:00〜11:00
場所:オンライン(Teams会議)
出席者:〇〇市様(3名)、ギブアンドサポート(吉田)
会議資料:更新スケジュール案
【議事概要】
会議全体の要旨を200字以内の文章で。何を話し、何が決まり、
何が宿題になったかを、ここだけで把握できるようにする。
【会議内容(議論順)】
1. 更新スケジュールの前倒し可否
＜概要＞
この議論で話されたことの短いまとめ。
＜主な発言＞
・〇〇市様:「9月の議会前に方向性だけは固めたい」
・ギブアンドサポート(吉田):「8月中に要件を確定できるかが条件になる」
＜決定事項＞
・〇〇市様が7月中にベンダーへ前倒しの可否を確認する
2. (以下、実際の議論の順番どおりに章が続く)
※サンプルの中身は架空です。この様式のこだわりは3つあります。ひとつ目は、章立てが「議論順」であること。AIに任せると話題をきれいに並べ替えたがるのですが、出席者が読み返して思い出しやすいのは、実際の進行順です。ふたつ目は、決定事項を必ず「誰が・何を・する」の形にすること。主語のない決定事項は、実行されません。みっつ目は、まとめ(議事録)と原文(発言録)をセットで残すこと。要約は便利ですが、あとで「本当は何と言っていたか」に立ち返れることが、信頼の土台になります。前回書いたナレッジ抽出も、この発言録があるから成り立っています。
今日から真似できる「縮小版」
「ここまでの仕組みは作れないよ」という方へ。考え方だけなら、今日から真似できます。
TeamsやZoomの標準機能で会議を文字起こしして、それを生成AIに貼り付けて、こう指示してみてください。
「この文字起こしから議事録を作ってください。ルール:①文字起こしにない情報を書かない ②聞き取れない箇所は推測せず(要確認)と書く ③発言者が特定できない発言は断定しない ④決定事項は『誰が・何を・する』の形で書く」
たったこれだけで、出てくる議事録の信頼性はかなり変わります。AI活用のコツは、良い道具を選ぶことよりも、「忠実であれ」と注文をつけること。まずは次の会議の文字起こしで、試してみませんか。
