
【AI開発のリアル #60】 34,694回のAIとの会話を、全部検索できるようにした
前回、引き継ぎ書を作るのをやめた話を書いた。
覚えていないなら、探してこい。見ていないなら、元を読め。想像で埋めるな。
過去の会話や作業記録を残しておき、必要になったらAI自身に探させる。
世にある「AI秘書」と似て見えるが、かなり違う。もっと泥臭い。
今回はこれを実際に作る手順を説明する。
まず、用意するもの
最初に必要なのは、この3つである。
コーディングエージェント
Claude Code、Codexなど。ログを集めたり、形式を揃えたり、検索の仕組みを作るために使う。PC
MacでもWindowsでもいい。最初は普通のPCでも始められるが、データが増えるほど処理は重くなる。これまで使ってきたAIサービスのアーカイブ
ChatGPT、Gemini、NotebookLM、Claude Chatなど。過去の会話をエクスポートして集めておく。
まずは、これだけ揃える。
ここから先は、AIに何かを覚えさせる話ではない。
集めた記録を、自分のPC上で検索できるデータベースにしていく。
次は、全部を同じ形にする
集めたデータは、そのままでは使えない。
ChatGPT、Gemini、Claude Chat、Codex、Claude Code。それぞれ記録の形式が違う。
そこで、コーディングエージェントに変換プログラムを作らせて、全部を同じ形に揃える。
最低限、必要なのはこのくらいだ。
いつの記録か
どのAIサービスか
自分が何を話したか
AIが何と答えたか
関係するファイルやコード
バラバラだった過去の記録を、一つのデータベースに入れられる形へ揃える。
揃えてみると、量が見える
形を揃えると、自分がどれだけ話してきたかが数えられるようになる。
数えてみた。
私がAIに送った回数: 34,694回
私が打った文字数: 630万字
その期間: 2.6年(最も古い記録が2024年1月17日。それ以前にAIチャットは使っていなかった)
文庫本にして40冊分を、2年半で打ち込んでいた。自分では、まったく覚えていない。
しかも増えている。
2024年 2,759件
2025年 4,189件 (1.5倍)
2026年 6,060件 (さらに1.4倍。まだ9月)AIチャットを使っている人で、自分が何回送信して何文字打ったかを言える人はいないと思う。私も数えるまで知らなかった。
そして注意すべきは、集めた生ログは数GBあるのに、私が実際に打った言葉は6.3MBしかないということだ。
155MBある会話ログを1本開いてみると、こうなっている。
コマンドやファイル読み込みの出力 52.8MB
AIが道具を呼ぶ指示 6.4MB
AIの内部思考 4.9MB
添付・画像・スナップショット 9.2MB
──────────────────────────────
私が実際に話した言葉 0.7MB**9割以上は、AIが道具を使った記録である。**会話ではないので、取り込まない。
残すのは「私とAIが話したこと」だけ。そこは1文字も削らない。
形を揃えても、まだ探せない
会話が何万件もあると、正確な言葉を覚えていないというだけで見つからなくなる。
「たしか去年、記録を残す仕組みの話をした」と思い出しても、当時の会話にその言葉が使われていたとは限らない。
だから、記録とは別に索引を作る。ここからが本題である。
データは、1行1件のテキストファイルに並べる
全部を `passage` という単位に切って、**1行に1件ずつ記録したテキストファイル(JSONL)**に並べる。種類ごとにテーブルを分けない。
passage_id 一意なID
source_table 種類(sessions / plaud_raw / git_commit / article …)
source_pk 元の記録に戻るための印
timestamp いつの記録か
summary 要約
text 本文(2,000〜2,800字で切る)
entity_refs 出てくる人物・製品・イベント種類が増えても列は増やさない。`source_table` が変わるだけである。
**このファイル自体には、検索する力は何もない。**ただ1行ずつ並んでいるだけである。探せるようにするのは、ここから貼る索引のほうだ。
索引① 問いを、1件につき5つ作らせる
`passage` を1件ずつローカルLLMに読ませて、「この文章が答えになるような質問」を5個生成させる。
これが一番効く。
「記録を残す仕組みの話」で探しても、本文にその言葉は無いかもしれない。だがその本文に対して事前に「どうすれば過去のやり取りを後から探せるか」という問いを作ってあれば、そちらが引っかかる。
探す側の言葉で、あらかじめ入口を作っておく。
`passage` 125,011件のうち、問いを張れたのが 116,983件。問いは 584,911本(ちょうど5個ずつ)になった。
索引② 本文と問いを、同じモデルでベクトルにする
本文と、いま作った問いの両方を `bge-m3` で 1024次元のベクトルに変換する。
日本語と英語が混ざるので、日中英に強いモデルを選ぶ。**途中でモデルを変えない。**変えると過去に作った索引と噛み合わなくなる。
ベクトルにしておくと、**言葉が違っても意味が近ければ数値が近くなる。**これで「正確な言葉を覚えていない」が問題でなくなる。
索引③ 記録どうしを線でつなぐ
「同じセッションから生まれた」「同じ出来事を指す」「このコミットはこのリポジトリのもの」のように、根拠のはっきりした関係を辺として持つ。
実測で 1,500,182本になった。
この量を、手元のマシンで回す
ここまでの作業を整理すると、こうなる。
116,983件を1件ずつローカルLLMに読ませて、問いを5個ずつ作らせる
本文 125,011件+問い 584,911本、合わせて 709,922本をベクトルに変換する
150万本の線を張る
全部が同じ道具ではない。
問いの生成(と要約・人物抽出)はローカルLLM
ベクトル化は `bge-m3`
線を張るのは、IDの対応やルールでの判定
このうちローカルLLMを回す部分が、いちばん重い。**クラウドAIでも動くが、この件数を投げると費用が見合わない。**だから手元のGPUでやる。
一から作り直すと2〜3日、動かしっぱなしになる。
この「先に大量に読ませておく」やり方は、製品のほうで先にやっていた。
632万件の資料を先に取り込み、AIで読み、あとから数えたり比べたりできる形にしている。現在、その結果は約2億3,000万行。
探すときは、二つのベクトルを合成する
入力をベクトルにして正規化する
本文側のベクトルと内積を取る(正規化してあるのでコサイン類似度になる)
問い側とも内積を取り、上位60件の問いから元の `passage` を引く
2と3を同じ重みで合成して並べる
上位に、線でつながった記録を添える
`source_pk` から元の会話やコードそのものへ戻る
最後の一手が要である。要約もベクトルも、AIが作ったものなので間違う。だから答えにしない。
256人全員を、信用できるようにしたわけではない。
256人がした仕事を、確かめられるようにした。
ミツケルで先にやっていたことを、記憶にも当てている。AIの答えを信じるのではなく、元の記録に戻れる形にしておく。
HippoRAG 2 の考え方を借りているが、多段の確率伝播はしていない。構想では Personalized PageRank で薄い接続をたどるつもりだったが、実装はベクトル2系統の合成+1ホップである。
NotebookLMと、何が違うのか
この仕組みを説明すると、いつも聞かれるのがこれである。
違いは容量ではない。手順が逆である。
NotebookLM は、**人がノートブックを選んで、そこに資料を入れる。**探す範囲は、そのノートブックの中だけになる。
つまり使う前に、「どのノートブックか」を思い出す必要がある。
だが、ここで解こうとしていた問題は「いつ話したか、どのAIに話したか覚えていない」である。
思い出せないから作った仕組みに、思い出してから使う道具を当てても、答えにならない。
優劣ではない。NotebookLM は「読ませる資料がもう決まっているとき」の道具で、これは「どこにあるか分からないとき」の道具である。
事実、NotebookLM でのやり取りも、**この索引の中に2,344件入っている。**敵ではなく、取り込み元の一つである。
作っているのは、AIではない
ここまでを振り返ると、特別なAIは一つも作っていない。
ログを集めて
形を揃えて
問いを作らせて
ベクトルにして
線を張って
探せるようにした
作っているのは、AIが調べに行くための検索基盤である。
だから、これはスマホでChatGPTを開いて、プロンプトを工夫すればできる類のものではない。
作るのに要るのは、うまい指示ではない。集める手間と、置く場所と、回し続ける計算資源である。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: