メインコンテンツへスキップ
見出し画像

【AI開発のリアル #60】 34,694回のAIとの会話を、全部検索できるようにした

    前回、引き継ぎ書を作るのをやめた話を書いた。


    覚えていないなら、探してこい。見ていないなら、元を読め。想像で埋めるな。

    AI開発のリアル #59「引き継ぎ書を、作るのをやめた」

    過去の会話や作業記録を残しておき、必要になったらAI自身に探させる。

    世にある「AI秘書」と似て見えるが、かなり違う。もっと泥臭い。

    今回はこれを実際に作る手順を説明する。

    まず、用意するもの

    最初に必要なのは、この3つである。

    • コーディングエージェント
      Claude Code、Codexなど。ログを集めたり、形式を揃えたり、検索の仕組みを作るために使う。

    • PC
      MacでもWindowsでもいい。最初は普通のPCでも始められるが、データが増えるほど処理は重くなる。

    • これまで使ってきたAIサービスのアーカイブ
      ChatGPT、Gemini、NotebookLM、Claude Chatなど。過去の会話をエクスポートして集めておく。

    まずは、これだけ揃える。

    ここから先は、AIに何かを覚えさせる話ではない。

    集めた記録を、自分のPC上で検索できるデータベースにしていく。

    次は、全部を同じ形にする

    集めたデータは、そのままでは使えない。

    ChatGPT、Gemini、Claude Chat、Codex、Claude Code。それぞれ記録の形式が違う。

    そこで、コーディングエージェントに変換プログラムを作らせて、全部を同じ形に揃える。

    最低限、必要なのはこのくらいだ。

    • いつの記録か

    • どのAIサービスか

    • 自分が何を話したか

    • AIが何と答えたか

    • 関係するファイルやコード

    バラバラだった過去の記録を、一つのデータベースに入れられる形へ揃える。

    揃えてみると、量が見える

    形を揃えると、自分がどれだけ話してきたかが数えられるようになる。

    数えてみた。

    • 私がAIに送った回数: 34,694回

    • 私が打った文字数: 630万字

    • その期間: 2.6年(最も古い記録が2024年1月17日。それ以前にAIチャットは使っていなかった)

    文庫本にして40冊分を、2年半で打ち込んでいた。自分では、まったく覚えていない。

    しかも増えている。

    2024年   2,759件
    2025年   4,189件   (1.5倍)
    2026年   6,060件   (さらに1.4倍。まだ9月)

    AIチャットを使っている人で、自分が何回送信して何文字打ったかを言える人はいないと思う。私も数えるまで知らなかった。

    そして注意すべきは、集めた生ログは数GBあるのに、私が実際に打った言葉は6.3MBしかないということだ。

    155MBある会話ログを1本開いてみると、こうなっている。

    コマンドやファイル読み込みの出力   52.8MB
    AIが道具を呼ぶ指示                 6.4MB
    AIの内部思考                       4.9MB
    添付・画像・スナップショット        9.2MB
    ──────────────────────────────
    私が実際に話した言葉               0.7MB

    **9割以上は、AIが道具を使った記録である。**会話ではないので、取り込まない。

    残すのは「私とAIが話したこと」だけ。そこは1文字も削らない。

    形を揃えても、まだ探せない

    会話が何万件もあると、正確な言葉を覚えていないというだけで見つからなくなる。

    「たしか去年、記録を残す仕組みの話をした」と思い出しても、当時の会話にその言葉が使われていたとは限らない。

    だから、記録とは別に索引を作る。ここからが本題である。

    データは、1行1件のテキストファイルに並べる

    全部を `passage` という単位に切って、**1行に1件ずつ記録したテキストファイル(JSONL)**に並べる。種類ごとにテーブルを分けない。

    passage_id    一意なID
    source_table  種類(sessions / plaud_raw / git_commit / article …)
    source_pk     元の記録に戻るための印
    timestamp     いつの記録か
    summary       要約
    text          本文(2,000〜2,800字で切る)
    entity_refs   出てくる人物・製品・イベント

    種類が増えても列は増やさない。`source_table` が変わるだけである。

    **このファイル自体には、検索する力は何もない。**ただ1行ずつ並んでいるだけである。探せるようにするのは、ここから貼る索引のほうだ。

    索引① 問いを、1件につき5つ作らせる

    `passage` を1件ずつローカルLLMに読ませて、「この文章が答えになるような質問」を5個生成させる。

    これが一番効く。

    「記録を残す仕組みの話」で探しても、本文にその言葉は無いかもしれない。だがその本文に対して事前に「どうすれば過去のやり取りを後から探せるか」という問いを作ってあれば、そちらが引っかかる。

    探す側の言葉で、あらかじめ入口を作っておく。

    `passage` 125,011件のうち、問いを張れたのが 116,983件。問いは 584,911本(ちょうど5個ずつ)になった。

    索引② 本文と問いを、同じモデルでベクトルにする

    本文と、いま作った問いの両方を `bge-m3` で 1024次元のベクトルに変換する。

    日本語と英語が混ざるので、日中英に強いモデルを選ぶ。**途中でモデルを変えない。**変えると過去に作った索引と噛み合わなくなる。

    ベクトルにしておくと、**言葉が違っても意味が近ければ数値が近くなる。**これで「正確な言葉を覚えていない」が問題でなくなる。

    索引③ 記録どうしを線でつなぐ

    「同じセッションから生まれた」「同じ出来事を指す」「このコミットはこのリポジトリのもの」のように、根拠のはっきりした関係を辺として持つ。

    実測で 1,500,182本になった。

    この量を、手元のマシンで回す

    ここまでの作業を整理すると、こうなる。

    • 116,983件を1件ずつローカルLLMに読ませて、問いを5個ずつ作らせる

    • 本文 125,011件+問い 584,911本、合わせて 709,922本をベクトルに変換する

    • 150万本の線を張る

    全部が同じ道具ではない。

    • 問いの生成(と要約・人物抽出)はローカルLLM

    • ベクトル化は `bge-m3`

    • 線を張るのは、IDの対応やルールでの判定

    このうちローカルLLMを回す部分が、いちばん重い。**クラウドAIでも動くが、この件数を投げると費用が見合わない。**だから手元のGPUでやる。

    一から作り直すと2〜3日、動かしっぱなしになる。

    この「先に大量に読ませておく」やり方は、製品のほうで先にやっていた。


    632万件の資料を先に取り込み、AIで読み、あとから数えたり比べたりできる形にしている。現在、その結果は約2億3,000万行。

    AI開発のリアル #51「1024人に、何をさせているのか」

    探すときは、二つのベクトルを合成する

    1. 入力をベクトルにして正規化する

    2. 本文側のベクトルと内積を取る(正規化してあるのでコサイン類似度になる)

    3. 問い側とも内積を取り、上位60件の問いから元の `passage` を引く

    4. 2と3を同じ重みで合成して並べる

    5. 上位に、線でつながった記録を添える

    6. `source_pk` から元の会話やコードそのものへ戻る

    最後の一手が要である。要約もベクトルも、AIが作ったものなので間違う。だから答えにしない。


    256人全員を、信用できるようにしたわけではない。
    256人がした仕事を、確かめられるようにした。

    AI開発のリアル #50「その採用基準で、256人を全員落としますか?」

    ミツケルで先にやっていたことを、記憶にも当てている。AIの答えを信じるのではなく、元の記録に戻れる形にしておく。

    HippoRAG 2 の考え方を借りているが、多段の確率伝播はしていない。構想では Personalized PageRank で薄い接続をたどるつもりだったが、実装はベクトル2系統の合成+1ホップである。

    NotebookLMと、何が違うのか

    この仕組みを説明すると、いつも聞かれるのがこれである。

    違いは容量ではない。手順が逆である。

    NotebookLM は、**人がノートブックを選んで、そこに資料を入れる。**探す範囲は、そのノートブックの中だけになる。

    つまり使う前に、「どのノートブックか」を思い出す必要がある。

    だが、ここで解こうとしていた問題は「いつ話したか、どのAIに話したか覚えていない」である。

    思い出せないから作った仕組みに、思い出してから使う道具を当てても、答えにならない。

    優劣ではない。NotebookLM は「読ませる資料がもう決まっているとき」の道具で、これは「どこにあるか分からないとき」の道具である。

    事実、NotebookLM でのやり取りも、**この索引の中に2,344件入っている。**敵ではなく、取り込み元の一つである。

    作っているのは、AIではない

    ここまでを振り返ると、特別なAIは一つも作っていない。

    • ログを集めて

    • 形を揃えて

    • 問いを作らせて

    • ベクトルにして

    • 線を張って

    • 探せるようにした

    作っているのは、AIが調べに行くための検索基盤である。

    だから、これはスマホでChatGPTを開いて、プロンプトを工夫すればできる類のものではない。

    作るのに要るのは、うまい指示ではない。集める手間と、置く場所と、回し続ける計算資源である。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ