メインコンテンツへスキップ
見出し画像

エージェントの記憶は、検索ではなく「書き方」で壊れる

    【発端】 検索ではなく書き方で壊れる、という指摘

    画像
    検索精度や点数で選ぶ前に、見るべき軸が一本ある

    最近、小邓同学(@heydengai)さんの「万字长文拆解 Agent 记忆:40+ 开源记忆系统全面对比」(Xの記事、中国語)を読みました。40以上のオープンソース記憶システムを、ひとつの切り口で9つの原型に分けた長文です。

    その切り口が「検索の方式」ではなく「書き込み経路」です。記憶システムを選ぶとき、多くの人は検索精度や埋め込みモデルやベンチマークの点数から見ます。

    原文は、その見方に異を唱える立場です。実際に使えるかどうかを分けるのは、記憶をどう書き込み、古い事実をどう無効にするかです。

    この記事では、その主張を未読の人にも分かる形で整理します。扱うのは書き込みの五つの型と、九つの原型の並べ方です。

    記憶を階層に分けて更新と減衰を考える話は、別の記事に譲ります。

    【基礎】 記憶は文書検索とは別の仕事

    記憶が扱うのは「動かない資料」ではなく「変わり続ける事実」です。

    RAG(検索拡張生成で、外部文書を検索して回答の材料にする方式)と記憶システムは、埋め込み、ハイブリッド検索、再ランキングといった部品を共有します。それでも解く問題は異なります。

    原文の言い方では、記憶が扱うのは「ユーザーやエージェント自身についての事実を、どう積み、更新し、忘れるか」です。RAGが扱うのは、比較的動かない資料をどう正確に見つけるかです。

    原文は記憶を時間尺度でも分けています。

    • 作業記憶:モデルがこのステップで見られるトークン全体。実際に働くのはここだけ

    • 短期記憶:1回のセッション内の履歴。要約圧縮もここ

    • 長期記憶:セッションをまたいで残るもの。原文が扱うのは主にここ

    だから「記憶」という名前でも、書き込みの設計を問わずに検索だけ比べると、問題の半分を見落とします。

    【違い】 精度を上げても消えない古い事実

    画像
    検索が正確なほど、古い事実も正確に返ってくる

    検索が正確になるほど、古い事実も正確に取り出せてしまいます。

    文書RAGでは、資料はあまり変わりません。ですから「書き込み」は一度きりの取り込みで済み、あとは検索の問題になります。

    記憶では、ユーザーの発言や状況が刻々と変わります。同じ対象について新旧の事実が並ぶのが普通です。

    原文はここで、五つの書き方ごとに失敗の形が違うと整理します。検索の精度が高くても、書き込み側で新旧が整理されていなければ、過去の事実が現在の事実として返ります。

    対象

    • 文書RAG:比較的静的な資料

    • エージェント記憶:ユーザーとエージェントについての事実

    時間の扱い

    • 文書RAG:ほぼ不要

    • エージェント記憶:「いつ何が真か」が本題

    書き込み

    • 文書RAG:取り込み時に一度

    • エージェント記憶:会話のたびに発生

    主な失敗

    • 文書RAG:見つからない

    • エージェント記憶:古い事実が正解として返る

    原文が補強に使うのは、2026年10月のRaw-RAG論文の紹介です。「生の会話記録+密ベクトル検索+再ランキング」という素朴な方法が、複数のベンチマークで複雑な記憶システムを上回った、と書かれています。

    複雑な書き込み経路は無料ではない、という注意です。ただし、この論文は私自身は未確認です。

    【仕組み】 書き込みの五つの型と失敗の形

    画像
    誰が書くか、衝突をどう扱うかで失敗の形が決まる

    「誰が書くか」と「衝突をどうするか」で、失敗の形が決まります。

    原文が挙げる五つの型と、それぞれが招く失敗は次のとおりです。

    門番型

    • 中身:記録する価値を判定して書く

    • 起きやすい失敗:漏れる。「覚えて」と言われない重要事項が消える

    追記のみ

    • 中身:消さずに足し続ける

    • 起きやすい失敗:新旧が併存し、読むときの順位づけ頼みになる

    書き込み時に統合

    • 中身:LLMが上書きか追加かを判断する

    • 起きやすい失敗:誤判断で真実が気づかないうちに消え、監査の跡も残りにくい

    時系列で無効化

    • 中身:旧事実に「有効期間の終わり」を付ける

    • 起きやすい失敗:グラフの構築と運用が重い

    エージェント自身が編集

    • 中身:ファイルなどを自分で書き換える

    • 起きやすい失敗:質の上限がエージェントの判断力と規律になる

    時系列の型の代表がGraphiti(および商用のZep)です。原文によると、各事実の辺にvalid_fromとvalid_toを持たせ、新しい事実が来たら旧い辺を削除せず失効させます。

    この仕組みの根拠はZepの論文にあります。

    エージェント自身が編集する型の代表はLettaです。原文では、記憶をgitで管理するファイルとして持ち、エージェントがbashとファイル操作で直接書き換えます。

    変更履歴をdiffで人が確認できるのが利点です。この系譜はMemGPT論文の「コンテキストをOSのメモリ管理のように扱う」発想に遡ります。

    原文はこの先で、選定時の三問を挙げています。

    誰が何を書くか。新旧が衝突したらどうするか。

    誤って書いたときに追跡して戻せるか。答えられない実装は、点数が高くてもデモに過ぎない、という立場です。

    【具体例】 「Postgres 14」が「16」に変わる場面

    画像
    五つの型の説明から組み立てた理論上の挙動(実測ではない)

    同じ一言でも、書き込みの型で結果が分かれます。

    原文は、ユーザーが最初に「Postgres 14を使っている」と言い、後で「16に上げた」と言う例で、各型の理論上の挙動を比べています。

    以下は、五つの型の説明から私が組み立て直した図です。実測ではありません。

    門番型

    • 14→16のあとの状態:判定次第で、16が記録されない

    • 最悪の場合:14のまま残る

    追記のみ

    • 14→16のあとの状態:14と16が両方残る

    • 最悪の場合:検索が14を拾えば、古い答えが返る

    統合

    • 14→16のあとの状態:16に上書きされる

    • 最悪の場合:判断を誤ると、どの回で誤ったか分からない

    時系列

    • 14→16のあとの状態:14は失効、16が現行

    • 最悪の場合:構築・運用の負担が重い

    自己編集

    • 14→16のあとの状態:エージェントがファイルを書き換える

    • 最悪の場合:書き換えを忘れれば14が残る

    原文はここで、時系列の型が必ず勝つとは言っていません。何を一番避けたいかで型を選ぶ、というのが結論です。

    原文は例として、Mem0の変遷にも触れています。論文版ではADD / UPDATE / DELETE / NOOPの統合方式でした。

    原文によれば、オープンソースのv3では1回のLLM呼び出しで追記のみとし、衝突を読み出し時の順位づけに任せます。論文はarXivにあります。

    論文の数値は、著者自身の評価です。

    【関連概念】 九つの原型と、背景になる考え方

    画像
    原文の分類を、置き場所と判断者の軸で読み直す

    九つの原型は「何に置くか」と「誰が判断するか」の二軸で見ると並びます。

    原文は40超のプロジェクトを、次の九つに分けています。軸は私が付けた整理です。

    抽出層

    • 書き込みの特徴:対話の脇で事実を抽出して保存

    • 代表例(原文より):Mem0、Hindsight

    書き込み専用モデル

    • 書き込みの特徴:「何を書くか」を訓練済みモデルが担う

    • 代表例(原文より):Hy-Memory(腾讯混元)

    時系列・知識グラフ

    • 書き込みの特徴:事実に有効期間を付ける

    • 代表例(原文より):Graphiti / Zep、Cognee

    OS式・自己編集

    • 書き込みの特徴:エージェントが記憶を管理する

    • 代表例(原文より):Letta、MemOS

    ファイル・文脈DB

    • 書き込みの特徴:記憶を人も読めるファイルにする

    • 代表例(原文より):OpenViking、memU、Memvid

    コーディング横断

    • 書き込みの特徴:複数の開発ツールで記憶を共有

    • 代表例(原文より):claude-mem、ai-memory

    身元モデル

    • 書き込みの特徴:「その人は誰か」を推論して保持

    • 代表例(原文より):Honcho

    フレームワーク内蔵

    • 書き込みの特徴:使っている枠組みの標準機能

    • 代表例(原文より):CrewAI、Mastraなど

    自分で組む方式

    • 書き込みの特徴:RedisやPostgresで組む

    • 代表例(原文より):pgvector+BM25+RRF

    原文が強調しているもう一つの傾向は、記憶がファイルに戻りつつあり、手続き記憶が「スキル」ファイルになり、書き込み専用のモデルまで出てきたことです。

    いちばん軽い始め方はCLAUDE.mdのような1枚のファイルで、数百件の事実までなら足ります。自動取り込みも衝突処理もありませんが、気づかないうちの書き換えも起きにくいと原文は述べています。

    ベンチマークの点数は、順位づけには使いません。原文の方針は、スコアはすべてプロジェクト側の自己申告で、評価者モデルや部分集合も違うので順位づけには使わない、というものです。

    見るべきは「全文脈を詰め込む基線」や素朴なRAGとの差です。原文は、EverOSの93%が全文脈基線を約1ポイント上回るだけだという指摘を紹介しています。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『データ指向アプリケーションデザイン』(Martin Kleppmann)は、追記だけのログや、履歴を残すデータ設計を考えるときの背景として使える可能性があります。

    関連記事

    【まとめ】 選ぶ前に自分で確かめる三点

    画像
    最小の会話と基線で、型の違いを確かめる

    製品を選ぶ前に、自分のデータで書き込みの失敗を試すのが近道です。

    1. 自分の用途で「いちばん避けたい誤り」を一つ決める(漏れ、新旧の併存、気づかないうちの上書き)。

    2. 先の「14→16」のように、1事実が2回変わる最小の会話を作り、候補に流して最終状態と履歴を見る。

    3. 「全文脈を入れる」「素朴なRAG」を基線として並べ、差を測る。

    そのうえで、誰が書き、衝突をどう扱い、誤りを追跡して戻せるか、を答えられる実装を選びます。迷うならCLAUDE.mdのようなファイルから始め、困りごとが出たところから型を上げる、というのが原文の勧めです。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ