メインコンテンツへスキップ
見出し画像

AIエージェントの記憶の設計~コンテキストウィンドウの外で更新し、減衰させる~

    最近、marfin(@marfinxx)さんの「Autonomous Agent Architecture: Unifying Context Engineering and Memory Engineering」という記事を読みました。

    LLMを使ったエージェントは、会話が長くなると初期の決めごとを忘れます。この記事が原因を求める先は、モデルの賢さではなく、情報の置き場所の設計です。

    現場でよく聞くこの悩みを、コンピュータの記憶階層という古い考え方で整理し直している点が面白いです。この記事では、原文を手がかりに、ContextWindowの外の記憶の分け方と更新と減衰を説明します。

    原文の数値(トークン削減率など)は著者の主張です。

    【発端】 セッションをまたいで残らないContextWindowの決めごと

    画像

    原文は、本番でLLMを使う開発者が共通して当たる問題を挙げています。新しいセッションを開くたびに必要になるのは、プロジェクトの構成や規約の説明し直しです。

    会話が進むと、序盤の制約は守られないままです。大きなContextWindowにリポジトリ全体を入れても、次のセッションへはそのまま残りません。

    入力の中ほどにある規則が無視され、応答が遅くなり、APIの請求額も増えます。原文が挙げる原因は、ContextWindowを永続的なハードディスクのように使っていることです。

    ContextWindowは、本来は揮発する作業用メモリです。セッションを越えて残す事実は、ContextWindowの外で決めます。

    【基礎】 寿命と更新の違う四つの記憶

    コンテキストエンジニアリングは、推論1回ぶんの入力に何を入れるかを設計する作業です。Anthropicは、推論中に使うトークンを最適な集合に保つ戦略の総称として、この言葉を説明しています(Anthropic)。

    メモリエンジニアリングは、ContextWindowの外に何を残し、どう更新し、いつ捨てるかを決める作業です。原文は前者をRAM、後者をSSDやデータベースにたとえています。

    原文は記憶を4段に分けています。作業記憶は1回の推論、短期のエピソード記憶は1セッション、長期の意味記憶は複数セッション、手続き記憶は検証済みの手順や規則です。

    段ごとに、保存先と更新方法が違います。作業記憶はContextWindowの中、それより長い記憶はContextWindowの外です。

    【違い】 追記だけから、事実ごとの更新へ

    画像

    素朴な方式は、ログやコード全体、過去の会話をそのままContextWindowに入れます。会話の全文を検索用に溜めるだけだと、似ている古い会話が次の検索に混ざります。

    必要な部分だけを選んで整えてからContextWindowに入れるのが、原文の方式です。事実ごとに選ぶのは、追加、更新、削除、何もしないのどれかです。

    置き場所

    • 素朴な方式:ContextWindowの中、または会話の全文

    • 事実ごとの更新:ContextWindowの外に事実を残し、選んだ件だけContextWindowへ入れる

    更新

    • 素朴な方式:ほぼ追記するだけ

    • 事実ごとの更新:追加、更新、削除、何もしない

    古い事実

    • 素朴な方式:検索結果に混ざったまま

    • 事実ごとの更新:保持スコアが低いものを退避する

    典型的な失敗

    • 素朴な方式:ContextWindowがあふれ、費用が増える

    • 事実ごとの更新:更新を忘れると、古い事実が残る

    原文は、記憶だけを足してもうまくいかないと指摘します。選別がなければ、矛盾する事実がContextWindowに入るからです。

    【仕組み】 事実を更新する外側ループと、選んで見せる内側ループ

    画像

    応答を返す処理と、記憶を整理する処理は、別の時間で動きます。質問ごとに動くのが内側ループで、エージェントの空き時間に動くのが外側ループです。

    内側ループは、ベクトル検索、キーワード検索、知識グラフをたどる検索の三つで候補を集めます。似た候補をMMR(CarbonellとGoldsteinの1998年の手法)で間引き、プロンプトに入れます。

    MMRは、質問との関連が高く、すでに選んだ候補と似ていないものを優先する再ランキングの方法です。

    外側ループは、実行ログから事実を取り出します。追加(ADD)、更新(UPDATE)、削除(DELETE)、何もしない(NOOP)のどれかを決めます。

    保持スコアの材料は、関連性、参照頻度、最後に使われてからの経過時間です。低いものは退避するか、削除します。

    費用と遅延が下がる理由は、同じ先頭(プレフィックス)をAPIが計算済みの結果として再利用するからです(Claudeのドキュメント)。この再利用はKVキャッシュと呼ばれ、原文はプロンプトを変えない先頭、選んだ記憶とリポジトリの要約、毎回変わる末尾の三層に分け、Manusの開発チームも先頭を安定させ、文脈を追記専用にすることを勧めています(Manus)。

    取り出した記憶の置き場所は、図では二層目、ループの説明では末尾と、二通りに読めます。質問ごとに変わる記憶を二層目に入れると、その位置以降のキャッシュは使えなくなるので、設計するときに確認してください。

    【具体例】 原文の移行例で戻ってくる更新後の1件

    画像

    ここは原文の例であり、効果を確かめた結果ではありません。ユーザーが「キャッシュをRedisからDragonflyに移行した。ポートは6379」と伝えた、という場面です。

    外側ループは、記憶の中にキャッシュ設定の既存レコードがあることを見つけ、新しいレコードを作らずにUPDATEを選びます。原文は、サブジェクト、事実、タグ、判断の理由を持つJSONで出力する形を示しています。

    次のセッションでユーザーが「キャッシュの設定を確認して」と頼んだとき、内側ループが取り出すのは更新後の1件だけです。古いRedisの記述が検索に混ざることはありません。

    ADDだけの繰り返しでは、RedisとDragonflyの記述が並び、モデルがどちらを信じるかは運任せです。UPDATEとDELETEが必要になる理由は、ここにあります。

    【関連概念】 階層記憶と更新の先行する実装

    画像

    ここに挙げる部品は、それぞれの資料で説明されています。

    • MemGPT:OSの階層メモリを参考に、ContextWindowの中と外の記憶を行き来させる研究です(論文)。

    • Letta:ContextWindowに常駐し、検索なしで毎回見える記憶ブロックを扱う実装です(ドキュメント)。

    • Zep:時間を持つ知識グラフで、会話や業務データを管理するエージェント向けの記憶層です(論文)。

    • A-MEM:新しい記憶を、キーワードやタグを持つノートとして作り、既存の記憶と結び付けます(論文)。

    • Aiderのリポジトリマップ:クラスや関数の署名を短い地図にし、依存関係のグラフで重要な部分を選び、トークン予算に収めます(Aider)。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    John BerrymanとAlbert Zieglerの『LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発』は、プロンプトに何を入れ、どう構成するかを扱う本です。コンテキストの設計を読むときの参考になります。

    Michael Albadaの『実践 AIエージェント開発 ―マルチエージェントシステムの設計と実装』(訳は山下正浩、鈴木駿、高山洪銘)は、エージェントの設計と実装を扱う本です。記憶の設計を実装へつなげるときの参考になります。

    関連記事

    【まとめ】 同じ主題の更新と、参照されない事実の退避

    セッションの終わりに、残す事実を1件ずつ書き出し、同じ主題の記録があれば更新します。退避の対象になるのは、関連性、参照頻度、最後に使われてからの時間を見て低い事実です。

    効果は、同じ説明を繰り返す回数と、古い事実が次の会話に混ざるかどうかで見ます。原文の数値をそのまま期待せず、自分のデータで確かめてください。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ