メインコンテンツへスキップ
見出し画像

AIエージェントはなぜ言葉で会話するのか~作業記憶を直接渡すSwarm Telepathyを読む~

    最近、MIT CSAILとMIT-IBMの研究チームによる論文「Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families」(Alabdulkareemら、2026年10月10日にarXivへ投稿したv1)を読みました。査読前のプレプリントで、今後の改訂で数字や結論が変わる可能性があります。

    AIエージェント同士が「言葉で会話する」ことを前提にしない点が、この論文の面白いところです。要約を書いて読ませる代わりに、AIの作業記憶であるKVキャッシュを、系統の違う(別ファミリーの)モデルへ直接渡します。

    この記事では、そもそも何を渡すのか、要約方式と何が違うのか、どこまで言えて何が言えないのかを順に説明します。数字は論文の報告値です。

    【発端】 言葉で受け渡す会話に残る二つの無駄

    画像
    いまのマルチエージェントは、ほぼ自然言語で受け渡す。論文はそこに二つの無駄を見る。

    要約を挟む会話は、書く側にも読む側にも毎回コストがかかります。

    複数のエージェントに仕事を分けるとき、いまはほとんどが自然言語でやりとりします。一方が調べて要約を書き、もう一方がそれを読みます。

    論文はここに二つの無駄を見ています。

    送り手は要約を1語ずつ生成する時間がかかります。受け手は届いた要約を頭から読み込み直します。

    さらに、要約は書き手が選んだ分しか運びません。送り手の内部には、読んだ文書の状態がもっと豊かに残っています。

    論文の問いは、その内部状態を渡せば早いのでは、というものです。

    【基礎】 読み終えた状態そのものとしてのKVキャッシュ

    画像
    読み込みの成果物であり、生成中に過去の文脈へ触れる唯一の窓口。

    KVキャッシュは、LLMが文書を読み終えた直後の作業記憶です。

    LLMは文章を二段で処理します。まず文書全体を読み込み(prefill)、そのあと答えを1語ずつ生成します(decode)。

    読み込みの間に、モデルは各トークン(単語や文字の断片)について、各層の「キー」と「バリュー」を計算して保存します。この保存先がKVキャッシュです。

    生成中のモデルは、過去の文脈をこのキャッシュ経由で参照します。

    読み終えた資料に付箋を貼った状態、と考えると近いです。付箋を渡せば、相手は資料を読み直さずに質問へ答えられます。

    ただし、モデルが違えば層の数もトークンの区切りも違うので、キャッシュはそのままでは渡せません。同一ファミリー向けの先行研究はありました。

    別ファミリーに対応する手法も、受け手が結局テキストを読み込む必要がありました。論文は、読み込みなしで別ファミリーへ渡せる最初の手法としてSwaTを位置づけています。

    【違い】 要約を読む方式と記憶を受け取る方式の差

    画像
    精度の比較相手は、要約を読む方式。受け手が全文を読む方式ではない。

    要約方式は「書かれた分」が届き、SwaTは「送り手の内部状態」が届きます。

    送り手の作業

    • 要約を渡す方式:要約を1語ずつ生成する

    • SwaTと圧縮:すでにある記憶を変換・圧縮する

    受け手の作業

    • 要約を渡す方式:要約を読み込んでから質問に答える

    • SwaTと圧縮:質問だけを読む

    届く情報

    • 要約を渡す方式:送り手が書いた分

    • SwaTと圧縮:送り手の内部状態(書かれなかった情報も含みうる)

    人間が読めるか

    • 要約を渡す方式:読める

    • SwaTと圧縮:記憶そのものは読めない

    事前準備

    • 要約を渡す方式:不要

    • SwaTと圧縮:送り手と受け手のペアごとに変換器を学習

    比較の相手は「要約を読む」方式です。送り手が文書を要約し、受け手がその要約を読み込む設定で、要約の長さと圧縮後の記憶の大きさを揃えて比べています。

    受け手が元の全文を読む方式との比較ではありません。

    結果として、3組のモデル、5段階の要約の長さ、7種類のデータセットの平均で、SwaTは要約方式より+10.7〜+21.4ポイント上回りました(採点は正解率またはF1。条件ごとの値の幅です)。要約が最も短い条件では+18.9〜+21.4ポイント、最も長い条件では+10.7〜+18.3ポイントで、要約が長いほど差は縮みます。

    3組それぞれの全体平均では約15〜19ポイントです。

    全文を自分で読んだ受け手との比較は、別の表(保持率)にあります。送り手が小さい7組では、全文を読んだ場合の約92〜109%で、全文を読むより下がる組もあります。

    送り手が大きい3組では約103〜143%です。

    勝っているのは要約に対してで、全文を読む受け手との比較は「同程度」という位置づけです。

    【仕組み】 変換器が記憶を写し、受け手は質問だけを読む設計

    画像
    学習するのは変換器だけ。送り手と受け手のモデルは凍結したまま。

    小さな変換器が、「送り手の記憶」を「受け手の記憶の形」へ翻訳します。

    流れは次のとおりです。

    1. 送り手が文書を一度だけ読み、KVキャッシュを作る。

    2. SwaT(変換器)が、それを受け手のモデルが使う形のキャッシュへ写す。

    3. 必要に応じて、Attention MatchingというKVキャッシュの圧縮手法で小さくする。

    4. 受け手は元の文書を読まず、質問だけを読んで答える。

    学習するのは変換器だけで、送り手と受け手のモデルはそのまま(凍結)です。

    学習の目的は二つあります。受け手が自分で作るキャッシュに近づけることと、そのキャッシュで正しく答えさせることです。

    モデルごとに文字の区切りが違う問題は、トークンではなく文字の位置で対応づけて解決しています。学習に使ったのは英語のテキストだけです。

    計算量は、受け手が元の文書を読み直す場合と比べて、FLOPs(浮動小数点演算の回数)が最悪の長さでも8〜14倍以上少なくなります。検証した2組で、受け手がLlama 3 8Bの組み合わせは8倍以上、Qwen 3 14Bの組み合わせは14倍以上です。

    ここでの比較相手は、先ほどの要約ではなく「受け手が全文を読み直す」場合です。受け手が大きいほど読み直しは重くなり、変換のコストはほぼ変わらないので、差が開きます。

    【具体例】 画像を読めないLLMが画像の質問に答えるまで

    画像
    送り手は画像も扱えるGemma 3、受け手はテキスト専用のLLM。変換器は英語テキストだけで学習した。

    画像を見られるモデルの記憶を借りると、テキスト専用モデルが画像の質問に答えられました。

    論文の実験では、送り手が画像も扱えるGemma 3のVLM(視覚言語モデル)です。受け手は、テキストしか読めないGranite 3.3 8Bなどです。

    送り手が画像を見て作った記憶を、変換器を通して受け手へ渡します。

    比較は二つです。送り手が画像の説明文(キャプション)を書いて渡す方式と、送り手のVLMが単独で答える場合です。

    5種類の画像質問ベンチマークの平均では、3組のモデルすべてで、SwaTが両方を上回りました。変換器は英語のテキストだけで学習していて、画像は一度も見ていません。

    ただし、画像を読む力が丸ごと移るわけではありません。文書や図表の細かい文字が必要なDocVQAとInfoVQAでは、送り手のVLM単独が大きく上でした。

    組み合わせによっては、説明文を渡す方式にも負けています。

    移ったのは、場面を大づかみに理解する力だと読むのが安全です。

    【関連概念】 先行研究と、見落とせない五つの限界

    画像
    潜在通信の系譜にある手法。論文が認めるものと、読む側が押さえるものが混ざる。

    SwaTは潜在通信の系譜にあり、役立つ場面は限られます。

    近い研究には、同じモデルのコピー同士で内部状態をやりとりするLatentMASがあります。別ファミリー間のキャッシュ変換では、受け手に読み込みを残すCache-to-Cacheがあります。

    別々のモデルでも表現が似てくるというPlatonic Representation Hypothesisは、変換が成り立つ理由の仮説として論文に引かれています。

    限界は、論文が自分で認めているものと、読む側が押さえておくものに分かれます。

    • ペアごとの学習:送り手と受け手の組ごとに変換器が要ります。n個のファミリーならn×(n−1)個で、著者も現実的でないと書いています。

    • 単発の受け渡しだけ:繰り返しの転送や、複数メッセージの合成は扱っていません。キャッシュは劣化しやすく、テキストのように足し合わせにくいためです。

    • 同一ファミリーでは負ける:同じファミリー内(Qwen 3 4Bから8B)では、既存手法のDense Latentがわずかに上でした。比較相手は著者が別ファミリー向けに手直しして再実装したものです。

    • 監査と安全性:現在の実装は送り手のテキストが手元にあるので、テキストでの監視はできます。ただしキャッシュには、テキストに出ない情報が含まれうるため、ログに残らない情報が流れうる点が課題です。論文は今後の課題としています。

    • 第三者による再現がまだない:v1のプレプリントで、論文と公開コード以外に、再現を確かめられる資料は確認できていません。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『大規模言語モデル入門』(山田育矢監修、鈴木正敏、山田康輔、李凌寒)は、大規模言語モデルの理論と実装の両方を解説した入門書で、この記事に出てくる仕組みを読む前の、前提になる知識を補えます。KVキャッシュの受け渡しを主題にした本ではありません。

    『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』(山田育矢、鈴木正敏、西川荘介、藤井一喜、山田康輔、李凌寒)は、評価、指示チューニング、RAG、分散並列学習を扱う続編です。こちらもKVキャッシュの受け渡しは主題にしていません。生成型LLMの実装と評価を広げたいときの一冊です。

    関連記事

    【まとめ】 自分のエージェントで試す順番

    結論として、エージェントが言葉で会話してきたのは、人間が読めて確実に通じる窓口が言葉だったからです。SwaTは、その窓口を手放す代わりに精度と速度を得る選択肢を示しました。

    これはこの記事の整理で、論文の主張ではありません。

    自分の仕事に当てはめるなら、次の順で確認してみてください。

    1. 自分のエージェント構成で、要約を渡している箇所を洗い出す。

    2. その要約が、精度低下や遅さの原因になっているか切り分ける(要約を長くすると改善するか)。

    3. 送り手と受け手が同じファミリーか確かめる。同じなら、既存の同一ファミリー向け手法が先の候補です。

    4. 受け渡しが1回で済むか確かめる。往復や合成が多いなら、現時点の対象外です。

    5. 監査の要件を確かめる。記憶で渡す部分があるなら、元のテキストも並べて残す設計を考えておく。

    6. 試すなら、公開コードで追試できるかを先に見る。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ