
AIエージェントはなぜ言葉で会話するのか~作業記憶を直接渡すSwarm Telepathyを読む~
最近、MIT CSAILとMIT-IBMの研究チームによる論文「Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families」(Alabdulkareemら、2026年10月10日にarXivへ投稿したv1)を読みました。査読前のプレプリントで、今後の改訂で数字や結論が変わる可能性があります。
AIエージェント同士が「言葉で会話する」ことを前提にしない点が、この論文の面白いところです。要約を書いて読ませる代わりに、AIの作業記憶であるKVキャッシュを、系統の違う(別ファミリーの)モデルへ直接渡します。
この記事では、そもそも何を渡すのか、要約方式と何が違うのか、どこまで言えて何が言えないのかを順に説明します。数字は論文の報告値です。
【発端】 言葉で受け渡す会話に残る二つの無駄

要約を挟む会話は、書く側にも読む側にも毎回コストがかかります。
複数のエージェントに仕事を分けるとき、いまはほとんどが自然言語でやりとりします。一方が調べて要約を書き、もう一方がそれを読みます。
論文はここに二つの無駄を見ています。
送り手は要約を1語ずつ生成する時間がかかります。受け手は届いた要約を頭から読み込み直します。
さらに、要約は書き手が選んだ分しか運びません。送り手の内部には、読んだ文書の状態がもっと豊かに残っています。
論文の問いは、その内部状態を渡せば早いのでは、というものです。
【基礎】 読み終えた状態そのものとしてのKVキャッシュ

KVキャッシュは、LLMが文書を読み終えた直後の作業記憶です。
LLMは文章を二段で処理します。まず文書全体を読み込み(prefill)、そのあと答えを1語ずつ生成します(decode)。
読み込みの間に、モデルは各トークン(単語や文字の断片)について、各層の「キー」と「バリュー」を計算して保存します。この保存先がKVキャッシュです。
生成中のモデルは、過去の文脈をこのキャッシュ経由で参照します。
読み終えた資料に付箋を貼った状態、と考えると近いです。付箋を渡せば、相手は資料を読み直さずに質問へ答えられます。
ただし、モデルが違えば層の数もトークンの区切りも違うので、キャッシュはそのままでは渡せません。同一ファミリー向けの先行研究はありました。
別ファミリーに対応する手法も、受け手が結局テキストを読み込む必要がありました。論文は、読み込みなしで別ファミリーへ渡せる最初の手法としてSwaTを位置づけています。
【違い】 要約を読む方式と記憶を受け取る方式の差

要約方式は「書かれた分」が届き、SwaTは「送り手の内部状態」が届きます。
送り手の作業
要約を渡す方式:要約を1語ずつ生成する
SwaTと圧縮:すでにある記憶を変換・圧縮する
受け手の作業
要約を渡す方式:要約を読み込んでから質問に答える
SwaTと圧縮:質問だけを読む
届く情報
要約を渡す方式:送り手が書いた分
SwaTと圧縮:送り手の内部状態(書かれなかった情報も含みうる)
人間が読めるか
要約を渡す方式:読める
SwaTと圧縮:記憶そのものは読めない
事前準備
要約を渡す方式:不要
SwaTと圧縮:送り手と受け手のペアごとに変換器を学習
比較の相手は「要約を読む」方式です。送り手が文書を要約し、受け手がその要約を読み込む設定で、要約の長さと圧縮後の記憶の大きさを揃えて比べています。
受け手が元の全文を読む方式との比較ではありません。
結果として、3組のモデル、5段階の要約の長さ、7種類のデータセットの平均で、SwaTは要約方式より+10.7〜+21.4ポイント上回りました(採点は正解率またはF1。条件ごとの値の幅です)。要約が最も短い条件では+18.9〜+21.4ポイント、最も長い条件では+10.7〜+18.3ポイントで、要約が長いほど差は縮みます。
3組それぞれの全体平均では約15〜19ポイントです。
全文を自分で読んだ受け手との比較は、別の表(保持率)にあります。送り手が小さい7組では、全文を読んだ場合の約92〜109%で、全文を読むより下がる組もあります。
送り手が大きい3組では約103〜143%です。
勝っているのは要約に対してで、全文を読む受け手との比較は「同程度」という位置づけです。
【仕組み】 変換器が記憶を写し、受け手は質問だけを読む設計

小さな変換器が、「送り手の記憶」を「受け手の記憶の形」へ翻訳します。
流れは次のとおりです。
送り手が文書を一度だけ読み、KVキャッシュを作る。
SwaT(変換器)が、それを受け手のモデルが使う形のキャッシュへ写す。
必要に応じて、Attention MatchingというKVキャッシュの圧縮手法で小さくする。
受け手は元の文書を読まず、質問だけを読んで答える。
学習するのは変換器だけで、送り手と受け手のモデルはそのまま(凍結)です。
学習の目的は二つあります。受け手が自分で作るキャッシュに近づけることと、そのキャッシュで正しく答えさせることです。
モデルごとに文字の区切りが違う問題は、トークンではなく文字の位置で対応づけて解決しています。学習に使ったのは英語のテキストだけです。
計算量は、受け手が元の文書を読み直す場合と比べて、FLOPs(浮動小数点演算の回数)が最悪の長さでも8〜14倍以上少なくなります。検証した2組で、受け手がLlama 3 8Bの組み合わせは8倍以上、Qwen 3 14Bの組み合わせは14倍以上です。
ここでの比較相手は、先ほどの要約ではなく「受け手が全文を読み直す」場合です。受け手が大きいほど読み直しは重くなり、変換のコストはほぼ変わらないので、差が開きます。
【具体例】 画像を読めないLLMが画像の質問に答えるまで

画像を見られるモデルの記憶を借りると、テキスト専用モデルが画像の質問に答えられました。
論文の実験では、送り手が画像も扱えるGemma 3のVLM(視覚言語モデル)です。受け手は、テキストしか読めないGranite 3.3 8Bなどです。
送り手が画像を見て作った記憶を、変換器を通して受け手へ渡します。
比較は二つです。送り手が画像の説明文(キャプション)を書いて渡す方式と、送り手のVLMが単独で答える場合です。
5種類の画像質問ベンチマークの平均では、3組のモデルすべてで、SwaTが両方を上回りました。変換器は英語のテキストだけで学習していて、画像は一度も見ていません。
ただし、画像を読む力が丸ごと移るわけではありません。文書や図表の細かい文字が必要なDocVQAとInfoVQAでは、送り手のVLM単独が大きく上でした。
組み合わせによっては、説明文を渡す方式にも負けています。
移ったのは、場面を大づかみに理解する力だと読むのが安全です。
【関連概念】 先行研究と、見落とせない五つの限界

SwaTは潜在通信の系譜にあり、役立つ場面は限られます。
近い研究には、同じモデルのコピー同士で内部状態をやりとりするLatentMASがあります。別ファミリー間のキャッシュ変換では、受け手に読み込みを残すCache-to-Cacheがあります。
別々のモデルでも表現が似てくるというPlatonic Representation Hypothesisは、変換が成り立つ理由の仮説として論文に引かれています。
限界は、論文が自分で認めているものと、読む側が押さえておくものに分かれます。
ペアごとの学習:送り手と受け手の組ごとに変換器が要ります。n個のファミリーならn×(n−1)個で、著者も現実的でないと書いています。
単発の受け渡しだけ:繰り返しの転送や、複数メッセージの合成は扱っていません。キャッシュは劣化しやすく、テキストのように足し合わせにくいためです。
同一ファミリーでは負ける:同じファミリー内(Qwen 3 4Bから8B)では、既存手法のDense Latentがわずかに上でした。比較相手は著者が別ファミリー向けに手直しして再実装したものです。
監査と安全性:現在の実装は送り手のテキストが手元にあるので、テキストでの監視はできます。ただしキャッシュには、テキストに出ない情報が含まれうるため、ログに残らない情報が流れうる点が課題です。論文は今後の課題としています。
第三者による再現がまだない:v1のプレプリントで、論文と公開コード以外に、再現を確かめられる資料は確認できていません。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
『大規模言語モデル入門』(山田育矢監修、鈴木正敏、山田康輔、李凌寒)は、大規模言語モデルの理論と実装の両方を解説した入門書で、この記事に出てくる仕組みを読む前の、前提になる知識を補えます。KVキャッシュの受け渡しを主題にした本ではありません。
『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』(山田育矢、鈴木正敏、西川荘介、藤井一喜、山田康輔、李凌寒)は、評価、指示チューニング、RAG、分散並列学習を扱う続編です。こちらもKVキャッシュの受け渡しは主題にしていません。生成型LLMの実装と評価を広げたいときの一冊です。
関連記事
【まとめ】 自分のエージェントで試す順番
結論として、エージェントが言葉で会話してきたのは、人間が読めて確実に通じる窓口が言葉だったからです。SwaTは、その窓口を手放す代わりに精度と速度を得る選択肢を示しました。
これはこの記事の整理で、論文の主張ではありません。
自分の仕事に当てはめるなら、次の順で確認してみてください。
自分のエージェント構成で、要約を渡している箇所を洗い出す。
その要約が、精度低下や遅さの原因になっているか切り分ける(要約を長くすると改善するか)。
送り手と受け手が同じファミリーか確かめる。同じなら、既存の同一ファミリー向け手法が先の候補です。
受け渡しが1回で済むか確かめる。往復や合成が多いなら、現時点の対象外です。
監査の要件を確かめる。記憶で渡す部分があるなら、元のテキストも並べて残す設計を考えておく。
試すなら、公開コードで追試できるかを先に見る。
参考情報
Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families(arXiv:2610.15095)
Cache-to-Cache: Direct Semantic Communication Between Large Language Models(ICLR 2026)
Latent collaboration in multi-agent systems(arXiv:2511.20639)
Cross-Model KV Cache Transfer in LLM Families(arXiv:2608.03893)
DroidSpeak: KV Cache Sharing for Cross-LLM Communication and Multi-LLM Serving(arXiv:2411.02820)
Training Large Language Models to Reason in a Continuous Latent Space(arXiv:2412.06769)