
入力が重いAIエージェントの推論コストを分解する~DeepSeek-V4.1-Flash はどこを削ったか~
【発端】 入力を覚える側へのコストの移動

最近、DeepSeek-AIの論文「DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression」(arXiv 2609.19969、2026年9月)を読みました。
中心になっているのは、モデルを賢くする話ではありません。長い作業をこなすエージェントでは、入力を読む計算、GPUのメモリ、SSD、転送の道筋のどこが重いのかを分け、一つずつ減らしています。
この記事では、四つの負担を先に説明します。そのあと、V4.1-Flashがそれぞれをどう減らしたかを、段階を追って読みます。
前提から書くので、論文を読んでいなくても追える形です。
【基礎】 計算・HBM・永続KV・帯域の四つの負担

長い入力を扱うときの負担は、計算だけではありません。覚えておく場所と、運ぶ道にもかかります。
KVキャッシュは読んだ内容のメモ
LLMは文章を読むとき、トークン(単語や文字の断片)ごとに、あとで参照するためのkeyとvalueを作ります。これを保存したものがKVキャッシュです。
保存しておけば、次のトークンを作るたびに最初から読み直さずに済みます。文脈が長くなるほど、このメモは増えます。
四つの負担
入力を読む段階がprefill、返答を1トークンずつ作る段階がdecodeです。論文は、実行中に使うKVをHBM(GPUに載った高速メモリ)に常に置き、再利用のために残すKVをSSDやホストメモリに置く、という前提で整理しています。
論文の序論は、この四つが長い文脈の配備を制約すると整理しています。
【違い】 計算のあとに残る保存と移動

以前は、長い文脈を計算するコストが制約でした。そこが下がった今は、保存と移動が残っています。
論文によると、疎な注意(必要な箇所だけを見る方式)の先行研究が、長い入力の計算コストを大きく下げました。その結果、永続的な保存とデータの移動が、目立つ制約になっています。
エージェントでは、ツールを呼ぶたびに会話の履歴が戻ります。キャッシュが外れていれば、そのたびに大きなprefillが起きます。
KVを小さくする手は、論文の整理では三つの次元に分かれます。
DeepSeek-V2はMLAで、1トークンのKVを小さな潜在ベクトルに圧縮します。同じ論文は、DeepSeek 67Bに対してKVキャッシュを93.3%減らしたと報告しています(arXiv)。
V4.1-Flashの論文は、三つの次元をすべて扱う既存手法は無いと述べています。
【仕組み】 四つの負担に対応する四つの手
負担と対策の対応は、ほぼ一対一です。帯域だけは専用の対策ではなく、縮小の結果として軽くなります。
一段目 prefillを半分にするCED
CED(Causal Encoder-Decoder)は、40層を前半20層のエンコーダと後半20層のデコーダに分けます。デコーダの全体用KVは、エンコーダ最終層の出力から作ります。
そのため、prefillで計算するのはほぼ前半だけです。活性化するのはprefillで8B、decodeで16Bです。
言語バックボーンのパラメータは552Bで、Engramが別に196Bあります。DeepSeekは、prefillの計算がほぼ半分になると述べています。
この発想の出どころは、Microsoft Researchと清華大学のYOCO(後述)です。
二段目 層をまたいでKVを借りる

CSA2では、各層がFull、Reindex、Reuseのどのモードかに固定されています。FullはKVを自分で作って選びます。
ReindexはKVを借りて、選び直します。ReuseはKVも選択結果も借ります。
論文の層構成では、入力全体のKVを作るFullは、エンコーダ3層とデコーダ1層です。The Batchも、40層のうち4層だけだと説明しています。
どの層も、直近の局所的なKVは自分で持ちます。
三段目 KVをFP4で持つ
KVは4ビットで保存し、16個ごとに8ビットの倍率を共有します(The Batchの説明。論文は16チャネルごとにE4M3の倍率と書いています)。
二段目と三段目を合わせて、常にHBMに置く全体用KVは1トークンあたり890バイトです。DeepSeek-V4-Flashの約1/4にあたります。
四段目 永続分を近似で戻す

SWAは、直近の一定数のトークンだけを見る注意です。層ごとの局所KVが前の層に依存するため、厳密に戻すには、層の数×窓の幅のトークンを読み直す必要があります。
このモデルの窓は128、層は40なので、5,120トークンです。
SWA Bounded Replayは、直近128トークンだけを読み直して近似します。論文は、性能の低下を無視できる程度としています。
SSDに置く分を減らせるので、永続KVはV4-Flashの約1/8です。
結果としての計算量
論文によると、文脈を4Kから1Mへ256倍に伸ばしても、1トークンあたりのdecodeの計算量は1/4(25%)しか増えません。これらはすべてDeepSeek自身の報告です。
【具体例】 100万トークンでも1GB未満の全体用KV

100万トークンの作業を続けるコーディングエージェントでも、保存する全体用のメモは1GB未満に収まります。以下は論文の数字を使った単純計算で、実測ではありません。
全体用のKVだけを見ます。890バイト×100万トークンで約0.89GBです。
V4-Flashが約4倍なら、3.5GB前後になります。局所のKVなど、他のデータは含みません。
ツールを呼ぶたびにキャッシュが外れる場合も、読み直すのは全体ではありません。永続分から戻すときは、直近128トークンだけで済みます。
数字の読み方
論文の性能:評価はすべてDeepSeek-AI自身の報告です。
1017のベンチマーク:DeepSeek-V4.1-Flash-1017(10月17日公開)は、DeepSWEで77.0%、1タスク平均で約0.20ドルです。前版は74.2%、約0.50ドルでした。The Decoderは、これらをDeepSeek自身のチャートとし、独立した評価はまだ出ていないと報じています。
費用の内訳:1タスクの費用には、出力の短さも効いています。KVの圧縮だけの効果とは言えません。
学習コスト:学習に使ったGPUの数、時間、費用は公表されていません。
【関連概念】 次元ごとに一つを削る先行研究

V4.1-Flashの手は、個別に見れば既にある考え方で、束ね方に特徴があります。
PagedAttentionは、キャッシュの総量を縮める方法ではありません。置き方をブロック単位で整えます。
縮める手と、置き方を整える手は、組み合わせて使えます。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
『大規模言語モデル入門』(山田育矢、鈴木正敏、山田康輔、李凌寒)は、Transformerと注意の仕組みを基礎から確認する入門書です。KVキャッシュの前提を追うときに使います。
『作ってわかる大規模言語モデルの仕組み』(井上顧基、下垣内隆太、高島直也、澤風吹)は、GPTの実装を通して、KVを作って使う流れを追う本です。
『ローカルLLM高速化・省メモリ実践入門: 量子化・圧縮・GPU最適化から分割推論まで』(Xegion)は、量子化とKVキャッシュを、精度を落として置く量を減らす側から補います。
『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』(山田育矢、鈴木正敏、西川荘介、藤井一喜、山田康輔、李凌寒)は、前作の続編で、性能評価や指示チューニングなど生成する側の実装を扱います。
関連記事
【まとめ】 支配的な負担を測ってからの削減

削る場所を決める前に見るのは、どの負担が自分の仕事でポイントとなるかです。以下は、実行して確かめた手順ではありません。
自分のエージェントの内訳を見るときの補助です。
入力と出力の比:1タスクの入力トークン数と出力トークン数を数えます。入力がはるかに多ければ、入力側の負担が支配的です。
キャッシュの当たり外れ:The Batchによると、DeepSeekのAPI価格はピーク時で、未キャッシュ入力が100万トークンあたり0.30ドル、キャッシュ済みが0.006ドルです。単価は50倍違うので、外れる頻度が費用を左右します。
文脈長ごとの変化:同じ作業を短い文脈と長い文脈で動かし、遅延と費用の増え方を比べます。