メインコンテンツへスキップ
見出し画像

入力が重いAIエージェントの推論コストを分解する~DeepSeek-V4.1-Flash はどこを削ったか~

    【発端】 入力を覚える側へのコストの移動

    画像

    最近、DeepSeek-AIの論文「DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression」(arXiv 2609.19969、2026年9月)を読みました。

    中心になっているのは、モデルを賢くする話ではありません。長い作業をこなすエージェントでは、入力を読む計算、GPUのメモリ、SSD、転送の道筋のどこが重いのかを分け、一つずつ減らしています。

    この記事では、四つの負担を先に説明します。そのあと、V4.1-Flashがそれぞれをどう減らしたかを、段階を追って読みます。

    前提から書くので、論文を読んでいなくても追える形です。

    【基礎】 計算・HBM・永続KV・帯域の四つの負担

    画像

    長い入力を扱うときの負担は、計算だけではありません。覚えておく場所と、運ぶ道にもかかります。

    KVキャッシュは読んだ内容のメモ

    LLMは文章を読むとき、トークン(単語や文字の断片)ごとに、あとで参照するためのkeyとvalueを作ります。これを保存したものがKVキャッシュです。

    保存しておけば、次のトークンを作るたびに最初から読み直さずに済みます。文脈が長くなるほど、このメモは増えます。

    四つの負担

    入力を読む段階がprefill、返答を1トークンずつ作る段階がdecodeです。論文は、実行中に使うKVをHBM(GPUに載った高速メモリ)に常に置き、再利用のために残すKVをSSDやホストメモリに置く、という前提で整理しています。

    論文の序論は、この四つが長い文脈の配備を制約すると整理しています。

    【違い】 計算のあとに残る保存と移動

    画像

    以前は、長い文脈を計算するコストが制約でした。そこが下がった今は、保存と移動が残っています。

    論文によると、疎な注意(必要な箇所だけを見る方式)の先行研究が、長い入力の計算コストを大きく下げました。その結果、永続的な保存とデータの移動が、目立つ制約になっています。

    エージェントでは、ツールを呼ぶたびに会話の履歴が戻ります。キャッシュが外れていれば、そのたびに大きなprefillが起きます。

    KVを小さくする手は、論文の整理では三つの次元に分かれます。

    DeepSeek-V2はMLAで、1トークンのKVを小さな潜在ベクトルに圧縮します。同じ論文は、DeepSeek 67Bに対してKVキャッシュを93.3%減らしたと報告しています(arXiv)。

    V4.1-Flashの論文は、三つの次元をすべて扱う既存手法は無いと述べています。

    【仕組み】 四つの負担に対応する四つの手

    負担と対策の対応は、ほぼ一対一です。帯域だけは専用の対策ではなく、縮小の結果として軽くなります。

    一段目 prefillを半分にするCED

    CED(Causal Encoder-Decoder)は、40層を前半20層のエンコーダと後半20層のデコーダに分けます。デコーダの全体用KVは、エンコーダ最終層の出力から作ります。

    そのため、prefillで計算するのはほぼ前半だけです。活性化するのはprefillで8B、decodeで16Bです。

    言語バックボーンのパラメータは552Bで、Engramが別に196Bあります。DeepSeekは、prefillの計算がほぼ半分になると述べています。

    この発想の出どころは、Microsoft Researchと清華大学のYOCO(後述)です。

    二段目 層をまたいでKVを借りる

    画像

    CSA2では、各層がFull、Reindex、Reuseのどのモードかに固定されています。FullはKVを自分で作って選びます。

    ReindexはKVを借りて、選び直します。ReuseはKVも選択結果も借ります。

    論文の層構成では、入力全体のKVを作るFullは、エンコーダ3層とデコーダ1層です。The Batchも、40層のうち4層だけだと説明しています。

    どの層も、直近の局所的なKVは自分で持ちます。

    三段目 KVをFP4で持つ

    KVは4ビットで保存し、16個ごとに8ビットの倍率を共有します(The Batchの説明。論文は16チャネルごとにE4M3の倍率と書いています)。

    二段目と三段目を合わせて、常にHBMに置く全体用KVは1トークンあたり890バイトです。DeepSeek-V4-Flashの約1/4にあたります。

    四段目 永続分を近似で戻す

    画像

    SWAは、直近の一定数のトークンだけを見る注意です。層ごとの局所KVが前の層に依存するため、厳密に戻すには、層の数×窓の幅のトークンを読み直す必要があります。

    このモデルの窓は128、層は40なので、5,120トークンです。

    SWA Bounded Replayは、直近128トークンだけを読み直して近似します。論文は、性能の低下を無視できる程度としています。

    SSDに置く分を減らせるので、永続KVはV4-Flashの約1/8です。

    結果としての計算量

    論文によると、文脈を4Kから1Mへ256倍に伸ばしても、1トークンあたりのdecodeの計算量は1/4(25%)しか増えません。これらはすべてDeepSeek自身の報告です。

    【具体例】 100万トークンでも1GB未満の全体用KV

    画像

    100万トークンの作業を続けるコーディングエージェントでも、保存する全体用のメモは1GB未満に収まります。以下は論文の数字を使った単純計算で、実測ではありません。

    全体用のKVだけを見ます。890バイト×100万トークンで約0.89GBです。

    V4-Flashが約4倍なら、3.5GB前後になります。局所のKVなど、他のデータは含みません。

    ツールを呼ぶたびにキャッシュが外れる場合も、読み直すのは全体ではありません。永続分から戻すときは、直近128トークンだけで済みます。

    数字の読み方

    • 論文の性能:評価はすべてDeepSeek-AI自身の報告です。

    • 1017のベンチマーク:DeepSeek-V4.1-Flash-1017(10月17日公開)は、DeepSWEで77.0%、1タスク平均で約0.20ドルです。前版は74.2%、約0.50ドルでした。The Decoderは、これらをDeepSeek自身のチャートとし、独立した評価はまだ出ていないと報じています。

    • 費用の内訳:1タスクの費用には、出力の短さも効いています。KVの圧縮だけの効果とは言えません。

    • 学習コスト:学習に使ったGPUの数、時間、費用は公表されていません。

    【関連概念】 次元ごとに一つを削る先行研究

    画像

    V4.1-Flashの手は、個別に見れば既にある考え方で、束ね方に特徴があります。

    PagedAttentionは、キャッシュの総量を縮める方法ではありません。置き方をブロック単位で整えます。

    縮める手と、置き方を整える手は、組み合わせて使えます。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『大規模言語モデル入門』(山田育矢、鈴木正敏、山田康輔、李凌寒)は、Transformerと注意の仕組みを基礎から確認する入門書です。KVキャッシュの前提を追うときに使います。

    『作ってわかる大規模言語モデルの仕組み』(井上顧基、下垣内隆太、高島直也、澤風吹)は、GPTの実装を通して、KVを作って使う流れを追う本です。

    『ローカルLLM高速化・省メモリ実践入門: 量子化・圧縮・GPU最適化から分割推論まで』(Xegion)は、量子化とKVキャッシュを、精度を落として置く量を減らす側から補います。

    『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』(山田育矢、鈴木正敏、西川荘介、藤井一喜、山田康輔、李凌寒)は、前作の続編で、性能評価や指示チューニングなど生成する側の実装を扱います。

    関連記事

    【まとめ】 支配的な負担を測ってからの削減

    画像

    削る場所を決める前に見るのは、どの負担が自分の仕事でポイントとなるかです。以下は、実行して確かめた手順ではありません。

    自分のエージェントの内訳を見るときの補助です。

    1. 入力と出力の比:1タスクの入力トークン数と出力トークン数を数えます。入力がはるかに多ければ、入力側の負担が支配的です。

    2. キャッシュの当たり外れ:The Batchによると、DeepSeekのAPI価格はピーク時で、未キャッシュ入力が100万トークンあたり0.30ドル、キャッシュ済みが0.006ドルです。単価は50倍違うので、外れる頻度が費用を左右します。

    3. 文脈長ごとの変化:同じ作業を短い文脈と長い文脈で動かし、遅延と費用の増え方を比べます。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ