
AIエージェントの課金はなぜ「読み直し」で膨らむのか~1回のセッションを決める6つのレバー~
【発端】 トークンの無駄を「式」で分解した記事

最近、Sergii Makarevych(@sermakarevich)さんの X Article「Where we waste AI tokens, and how to stop: the six levers that decide what one agent session burns」を読みました。エージェントを回すたびに利用上限へ当たる人に向けて、1回のセッションが消費するトークンを6つのレバーに分け、30の改善案を並べた長編です。
数字の出どころを2つに絞っているところが面白く、その1つは公開されている価格や文献です。
もう1つは、5つの仮定を置いた算術モデルで、実測の記録ではないと明記しているので、読者は自分のセッションの数字に差し替えて検算できます。
この記事では30案を順に追いません。エージェントのコストがなぜ「読み直し」で膨らむのか、6つのレバーが式のどの項にかかるのか、どれから触ればよいのかの3点を、原文の算術モデルをもとに整理します。
【基礎】 トークンの大半は、タスクではなく読み直しに消える

エージェントは毎回、会話の全部をもう一度読んでいます。
エージェントのセッションは、ループです。モデルが会話全体を読み、ツールを呼び、その結果を足して、また会話全体を読みます。
答えが出るまでの繰り返しです。モデルは呼び出しのあいだ何も覚えていないので、毎回すべてを送り直します。
このときの「1回の呼び出し」を、ここでは1ターンと呼びます。
原文の例では、起動時の文脈が25,000トークンです。起動時の文脈とは、システムプロンプト、指示ファイル、ツール定義、メモリなど、入力する前からある内容です。
ここに1ターンごとに4,000トークンが残り、40ターンかかる仕事を考えます。
ターン1は25,000、ターン10は61,000、ターン40は181,000トークンを読みます。仕事は難しくなっていないのに、ターン40の読み込み量はターン1の7倍です。
入力の合計は、「起動時の文脈×ターン数」に、「1ターンの増分×ターンの組の数」を足した形です。40ターンなら組の数は780で、後ろの項はターン数の二乗で増えます。
原文の例で見ると、40ターン時点の入力の4分の3は蓄積分です。
【違い】 見るべきものは、モデルの単価から読み直しの量に移る

「どのモデルが安いか」の前に、「何回、何を読み直しているか」を見ます。
プロンプトキャッシュは、前回と先頭が同じ入力の繰り返し部分を、安い単価で読む仕組みです。原文では、キャッシュなしで17.28ドル、ありで2.49ドルになります。
出力の割合も、5%から約3分の1です。
読み直しが安くなると、いちばん大きい項が移ります。
最初の問い
単価で見る:どのモデルが安いか
読み直しで見る:何トークンを何回読み直しているか
大きい項
単価で見る:入力の単価
読み直しで見る:1ターンの増分とターン数
最初に打つ手
単価で見る:安いモデルへの切り替え
読み直しで見る:文脈に入れない、ターンを減らす
判定する数字
単価で見る:価格表
読み直しで見る:完了したタスク1件あたりの価格加重トークン
最後の行も大事です。価格加重トークンは、トークン数に単価の重みを付けた値です。
安いモデルが3回やり直すなら、安くはなっていません。
【仕組み】 6つのレバーは、式の項と掛け率に分かれる
式の中にあるのは、起動時の文脈、蓄積される文脈、ターン数です。残りの3つ、出力トークン、キャッシュ命中率、トークン単価は、式全体にかかる倍率です。
式の中の3つは、かかり方がかなり違います。
起動時の文脈:かかるのは線形の項だけです。長いセッションでは小さな項です。
蓄積される文脈:半分にすると、二乗の項が半分になります。
ターン数:半分にすると、二乗の項が4分の1になります。
倍率の3つにも癖があり、出力は入力の5倍の単価で、思考の分も含みます。
キャッシュが外れるのは、モデルの切り替えや途中でのツールの付け外し、システムプロンプトへの時刻の混入、5分を超える中断です。
モデル変更も、単価表どおりには安くなりません。キャッシュ読み出しの単価が2つのモデルで同じなので、削減は半額でなく、原文の例では34%どまりです。
どのレバーが大きいかは、利用ログから読めます。原文は、起動時の割合、キャッシュ命中率、出力の割合の3つを勧めています。
長いセッションでは、キャッシュ命中率が90%を超えているのが目安です。
【具体例】 40ターンの例で、1つずつ仮定を変えてみる

増分を削る手とモデルを替える手は、どちらも約3割の削減です。
原文の例は、ほかの4つの仮定を固定し、1つずつ動かします。基準はキャッシュありの2.49ドルです。
起動時の文脈を25,000から8,000トークンへ
キャッシュあり(ドル):2.28
基準との差:約1割弱の削減
1ターンの増分を4,000から1,500トークンへ
キャッシュあり(ドル):1.63
基準との差:34%削減
同じ40ターンを20ターンのセッション2つに分割
キャッシュあり(ドル):2.27(2つ目が冷えた状態)/2.15(温まった状態)
基準との差:9%/14%削減
同じ仕事を20ターンで終える
キャッシュあり(ドル):1.14
基準との差:54%削減
出力を1ターン1,000から500トークンへ
キャッシュあり(ドル):2.09
基準との差:約16%削減
20分の中断が1回入る(ターン20)
キャッシュあり(ドル):ターン20の再書き込み0.50(読み出しなら0.02)
基準との差:1セッションの約5分の1が増える
モデルを安い側へ切り替え
キャッシュあり(ドル):1.64
基準との差:34%削減
増分を削る手とモデルを替える手のどちらが大きいかは、出力の想定で入れ替わります。1ターン3,000出力の想定では、増分の削減が21%、モデル変更が40%です。
思考が軽いほど文脈を削る手の削減が大きく、思考が重くなると価格側の手の削減が大きくなります。
原文では、この例は実際の記録ではなく算術モデルです。サブスクリプションでは、同じトークン数が課金ではなく利用枠を消費します。
レバーの向きは同じですが、キャッシュ分の重みは公開されていないため、大きさは確認できません。
【関連概念】 安く回す手段とのトレードオフ

削る手を打つほど、別の項が増える場所があります。
文脈が長いと品質が先に落ちます。ChromaのContext Rotは、18モデルで入力が長くなると精度が落ちることを示しています。
原文は、約300トークンの絞った質問が、約113,000トークンの履歴付きの同じ質問を上回った例を挙げています。
ツールの出力は設計で絞れます。Anthropicのツール設計ガイドは、返す行数を抑えてページ送りにする設計を勧めています。
ツール定義は必要なときだけ読み込めます。Anthropicは、ツール定義をオンデマンドで読み込む手法で、あるツール群を77,000から約8,700トークンへ減らしたと報告しています。
引き換えとして、原文が挙げる主なものは次のとおりです。
セッション分割
得られるもの:蓄積の二乗項が減ります
引き換えに失うもの:起動時の再読と、引き継ぎの手間
サブエージェント
得られるもの:読み込みの重い工程を隔離できます
引き換えに失うもの:親の状態を見られません。エージェントチームは通常の約7倍のトークンです
圧縮(コンパクション)
得られるもの:履歴を短くできます
引き換えに失うもの:キャッシュを作り直します。同じ情報を再質問することがあります
安いモデル
得られるもの:書き込みと出力の単価が下がります
引き換えに失うもの:キャッシュを捨てます。ターンが増えれば削減が消えます
ハーネスの見直しも、モデル変更と同じ大きさになりえます。原文が引く論文では、同じモデルのまま構成を絞り、タスク1件あたりのコストが約40%下がっています。
はい・いいえや分類のように、答えが選択肢で済む仕事は、文章を生成させる必要がありません。原文は、選択肢ごとの確率を返す判定専用モデルを、安い使い方の1つとして紹介しています。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
John Berryman、Albert Ziegler『LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発』は、プロンプトに何を入れ、どう構造化するかを扱う書籍です。文脈に何を入れるかの理解を補います。
蒲生弘郁『LLMの原理、RAG・エージェント開発から読み解く コンテキストエンジニアリング(エンジニア選書)』は、エージェントに渡すコンテキストの設計と管理を扱う書籍です。蓄積される文脈と、ツール出力を絞る話の背景になります。
関連記事
【まとめ】 まず4つの流れから始める
順番は「測る、大きい項を見る、1つ変える、また測る」です。
4つの数字を取ります。入力、キャッシュ読み出し、キャッシュ書き込み、出力です。Claude Codeのコスト管理の利用状況画面や、ccusageのようなログ集計ツールで見られます。
3つの割合を出します。起動時の割合、キャッシュ命中率、出力の割合です。
一番大きい項を1つだけ動かします。次の4つの対応が目安で、閾値は原文でも経験則とされています。
1ターン目が30,000トークン以上なら、起動時の文脈を見直します。
1ターンの増分が5,000トークン以上なら、ツール出力を絞ります。
セッションが40ターンを超えるなら、仕事を分けます。
キャッシュ命中率が90%未満なら、キャッシュを外す要因を探します。
前後で、完了タスク1件あたりのコストと成功率を比べます。
□ 起動時の文脈に、ほとんど使わないツール定義が入っていないか。
□ 無関係な作業を同じセッションに続けていないか。
□ 失敗した修正を何度も繰り返していないか。
最初の一歩は、普段のセッションを1本、4つの数字で見るだけで十分です。