メインコンテンツへスキップ
見出し画像

AIエージェントの課金はなぜ「読み直し」で膨らむのか~1回のセッションを決める6つのレバー~

    【発端】 トークンの無駄を「式」で分解した記事

    画像
    数字の出どころを、公開された価格と文献、5つの仮定の2つだけに絞っている

    最近、Sergii Makarevych(@sermakarevich)さんの X Article「Where we waste AI tokens, and how to stop: the six levers that decide what one agent session burns」を読みました。エージェントを回すたびに利用上限へ当たる人に向けて、1回のセッションが消費するトークンを6つのレバーに分け、30の改善案を並べた長編です。

    数字の出どころを2つに絞っているところが面白く、その1つは公開されている価格や文献です。

    もう1つは、5つの仮定を置いた算術モデルで、実測の記録ではないと明記しているので、読者は自分のセッションの数字に差し替えて検算できます。

    この記事では30案を順に追いません。エージェントのコストがなぜ「読み直し」で膨らむのか、6つのレバーが式のどの項にかかるのか、どれから触ればよいのかの3点を、原文の算術モデルをもとに整理します。

    【基礎】 トークンの大半は、タスクではなく読み直しに消える

    画像
    モデルは呼び出しのあいだ何も覚えていないので、毎回すべてを送り直す

    エージェントは毎回、会話の全部をもう一度読んでいます。

    エージェントのセッションは、ループです。モデルが会話全体を読み、ツールを呼び、その結果を足して、また会話全体を読みます。

    答えが出るまでの繰り返しです。モデルは呼び出しのあいだ何も覚えていないので、毎回すべてを送り直します。

    このときの「1回の呼び出し」を、ここでは1ターンと呼びます。

    原文の例では、起動時の文脈が25,000トークンです。起動時の文脈とは、システムプロンプト、指示ファイル、ツール定義、メモリなど、入力する前からある内容です。

    ここに1ターンごとに4,000トークンが残り、40ターンかかる仕事を考えます。

    ターン1は25,000、ターン10は61,000、ターン40は181,000トークンを読みます。仕事は難しくなっていないのに、ターン40の読み込み量はターン1の7倍です。

    入力の合計は、「起動時の文脈×ターン数」に、「1ターンの増分×ターンの組の数」を足した形です。40ターンなら組の数は780で、後ろの項はターン数の二乗で増えます。

    原文の例で見ると、40ターン時点の入力の4分の3は蓄積分です。

    【違い】 見るべきものは、モデルの単価から読み直しの量に移る

    画像
    キャッシュで読み直しが安くなると、費用のいちばん大きいところが移る

    「どのモデルが安いか」の前に、「何回、何を読み直しているか」を見ます。

    プロンプトキャッシュは、前回と先頭が同じ入力の繰り返し部分を、安い単価で読む仕組みです。原文では、キャッシュなしで17.28ドル、ありで2.49ドルになります。

    出力の割合も、5%から約3分の1です。

    読み直しが安くなると、いちばん大きい項が移ります。

    最初の問い

    • 単価で見る:どのモデルが安いか

    • 読み直しで見る:何トークンを何回読み直しているか

    大きい項

    • 単価で見る:入力の単価

    • 読み直しで見る:1ターンの増分とターン数

    最初に打つ手

    • 単価で見る:安いモデルへの切り替え

    • 読み直しで見る:文脈に入れない、ターンを減らす

    判定する数字

    • 単価で見る:価格表

    • 読み直しで見る:完了したタスク1件あたりの価格加重トークン

    最後の行も大事です。価格加重トークンは、トークン数に単価の重みを付けた値です。

    安いモデルが3回やり直すなら、安くはなっていません。

    【仕組み】 6つのレバーは、式の項と掛け率に分かれる

    式の中にあるのは、起動時の文脈、蓄積される文脈、ターン数です。残りの3つ、出力トークン、キャッシュ命中率、トークン単価は、式全体にかかる倍率です。

    式の中の3つは、かかり方がかなり違います。

    • 起動時の文脈:かかるのは線形の項だけです。長いセッションでは小さな項です。

    • 蓄積される文脈:半分にすると、二乗の項が半分になります。

    • ターン数:半分にすると、二乗の項が4分の1になります。

    倍率の3つにも癖があり、出力は入力の5倍の単価で、思考の分も含みます。

    キャッシュが外れるのは、モデルの切り替えや途中でのツールの付け外し、システムプロンプトへの時刻の混入、5分を超える中断です。

    モデル変更も、単価表どおりには安くなりません。キャッシュ読み出しの単価が2つのモデルで同じなので、削減は半額でなく、原文の例では34%どまりです。

    どのレバーが大きいかは、利用ログから読めます。原文は、起動時の割合、キャッシュ命中率、出力の割合の3つを勧めています。

    長いセッションでは、キャッシュ命中率が90%を超えているのが目安です。

    【具体例】 40ターンの例で、1つずつ仮定を変えてみる

    画像
    基準はキャッシュありの2.49ドル。仮定を1つだけ変えた結果

    増分を削る手とモデルを替える手は、どちらも約3割の削減です。

    原文の例は、ほかの4つの仮定を固定し、1つずつ動かします。基準はキャッシュありの2.49ドルです。

    起動時の文脈を25,000から8,000トークンへ

    • キャッシュあり(ドル):2.28

    • 基準との差:約1割弱の削減

    1ターンの増分を4,000から1,500トークンへ

    • キャッシュあり(ドル):1.63

    • 基準との差:34%削減

    同じ40ターンを20ターンのセッション2つに分割

    • キャッシュあり(ドル):2.27(2つ目が冷えた状態)/2.15(温まった状態)

    • 基準との差:9%/14%削減

    同じ仕事を20ターンで終える

    • キャッシュあり(ドル):1.14

    • 基準との差:54%削減

    出力を1ターン1,000から500トークンへ

    • キャッシュあり(ドル):2.09

    • 基準との差:約16%削減

    20分の中断が1回入る(ターン20)

    • キャッシュあり(ドル):ターン20の再書き込み0.50(読み出しなら0.02)

    • 基準との差:1セッションの約5分の1が増える

    モデルを安い側へ切り替え

    • キャッシュあり(ドル):1.64

    • 基準との差:34%削減

    増分を削る手とモデルを替える手のどちらが大きいかは、出力の想定で入れ替わります。1ターン3,000出力の想定では、増分の削減が21%、モデル変更が40%です。

    思考が軽いほど文脈を削る手の削減が大きく、思考が重くなると価格側の手の削減が大きくなります。

    原文では、この例は実際の記録ではなく算術モデルです。サブスクリプションでは、同じトークン数が課金ではなく利用枠を消費します。

    レバーの向きは同じですが、キャッシュ分の重みは公開されていないため、大きさは確認できません。

    【関連概念】 安く回す手段とのトレードオフ

    画像
    文脈が長いほど、費用より先に品質が落ちる

    削る手を打つほど、別の項が増える場所があります。

    • 文脈が長いと品質が先に落ちます。ChromaのContext Rotは、18モデルで入力が長くなると精度が落ちることを示しています。

    原文は、約300トークンの絞った質問が、約113,000トークンの履歴付きの同じ質問を上回った例を挙げています。

    • ツールの出力は設計で絞れます。Anthropicのツール設計ガイドは、返す行数を抑えてページ送りにする設計を勧めています。

    • ツール定義は必要なときだけ読み込めます。Anthropicは、ツール定義をオンデマンドで読み込む手法で、あるツール群を77,000から約8,700トークンへ減らしたと報告しています。

    引き換えとして、原文が挙げる主なものは次のとおりです。

    セッション分割

    • 得られるもの:蓄積の二乗項が減ります

    • 引き換えに失うもの:起動時の再読と、引き継ぎの手間

    サブエージェント

    • 得られるもの:読み込みの重い工程を隔離できます

    • 引き換えに失うもの:親の状態を見られません。エージェントチームは通常の約7倍のトークンです

    圧縮(コンパクション)

    • 得られるもの:履歴を短くできます

    • 引き換えに失うもの:キャッシュを作り直します。同じ情報を再質問することがあります

    安いモデル

    • 得られるもの:書き込みと出力の単価が下がります

    • 引き換えに失うもの:キャッシュを捨てます。ターンが増えれば削減が消えます

    ハーネスの見直しも、モデル変更と同じ大きさになりえます。原文が引く論文では、同じモデルのまま構成を絞り、タスク1件あたりのコストが約40%下がっています。

    はい・いいえや分類のように、答えが選択肢で済む仕事は、文章を生成させる必要がありません。原文は、選択肢ごとの確率を返す判定専用モデルを、安い使い方の1つとして紹介しています。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    John Berryman、Albert Ziegler『LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発』は、プロンプトに何を入れ、どう構造化するかを扱う書籍です。文脈に何を入れるかの理解を補います。

    蒲生弘郁『LLMの原理、RAG・エージェント開発から読み解く コンテキストエンジニアリング(エンジニア選書)』は、エージェントに渡すコンテキストの設計と管理を扱う書籍です。蓄積される文脈と、ツール出力を絞る話の背景になります。

    関連記事

    【まとめ】 まず4つの流れから始める

    順番は「測る、大きい項を見る、1つ変える、また測る」です。

    1. 4つの数字を取ります。入力、キャッシュ読み出し、キャッシュ書き込み、出力です。Claude Codeのコスト管理の利用状況画面や、ccusageのようなログ集計ツールで見られます。

    2. 3つの割合を出します。起動時の割合、キャッシュ命中率、出力の割合です。

    3. 一番大きい項を1つだけ動かします。次の4つの対応が目安で、閾値は原文でも経験則とされています。

      • 1ターン目が30,000トークン以上なら、起動時の文脈を見直します。

      • 1ターンの増分が5,000トークン以上なら、ツール出力を絞ります。

      • セッションが40ターンを超えるなら、仕事を分けます。

      • キャッシュ命中率が90%未満なら、キャッシュを外す要因を探します。

    4. 前後で、完了タスク1件あたりのコストと成功率を比べます。

    1. □ 起動時の文脈に、ほとんど使わないツール定義が入っていないか。

    2. □ 無関係な作業を同じセッションに続けていないか。

    3. □ 失敗した修正を何度も繰り返していないか。

    最初の一歩は、普段のセッションを1本、4つの数字で見るだけで十分です。

    参考情報

    この記事はnoteマネーにピックアップされました

    noteマネー 今週の特集「AI株を占うエヌビディア決算」
     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ