メインコンテンツへスキップ
見出し画像

【LLM原価】プロンプトキャッシュのヒット率が評価97.6%→本番26.6%|見積もり直す全手順

    評価用のデータでは 97.6% 効いていたプロンプトキャッシュが、本番では 26.6% しか効いていませんでした。

    2026 年 8 月、自作の家族向け TODO 共有ボット(Bedrock 上の Claude)で出た数字です。

    この記事では、キャッシュのヒット率を本番の使われ方から見積もり直し、原価を数字で決める手順を渡します。

    キャッシュを付けるか、寿命を 1 時間にするか、安いモデルを前段に置くか。

    この 3 つを、自分のアプリの数字で決められるようになります。

    こんな場面に心当たりはありませんか

    • 「評価では 9 割キャッシュが効いていたのに、請求が見積もりより高い」

    • 「Haiku を前に置けば、高いモデルの呼び出しが減って安くなるはずだった」

    • 「ヒット率をどこで見ればいいのか分からない」

    • 「1 時間キャッシュにすれば解決するのでは」

    1 つでも当てはまるなら、この記事はあなた向けです。

    計算を間違えたせいではありません

    見積もりがずれるのは、単価の計算ミスのせいではありません。

    評価の流し方が、本番の使われ方と違うからです。

    プロンプトキャッシュは、寿命(既定は 5 分)のうちに次の呼び出しが来たときだけ効きます。

    評価では用意したデータを続けて流すので、ほぼ全部が寿命内に収まります。

    本番の呼び出しは、利用者の都合でばらばらです。

    連続で流す評価では次の呼び出しが寿命内に来るが、散発的な本番では寿命が切れてから次が来る
    上が連続で流す評価、下が散発的な本番。帯がキャッシュの寿命

    私が遠回りした 2 つの失敗

    1 つ目は、冒頭の数字です。

    評価セット 121 件を続けて流したときのヒット率は 97.6% でした。

    本番では、数日のあいだに散発的に来た 12 件で 26.6% です。

    家族が思い出したときに 1 通送る、という使われ方でした。

    5 分の寿命では、ほとんどの呼び出しが新しい書き込みになります。

    2 つ目は、安いモデルを前段に置く案です。

    Haiku に「TODO かどうか」を先に判定させ、Sonnet の呼び出しを減らそうとしました。

    評価セット(130 件、ルールでの絞り込み後 121 件)で比べた結果です(2026-08-13)。

    • Sonnet の呼び出し: 121 回 → 61 回(半減)

    • 費用: 44.70 円 → 47.57 円(106%)

    • 遅延の p95: 3,952ms → 4,987ms(約 1.0 秒の悪化)

    • 取りこぼし: 4 件

    呼び出しを半分にしたのに、費用は増えました。

    Sonnet の入力の大半はキャッシュの読み取りで、減らせたのは元々安い部分だけだったからです。

    金額は Anthropic の第一者価格で代用した試算です。

    転機: 損益分岐の線を引いた

    キャッシュが元を取れる境目(損益分岐)を出すと、5 分の寿命では約 21.7% でした(2026-08)。

    本番の 26.6% は、この線のすぐ上です。安全域が小さいので、ダッシュボードで追い、週 1 回確かめる対象にしました。

    続けて送る使い方ではヒット率が上がります。そこで、データが溜まるまではキャッシュを残すことにしました。

    恒久的に 20% を割るなら、キャッシュを外します。

    前段の Haiku は不採用にしました。

    代わりに LLM を呼ばないルールの前段を置き、除外 7%・取りこぼし 0 件で採用しています。

    寿命の境目を Bedrock で試しました

    ここまでは 5 分の寿命の話です。1 時間の寿命ならどうなるでしょうか。

    この記事のために、Claude Code のエージェントに実験を組ませて実行させました(2026-11-06、Bedrock の東京リージョンから国内向けプロファイル(jp.)で呼び出し、Claude Haiku 4.5)。

    結果のファイル(呼び出しごとの usage)は、そのまま第 1 章に載せています。

    約 5,500 トークンの system プロンプトにキャッシュを付けて 1 回呼び、間隔を空けてもう 1 回呼びます。

    間隔 4 通り × 寿命 2 通りで、計 16 回です。

    • 3 分後: 5 分の寿命でも 1 時間の寿命でもヒット

    • 6 分後: 5 分はミス、1 時間はヒット

    • 30 分後: 5 分はミス、1 時間はヒット

    • 65 分後: どちらもミス(新しい書き込み)

    8 組とも、公式ドキュメントの仕様どおりでした。

    費用は Haiku 4.5 の Anthropic 第一者価格で換算して約 16 円です(Bedrock の実額とは異なることがあります)。

    「1 時間にしておけば安心」とは言えません。

    1 時間の寿命は書き込みが通常の入力の 2 倍なので、損益分岐は約 52.6% まで上がります。

    間隔が 1 時間を少し超えるだけで、その高い書き込みを毎回払うことになります。

    読み終えると手に入ること

    • API の usage から、キャッシュのヒット率をトークンで出せる

    • 自分の単価で損益分岐を出し、キャッシュを付けるか決められる

    • 本番の呼び出し時刻から、寿命 5 分と 1 時間のヒット率と月額を見積もれる

    • 評価のヒット率が楽観的になる条件を点検できる

    • 安いモデルを前段に置く案を、費用・p95・取りこぼしで比べて決められる

    • 本番で見張る指標と、キャッシュを外す基準を決められる

    • 寿命を 1 時間にするかを、数字で決められる

    有料部の目次(全 6 章)

    • 第 1 章 ヒット率は「回数」ではなく「トークン」で測る: usage の 3 つの値と、Anthropic API・Bedrock でのフィールド名の違い。集計スクリプト付き

    • 第 2 章 損益分岐を自分の単価で出す: 式 1 本と月額比較のスクリプト。同じアプリでもヒット率で月額が約 7 倍変わる例

    • 第 3 章 評価の流し方を本番に寄せる: 呼び出し時刻からヒット率を見積もるスクリプトと、架空の 4 パターンの結果。点検用チェックリスト

    • 第 4 章 安いモデルを前段に置く前に、キャッシュ込みで比べる: 費用が 106% になった理由の分解と、A/B 比較の記録テンプレ

    • 第 5 章 本番で見張る指標と、キャッシュを外す基準: 週 1 回見る 3 つの指標と、Runbook の雛形

    • 第 6 章 寿命を 1 時間にするかを決める: 判断の手順、Bedrock の国内向けプロファイルの上乗せ、Claude Code の「5 分に戻った」話との切り分け

    こんな方に向いています

    • Claude を Anthropic API か Bedrock で自分のアプリ・ボットに組み込み、従量課金を払っている方

    • プロンプトキャッシュを入れたが、本番のヒット率をまだ測っていない方

    • 安いモデルを前段に置いて、高いモデルの呼び出しを減らす設計を考えている方

    こんな方には向きません

    • Claude Code やチャットをサブスクで使うだけの方(キャッシュの条件が違います)

    • 呼び出しが数秒〜数分おきに絶え間なく来るサービスの方(ほぼ常にヒットするので、この記事の見積もり直しはあまり要りません)

    • プロンプトキャッシュの基本から知りたい方(公式ドキュメントのほうが早いです)

    有料部に入っている道具

    • スクリプト 1: usage のログから、ヒット率(全体・日別)と「書き込みだけで終わった呼び出し」の数を出す

    • スクリプト 2: 損益分岐と、キャッシュあり/なしの月額を出す

    • スクリプト 3: 呼び出し時刻から、寿命 5 分/1 時間のヒット率を見積もる(自分の時刻を読ませる数行つき)

    • チェックリスト: 評価のヒット率が楽観的になる 6 つの条件

    • テンプレ: 前段モデルの A/B 比較の記録

    • Runbook の雛形: 本番の見張りと「キャッシュを外す」判断

    スクリプトは Node.js だけで動き、外部の API を呼びません。

    架空のデータで動作を確かめてあります。

    費用の削減を保証するものではありません。

    自分のアプリの数字で判断するための道具です。

    では、本編に入ります。

     
     
    AIとテクノロジーを活用した効率化・収益化のプロ📈最新ツールの使い方から副業で月10万円稼ぐ方法まで、実践的なノウハウを分かりやすく解説。読者の「知りたい」に応える記事で、あなたのスキルアップをサポートします✨

    あなたへのおすすめ