
LLMアプリを「デモ」から「本番の基盤」にする~AIエンジニアが学ぶ23項目を5つの層で読む~
【発端】 学ぶ範囲は、プロンプトの外側へ広がっている

最近、Rohit Ghumareさん(@ghumare64)のXの長文ポスト「As an AI Engineer. Please learn:」を読みました。原文は、AIエンジニアが学ぶべき項目を23行で並べた一覧です。
一覧の大半がプロンプトの書き方ではないところが面白いです。並ぶのは、KVキャッシュ(生成の途中で保持する計算結果)やスキーマ検証(出力の形の検査)、ルーティング(どのモデルへ回すか)です。
評価(品質を基準と比べること)、観測(呼び出しの記録)、コスト配賦(費用を機能や利用者ごとに分けること)、マルチテナント分離(利用者ごとのデータを混ぜないこと)もあります。
最後の行は、LLM(大規模言語モデル)のシステムを、プロンプトを包んだデモではなく、信頼できる基盤としてデプロイすることを求めています。デプロイは、本番へ出して動かし続けることです。
つまり、この一覧は学習順ではなく、本番で何が壊れるかの一覧として読めます。この記事では、23項目を5つの層に並べ直し、なぜそう分けられるのか、自分の仕事のどこから手を付けるかを説明します。
【基礎】 LLMアプリは、入力・推論・出力の3か所で壊れる

LLMアプリの本番運用は、モデルを呼ぶだけでは終わりません。モデルの前後に、文脈を作る部分と、出力を受け取って動かす部分があります。
Anthropicは、コンテキストエンジニアリングを「推論のときにモデルへ渡すトークン全体を整える作業」と説明しています。トークンは、モデルが読むテキストの単位です。
プロンプトの文だけでなく、検索結果、ツールの出力、会話の履歴も対象です。目標は、狙った結果が出る確率を最大にする、できるだけ小さく、必要な情報が濃いトークンの集まりを見つけることです。Anthropic
壊れる場所は大きく3つです。1つ目は入力で、古い検索結果や余計な文脈が入り込みます。
2つ目は推論で、遅さとメモリ不足がコストになります。3つ目は出力で、壊れたJSON(キーと値でデータを書く形式)や誤った引数が、後の処理を止めます。
【違い】 デモは成功を見せ、基盤は壊れ方を先に決める

デモは、うまくいった一回を見せれば成立します。基盤は、うまくいかなかったときの動きまで含めて設計します。
成功の定義
デモ:答えが良さそうに見える
本番の基盤:形式・根拠・遅延・費用が基準内
失敗したとき
デモ:人が気づいてやり直す
本番の基盤:検証、再試行、代替経路が動く
費用の見方
デモ:モデルごとの請求額
本番の基盤:機能・ワークフロー・テナント別の配賦
品質の確認
デモ:目視
本番の基盤:評価セットと回帰テスト
ポストの項目名で言えば、本番の基盤の側は「評価」「観測」「コスト配賦」「フォールバック」にあたります。デモから本番の基盤へ移ると、プロンプトの腕前より、周辺の設計が結果を左右するようになります。
【仕組み】 23項目は、5つの層に並べ直すと読める
この5層は、一覧を読みやすくするための私の整理です。原文の分類ではありません。
入力の層:ハーネス(プロンプトの外側でモデルを動かす仕組み)、コンテキスト、プロンプトキャッシュ、RAG(検索した文書を文脈に足すこと)、検索の評価
推論の層:PrefillとDecode(入力を読む時間と、出力を出す時間)、KVキャッシュ、連続バッチ処理、投機的デコード、量子化(数値の精度を下げて軽くすること)、蒸留
契約の層:構造化出力、関数呼び出し、ガードレール(動きの上限)、ループと道具の予算
継続の層:ルーティング、フォールバック(別の経路へ切り替えること)、縮退モード(機能を絞って動かし続けること)、本番の失敗パターン
計測と防御の層:評価、観測、コスト配賦、安全性、テナント分離
層をまたぐ項目が二つあります。ファインチューニング(モデル自体を追加のデータで調整すること)、インコンテキスト学習(渡した例で振る舞いを変えること)、RAG、蒸留(大きいモデルの振る舞いを小さいモデルへ移すこと)の使い分けです。
もう一つは、遅延、品質、費用、信頼性を、推論の全体で見ることです。最後の一行は、ここまでの項目を、信頼できる基盤としてデプロイする、という求めです。
層ごとに、実際の仕組みを少し見ます。プロンプトキャッシュは、プロンプトの先頭部分を再利用して、費用と遅延を減らします。
Anthropicのドキュメントでは、キャッシュはtools、system、messagesの順に、先頭から作られます。既定の保持時間は5分です。Claude Docs
Amazon Bedrockのドキュメントも、固定部分を先頭に、変わる部分を末尾に置くよう勧めています。AWS
推論の層では、メモリの管理が中心です。PagedAttentionは、KVキャッシュをOSのページングのように、小さなブロックで管理します。
PagedAttentionで作った実行ソフトがvLLMです。論文は、FasterTransformerやOrcaと比べて、同じ水準の遅延でvLLMのスループット(単位時間にさばける量)が2〜4倍になったと報告しています。arXiv
投機的デコードの論文は、小さなモデルで先読みして、大きなモデルが並列に検証する方式です。T5-XXLでは、標準のT5X実装と比べて2〜3倍速くなり、出力は同一だとしています。arXiv
契約の層では、モデルの出力を「信じる」のをやめて、「検査する」に変えます。
計測と防御の層では、OWASPが、モデルの権限を必要最小限に絞ることと、高リスクな操作に人の承認を挟むことを挙げています。OWASP
【具体例】 壊れたJSONは、検証・修復・代替の順で受ける

契約の層を例に、出力が壊れたときの流れを考えます。以下は仕組みを説明するための設計例で、私が実装して検証した結果ではありません。
OpenAIのStructured Outputsは、strict: trueを指定すると、出力が与えたJSONスキーマに沿うようにする機能です。JSONモードは、有効なJSONを返すだけで、スキーマに合うことまでは保証しません。OpenAI
機能があっても、スキーマに合うことと、中身が正しいことは別の話です。そこで、受け側を段階にします。
検証:返ってきた値をスキーマと業務ルールで検査します。
修復:違反内容をモデルに返して、回数を決めて再生成させます。
代替:直らなければ、別モデルや固定の処理に切り替えます。
縮退:それも使えなければ、機能を絞って、その旨を画面に出します。
この順に並べると、ポストの「構造化出力の失敗」「修復ループ」「フォールバック」「縮退モードのUX(画面での見せ方)」が、一本の流れとして読めます。
【関連概念】 自由度を上げるほど、予算と観測が要る

Anthropicは、LLMを使う仕組みを2つに分けています。Building effective agents
ワークフローは、コードで決めた経路に沿ってLLMと道具を呼びます。エージェントは、LLMが自分で手順と道具の使い方を決めます。
エージェント側に寄せるほど、ループの回数や道具を呼ぶ回数の上限、終わる条件が必要になります。ポストの「ガードレール」「予算」にあたる部分です。
道具の定義も同じで、Anthropicは入力と出力を、厳密なデータモデルで縛ることを勧めています。Anthropic
見えないものは直せないので、観測も欠かせません。OpenTelemetry(計測の記録を共通の名前で出す仕組み)のGenAI規約は、invoke_agentやchat、execute_toolといったspan(処理の区間の記録)と、入出力のトークン数を標準の名前で記録します。OpenTelemetry
機能ごとの費用を出すには、まずこの記録が要ります。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
『つくりながら学ぶ!LLM 自作入門』(Sebastian Raschka)は、GPT型のLLMを一から組み立てて、仕組みを追う本です。推論の層で扱うKVキャッシュやデコードは、その仕組みの上にあります。
『つくりながら学ぶ!生成AIアプリ&エージェント開発入門』(ML_Bear)は、LangChainとPythonで生成AIアプリとエージェントを作る入門書です。入力の層と契約の層を、動かしながら試す足がかりになります。
関連記事
【まとめ】 手元の機能1つに、測る・止める・落とすを足す

23項目を全部学ぶ前に、手元のLLM機能を1つ選んで、次の3つを確認してみてください。
測る:1回の呼び出しで、入力・出力トークン数、遅延、失敗が記録されているか。
止める:ループ回数と道具の呼び出し回数に上限があり、終了条件が決まっているか。
落とす:出力が壊れたとき、再試行の次に動く代替経路があるか。
この3つが言えなければ、そこがその機能の最初の穴です。穴が見つかったら、5つの層のどこに当たるかを確かめて、該当する項目から学べば遠回りになりません。