メインコンテンツへスキップ
見出し画像

LLMアプリを「デモ」から「本番の基盤」にする~AIエンジニアが学ぶ23項目を5つの層で読む~

    【発端】 学ぶ範囲は、プロンプトの外側へ広がっている

    画像
    起点のポストは技術項目23行の一覧。大半はプロンプトの書き方ではない

    最近、Rohit Ghumareさん(@ghumare64)のXの長文ポスト「As an AI Engineer. Please learn:」を読みました。原文は、AIエンジニアが学ぶべき項目を23行で並べた一覧です。

    一覧の大半がプロンプトの書き方ではないところが面白いです。並ぶのは、KVキャッシュ(生成の途中で保持する計算結果)やスキーマ検証(出力の形の検査)、ルーティング(どのモデルへ回すか)です。

    評価(品質を基準と比べること)、観測(呼び出しの記録)、コスト配賦(費用を機能や利用者ごとに分けること)、マルチテナント分離(利用者ごとのデータを混ぜないこと)もあります。

    最後の行は、LLM(大規模言語モデル)のシステムを、プロンプトを包んだデモではなく、信頼できる基盤としてデプロイすることを求めています。デプロイは、本番へ出して動かし続けることです。

    つまり、この一覧は学習順ではなく、本番で何が壊れるかの一覧として読めます。この記事では、23項目を5つの層に並べ直し、なぜそう分けられるのか、自分の仕事のどこから手を付けるかを説明します。

    【基礎】 LLMアプリは、入力・推論・出力の3か所で壊れる

    画像
    コンテキストエンジニアリングとは、モデルに渡すトークン全体を整える作業

    LLMアプリの本番運用は、モデルを呼ぶだけでは終わりません。モデルの前後に、文脈を作る部分と、出力を受け取って動かす部分があります。

    Anthropicは、コンテキストエンジニアリングを「推論のときにモデルへ渡すトークン全体を整える作業」と説明しています。トークンは、モデルが読むテキストの単位です。

    プロンプトの文だけでなく、検索結果、ツールの出力、会話の履歴も対象です。目標は、狙った結果が出る確率を最大にする、できるだけ小さく、必要な情報が濃いトークンの集まりを見つけることです。Anthropic

    壊れる場所は大きく3つです。1つ目は入力で、古い検索結果や余計な文脈が入り込みます。

    2つ目は推論で、遅さとメモリ不足がコストになります。3つ目は出力で、壊れたJSON(キーと値でデータを書く形式)や誤った引数が、後の処理を止めます。

    【違い】 デモは成功を見せ、基盤は壊れ方を先に決める

    画像
    差が出る軸は、プロンプトではなく周辺の設計

    デモは、うまくいった一回を見せれば成立します。基盤は、うまくいかなかったときの動きまで含めて設計します。

    成功の定義

    • デモ:答えが良さそうに見える

    • 本番の基盤:形式・根拠・遅延・費用が基準内

    失敗したとき

    • デモ:人が気づいてやり直す

    • 本番の基盤:検証、再試行、代替経路が動く

    費用の見方

    • デモ:モデルごとの請求額

    • 本番の基盤:機能・ワークフロー・テナント別の配賦

    品質の確認

    • デモ:目視

    • 本番の基盤:評価セットと回帰テスト

    ポストの項目名で言えば、本番の基盤の側は「評価」「観測」「コスト配賦」「フォールバック」にあたります。デモから本番の基盤へ移ると、プロンプトの腕前より、周辺の設計が結果を左右するようになります。

    【仕組み】 23項目は、5つの層に並べ直すと読める

    この5層は、一覧を読みやすくするための私の整理です。原文の分類ではありません。

    • 入力の層:ハーネス(プロンプトの外側でモデルを動かす仕組み)、コンテキスト、プロンプトキャッシュ、RAG(検索した文書を文脈に足すこと)、検索の評価

    • 推論の層:PrefillとDecode(入力を読む時間と、出力を出す時間)、KVキャッシュ、連続バッチ処理、投機的デコード、量子化(数値の精度を下げて軽くすること)、蒸留

    • 契約の層:構造化出力、関数呼び出し、ガードレール(動きの上限)、ループと道具の予算

    • 継続の層:ルーティング、フォールバック(別の経路へ切り替えること)、縮退モード(機能を絞って動かし続けること)、本番の失敗パターン

    • 計測と防御の層:評価、観測、コスト配賦、安全性、テナント分離

    層をまたぐ項目が二つあります。ファインチューニング(モデル自体を追加のデータで調整すること)、インコンテキスト学習(渡した例で振る舞いを変えること)、RAG、蒸留(大きいモデルの振る舞いを小さいモデルへ移すこと)の使い分けです。

    もう一つは、遅延、品質、費用、信頼性を、推論の全体で見ることです。最後の一行は、ここまでの項目を、信頼できる基盤としてデプロイする、という求めです。

    層ごとに、実際の仕組みを少し見ます。プロンプトキャッシュは、プロンプトの先頭部分を再利用して、費用と遅延を減らします。

    Anthropicのドキュメントでは、キャッシュはtools、system、messagesの順に、先頭から作られます。既定の保持時間は5分です。Claude Docs

    Amazon Bedrockのドキュメントも、固定部分を先頭に、変わる部分を末尾に置くよう勧めています。AWS

    推論の層では、メモリの管理が中心です。PagedAttentionは、KVキャッシュをOSのページングのように、小さなブロックで管理します。

    PagedAttentionで作った実行ソフトがvLLMです。論文は、FasterTransformerやOrcaと比べて、同じ水準の遅延でvLLMのスループット(単位時間にさばける量)が2〜4倍になったと報告しています。arXiv

    投機的デコードの論文は、小さなモデルで先読みして、大きなモデルが並列に検証する方式です。T5-XXLでは、標準のT5X実装と比べて2〜3倍速くなり、出力は同一だとしています。arXiv

    契約の層では、モデルの出力を「信じる」のをやめて、「検査する」に変えます。

    計測と防御の層では、OWASPが、モデルの権限を必要最小限に絞ることと、高リスクな操作に人の承認を挟むことを挙げています。OWASP

    【具体例】 壊れたJSONは、検証・修復・代替の順で受ける

    画像
    契約の層の設計例(実装して検証した結果ではない)

    契約の層を例に、出力が壊れたときの流れを考えます。以下は仕組みを説明するための設計例で、私が実装して検証した結果ではありません。

    OpenAIのStructured Outputsは、strict: trueを指定すると、出力が与えたJSONスキーマに沿うようにする機能です。JSONモードは、有効なJSONを返すだけで、スキーマに合うことまでは保証しません。OpenAI

    機能があっても、スキーマに合うことと、中身が正しいことは別の話です。そこで、受け側を段階にします。

    1. 検証:返ってきた値をスキーマと業務ルールで検査します。

    2. 修復:違反内容をモデルに返して、回数を決めて再生成させます。

    3. 代替:直らなければ、別モデルや固定の処理に切り替えます。

    4. 縮退:それも使えなければ、機能を絞って、その旨を画面に出します。

    この順に並べると、ポストの「構造化出力の失敗」「修復ループ」「フォールバック」「縮退モードのUX(画面での見せ方)」が、一本の流れとして読めます。

    【関連概念】 自由度を上げるほど、予算と観測が要る

    画像
    ワークフローからエージェントへ寄せるときに増える設計項目

    Anthropicは、LLMを使う仕組みを2つに分けています。Building effective agents

    ワークフローは、コードで決めた経路に沿ってLLMと道具を呼びます。エージェントは、LLMが自分で手順と道具の使い方を決めます。

    エージェント側に寄せるほど、ループの回数や道具を呼ぶ回数の上限、終わる条件が必要になります。ポストの「ガードレール」「予算」にあたる部分です。

    道具の定義も同じで、Anthropicは入力と出力を、厳密なデータモデルで縛ることを勧めています。Anthropic

    見えないものは直せないので、観測も欠かせません。OpenTelemetry(計測の記録を共通の名前で出す仕組み)のGenAI規約は、invoke_agentやchat、execute_toolといったspan(処理の区間の記録)と、入出力のトークン数を標準の名前で記録します。OpenTelemetry

    機能ごとの費用を出すには、まずこの記録が要ります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『つくりながら学ぶ!LLM 自作入門』(Sebastian Raschka)は、GPT型のLLMを一から組み立てて、仕組みを追う本です。推論の層で扱うKVキャッシュやデコードは、その仕組みの上にあります。

    『つくりながら学ぶ!生成AIアプリ&エージェント開発入門』(ML_Bear)は、LangChainとPythonで生成AIアプリとエージェントを作る入門書です。入力の層と契約の層を、動かしながら試す足がかりになります。

    関連記事

    【まとめ】 手元の機能1つに、測る・止める・落とすを足す

    画像
    全項目を学ぶ前に、手元の機能1つで確認する3つの問い

    23項目を全部学ぶ前に、手元のLLM機能を1つ選んで、次の3つを確認してみてください。

    1. 測る:1回の呼び出しで、入力・出力トークン数、遅延、失敗が記録されているか。

    2. 止める:ループ回数と道具の呼び出し回数に上限があり、終了条件が決まっているか。

    3. 落とす:出力が壊れたとき、再試行の次に動く代替経路があるか。

    この3つが言えなければ、そこがその機能の最初の穴です。穴が見つかったら、5つの層のどこに当たるかを確かめて、該当する項目から学べば遠回りになりません。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ