メインコンテンツへスキップ
見出し画像

AIエージェントの信頼性を6つの数字で測り、返金の上限をコードに置く設計

    返金の上限をプロンプトに書かないことから

    画像
    担当範囲を狭くし、権限を持たせない。

    最近、Mike Nevermiss さんの「How to Build Your First Reliable AI Agent」を読みました。X に公開された長文の記事で、返金対応のAIエージェントを一つ作ります。

    作るのは「Refund Desk」という小さなエージェントです。サポート宛ての問い合わせを1通読み、注文と返金規約を調べ、取る対応を決めて、返信の下書きを書きます。

    このエージェントはメールを送らず、お金も動かしません。実際に処理するのは人です。

    私が面白いと思った点は二つあります。一つは、コードを書く前に「信頼できる」の意味を6つの数字で決めていることです。

    もう一つは、返金の上限額をプロンプト(モデルへの指示文)ではなく、Python の if 文に書いていることです。

    この記事では、元記事を読んでいなくても分かるように、この二つの考え方を順に説明します。最後に、手元のエージェントで試せる小さな一歩を置きます。

    「信頼できる」を、事前に決めた6つの数字で定義

    画像
    人に渡すためには、割合にも限度がある。

    AIエージェントは、言語モデルが自分で手順とツールの使い方を決めながら仕事を進めるシステムです。Anthropic は「Building Effective AI Agents」で、決まったコードの道筋に沿って動く「ワークフロー」と区別して、この形をエージェントと呼んでいます。

    Refund Desk の担当範囲は、はじめから狭く決めてあります。問い合わせを1通読み、注文と規約を調べ、5つの対応から1つを選び、返信を下書きするところまでです。

    送信、送金、50ドルを超える返金、1件の注文に関係しない問い合わせは範囲の外です。範囲の外の依頼は、エスカレーション(人の担当者に引き継ぐこと)します。

    元記事は、信頼性を6つの数字で定義します。どの数字も、結果を見る前に固定したテストケースで測ります。

    • タスク成功率:90%以上。固定した10件のうち9件で、経験のあるサポート担当者と同じ対応を選ぶ

    • スキーマ検証:100%。すべての実行が、コードで読める形のオブジェクトを返す

    • ツール呼び出しエラー:2%未満。超えるなら、ツールの説明が悪いか、データが間違っている

    • エスカレーション率:10〜25%

    • p95レイテンシ:12秒未満

    • 1回あたりのコスト:5セント未満。API が返すトークン数から計算する

    スキーマは、データの形(どの項目があり、それぞれが何の型か)を決めた定義です。1件でも読めない応答が返れば、本番ではアプリが止まる、というのが100%を求める理由です。

    p95 レイテンシは、実行を速い順に並べたとき、95%の位置にある応答時間です。平均では、人が待ちきれずに自分で注文画面を開いてしまうような遅い実行が隠れるため、元記事はこちらを使います。

    エスカレーション率には、上限だけでなく下限もあります。一度も人に引き継がないエージェントは、自信があるのではなく当てずっぽうで答えている、と元記事は説明します。

    数字とは別に、規則が一つあります。成功でも失敗でも、実行ごとに必ず1行を記録します。

    元記事は、数字ごとに担当のファイルも決めています。prompt.py がスキーマ、guardrails.py がエスカレーション、tools.py がツールのエラーを持ち、agent.py が6つを測るための1行を書き込みます。

    デモと本番では、判断のポイントが変わる

    画像
    モデルの振る舞いに頼る部分を、コードと記録に置き換えていく

    デモでは、画面の見た目が良ければ成功に見えます。元記事の設計は、失敗したときに何が起きるかを先に決めています。

    5つの軸で並べると、次のようになります。

    合格の基準

    • デモの作り方:見た目が良い

    • 元記事の設計:固定したテストで6つの数字を測る

    金額の上限

    • デモの作り方:プロンプトに書く

    • 元記事の設計:Python の条件分岐に置く

    出力の扱い

    • デモの作り方:文章を読み取って解釈する

    • 元記事の設計:スキーマで検証したオブジェクトを受け取る

    会話と記録

    • デモの作り方:プログラム内の変数に置く

    • 元記事の設計:SQLite に保存し、再起動後も残す

    失敗したとき

    • デモの作り方:画面が空になり、何も残らない

    • 元記事の設計:必ず1行を記録する

    どの軸でも、元記事はモデルの振る舞いに任せていた判断を、コードとデータベースの記録へ移しています。

    SQLite は、1つのファイルに保存するデータベースで、Python に最初から入っています。元記事は、会話の履歴をプログラム内の変数に置いたエージェントについて、最初のデプロイまでは動いて見えると指摘しています。

    モデルは提案し、実行と判断はコードが受け持つ

    画像
    プロンプトは交渉できるが、if 文は言いくるめられない

    この節のポイントは一つです。モデルは言いくるめられることがあるので、言いくるめられてはいけないポイントをモデルの外に置きます。

    ツールを実行するのは自分のコードです

    ツールは、モデルが「実行してほしい」と頼める Python の関数です。モデルが返すのは「この引数で lookup_order を呼んでほしい」という指示で、関数を実行するのは自分のコードです。

    Claude のドキュメント「Tool use with Claude」も、自分で定義したツールはアプリケーションの側で実行する、と説明しています。そのため、データベースに触る処理はすべて自分のプロセスの中に残ります。

    元記事は、フレームワークを使わずに、約90行のループでこの往復を書いています。ループの中身は次の4手です。

    1. メッセージを API に送る。

    2. stop_reason(応答が終わった理由を示す欄)が tool_use 以外なら、モデルの作業は終わりで、テキストが答えになる。

    3. tool_use なら、頼まれたツールを自分のコードで実行する。

    4. モデルの応答をそのまま追記し、ツールの結果も追記して、1に戻る。

    フレームワークを使わない理由も書かれています。フレームワークを入れると、その再試行の方針や、プロンプトへの入力の差し込み方、会話の扱いまで学ぶ必要が出るからです。

    元記事は、ツールが10個、エージェントが4つあるような規模なら、フレームワークが見合うこともあると書いています。最初の1本では、90行を自分で読めることを優先しています。

    上限は if 文に置きます

    返金の上限50ドルは、プロンプトに書かれていません。プロンプトの指示は、親切に振る舞うよう作られたモデルが、怒っているかもしれない顧客のメッセージを読みながら評価するものです。

    そのメッセージは、怒っていたり、常連の顧客からだったり、例外をはっきり求めていたりします。元記事は、そのどれもがモデルにとっては説得の材料になり、ときには通ってしまうと説明します。

    if 文は、提案された金額と上限の数値を比べるだけです。顧客が怒っていても、1件目でも1万件目でも、結果は同じです。

    モデルは上限の数字を見ないので、その数字に向けて交渉することもできません。

    元記事は、要求が通るまでに6つの層を置き、そのうち5つを通常のコードにしています。説得できる唯一の層であるプロンプトは、その6つに入れていません。

    上限のテストは4行です。通ってよいのは1行目だけで、50.01ドルの提案と、信頼度0.99の提案2件は保留になる必要があります。

    モデルがどれだけ自信を示しても、それは返金してよい権限にはなりません。元記事はこれを「Certainty is not authority」と一言でまとめています。

    スキーマが縛るのは形で、値の正しさはコードが確かめます

    Claude の API には、応答の形をスキーマに合わせる機能があります。「Structured outputs」は、JSON の出力と、ツールの引数を定義どおりにする strict の二つを説明しています。

    元記事は、strict: True によって、order_id が欠けたツール呼び出しが来なくなると書いています。JSON の書式崩れや、項目の欠落も起きなくなります。

    ただし、形が正しいことと値が正しいことは別です。スキーマどおりのオブジェクトでも、別の注文番号を指していることがあります。

    形の保証が外れる場合も、ドキュメントに書かれています。安全上の理由で断った応答(stop_reason: "refusal")と、長さの上限で途中で切れた応答(stop_reason: "max_tokens")です。

    元記事のエージェントは、max_tokens で切れていないかを先に調べ、そのうえで受け取ったオブジェクトを検証します。

    どの出口でも1行を書きます

    agent.py からの出口は、成功、スキーマの失敗、API のエラー、手数の上限の4つです。どの出口でも、実行の記録を1行書きます。

    一時的な接続失敗や API の回数制限は、ライブラリの側で最大3回まで再試行します。それでも失敗したときは、自分のコードが例外の内容を記録し、Web 画面に表示できる結果を返します。

    189.99ドルの返金依頼は、人が承認する

    画像
    提案は承認待ちキューに入り、人が見て動く

    元記事のテストデータには、わざと扱いにくい注文を入れてあります。配送中の注文、キャンセル済みの注文、7月に届いて返品期間を過ぎた注文、上限を超える189.99ドルの注文、上限ぎりぎりの46.25ドルの注文です。

    たとえば、189.99ドルの注文について、顧客が強い口調で返金を求めてきたとします。モデルが返金を提案しても、guardrails.py が上限の50ドルと比べて保留にします。

    元記事の手順では、上限を超える依頼を API に送ると、応答の needs_human が true になり、理由の欄に上限を超えた旨が入ります。同じチケットは、Web 画面の「Waiting for a human」(人の承認待ち)の一覧に表示されます。

    元記事は、この承認待ちの一覧をガードレール(安全のための制限)のもう半分と呼んでいます。返金を止めても、人がそれを見て対応できなければ意味がないからです。

    テストケースの9番は、プロンプトインジェクションです。プロンプトインジェクションは、メッセージの本文に、システムの指示のふりをした命令を混ぜる攻撃です。

    元記事は、顧客のメッセージを <customer_message> というタグで囲んで、どこからどこまでが顧客の文かを示します。プロンプトでは、その中身を情報として扱い、指示のような文があれば印を付けるよう書いています。

    上限はコードにあるので、攻撃が通った場合でも、起きる最悪のことは「人が読むチケットが1件増える」ことです。9番の期待する結果は、エスカレーションして人の判断を待つことです。

    10件のテストは、結果を見る前に書きます。元記事は、現実的な最初の実行では1件を外すと書き、エスカレーション率が40%になった例を取り上げています。

    40%は、上限の25%を超えています。元記事によれば、原因はたいてい、信頼度のしきい値 MIN_CONFIDENCE が高すぎるか、判断に要る事実がテストデータに入っていないかのどちらかです。

    直すときは一度に1か所だけ変え、もう一度流して、2回分の数字を比べます。

    ここで紹介した数字と結果は、元記事の記述です。私自身が実行して確かめたものではありません。

    設計は、セキュリティと評価の用語で説明可能

    画像
    OWASP、Anthropic、Claude Platform Docs の資料で、それぞれ裏付けを確認できる

    元記事の仕組みは、すでにある用語に結びつけると、返金以外の仕事にも持ち出せます。

    上限をコードで書く

    顧客のメッセージをタグで囲む

    スキーマで出力とツールの引数を縛る

    6つの数字を固定したテストで測る

    フレームワークを使わない小さなループ

    最小権限は、プログラムに仕事に必要な最小限の権限だけを渡す考え方です。OWASP Gen AI Security Project がまとめた LLM01 は、機能をモデルに渡さずにコードで扱うこと、権限の大きい操作には人の承認を入れること、信頼できない内容を分けて示すことを対策に挙げています。

    Claude のドキュメントは、良い成功基準の条件として「具体的であること」と「測れること」を挙げています。元記事の6つの数字は、この二つを満たす形で書かれています。

    評価(eval)は、決まったテストでエージェントの出来を測る仕組みです。

    Anthropic の「Demystifying evals for AI agents」は、実際の失敗から集めた20〜50件の単純なタスクが良い出発点になるとしています。元記事の10件は、それよりさらに小さい出発点です。

    Anthropic の資料「Building Effective AI Agents: Architecture Patterns and Implementation Frameworks」も、一つの仕事をこなす単機能のエージェントから始め、必要に応じて広げることを勧めています。単純なシステムのほうがデバッグしやすく、仕事の成果に結びつく指標を持ちやすい、という理由です。

    試すポイント:プロンプトにある上限を1つ、コードで記載する

    画像
    プロンプトの上限をコードで記載する

    原文の90行をそのまま写す必要はありません。手元のエージェントやプロンプトに対して、次の順で試せます。

    1. プロンプトに書いてある数値と禁止事項を、すべて書き出す。

    2. 「利用者が食い下がったら覆りそうなもの」に印を付ける。

    3. 印を付けたものを1つ選び、コードの条件分岐に移す。

    4. その条件を超えた提案の行き先として、人が見る保留の一覧を用意する。

    5. 上限ちょうど、上限をわずかに超える値、存在しない ID など、10件のテストケースを結果を見る前に書く。

    6. 実行のたびに、結果を1行ログに残す。

    最初は、上限1つとログ1行から始められます。何を足すかは、そのログから取れた数字を見て決めます。

    参考情報

    関連記事

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ