メインコンテンツへスキップ
見出し画像

AIエージェントは5つの層で設計する:文脈・ループ・仕分け・ハーネス・評価

    【発端】 モデルを替える前に、周りの層を疑う

    最近、Yarchi(@undefinedKi)さんの記事「The 5 levels of AI agents. From a single prompt to a production agent (Complete course)」を読みました。エージェントを「文脈」「ループ」「Jev」「ハーネス」「評価」という5つの層に分けて説明する長めのコースです。

    よく聞く5つの言葉を、競合する流派ではなく一つのシステムの層として並べ直しているところが面白いです。

    この記事では、5層がそれぞれ何を決めているのかを、一次資料や公式ドキュメントに当たりながら整理します。

    なお、原文は特定サービスとの提携記事で、各層の「近道」の節はそのサービスの紹介です。ここでは扱いません。

    エージェントの出来はモデルだけでは決まらなくなっています。同じモデルでも、周りの作りで結果が動きます。

    原文は例として、コンテナの資源だけを変えてベンチマークが6点動いたこと、モデルを固定したままハーネス(モデル以外の周辺部品)だけで13.7点動いたことを挙げています。これらは原文が紹介している数字で、この記事では再確認していません。

    数字の大きさより、方向が大事です。性能が出ないとき、最初に疑うのはモデルの交換ではなく、モデルを取り巻く層かもしれません。

    【基礎】 モデルは社員で、5層は職場

    画像
    モデルの周りにある5つの層を、順番に設計する

    モデルは「社員」で、5層は社員を取り巻く「職場」です。

    ここでいうAIエージェントは、LLM(大規模言語モデル)が自分で次の手を選びながら、道具を使って仕事を進める仕組みです。Anthropicの整理では、手順をコードで決めておく仕組みを「ワークフロー」、モデルが自分で進め方を決める仕組みを「エージェント」と呼んで区別します。

    5層は、それぞれ別の問いに答えます。

    文脈

    • 答える問い:モデルの目の前に何があるか

    • 職場の例え:机の上の書類

    ループ

    • 答える問い:次の一手を誰が決めるか

    • 職場の例え:チェックリストか、目標か

    Jev

    • 答える問い:安い判断を誰が引き受けるか

    • 職場の例え:受付の仕分け

    ハーネス

    • 答える問い:何に手が届き、誰が確かめるか

    • 職場の例え:オフィスと鍵

    評価

    • 答える問い:良くなったと、どう知るか

    • 職場の例え:毎月同じテスト

    Jevは、入力を受けて「選択肢の一つ」「Yes/No」「数値」のどれかと信頼度を返す、判断専用のモデルです。公式サイトもそう説明しています。

    文章は書きません。

    【違い】 手順が書けるなら、ループにしない

    画像
    決められた工程はワークフロー、経路を選ぶ必要があるときだけエージェント

    従来の考え方との最大の違いは、手順を事前に書けるなら、ワークフローのままにすることです。書けないときだけ、モデルに次の一手を選ばせます。

    例えばバグ修正は、テストを動かし、エラーを読み、直し、また動かす、という繰り返しです。この「考える、行う、観察する、決める」を回す形がループです。

    次の手を決めるのは

    • ワークフロー:書いた人

    • ループ:モデル

    予測しやすさ

    • ワークフロー:高い

    • ループ:低い

    失敗したとき

    • ワークフロー:その工程だけ再実行

    • ループ:経路ごと見直し

    費用

    • ワークフロー:抑えやすい

    • ループ:膨らみやすい

    費用について原文は、単発の呼び出しに比べてエージェントは約4倍、マルチエージェントは約15倍のトークンを使うと書いています。

    ループには4つの部品が要ります。終わりが明確な目標、モデルの外にある判定役(テストやコンパイラ)、止めるルール、ターン数と金額の予算です。

    判定役が外にあることが肝心です。モデルが自分の答えを自分で見直すだけでは、自己修正はうまくいきにくいと原文は述べています。

    【仕組み】 文脈は見せるもの、ハーネスは届くもの

    画像
    長い入力を詰め込むのではなく、高信号の情報を必要な場所に置く

    文脈は「何を見せるか」を絞る設計で、ハーネスは「どこまで届くか」を絞る設計です。

    文脈は、置く場所と順番で決まる

    長い入力の途中にある情報は、モデルに使われにくくなります。研究論文「Lost in the Middle」は、関連情報が先頭か末尾にあるときに性能が高く、中ほどにあると大きく落ちる、U字型の傾向を示しました。

    Anthropicも文脈の設計で、必要な情報を最小限に絞ることを勧めています。大きなデータは本体を入れず、ファイルパスやURLだけを持たせ、必要なときに読み込ませます。

    先頭から同じ部分を再利用するプロンプトキャッシュという仕組みが、順番の理由でもあります。

    先頭に毎回変わる値があると、その後ろは再利用されません。変わらないものを前に、変わるものを後ろに置きます。

    ハーネスは、外側から内側へ作る

    画像
    モデルに届く範囲を、プロンプトではなく構造で絞る

    ハーネスは、隔離、案内、検査、権限の4つです。順番は外側からです。

    • 隔離:コンテナ、別ブランチ、読み取り専用のDBユーザーなど、そもそも届かない範囲を決める

    • 案内:AGENTS.mdのように、エージェント向けの説明書をリポジトリに置く

    • 検査:リンター、型チェック、テストなど、速くて決まった結果が返るものを全件に回す

    • 権限:承認を求める画面より、使えない操作を用意しておく

    権限について、原文は「承認を求められた人は93%の確率で承認する」という数字を挙げ、承認画面はほとんど防御にならないと述べています。この数字も原文の紹介です。

    「mainにpushしない」のような禁止は、プロンプトの一行ではなく、フック(実行前に走って止められる小さなスクリプト)にします。Claude Codeのフックは、ツール実行の直前に呼ばれ、許可、拒否、確認のどれかを返せます。

    【具体例】 安い仕分け役が、問い合わせを先に受ける

    画像
    文章を書かず、選択・Yes/No・数値と信頼度を返す

    全件を高価なモデルに流さず、安い判定器を門番に置きます。

    原文の例は、サポートメールの振り分けです。選択肢は「迷惑メール」「注文状況」「返金」「その他」の4つです。

    1. すべてのメールを、まずJevに渡します。

    2. 信頼度が高く、「その他」でなければ、安い処理で済ませます。

    3. 自信がない、または「その他」なら、主モデルに回します。

    迷ったら高い側を優先することが大事です。安い側を優先すると、判断ミスがそのまま素通りします。

    ただし、Jevは公開から日が浅く、独立した検証は始まったばかりです。原文自身が、次の結果を正直に載せています。

    • メール分類:ロジスティック回帰が98.9%、Jevが98.6%

    • フィッシング検出:Jevが62.6%、Claude Haiku 4.5が81.3%

    • 「幻覚ゼロ」:出力が必ず形式に合う、という意味で、実証値ではない

    独立した検証記事も、結果は過去データでの評価であり、あるテストでは一部のLLMのほうが良い点があると述べています。

    画像
    確信度は経路を変えるが、許可を出すのはコード側


    信頼度は、そのままでは確率ではありません。Raschkaの解説が触れるキャリブレーション(確率の補正)のように、自分のラベル付きデータで閾値を決めます。

    そして最初にやるのは、Jevの導入ではありません。数百件にラベルを付け、普通の分類器を学習させて、基準線を作ります。

    どの製品も、その基準線を超えられるかで判断します。

    【関連概念】 評価がないと、変更は当て推量になる

    画像
    最終結果だけでなく、途中の挙動もトレースで確かめる

    評価がないと、変更はすべて当て推量になります。Anthropicの解説では、評価とは「入力を与え、出力を採点して成功を測るテスト」です。

    エージェントでは、最終回答だけでなく、トレース(ツール呼び出しなど行動の全記録)も見ます。

    原文の書き方では、チェックは2種類あります。

    • 最終結果の確認:答えが合っているか。点数が動いたことは分かるが、理由は分からない

    • 挙動の確認:回答の前に注文を調べたか、返金の前に承認を求めたか。トレースで確かめる

    作り方は、実際の失敗から始めます。失敗を1件ずつテストにし、1件につき確認を一つ書きます。

    モデルに採点させるなら、人間の判定と何割一致するかを先に確かめます。

    全体の合格率だけを見るのは危険です。合格率が上がっても、特定の挙動が気づかないうちにおかしくなっていることがあります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    関連記事

    【まとめ】 足りない層の、一番安い一手から試す

    画像
    見せる、選ぶ、仕分ける、届かせる、測る

    全部を作る必要はありません。まず、足りない層を見つけます。

    1. 文脈:変わらない指示をシステムプロンプトにまとめ、日時などの変動値を先頭から外します。

    2. ループ:ターン数と金額の上限を決めてから、放置します。

    3. Jev:エージェントが最も頻繁に判断する対象を、200件ラベル付けします。

    4. ハーネス:削除できない権限のユーザーで、エージェントを動かします。

    5. 評価:直近の失敗を5件、テストケースとして書き出します。

    この5つは原文が挙げる最初の一手です。試した結果は、自分のデータで確かめてください。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ