
エージェントの「YES・NO」に高いモデルを使わない~判断専用モデルJevで考える、生成と判断の分け方~
最近、Hanakoさん(@hanakoxbt)の「Jev Engineering: How to Stop Paying a Frontier Model to Make Yes-or-No Decisions (full course)」を読みました。
おもしろかったのは、モデルを賢くするのではなく、モデルに任せる仕事を分け直すという発想です。
この記事では、原文の入口になった考え方を、読んでいない人にも分かる形で整理します。判断専用モデルとは何か、LLM(大規模言語モデル)の呼び出しと何が違うのか、自分のエージェントのどこに当てはまるのかを順に見ていきます。
【発端】 読まれない呼び出しに、生成の値段を払っている

それでも毎回、生成の待ち時間と後処理を行う。
エージェントのログを開くと、LLMの呼び出しの多くは、人間が読む文章を作っていません。
次に使うツールを選ぶ、結果の良し悪しを見る、終わったかどうかを決める、コマンドが危険かを確かめる。どれも答えは「AかBかC」程度で、返ってきた文字列は結局コードのifに変換されます。
それでも毎回、生成の料金と数秒の待ち時間を払い、返答を読み取るパーサーと再試行まで書くことになります。
原文が紹介するJevは、この種の判断だけを引き受けるモデルです。作ったのはTypeSafe AIで、文章は書けません。
この制限がそのまま製品の特徴になっています。
なお、ここで出てくる数値や性能の多くは開発元や原文の主張です。この記事では、確認できたものと、そうでないものを分けて書きます。
【基礎】 仕事は「生成・実行・判断」の三つに分かれる

エージェントのループは、生成、実行、判断の三種類の操作でできています。多くの構成ではこのうち判断が生成に混ざり、LLMが兼任しています。
生成:存在しなかったものを作る。調査、文章、コード、失敗の説明。LLMの仕事です。
実行:ツールを呼ぶ、ファイルを書く、回数や予算の上限を守る。コードの仕事で、迷いません。
判断:次にどの作業者を動かすか、この変更は危ないか、人に見せるか。答えの候補は事前に決まっています。
原文の線引きは一つです。文章を作るならLLM、選択肢を選ぶ・値を付ける・はいかいいえで答えるならJevです。
Jevを作ったTypeSafeは、これをSystem Oneモデルと呼んでいます。心理学者カーネマンの「速い直観的な思考」と「遅い熟考」の区別にならった名前です。
状態を受け取り、型のある答えと確率を返す、とされています(System One(TypeSafeドキュメント))。
【違い】 文章で受けるか、確率つきの型で受けるか

違いは「出力の形」です。チャット型のLLMは状態から文章を作り、Jevは状態から判断の分布を返します。
返ってくるもの
LLMに判断させる:文章(後で解釈が要る)
判断専用モデル:宣言した型の答えと確率
選択肢以外
LLMに判断させる:想定外の答えが出ることがある
判断専用モデル:宣言した選択肢以外は出せない
迷う表現
LLMに判断させる:文面の自信に埋もれる
判断専用モデル:確率と確信度で見える
複数の問い合わせ
LLMに判断させる:順に聞くことが多い
判断専用モデル:一回の呼び出しで並列に評価
後処理
LLMに判断させる:パーサー、検証、再試行
判断専用モデル:ほぼ不要
原文は料金も示しています。入力100万トークンあたり0.042ドルで、出力は無料です。
1判断を約1,000トークンとすると、1万回で約0.42ドルです。フロンティアモデルを1回3セントで使うと300ドルになります。
原文もこれは実測の比較ではなく単なる算数だと断っています。
「200倍速い、400倍安い」という倍率は開発元の評価によるもので、上限の目安として読むのが妥当です。倍率を報道がどう伝えたかは、Jev offers an alternative to LLMs(Tom's Hardware)にあります。
原文は、TypeSafe自身の評価で、フロンティアモデルの合意との一致が約68%だったとも書いています。
【仕組み】 状態と質問を渡し、確率つきの型で受け取る

Jevに渡すのは二つです。いまの状況を表す状態(文字列やJSON)と、その状態について知りたい質問です。
質問は、答えの形をあらかじめ宣言して作ります。状態と質問を渡すコード付きの解説は、A Coding Guide to TypeSafe AI Jev(MarkTechPost)にあります。
質問の種類は三つです(Introduction(TypeSafeドキュメント))。
Choice:自分で定義した選択肢から一つ選ぶ。全選択肢の確率と確信度が返ります。
Score:定義した順序つきの目盛りに置く。0から2のように、小数も返ります。
Noul:はい・いいえの質問に、真である確率(0〜1)を返す。
ここで大事な設計上の注意が二つあります。
質問のIDはJevには見えません。要件は変数名ではなく、質問の指示文と各選択肢の説明に書きます。
もう一つは、状態をコードで作ることです。行数やパス、テストの終了コードのような計算で出せるものは、モデルに数えさせません。
モデルが答えるのは、コードでは判定できない部分、たとえば「この変更は計画の範囲を超えているか」といった意味の判断です。
判断が通る流れを一本で書くと、こうなります。
状態をコードで組み立てる → 質問を並列に評価する → 確率の分布が返る → しきい値の判定はコードで行う。
分岐のしきい値がJevの中ではなくコード側にあるのが、この設計のかなめです。しきい値はプルリクエストでレビューでき、変更の履歴も残ります。
【具体例】 変更をデプロイするか、差し戻すか、人に回すか

原文が全編を通して使う例は、コード変更のゲートウェイです。変更が「デプロイ」「差し戻し」「人へエスカレーション(人に回すこと)」のどれになるかを決めます。
状態は、変更ファイル、計画の範囲外のファイル、追加と削除の行数、テストの合否、マイグレーションの有無、計画の要約です。どれもコードで決まる値です。
質問は三つ置きます。全体の判断(Choice)、元に戻しにくさ(Score)、人が読むべきか(Noul)です。
判定の順序は次のとおりです。
元に戻しにくさか、人が読むべき確率のどちらかが高ければ、まずエスカレーションする。
そうでなく、判断が「デプロイ」で確信度も高ければ、デプロイする。
それ以外は差し戻す。安く失敗できる側に寄せる。
最初の規則が、判断の確信度より優先される点が重要です。元に戻せない変更を、モデルの自信で通してはいけません。
原文は返り値の例も示しています。出荷が0.52、差し戻しが0.46で、確信度は0.18でした。
ラベルだけ見れば「デプロイ」です。しかし確率差は6ポイントで、確信度も低いので、自動マージには向きません。
文章で「問題なさそうです」と返すLLMでは、この僅差は見えません。
原文に出てくる数値(コード中のしきい値0.88など)は、自分のデータで決めるまでの仮置きです。確信度は正解率ではないと、原文も注意しています。
【関連概念】 安くなるほど呼び出しは増える

関連して押さえたい概念は三つあります。
ジェボンズのパラドックス。1865年にジェボンズが『石炭問題』で指摘したとされる現象で、燃料の使い方が効率化されると、総消費はむしろ増えます(Jevons paradox(Wikipedia))。
原文は、トークンが安くなるほど呼び出す場所が増えて請求が下がらない、という現象に重ねています。Jev自体がこの名前に由来します。
判断を安く切り出す目的は、請求の総額ではなく、タスク単位のコストを下げることです。
キャリブレーション(校正)。「確率90%と言った答えが、実際に約9割当たる」性質です。
深層学習の分類モデルは、そのままでは校正がずれやすいことが知られています(On Calibration of Modern Neural Networks(Guoほか, 2017))。
TypeSafeは、結果に合わせて確率を最適化する学習法RLCDを使うと説明しています(Introducing System One Models & Jev(TypeSafeブログ))。ただし校正は複数データで測るもので、個々の答えの正しさを保証しません。
自分のデータでの検証が要ります。
モデルのルーティング。要求に応じて安いモデルと強いモデルを振り分ける設計で、RouteLLM(arXiv)の論文が代表的です。
判断専用モデルを入口に置いて、重い仕事だけ高いモデルに回す使い方と相性がよいと考えられます。
エージェントの実行基盤から見た使いどころは、What Is Jev?(LangChainブログ)にあります。
もう一つ、原文は「Jevは幻覚しない」という宣伝を訂正しています。守られるのは出力の形だけです。
宣言した選択肢の外には出ませんが、有効な選択肢の中で自信を持って間違えることは起こります。型が安全でも、判断が正しいとは限りません。
苦手な領域もあります。文章の生成や要約、計算・日付比較・文字列の厳密な操作、隠れた推論が何段も要る判断です。
コードで正しく解ける処理は、コードに残します。
参考情報
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
関連記事
【まとめ】 一つの判断を、何も変えずに並べて動かす

最初の一歩は、小さく安全な判断を一つ選ぶことです。答えの候補を言い切れて、間違えても被害が小さいものから始めます。
原文が勧める進め方は、次のとおりです。
答えの候補と、各候補に当てはまる条件の基準を先に書く。
曖昧な例や紛らわしい例も含めて、期待する答えつきの実例を集める。
既存のロジックの隣で、何も変えずに動かす(シャドーモード)。
確信度と正解率の関係を描き、しきい値はその曲線から決める。
最も安全な枝だけを自動化し、不確かな枝は人か強いモデルに残す。
モデルのバージョンを固定し、質問・基準・しきい値を記録して再現できるようにする。
原文の筆者は、2日間のシャドー運用で自分の判断と11回食い違い、うち9回は自分のしきい値の問題だったと書いています。これは筆者自身の運用の話です。
最後に、質問や基準はプログラムの一部です。バージョン管理し、モデルや基準を変えたら評価セットを回し直すことを忘れないようにしてください。