メインコンテンツへスキップ
見出し画像

LLMに「はい・いいえ」を書かせない設計~判断専用モデルJevで、生成・判断・実行を分ける~

    最近、rari(@0xwhrrari)さんの記事「Jev Engineering: Stop Using LLMs for Every Decision」を読みました。

    エージェントが遅い、高い、扱いにくい原因を、モデルの性能ではなく「文章が要らない判断までLLMに書かせていること」に置いた点が面白いです。

    この記事では、元記事を読んでいない方に向けて、Jevとは何か、従来の作りと何が違うか、設計にどう組み込むかを順に説明します。最後に、自分のエージェントで試せる小さな一歩も置きます。

    【発端】 エージェントの時間とお金は、小さな判断に消えます

    画像
    判断のたびにLLMを呼ぶと、四つの負担が積み上がる

    つまり、重いのは大きな作業ではなく、作業と作業のあいだに挟まる判断です。

    AIエージェントは、LLMが検索やファイル操作などの道具を呼びながら、目標に近づいていくプログラムです。外から見ると「考える、道具を使う、結果を見る」の繰り返しです。

    中を拡大すると、細かい判断が並んでいます。

    次に動かす担当はどれか。この情報源は関係があるか。

    この操作は危険か。作業は終わったと言えるか。

    多くの実装は、こうした問いを毎回LLMに投げます。元記事はこれを、チャットボットをスイッチ文として使っている状態だと表現しています。

    困りごとは四つに整理できます。

    • 遅延:1回の追加呼び出しは軽くても、20回直列に並ぶと待ち時間が目立つ

    • 費用:最終回答は短くても、内部の振り分け、採点、再試行がトークンの多くを使う

    • 文字列の後始末:JSONの検証、修復、再試行をコード側が抱える

    • 確信度:「95%確信」と言わせても、それは生成されたトークンの一つで、校正された値とは限らない

    根っこは、生成と判断が一回の呼び出しに混ざっていることです。元記事のJev engineeringは、まずこれを分けるところから始まります。

    【基礎】 Jevは文章を書かず、型の決まった答えと確率を返します

    画像
    状態と質問を入れると、選択肢ごとの確率が並列に出てくる

    つまり、Jevは小さなLLMではなく、判断を返す関数に近いものです。

    JevはTypeSafe AIが2026年9月に早期公開した最初のモデルです。同社は「System One Model」という新しい種類のモデルだと説明しています。

    公式ブログはJevを、状態を入れると型のついた確率的な判断が返る「関数呼び出し」のようなものだと紹介しています。

    文章を生成する力は手放しています。その代わり、確率をトークン順に生成せず、並列に出力する作りです。

    訓練は合成データだけで行ったと、TechCrunchは伝えています。

    入力は「いまの状態」と「型の決まった質問」です。質問には三種類あります。

    Choice

    • 答えの形:選択肢ごとの確率と、勝った一つ

    • 向く問い:次にどの担当が動くか

    Score

    • 答えの形:自分で定義した段階の間を取る数値

    • 向く問い:証拠は結論を支えているか

    Noul

    • 答えの形:はい・いいえの確率

    • 向く問い:この操作に承認は要るか

    読み方には注意があります。Noulの0.5は「リスクが中くらい」ではなく、「判別できない」という意味です。

    Scoreの1.6も「80点」ではなく、自分で書いた段階説明のあいだの位置です。

    速度と費用について、元記事はTypeSafeの報告として、Jev向けの問い合わせで往復およそ70〜500ミリ秒、入力100万トークンあたり0.042ドル、出力トークンの従量課金なしと紹介しています。ただし大きな倍率の主張は有利な条件での評価なので、上限として読むよう元記事も促しています。

    【違い】 生成・判断・実行の持ち主を分けます

    画像
    文章を作るならLLM、意味を読んで選ぶならJev、例外を許さない規則ならコード

    つまり、一つのモデルに全部を頼まず、仕事の性質で担当を決めます。

    従来は、一つのLLMが文章の生成も、分類も、振り分けも、検証も、承認も受け持ちました。元記事の分け方は三層です。

    生成

    • 担当:LLM

    • 向く仕事:新しい文章やコードを作る

    • 例:調査、執筆、計画

    判断

    • 担当:Jev

    • 向く仕事:意味を読んで、既知の選択肢から選ぶ

    • 例:振り分け、採点、再試行の要否

    実行

    • 担当:コード

    • 向く仕事:例外を許さない規則を守る

    • 例:権限、予算、削除、公開、送金

    この発想は目新しい断絶ではありません。AnthropicのBuilding Effective AI Agentsも、入力を分類して専用の処理へ回すルーティングを基本パターンに挙げています。

    分類を担うのは、LLMでも従来の分類モデルでもよいとされています。

    Jevは、その分類を受け持つ新しい選択肢だと捉えると、位置づけが分かります。

    確信度がそのまま許可になることが、最も危険です。Jevは行動を勧めるだけで、許可を出すのはコード側の制御枠だけにします。

    【仕組み】 質問は契約で、確信度は経路を変える

    つまり、モデルの答えより先に、質問と受け皿の設計が役立ちます。

    画像
    モデルの答えより先に、質問と受け皿の設計が結果を決める

    一つ目は、質問を契約として書くことです。safe_to_publishという名前をつけても、モデルは「安全」の意味を知りません。

    名前はコードのための印で、基準は質問文と選択肢の説明に書きます。

    契約には、状態の項目、質問文、選択肢の説明、逃げ道、確信度のしきい値、許される行動、エスカレーション先、版を含めます。

    画像
    0.51のYESと0.99のYESに、同じ権限を与えない

    二つ目は、状態に結論ではなく証拠を入れることです。「調査はたぶん十分」と書くと、前の担当の自信まで事実として引き継ぎます。

    「7件収集、公式資料3件、価格は確認済み、安全性の主張は未解決」と書けば、モデルは証拠を判断できます。

    三つ目は、確信度で経路を変えることです。0.51のYESと0.99のYESに同じ権限を与えてはいけません。

    自動

    • 条件:確信度が高く、影響が小さい

    • 次の動き:分岐をそのまま進める

    改善

    • 条件:確信度が中くらい

    • 次の動き:証拠を足す、強いモデルに聞く、決定論のチェックを挟む

    人へ

    • 条件:確信度が低い、または取り返しがつかない

    • 次の動き:人の確認に回す

    同じ状態に対する独立した質問は、1回の呼び出しでまとめて聞けます。ただし、ある質問が別の質問の答えに依存するなら、先に道具を動かして状態を更新し、そのあとで聞き直します。

    最後に、型が守られることと、答えが正しいことは別です。Jevは宣言した型を破りませんが、有効な選択肢の中で間違った答えを選ぶことはあります。

    Forbesの解説も同じ点を指摘しています。

    【具体例】 社内チケットの振り分けを、シャドウモードから始めます

    画像
    題材は社内チケットの振り分け。人の確認なしの支払い承認は、最初に選ばない

    つまり、最初の自動化は「間違えても戻せる、件数の多いノード」から選びます。

    元記事が最初の題材に挙げるのは、社内サポートチケットの振り分けです。逆に、人の確認なしで支払いを承認する判断は、最初に選ぶべきではないとされています。

    進め方は、概ね次の順です。

    1. 状態の項目、選択肢、逃げ道、しきい値を契約として書く

    2. 普通の例、曖昧な例、証拠が足りない例、どれにも当てはまらない例を集める

    3. シャドウモードで、本番の判断は既存の経路に任せたまま、Jevが選んだ答えだけを記録する

    4. 確信度の高い答えが、実際に正解率も高いかを確かめる

    5. 一番安全なノードだけを自動化する

    影運用(シャドウモード)は、新しいモデルを本番の入力で動かしつつ、その出力を実際の判断に使わない方法です。AWSのML運用ガイドでも、本番に出す前の確認として紹介されています。

    記録には、契約の版、状態の参照、確率の分布、しきい値、選ばれた経路、実際の行動を残します。勝ったラベルだけを保存すると、あとで理由をたどれません。

    契約は、アプリのコードとは別に版を管理します。元記事の例では、router@1は大まかな選択肢、router@2は「どれでもない」を追加、router@3は請求とアカウントアクセスを分離、と変わっていきます。

    なお、ここで述べたのは元記事と外部資料に基づく設計の筋道で、私自身がJevで検証した結果ではありません。

    【関連概念】 System One、校正、ルーティング、シャドウモード

    画像
    Jevの発想は、すでに整理された考え方の組み合わせとして読める

    つまり、Jevの発想は新しい部品の組み合わせで、背後の概念は既に整理されています。

    System One

    • 一言で言うと:カーネマンの「速い思考」にちなんだ呼び名

    • この設計での役割:説明を作らず、素早く選ぶ層を指す

    校正(キャリブレーション)

    • 一言で言うと:確信度と実際の正解率が揃っていること

    • この設計での役割:閾値で自動化を分ける前提になる

    ルーティング

    • 一言で言うと:入力を分類して専用の処理へ回す

    • この設計での役割:判断を置く典型的な場所

    影運用(シャドウモード)

    • 一言で言うと:結果を使わずに本番入力で試す

    • この設計での役割:自動化の前に、確信度の信頼性を測る

    System 1とSystem 2は、カーネマンが整理した二つの思考様式です。速く自動的なSystem 1と、遅く意識的なSystem 2を区別します(The Decision Labの解説)。

    校正については、Guoらの論文On Calibration of Modern Neural Networksが、現代のニューラルネットは校正が甘いことを示しました。確信度は自動では信用できない数字で、測って使うものだと分かります。

    Jevの訓練法RLCDはTypeSafe独自の用語です。Turing Postは、技術的な詳細は未公開と整理しています。

    「ハルシネーションしない」という見出しは、型の話として読むのが安全です。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『ファスト&スロー(上) あなたの意思はどのように決まるか?(ハヤカワ文庫 NF)』(ダニエル・カーネマン):System Oneの由来である、速い思考と遅い思考の区別を原典から掘り下げられます。

    『ファスト&スロー(下) あなたの意思はどのように決まるか?(ハヤカワ文庫 NF)』(ダニエル・カーネマン):上巻の続きです。確信や判断の偏りを扱う部分が、確信度を鵜呑みにしない設計の背景になります。

    『機械学習システムデザイン ―実運用レベルのアプリケーションを実現する継続的反復プロセス』(Chip Huyen、江川崇、平山順一訳):影運用、監視、再訓練など、判断モデルを本番で運用するときの設計を補えます。

    『生成AIデザインパターン ―AIエージェント構築、アプリケーション開発のベストプラクティス』(Valliappa Lakshmananほか、共著者は不明):生成AIアプリで起きる、非決定的な出力などの問題をパターンで整理する視点を足せます。

    Jevの三層と重なる範囲は未確認です。

    関連記事

    【まとめ】 自分のエージェントの判断を一つだけ棚卸しします

    画像
    Jevを使わなくても、契約を書く練習は今日からできる

    つまり、Jevを使わなくても、契約を書く練習は今日からできます。

    1. エージェントのループを紙に書き、LLMに聞いている判断を全部拾う

    2. それを「文章を作る」「意味を読んで選ぶ」「厳密な規則」の三つに仕分ける

    3. 「意味を読んで選ぶ」から、件数が多く、間違えても戻せる判断を一つ選ぶ

    4. 選択肢と逃げ道(どれでもない、人に回す)を書き、確信度ごとの行き先を決める

    5. 今の判断をそのまま動かしながら、答えを記録する欄を足す

    「厳密な規則」に入った判断は、LLMでもJevでもなく、if文に戻せます。回数の上限や予算の超過は、元記事も例外のないコードで書くべきだとしています。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ