メインコンテンツへスキップ
見出し画像

Jevの構造化出力|JSON modeやStructured Outputsと何が違うのか?確率が返る判断AIを、軽量LLM3つと150件で比べてみた

    LLMに問い合わせの振り分けをさせるとき、今は構造化出力(Structured Outputs)を使うのが定番です。

    スキーマを渡せば、{"department": "billing", "is_urgent": true}のような決まった形で返ってきます。パースに失敗して処理が止まる、ということはほぼなくなりました。

    そこに2026年9月15日、TypeSafe AIがJevという判断専用モデルを出しました。

    画像
    参考:https://typesafe.ai/blog/introducing-system-one-models-and-jev

    文章を一切書かず、決めておいた選択肢から答えを選び、確率と確信度を付けて返すモデルです。触った人の多くが最初に抱く疑問は同じだと思います。

    「それ、構造化出力と何が違うの?」

    本記事では、まずLLMの構造化出力が何を保証していて何を保証していないかを整理し、Jevとの違いを説明します。

    そのうえで、同じ日本語の問い合わせ150件をJevと軽量LLM3つ(GPT-6 Luna、Gemini 3.1 Flash-Lite、Claude Haiku 4.5)に判定させて、精度・速度・費用・答えの安定性を比べました。

    📌 Noteをご覧になっている方へ
    WEELでは、Jevをはじめとした判断特化AIの活用方法をレポートとして無料配布しています。判断特化AIを自社業務に活かしたいと考えている方はぜひご覧ください!


    構造化出力は3種類ある

    「LLMにJSONで返させる」方法は、実は3つあります。名前が似ていて混同されやすいですが、下記のように整理できます。

    画像
    構造化出力一覧

    今の主流は真ん中のStructured Outputsです。

    OpenAIはresponse_format(Responses APIでは text.format)に json_schemaとstrict: true、Anthropicはoutput_config.format、Googleは responseSchemaで指定。

    Geminiには、選択肢の中から1つだけを返させる分類専用のモード(text/x.enum)もあります。

    仕組みは「制約付きデコーディング」です。

    LLMは1トークンずつ文章を生成しますが、そのたびに「スキーマに合わないトークンは選べない」ように候補を絞ります。だからdepartmentにfinanceのような存在しない値が入ることはありません。


    構造化出力でも防げないこと

    Structured Outputsが保証するのは形です。それ以外は保証しません。業務の振り分けに使うと、次の3つが残ります。

    1. 中身は間違える
    形が正しいことと、判断が正しいことは別
    です。

    Googleは公式ドキュメントで、構造化出力の結果は構文として正しいJSONだが、値はアプリ側で検証するよう明記しています。OpenAIとAnthropicの保証も「スキーマへの準拠」までです。

    2. どれくらい自信があるかが分からない
    is_urgent:trueは、迷った末のtrueなのか、確信を持ったtrueなのか区別できません。

    プロンプトで「確信度も0〜1で返して」と頼むことはできますが、LLMが自己申告する確信度は高めに偏りやすく、0.9や0.95のような切りのいい数字に寄りがちだと報告されています。

    3. 確率を取り出す道も狭くなっている
    本来は、各トークンの確率(logprobs)を見れば「どれくらい迷ったか」が分かります。ところが2026年10月時点では次のような状況です。

    • Claude:APIがトークンの確率を返さない

    • OpenAI:GPT-5系などの推論モデルでは返らない。Structured Outputsを有効にすると空になるという報告もある

    • Gemini:最新の3.x系では使えないという報告がある

    つまり、最新の軽量LLMで「構造化出力」と「確率」を同時に取ることは、かなり難しくなっています。 形は揃うけど、迷いは見えない。これがLLMの構造化出力の現状と言えます。


    Jevは「生成しない」構造化出力

    Jevは、この「迷い」を最初から返すように作られています。

    LLMが1トークンずつ生成してから形を合わせるのに対し、Jevは文字を生成しません。

    開発者が事前に定義した選択肢それぞれの確率を、1回の問い合わせで並列に出します。TypeSafe AIは、構造化されていない状態を受け取り、型の決まった確率付きの判断を返す「関数呼び出し」だと説明しています。

    質問の型は3つだけです。

    画像
    Jevの型

    choiceの確信度は、一番高い確率から計算されます。

    選択肢が4つなら、全部25%で横並びのとき0、1つが100%のとき1です。公式の目安は「0.5未満は自動で動かさない」「0.9超なら自動で実行してよい」で、適切な値は業務によって変わるとしています。

    noulには確信度がありません。Yes/Noなら確率1つで分布を表しきれるからです。0.5付近なら迷っている、0や1に近ければ迷っていない、と読みます。

    LLMの構造化出力と比べると、違いはこうなります。

    画像
    LLMとJevの比較

    「中身の保証」が両方とも「なし」なのは大事な点です。

    TypeSafe AI自身も、保証するのは答えの形で、一つ一つの判断が正しいことまでは保証しない、とFAQで明言しています。Jevも間違えます。違いは、間違えそうなときにそれが数字に出ることです。


    同じ判断を両方で書いてみる

    下記の例で考えてみます。

    問い合わせ「二重に引き落とされているようです。返金をお願いします。」を、担当部署(4択)と緊急かどうかで判定させます。

    LLM(Structured Outputs)

    OpenAI互換のChat Completionsで、response_formatにスキーマを渡します。

    {
      "model": "google/gemini-3.1-flash-lite",
      "messages": [
        {"role": "system", "content": "あなたはカスタマーサポートの一次振り分け担当です。…(部署の定義と判定基準)"},
        {"role": "user", "content": "二重に引き落とされているようです。返金をお願いします。"}
      ],
      "response_format": {
        "type": "json_schema",
        "json_schema": {
          "name": "triage",
          "strict": true,
          "schema": {
            "type": "object",
            "properties": {
              "department": {"type": "string", "enum": ["billing", "technical", "sales", "other"]},
              "is_urgent": {"type": "boolean"}
            },
            "required": ["department", "is_urgent"],
            "additionalProperties": false
          }
        }
      }
    }

    返ってきたのはこれです。

    {"department": "billing", "is_urgent": true}

    Jev

    Jevはチャット形式ではありません。state(判断材料)とquestions(質問の定義)を送ります。

    {
      "model": "jev-1.13",
      "state": "二重に引き落とされているようです。返金をお願いします。",
      "questions": {
        "department": {
          "type": "choice",
          "instructions": "この問い合わせを担当すべき部署",
          "criteria": {
            "billing": "請求書・支払い・返金・領収書・料金の計算間違いに関する内容",
            "technical": "ログイン・エラー・不具合・設定・API・セキュリティなど製品の動作に関する内容",
            "sales": "見積もり・契約・プラン変更・解約・デモ・導入検討・料金プランの相談",
            "other": "上記いずれにも当てはまらない。挨拶のみ、採用、広報、スパム、内容不明など"
          }
        },
        "is_urgent": {
          "type": "noul",
          "instructions": "この問い合わせは当日中に対応しないと顧客に実害(業務停止・金銭損失・情報漏えい)が出るか",
          "criteria": {"true": "当日中の対応が必要", "false": "通常の対応期限で問題ない"}
        }
      }
    }

    返ってきたのはこれです(OpenRouter経由。idは省略)。

    {
      "model": "typesafe/jev-1.13-20260917",
      "answers": {
        "department": {
          "type": "choice",
          "choice": "billing",
          "probabilities": {"sales": 0, "technical": 0, "other": 0, "billing": 1},
          "confidence": 1
        },
        "is_urgent": {"type": "noul", "noul": 0.42}
      },
      "usage": {"input_tokens": 590, "output_tokens": 65, "cost": 0.00002478}
    }

    部署はどちらもbillingです。違いは緊急度です。LLMはtrueと言い切りましたが、Jevは 0.42、つまり「どちらとも言いにくい」と返しています。

    二重引き落としは、金額や顧客によって当日対応が必要かどうかが変わる、本当に微妙な案件です。

    LLMのtrueからは、その微妙さが読み取れません。Jevの0.42なら、「これは人が見る」とコードで振り分けられます。


    「自社の業務でJevとLLMのどちらを使うべきか判断できない」「どこまでAIに任せて、どこから人が見るかの線引きが難しい」という方がいらっしゃれば、私たちWEELにご相談ください。

    問い合わせ振り分けなどの判断業務の洗い出しから、モデルの比較検証、確信度を使った運用設計、社内への組み込みまで、実務に即した形でしっかり伴走します。


    150件で比べてみた

    1件だけでは何とも言えないので、まとまった数で比べました。

    条件

    • データ:株式会社Mojiが公開している日本語の問い合わせ150件(jev-ja-eval、MITライセンス、合成データ)。普通の問い合わせ70件に加えて、部署が曖昧なもの22件、否定表現12件、情報不足9件、方言8件、皮肉6件、複数部署にまたがるもの5件などが入っています

    • 判定する項目:担当部署(4択)、緊急か、人が直接対応すべきか、の3つ。正解ラベルはデータに付いているもの

    • 比べたモデル:Jev 1.13、GPT-6 Luna、Gemini 3.1 Flash-Lite、Claude Haiku 4.5。すべてOpenRouter経由で、ラベルの定義文は全モデル共通

    • LLMの設定:json_schemaのstrict指定。推論はGPT-6 LunaとFlash-Liteを最小(minimal)、Haiku 4.5は推論なし

    • Jevの設定:部署はchoice、緊急と要人対応はnoul。確率0.5以上を「はい」とした

    結果

    画像
    検証結果

    測定にかかった費用は、全モデル合計で$0.23でした。
    実際に処理している様子がこちらです。


    精度は横並び

    部署の正答率は4モデルとも91〜95%で、差は数件分です。

    今回の結果から「JevのほうがLLMより賢い」とは言えません。 逆に「判断専用モデルだから精度が落ちる」ということもありませんでした。

    否定表現(「急ぎではありませんが〜」)や方言、皮肉、絵文字混じりも、どのモデルもほぼ正しく振り分けています。

    差が出たのは速度・費用・安定性

    • 速度:Jevの中央値は217msで、Flash-Liteの約5倍、Haikuの約7倍、GPT-6 Lunaの約14倍。GPT-6 Lunaは推論を最小に指定しても推論トークンを使っていて、それが遅さの原因でした

    • 費用:Jevは1,000件で約3セント。Flash-Liteの約4分の1、Haikuの約25分の1です。ただし最安クラスのGPT-6 Lunaとの差は約2.6倍しかありません

    • 安定性:同じ30件を3回ずつ送ったところ、Jevは3項目すべてが3回とも同じだった割合が96.7%。GPT-6 Lunaは73.3%で、同じ問い合わせなのに回によって答えが変わることがありました

    TypeSafe AIは「193.6倍速く、444.6倍安い」と発表していますが、これはGPT-6 AstraやClaude Fable 5.1といった大型モデルとの比較です。

    軽量LLMが相手なら、差は数倍〜十数倍と考えるのが実態に近いです。それでも、リアルタイムの処理や大量のバッチ処理では十分に効く差です。

    LLMの「はい/いいえ」には癖がある

    正答率だけ見ると似たように見えますが、どちら側に間違えるかはモデルによってまったく違いました。

    画像
    LLMのくせ一覧

    GPT-6 Lunaは「緊急ではない」に倒れやすく、緊急案件を3件に2件見逃しています。Claude Haiku 4.5は逆に「人が対応すべき」に倒れやすく、不要な案件の半分以上を人に回しています。

    厄介なのは、この癖を使う側では調整できないことです。LLMはtrueかfalse しか返さないので、「見逃しを減らしたいから、もう少し慎重に判定して」とはプロンプトで頼むしかありません。それで狙いどおりに直る保証もありません。

    Jevは境目を後から決められる

    Jevの緊急判定は、0.5で区切ると33件中14件を見逃していて、この表では悪いほうに見えます。ただJevは確率を返しているので、境目を後から自由に動かせます。

    緊急度の確率を3つに分けて運用してみました。

    画像
    緊急度別一覧

    この運用だと、自動で処理した105件のうち、緊急の見逃しは2件、緊急でないのに緊急としたものも2件でした。人が見るのは150件中45件です。さきほどの二重引き落とし(0.42)も、この「人が確認」に入ります。

    全件を人が見るか、全件をAIに任せるかの二択ではなく、迷っている件だけを人に回す。 構造化出力のLLMでは組みにくいこの設計が、Jevでは確率を見るif文を1つ書くだけで作れます。これがJevの構造化出力のいちばんの価値だと思います。


    どちらを使うか

    ここまでをまとめると、使い分けはこうなります。

    画像
    Jevの使い分け

    右の列の下3つは、Jevの公式ドキュメントに「苦手」として明記されている項目です。

    ほかにも、二重否定のような間接的な指示や、関係のない文脈が大量に混ざった入力で精度が落ちること、選択肢の先頭に答えが寄りやすいことが挙げられています。


    組み合わせる3つの型

    実際には、どちらか一方より組み合わせたほうが強いです。

    1. Jevで一次振り分けして、迷った件だけLLMへ

    いちばん素直な型です。

    answer = jev_result["answers"]["department"]
    
    if answer["confidence"] >= 0.7:
        route_to(answer["choice"])          # 自動で振り分け
    else:
        llm_result = call_llm(text)         # 迷った件だけLLMか人へ

    今回のデータなら、LLMを呼ぶのは150件中19件で済みます。

    確率が中くらいのものだけを上位のLLMに回すことで、LLMの呼び出しを2割以下に抑えながら見逃しをなくせたと報告されています。

    2. LLMが候補を出して、Jevが選ぶ

    Jevは任意の文字列を作れないので、抽出はできません。

    そこで、LLMや正規表現で候補を出し、その候補をchoiceの選択肢にしてJevに選ばせます。「文中に出てくる会社名のうち、契約の当事者はどれか」のような使い方です。

    3. LLMの出力をJevが検証する

    LLMが作った回答文をstateに入れ、「事実と違う内容を含むか」「社外に出してよい内容か」をnoulで判定させます。

    生成はLLM、合否の判定はJev、という分担です。TypeSafe AIも、採点や検証、ガードレールを主な用途に挙げています。


    構造化出力とJevの違い

    1. LLMの構造化出力が保証するのは形だけ
      中身の正しさと確信度は保証されず、最新の軽量LLMでは確率を取り出すのも難しい

    2. Jevは選択肢ごとの確率を最初から返す
      精度は軽量LLMと横並びだったが、速度は5〜14倍、費用は2.6〜25分の1、答えの安定性も高かった

    3. 価値は「迷っている件だけ人に回せる」こと
      LLMの「はい/いいえ」の癖は使う側で直せないが、Jevの確率なら境目をあとから決められる

    まずは、今LLMの構造化出力でやっている分類を1つ選び、選択肢をそのままJevのchoiceに書き写して、正解の分かっている過去データ50件ほどで比べてみてください。

    確信度ごとの正答率を見れば、どこまで自動で任せてよいかが数字で分かります。


    WEELでは
    生成AIやAIエージェントに関する無料オンラインセミナーも開催中です!
    この機会にぜひお気軽にご参加いただけますと幸いです!
    ✅ セミナーに参加する

    生成AIの最新ニュース・事例・イベント情報をいち早く知りたい方は、ぜひWEELの無料メルマガをご購読ください!
    ✉️ メルマガに登録する

    💡 AI活用、どこから始めればいいかお悩みの方へ
    「Claude Codeの使い方を知りたい」
    「業務効率化をして、仕事を楽にしたい!」

    そんな方向けに、無料の個別相談をやってます!
    現場での事例も交えて、わかりやすくお話しします。
    ✨今すぐAIの専門家と話す✨

     
     
    「日本一透明性の高いAIプロフェッショナル集団」を目指す株式会社WEELです。 社内外のセミナーレポやよくいただくご質問などをお届けします! ビジネスユーザーが見るべき記事や最新情報については こちらのサイトからご覧ください。(https://weel.co.jp/)

    あなたへのおすすめ