
Jevの構造化出力|JSON modeやStructured Outputsと何が違うのか?確率が返る判断AIを、軽量LLM3つと150件で比べてみた
LLMに問い合わせの振り分けをさせるとき、今は構造化出力(Structured Outputs)を使うのが定番です。
スキーマを渡せば、{"department": "billing", "is_urgent": true}のような決まった形で返ってきます。パースに失敗して処理が止まる、ということはほぼなくなりました。
そこに2026年9月15日、TypeSafe AIがJevという判断専用モデルを出しました。

文章を一切書かず、決めておいた選択肢から答えを選び、確率と確信度を付けて返すモデルです。触った人の多くが最初に抱く疑問は同じだと思います。
「それ、構造化出力と何が違うの?」
本記事では、まずLLMの構造化出力が何を保証していて何を保証していないかを整理し、Jevとの違いを説明します。
そのうえで、同じ日本語の問い合わせ150件をJevと軽量LLM3つ(GPT-6 Luna、Gemini 3.1 Flash-Lite、Claude Haiku 4.5)に判定させて、精度・速度・費用・答えの安定性を比べました。
📌 Noteをご覧になっている方へ
WEELでは、Jevをはじめとした判断特化AIの活用方法をレポートとして無料配布しています。判断特化AIを自社業務に活かしたいと考えている方はぜひご覧ください!
構造化出力は3種類ある
「LLMにJSONで返させる」方法は、実は3つあります。名前が似ていて混同されやすいですが、下記のように整理できます。

今の主流は真ん中のStructured Outputsです。
OpenAIはresponse_format(Responses APIでは text.format)に json_schemaとstrict: true、Anthropicはoutput_config.format、Googleは responseSchemaで指定。
Geminiには、選択肢の中から1つだけを返させる分類専用のモード(text/x.enum)もあります。
仕組みは「制約付きデコーディング」です。
LLMは1トークンずつ文章を生成しますが、そのたびに「スキーマに合わないトークンは選べない」ように候補を絞ります。だからdepartmentにfinanceのような存在しない値が入ることはありません。
構造化出力でも防げないこと
Structured Outputsが保証するのは形です。それ以外は保証しません。業務の振り分けに使うと、次の3つが残ります。
1. 中身は間違える
形が正しいことと、判断が正しいことは別です。
Googleは公式ドキュメントで、構造化出力の結果は構文として正しいJSONだが、値はアプリ側で検証するよう明記しています。OpenAIとAnthropicの保証も「スキーマへの準拠」までです。
2. どれくらい自信があるかが分からない
is_urgent:trueは、迷った末のtrueなのか、確信を持ったtrueなのか区別できません。
プロンプトで「確信度も0〜1で返して」と頼むことはできますが、LLMが自己申告する確信度は高めに偏りやすく、0.9や0.95のような切りのいい数字に寄りがちだと報告されています。
3. 確率を取り出す道も狭くなっている
本来は、各トークンの確率(logprobs)を見れば「どれくらい迷ったか」が分かります。ところが2026年10月時点では次のような状況です。
Claude:APIがトークンの確率を返さない
OpenAI:GPT-5系などの推論モデルでは返らない。Structured Outputsを有効にすると空になるという報告もある
Gemini:最新の3.x系では使えないという報告がある
つまり、最新の軽量LLMで「構造化出力」と「確率」を同時に取ることは、かなり難しくなっています。 形は揃うけど、迷いは見えない。これがLLMの構造化出力の現状と言えます。
Jevは「生成しない」構造化出力
Jevは、この「迷い」を最初から返すように作られています。
LLMが1トークンずつ生成してから形を合わせるのに対し、Jevは文字を生成しません。
開発者が事前に定義した選択肢それぞれの確率を、1回の問い合わせで並列に出します。TypeSafe AIは、構造化されていない状態を受け取り、型の決まった確率付きの判断を返す「関数呼び出し」だと説明しています。
質問の型は3つだけです。

choiceの確信度は、一番高い確率から計算されます。
選択肢が4つなら、全部25%で横並びのとき0、1つが100%のとき1です。公式の目安は「0.5未満は自動で動かさない」「0.9超なら自動で実行してよい」で、適切な値は業務によって変わるとしています。
noulには確信度がありません。Yes/Noなら確率1つで分布を表しきれるからです。0.5付近なら迷っている、0や1に近ければ迷っていない、と読みます。
LLMの構造化出力と比べると、違いはこうなります。

「中身の保証」が両方とも「なし」なのは大事な点です。
TypeSafe AI自身も、保証するのは答えの形で、一つ一つの判断が正しいことまでは保証しない、とFAQで明言しています。Jevも間違えます。違いは、間違えそうなときにそれが数字に出ることです。
同じ判断を両方で書いてみる
下記の例で考えてみます。
問い合わせ「二重に引き落とされているようです。返金をお願いします。」を、担当部署(4択)と緊急かどうかで判定させます。
LLM(Structured Outputs)
OpenAI互換のChat Completionsで、response_formatにスキーマを渡します。
{
"model": "google/gemini-3.1-flash-lite",
"messages": [
{"role": "system", "content": "あなたはカスタマーサポートの一次振り分け担当です。…(部署の定義と判定基準)"},
{"role": "user", "content": "二重に引き落とされているようです。返金をお願いします。"}
],
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "triage",
"strict": true,
"schema": {
"type": "object",
"properties": {
"department": {"type": "string", "enum": ["billing", "technical", "sales", "other"]},
"is_urgent": {"type": "boolean"}
},
"required": ["department", "is_urgent"],
"additionalProperties": false
}
}
}
}返ってきたのはこれです。
{"department": "billing", "is_urgent": true}Jev
Jevはチャット形式ではありません。state(判断材料)とquestions(質問の定義)を送ります。
{
"model": "jev-1.13",
"state": "二重に引き落とされているようです。返金をお願いします。",
"questions": {
"department": {
"type": "choice",
"instructions": "この問い合わせを担当すべき部署",
"criteria": {
"billing": "請求書・支払い・返金・領収書・料金の計算間違いに関する内容",
"technical": "ログイン・エラー・不具合・設定・API・セキュリティなど製品の動作に関する内容",
"sales": "見積もり・契約・プラン変更・解約・デモ・導入検討・料金プランの相談",
"other": "上記いずれにも当てはまらない。挨拶のみ、採用、広報、スパム、内容不明など"
}
},
"is_urgent": {
"type": "noul",
"instructions": "この問い合わせは当日中に対応しないと顧客に実害(業務停止・金銭損失・情報漏えい)が出るか",
"criteria": {"true": "当日中の対応が必要", "false": "通常の対応期限で問題ない"}
}
}
}返ってきたのはこれです(OpenRouter経由。idは省略)。
{
"model": "typesafe/jev-1.13-20260917",
"answers": {
"department": {
"type": "choice",
"choice": "billing",
"probabilities": {"sales": 0, "technical": 0, "other": 0, "billing": 1},
"confidence": 1
},
"is_urgent": {"type": "noul", "noul": 0.42}
},
"usage": {"input_tokens": 590, "output_tokens": 65, "cost": 0.00002478}
}部署はどちらもbillingです。違いは緊急度です。LLMはtrueと言い切りましたが、Jevは 0.42、つまり「どちらとも言いにくい」と返しています。
二重引き落としは、金額や顧客によって当日対応が必要かどうかが変わる、本当に微妙な案件です。
LLMのtrueからは、その微妙さが読み取れません。Jevの0.42なら、「これは人が見る」とコードで振り分けられます。
「自社の業務でJevとLLMのどちらを使うべきか判断できない」「どこまでAIに任せて、どこから人が見るかの線引きが難しい」という方がいらっしゃれば、私たちWEELにご相談ください。
問い合わせ振り分けなどの判断業務の洗い出しから、モデルの比較検証、確信度を使った運用設計、社内への組み込みまで、実務に即した形でしっかり伴走します。
150件で比べてみた
1件だけでは何とも言えないので、まとまった数で比べました。
条件
データ:株式会社Mojiが公開している日本語の問い合わせ150件(jev-ja-eval、MITライセンス、合成データ)。普通の問い合わせ70件に加えて、部署が曖昧なもの22件、否定表現12件、情報不足9件、方言8件、皮肉6件、複数部署にまたがるもの5件などが入っています
判定する項目:担当部署(4択)、緊急か、人が直接対応すべきか、の3つ。正解ラベルはデータに付いているもの
比べたモデル:Jev 1.13、GPT-6 Luna、Gemini 3.1 Flash-Lite、Claude Haiku 4.5。すべてOpenRouter経由で、ラベルの定義文は全モデル共通
LLMの設定:json_schemaのstrict指定。推論はGPT-6 LunaとFlash-Liteを最小(minimal)、Haiku 4.5は推論なし
Jevの設定:部署はchoice、緊急と要人対応はnoul。確率0.5以上を「はい」とした
結果

測定にかかった費用は、全モデル合計で$0.23でした。
実際に処理している様子がこちらです。
精度は横並び
部署の正答率は4モデルとも91〜95%で、差は数件分です。
今回の結果から「JevのほうがLLMより賢い」とは言えません。 逆に「判断専用モデルだから精度が落ちる」ということもありませんでした。
否定表現(「急ぎではありませんが〜」)や方言、皮肉、絵文字混じりも、どのモデルもほぼ正しく振り分けています。
差が出たのは速度・費用・安定性
速度:Jevの中央値は217msで、Flash-Liteの約5倍、Haikuの約7倍、GPT-6 Lunaの約14倍。GPT-6 Lunaは推論を最小に指定しても推論トークンを使っていて、それが遅さの原因でした
費用:Jevは1,000件で約3セント。Flash-Liteの約4分の1、Haikuの約25分の1です。ただし最安クラスのGPT-6 Lunaとの差は約2.6倍しかありません
安定性:同じ30件を3回ずつ送ったところ、Jevは3項目すべてが3回とも同じだった割合が96.7%。GPT-6 Lunaは73.3%で、同じ問い合わせなのに回によって答えが変わることがありました
TypeSafe AIは「193.6倍速く、444.6倍安い」と発表していますが、これはGPT-6 AstraやClaude Fable 5.1といった大型モデルとの比較です。
軽量LLMが相手なら、差は数倍〜十数倍と考えるのが実態に近いです。それでも、リアルタイムの処理や大量のバッチ処理では十分に効く差です。
LLMの「はい/いいえ」には癖がある
正答率だけ見ると似たように見えますが、どちら側に間違えるかはモデルによってまったく違いました。

GPT-6 Lunaは「緊急ではない」に倒れやすく、緊急案件を3件に2件見逃しています。Claude Haiku 4.5は逆に「人が対応すべき」に倒れやすく、不要な案件の半分以上を人に回しています。
厄介なのは、この癖を使う側では調整できないことです。LLMはtrueかfalse しか返さないので、「見逃しを減らしたいから、もう少し慎重に判定して」とはプロンプトで頼むしかありません。それで狙いどおりに直る保証もありません。
Jevは境目を後から決められる
Jevの緊急判定は、0.5で区切ると33件中14件を見逃していて、この表では悪いほうに見えます。ただJevは確率を返しているので、境目を後から自由に動かせます。
緊急度の確率を3つに分けて運用してみました。

この運用だと、自動で処理した105件のうち、緊急の見逃しは2件、緊急でないのに緊急としたものも2件でした。人が見るのは150件中45件です。さきほどの二重引き落とし(0.42)も、この「人が確認」に入ります。
全件を人が見るか、全件をAIに任せるかの二択ではなく、迷っている件だけを人に回す。 構造化出力のLLMでは組みにくいこの設計が、Jevでは確率を見るif文を1つ書くだけで作れます。これがJevの構造化出力のいちばんの価値だと思います。
どちらを使うか
ここまでをまとめると、使い分けはこうなります。

右の列の下3つは、Jevの公式ドキュメントに「苦手」として明記されている項目です。
ほかにも、二重否定のような間接的な指示や、関係のない文脈が大量に混ざった入力で精度が落ちること、選択肢の先頭に答えが寄りやすいことが挙げられています。
組み合わせる3つの型
実際には、どちらか一方より組み合わせたほうが強いです。
1. Jevで一次振り分けして、迷った件だけLLMへ
いちばん素直な型です。
answer = jev_result["answers"]["department"]
if answer["confidence"] >= 0.7:
route_to(answer["choice"]) # 自動で振り分け
else:
llm_result = call_llm(text) # 迷った件だけLLMか人へ今回のデータなら、LLMを呼ぶのは150件中19件で済みます。
確率が中くらいのものだけを上位のLLMに回すことで、LLMの呼び出しを2割以下に抑えながら見逃しをなくせたと報告されています。
2. LLMが候補を出して、Jevが選ぶ
Jevは任意の文字列を作れないので、抽出はできません。
そこで、LLMや正規表現で候補を出し、その候補をchoiceの選択肢にしてJevに選ばせます。「文中に出てくる会社名のうち、契約の当事者はどれか」のような使い方です。
3. LLMの出力をJevが検証する
LLMが作った回答文をstateに入れ、「事実と違う内容を含むか」「社外に出してよい内容か」をnoulで判定させます。
生成はLLM、合否の判定はJev、という分担です。TypeSafe AIも、採点や検証、ガードレールを主な用途に挙げています。
構造化出力とJevの違い
LLMの構造化出力が保証するのは形だけ
中身の正しさと確信度は保証されず、最新の軽量LLMでは確率を取り出すのも難しいJevは選択肢ごとの確率を最初から返す
精度は軽量LLMと横並びだったが、速度は5〜14倍、費用は2.6〜25分の1、答えの安定性も高かった価値は「迷っている件だけ人に回せる」こと
LLMの「はい/いいえ」の癖は使う側で直せないが、Jevの確率なら境目をあとから決められる
まずは、今LLMの構造化出力でやっている分類を1つ選び、選択肢をそのままJevのchoiceに書き写して、正解の分かっている過去データ50件ほどで比べてみてください。
確信度ごとの正答率を見れば、どこまで自動で任せてよいかが数字で分かります。
WEELでは
生成AIやAIエージェントに関する無料オンラインセミナーも開催中です!
この機会にぜひお気軽にご参加いただけますと幸いです!
✅ セミナーに参加する
生成AIの最新ニュース・事例・イベント情報をいち早く知りたい方は、ぜひWEELの無料メルマガをご購読ください!
✉️ メルマガに登録する
💡 AI活用、どこから始めればいいかお悩みの方へ
「Claude Codeの使い方を知りたい」
「業務効率化をして、仕事を楽にしたい!」
そんな方向けに、無料の個別相談をやってます!
現場での事例も交えて、わかりやすくお話しします。
✨今すぐAIの専門家と話す✨