
【AI分類】Yes/Noの聞き方を本番前に1つに決める全手順|誤判定12文→0文と集計スクリプト
同じ 7 文を測り直しただけで、一致度が 0.22 から 0.56 に動きました。
一致度は、AI の判定と正解役(公開モデル 5 つの推定)の順位相関です。聞き方も文も同じです。
少ない文で 1 回比べただけでは、聞き方の良し悪しは決まりません。
この記事は、AI に Yes/No を分類させる聞き方(指示文)を、本番前に比べて根拠を残して 1 つに決める手順と道具です。
材料の検証では、明らかに No の 37 文のうち 12 文が Yes 側に出た聞き方を変え、0 文にしています。
それでも、No を一番低く読んだ聞き方は採用していません。
ここでの「誤判定」は、明らかに No として書いた文が、Yes の確率 50% 以上になったことを指します。
こんな迷いはありませんか
「指示文を 1 語変えたら、Yes の件数が変わった。どちらが正しいのか決め手が無い」
「サンプル 10 件では全部合っていたのに、本番の集計がずれた」
「『〜に当てはまるか』で聞いていた。直したいが、何で比べればいいか分からない」
「比べて一番良かった聞き方が、たまたま良く見えただけではないかと不安」
1 つでも当てはまるなら、この記事はあなた向けです。
聞き方が決まらないのは、センスのせいではありません
比べるための文と、決めるための基準を、先に用意していないからです。
数件の例だけでは、聞き方どうしの差がほとんど見えません。
同じ文で選んで、同じ文で良し悪しを測ると、偶然よく見えた聞き方を拾ってしまいます。
私の検証で起きた 3 つの失敗
私は会社員のエンジニアです。
業務の外で、自宅サーバーと Claude Code を使って自分用のシステムを作っています。
この記事の材料は、自作のスマホゲームの開発前に行った検証(2026 年 10 月 24〜30 日)です。
AI の判定が五分五分になる文を書くほど、高得点になるゲームです。
判定には、文と判定軸を渡すと Yes の確率を返す判定用の AI を使いました。外部の開発元が作り、Cloudflare Workers AI で公開されているモデルです。
失敗 1: 聞き方を 1 通りしか用意せずに流した
検証では最初、聞き方を 1 通りだけ用意して、220 文を 5 回ずつ判定させていました。
明らかに No の文に高い確率が出てから、聞き方を 3 通りに増やして判定し直しています。
冒頭の 12 文は、最初の聞き方で 5 回判定した平均です。聞き方を変えて判定し直すと、0 文になりました。
失敗 2:「明らか」と書いた文が、明らかではなかった
文は Claude に下書きさせ、私が確認して確定しました。
それでも、明らかな Yes・No として書いた 4 文を、後から「明らかとは言えない」側に移しています。
たとえば、上司からの無茶振りへの返信「申し訳ありませんが、今週は手一杯のため今回はお受けできません。」です。
判定軸は「引き受けているか」です。断りとして書いた文ですが、見直しの段階で五分五分狙いの側に移しました。
「今週は」と書いてあるので、来週以降なら受けられるとも取れるからです。
失敗 3: 判定基準の一部を、結果を見てから決めた
お題(判定軸)を追加するときの採否ルールには、書き換えた文の並びの許容幅(3 ポイント)があります。
この幅は、結果を見てから決めた後付けのルールでした。検証記録にもそう書かれ、次の追加からは変えずに使うことになっています。
変えたこと: 選ぶ文と、測る文を分けた
検証では、2026 年 10 月 25 日に判定軸の言い回しの比較をやり直しています。
言い回しを選ぶための文(選定用)と、選んだ後に 1 回だけ測る文(確認用)を、分けて比べる方法です。

選定用で 1 位の言い回しが、確認用でも 1 位だった
検証では、お題「後輩のプレゼンへのフィードバック」の判定軸を、4 通りの言い回しで比べています。
W1: 褒めているか
W2: プレゼンを高く評価しているか
W3: プレゼンの出来に満足しているか
W4: プレゼンが良かったと思っているか
正解役(公開モデル 5 つの推定の平均)との順位相関は、五分五分を狙った文で次のとおりです(選定用 7 文/確認用 8 文)。
W1: 0.56/0.73
W2: 0.89/0.93
W3: 0.86/0.88
W4: 0.61/0.71
W2 は、選定用でも確認用でも 1 位でした。Yes 寄りの偏りも、W2 が両方で最小です(+6/+7)。ゲームでは W2 を採用しています。
一方、検証記録では、W1 の相関は最初の検証で 0.22 でした。同じ 7 文で、正解役の推定と判定をやり直すと 0.56 です。
7 文ほどで測った値は、同じ文でも測り直すだけでこれだけ動きます。1 回の比較で決めない理由はここにあります。
1 回の値がこれだけ動くなら、選んだ文でたまたま 1 位になった聞き方を拾うおそれもある、ということです。だから、選ぶ文とは別の文で、もう一度測ります。
上の数字は、残っていた判定の記録から、Claude Code のエージェントに自作のスクリプトで計算し直させたものです(2026 年 11 月 15 日)。
聞き方 3 通りの比較と例文は、前回の無料記事に書きました。
https://note.com/pon_tanuki_blog/n/nb3a291b89d8e
この結果で言えないこと
結果は、この判定用の AI 1 つと公開モデル 5 つ、自作ゲームの文での Yes/No の 2 値分類に限ります
公開モデル 5 つは deepseek-v4.1-flash、glm-5.3-flash、kimi-k2.6、nemotron-3-120b、gemma-4-26b です
文は本体 220 文と、言い回しの比較用 28 文などです。業務の文を代表するものではありません
ChatGPT・Claude・Gemini の製品では試していません
多クラス分類・情報の抽出・要約は対象外です
あなたのモデルと文で、同じ結果になるとは限りません。だから結果ではなく、手順と道具を持ち帰ってもらう記事にしました
手順は取り違えを減らすためのもので、効果は保証しません
読み終えると、できるようになること
自分の業務の言葉で、はっきりした Yes・No、五分五分を狙った文、字面と意味が逆の文を混ぜたテスト文を作る
型の違う聞き方の候補を、3〜4 通り出す
テスト文を選定用と確認用に分け、偶然よく見えた聞き方を選ばずに済ませる
正解数・明らかな No の平均・順位相関・五分五分での一致・Yes 寄りの偏り・揺れの 6 つを、スクリプトで出す
結果を見る前に基準を決め、採否を記録に残す
正解役を人にするか LLM にするかを決め、LLM にしたときの限界を説明する
本番に入れる前に、揺れと表記ゆれを点検する
有料部の目次(全 6 章)
第 1 章 テスト文を作る: はっきりした文・五分五分の文・字面と意味が逆の文。1 判定軸 31 文のテンプレ
第 2 章 聞き方の候補を 3〜4 通り出す: 型の違う 3 つのひな形と、言い回しの具体化
第 3 章 選定用と確認用に分けて比べる: 分け方の手順と、確認用で選び直さないルール
第 4 章 6 つの指標を出し、先に決めた基準で選ぶ: 集計スクリプトの全文と、決める順番
第 5 章 正解役を誰にするか: 人の推定と LLM の推定の使い分けと限界
第 6 章 本番に入れる前の点検: 揺れ・表記ゆれ・判定軸を足すときの採否ルール、チェックリスト
こんな方に向いています
LLM で問い合わせ・レビュー・アンケートの自由記述などを、Yes/No か確率で数百件以上分類している方、これから本番に流す方
指示文を数件の例で決めてしまい、根拠を残して選び直したい方
前回の無料記事を読んで、自分の聞き方を見直したくなった方
こんな方には向きません
チャット画面で数件だけ聞く方(数十文のテスト文を作る手間が見合いません)
分類の正確さの保証が欲しい方、多クラス分類・抽出・要約の品質を測りたい方
採用・与信・医療など、人に不利益が出る判定を AI だけで決めたい方
有料部に入っている道具
コピーしてすぐ使えるよう、道具はすべて本文に全文を載せています。
テスト文の CSV テンプレ: 1 判定軸 31 文。選定用 19 文と確認用 12 文の分け方つき
聞き方の候補シート: 対象型・書き手型・回答型のひな形
集計スクリプト(Node 22 以上、追加のインストール不要): 6 つの指標と採否を一度に出す
判定基準の設定ファイル: 自作ゲームの検証で使った値を初期値にしたもの
表記の正規化の関数と、本番前チェックリスト(全 24 項目)
本番の数百件を流した後で聞き方を変えると、全件の流し直しと集計のやり直しになります。その前に聞き方を決めるための道具一式です。
では、本編に入ります。