メインコンテンツへスキップ
見出し画像

【AI分類】Yes/Noの聞き方を本番前に1つに決める全手順|誤判定12文→0文と集計スクリプト

    同じ 7 文を測り直しただけで、一致度が 0.22 から 0.56 に動きました。

    一致度は、AI の判定と正解役(公開モデル 5 つの推定)の順位相関です。聞き方も文も同じです。

    少ない文で 1 回比べただけでは、聞き方の良し悪しは決まりません。

    この記事は、AI に Yes/No を分類させる聞き方(指示文)を、本番前に比べて根拠を残して 1 つに決める手順と道具です。

    材料の検証では、明らかに No の 37 文のうち 12 文が Yes 側に出た聞き方を変え、0 文にしています。

    それでも、No を一番低く読んだ聞き方は採用していません。

    ここでの「誤判定」は、明らかに No として書いた文が、Yes の確率 50% 以上になったことを指します。

    こんな迷いはありませんか

    • 「指示文を 1 語変えたら、Yes の件数が変わった。どちらが正しいのか決め手が無い」

    • 「サンプル 10 件では全部合っていたのに、本番の集計がずれた」

    • 「『〜に当てはまるか』で聞いていた。直したいが、何で比べればいいか分からない」

    • 「比べて一番良かった聞き方が、たまたま良く見えただけではないかと不安」

    1 つでも当てはまるなら、この記事はあなた向けです。

    聞き方が決まらないのは、センスのせいではありません

    比べるための文と、決めるための基準を、先に用意していないからです。

    数件の例だけでは、聞き方どうしの差がほとんど見えません。

    同じ文で選んで、同じ文で良し悪しを測ると、偶然よく見えた聞き方を拾ってしまいます。

    私の検証で起きた 3 つの失敗

    私は会社員のエンジニアです。

    業務の外で、自宅サーバーと Claude Code を使って自分用のシステムを作っています。

    この記事の材料は、自作のスマホゲームの開発前に行った検証(2026 年 10 月 24〜30 日)です。

    AI の判定が五分五分になる文を書くほど、高得点になるゲームです。

    判定には、文と判定軸を渡すと Yes の確率を返す判定用の AI を使いました。外部の開発元が作り、Cloudflare Workers AI で公開されているモデルです。

    失敗 1: 聞き方を 1 通りしか用意せずに流した

    検証では最初、聞き方を 1 通りだけ用意して、220 文を 5 回ずつ判定させていました。

    明らかに No の文に高い確率が出てから、聞き方を 3 通りに増やして判定し直しています。

    冒頭の 12 文は、最初の聞き方で 5 回判定した平均です。聞き方を変えて判定し直すと、0 文になりました。

    失敗 2:「明らか」と書いた文が、明らかではなかった

    文は Claude に下書きさせ、私が確認して確定しました。

    それでも、明らかな Yes・No として書いた 4 文を、後から「明らかとは言えない」側に移しています。

    たとえば、上司からの無茶振りへの返信「申し訳ありませんが、今週は手一杯のため今回はお受けできません。」です。

    判定軸は「引き受けているか」です。断りとして書いた文ですが、見直しの段階で五分五分狙いの側に移しました。

    「今週は」と書いてあるので、来週以降なら受けられるとも取れるからです。

    失敗 3: 判定基準の一部を、結果を見てから決めた

    お題(判定軸)を追加するときの採否ルールには、書き換えた文の並びの許容幅(3 ポイント)があります。

    この幅は、結果を見てから決めた後付けのルールでした。検証記録にもそう書かれ、次の追加からは変えずに使うことになっています。

    変えたこと: 選ぶ文と、測る文を分けた

    検証では、2026 年 10 月 25 日に判定軸の言い回しの比較をやり直しています。

    言い回しを選ぶための文(選定用)と、選んだ後に 1 回だけ測る文(確認用)を、分けて比べる方法です。

    選定用の文で聞き方を選び、確認用の文で1回だけ測り、両方で上位なら採用する流れ
    この記事の中心になる流れ

    選定用で 1 位の言い回しが、確認用でも 1 位だった

    検証では、お題「後輩のプレゼンへのフィードバック」の判定軸を、4 通りの言い回しで比べています。

    • W1: 褒めているか

    • W2: プレゼンを高く評価しているか

    • W3: プレゼンの出来に満足しているか

    • W4: プレゼンが良かったと思っているか

    正解役(公開モデル 5 つの推定の平均)との順位相関は、五分五分を狙った文で次のとおりです(選定用 7 文/確認用 8 文)。

    • W1: 0.56/0.73

    • W2: 0.89/0.93

    • W3: 0.86/0.88

    • W4: 0.61/0.71

    W2 は、選定用でも確認用でも 1 位でした。Yes 寄りの偏りも、W2 が両方で最小です(+6/+7)。ゲームでは W2 を採用しています。

    一方、検証記録では、W1 の相関は最初の検証で 0.22 でした。同じ 7 文で、正解役の推定と判定をやり直すと 0.56 です。

    7 文ほどで測った値は、同じ文でも測り直すだけでこれだけ動きます。1 回の比較で決めない理由はここにあります。

    1 回の値がこれだけ動くなら、選んだ文でたまたま 1 位になった聞き方を拾うおそれもある、ということです。だから、選ぶ文とは別の文で、もう一度測ります。

    上の数字は、残っていた判定の記録から、Claude Code のエージェントに自作のスクリプトで計算し直させたものです(2026 年 11 月 15 日)。

    聞き方 3 通りの比較と例文は、前回の無料記事に書きました。

    https://note.com/pon_tanuki_blog/n/nb3a291b89d8e

    この結果で言えないこと

    • 結果は、この判定用の AI 1 つと公開モデル 5 つ、自作ゲームの文での Yes/No の 2 値分類に限ります

    • 公開モデル 5 つは deepseek-v4.1-flash、glm-5.3-flash、kimi-k2.6、nemotron-3-120b、gemma-4-26b です

    • 文は本体 220 文と、言い回しの比較用 28 文などです。業務の文を代表するものではありません

    • ChatGPT・Claude・Gemini の製品では試していません

    • 多クラス分類・情報の抽出・要約は対象外です

    • あなたのモデルと文で、同じ結果になるとは限りません。だから結果ではなく、手順と道具を持ち帰ってもらう記事にしました

    • 手順は取り違えを減らすためのもので、効果は保証しません

    読み終えると、できるようになること

    • 自分の業務の言葉で、はっきりした Yes・No、五分五分を狙った文、字面と意味が逆の文を混ぜたテスト文を作る

    • 型の違う聞き方の候補を、3〜4 通り出す

    • テスト文を選定用と確認用に分け、偶然よく見えた聞き方を選ばずに済ませる

    • 正解数・明らかな No の平均・順位相関・五分五分での一致・Yes 寄りの偏り・揺れの 6 つを、スクリプトで出す

    • 結果を見る前に基準を決め、採否を記録に残す

    • 正解役を人にするか LLM にするかを決め、LLM にしたときの限界を説明する

    • 本番に入れる前に、揺れと表記ゆれを点検する

    有料部の目次(全 6 章)

    • 第 1 章 テスト文を作る: はっきりした文・五分五分の文・字面と意味が逆の文。1 判定軸 31 文のテンプレ

    • 第 2 章 聞き方の候補を 3〜4 通り出す: 型の違う 3 つのひな形と、言い回しの具体化

    • 第 3 章 選定用と確認用に分けて比べる: 分け方の手順と、確認用で選び直さないルール

    • 第 4 章 6 つの指標を出し、先に決めた基準で選ぶ: 集計スクリプトの全文と、決める順番

    • 第 5 章 正解役を誰にするか: 人の推定と LLM の推定の使い分けと限界

    • 第 6 章 本番に入れる前の点検: 揺れ・表記ゆれ・判定軸を足すときの採否ルール、チェックリスト

    こんな方に向いています

    • LLM で問い合わせ・レビュー・アンケートの自由記述などを、Yes/No か確率で数百件以上分類している方、これから本番に流す方

    • 指示文を数件の例で決めてしまい、根拠を残して選び直したい方

    • 前回の無料記事を読んで、自分の聞き方を見直したくなった方

    こんな方には向きません

    • チャット画面で数件だけ聞く方(数十文のテスト文を作る手間が見合いません)

    • 分類の正確さの保証が欲しい方、多クラス分類・抽出・要約の品質を測りたい方

    • 採用・与信・医療など、人に不利益が出る判定を AI だけで決めたい方

    有料部に入っている道具

    コピーしてすぐ使えるよう、道具はすべて本文に全文を載せています。

    • テスト文の CSV テンプレ: 1 判定軸 31 文。選定用 19 文と確認用 12 文の分け方つき

    • 聞き方の候補シート: 対象型・書き手型・回答型のひな形

    • 集計スクリプト(Node 22 以上、追加のインストール不要): 6 つの指標と採否を一度に出す

    • 判定基準の設定ファイル: 自作ゲームの検証で使った値を初期値にしたもの

    • 表記の正規化の関数と、本番前チェックリスト(全 24 項目)

    本番の数百件を流した後で聞き方を変えると、全件の流し直しと集計のやり直しになります。その前に聞き方を決めるための道具一式です。

    では、本編に入ります。

     
     
    AIとテクノロジーを活用した効率化・収益化のプロ📈最新ツールの使い方から副業で月10万円稼ぐ方法まで、実践的なノウハウを分かりやすく解説。読者の「知りたい」に応える記事で、あなたのスキルアップをサポートします✨

    あなたへのおすすめ