メインコンテンツへスキップ
見出し画像

AIに「当てはまるか」と聞くと明らかなNoの37文中12文がYes、別の聞き方では0文

    「正直、前のほうが似合ってたと思う。」

    友人の新しい髪型への感想です。

    「この文は、似合っていると思っているかに当てはまるか」と聞くと、判定用の AI は 87% の確率で Yes 側に判定しました。

    聞き方を「この文を書いた人は、似合っていると思っているか」に変えると、9% です。

    答えが明らかに No になる文として 40 文を用意し、見直しで 3 文を「明らかとは言えない」側に移しました。

    残った 37 文のうち 12 文が、最初の聞き方では Yes 側になりました(5 回の平均)。

    聞き方を変えた 2 通りでは、どちらも 0 文です。

    この記事では、同じ文に聞き方を 3 通り、言い回しを 4 通り当てた結果を並べます。

    判定がどれだけ動いたかを、元の例文つきで書きます。

    AI に問い合わせや口コミ、アンケートの分類を任せ始めた方向けの記事です。次の 4 つが分かります。

    • 「〜に当てはまるか」と聞いたとき、Yes 側に回った、答えが明らかに No の文 12 文の全文と数字

    • No の文を一番よく読んだ聞き方を、採用しなかった理由

    • 「褒めているか」を「高く評価しているか」に変えると、公開モデル 5 つの推定が平均で何ポイント下がったか

    • 分類を本番に流す前に、聞き方を比べる目安 3 つ

    結果は、この判定用の AI 1 つと、公開モデル 5 つでのものです。

    ChatGPT などで同じことが起きるかは、調べていません。

    調べ方と、この数字で言えないこと

    私は会社員のエンジニアです。

    業務の外で、自宅サーバーと Claude Code を使って自分用のシステムを作っています。

    今回のデータは、自作ゲームの開発前に行った検証(2026 年 10 月 24〜25 日)のものです。

    AI の判定が五分五分になる文章を書くほど、高得点になるゲームです。

    調べ方

    1. 文はお題 20 組×11 文で、計 220 文あります。Claude に下書きさせ、私が確認して確定しました

    2. 220 文には、明らかな Yes、明らかな No、五分五分を狙った文があります

    3. お題には判定軸が付きます。たとえば「友人の新しい髪型への感想」には「似合っていると思っているか」です

    4. 判定させたのは、文と判定軸を渡すと Yes の確率を返す判定用の AI です

    5. このモデルは外部の開発元が作り、Cloudflare Workers AI で公開されています

    6. 確率が 50% 以上なら「Yes 側」としました

    7. 比べる相手として、Workers AI 上の公開モデル 5 つにも推定させました。聞いたのは「日本人 100 人に聞いたら何人が Yes と答えるか」です

    8. 5 つは deepseek-v4.1-flash、glm-5.3-flash、kimi-k2.6、nemotron-3-120b、gemma-4-26b です。この平均を、以下「パネル」と呼びます

    9. 判定の回数は、最初の聞き方が 1 文 5 回、残りの 2 通りが 1 回ずつです

    10. 2026 年 10 月 25 日に、私が明らかな Yes・No の 4 文を「明らかとは言えない」として、五分五分狙いに移しました

    11. 移した後の明らかな No は 37 文です。この記事の主な数字は、この 37 文で数えています

    12. 記事の数字は、残っていた判定の記録を、Claude Code のエージェントに自作のスクリプトで数え直させたものです(2026 年 11 月 14 日)

    13. 新しく AI に判定させてはいません

    同じ検証のうち、皮肉の文を AI がどう読んだかは別の記事に書きました。

    そちらは「文」の側、この記事は「聞き方」の側の話です。

    https://note.com/pon_tanuki_blog/n/n44168de7827d

    この数字で言えないこと

    • 判定したのは、この判定用の AI と Workers AI 上の公開モデル 5 つです。ChatGPT・Claude・Gemini の製品は試していません

    • 文はゲーム用に作った 220 文で、業務の問い合わせや口コミを代表するものではありません

    • AI がなぜそう読んだのか、原因は分かっていません

    • どの聞き方がどの業務でも正しい、とは言えません

    「当てはまるか」と聞くと、明らかに No の 37 文中 12 文が Yes 側になった

    比べた聞き方は、次の 3 通りです。〔文〕と〔判定軸〕のところに、それぞれの文と判定軸が入ります。

    A: 〔文〕は、〔判定軸〕に当てはまるか
    B: 〔文〕を書いた人は、〔判定軸〕
    C: 〔文〕は、「〔判定軸〕」という問いに Yes と答えている文章か
    

    明らかな No の 37 文は、断りや見送りだけではありません。否定的な感想や、判定軸と逆のことを言う文も入っています。

    たとえば「帰ってほしいと思っているか」への「よかったら泊まっていきなよ。布団もあるし。」や、「引き止めているか」への「いいと思う!新しい場所でも頑張ってね、応援してる。」です。

    検証で最初に使ったのは A です。明らかな No の 37 文で、Yes 側(50% 以上)になった文の数は次のとおりでした。

    • A: 37 文中 12 文(5 回の平均)

    • B: 0 文

    • C: 0 文

    明らかな No の文の確率の平均は、A で 38%、B で 11%、C で 6% です(ラベルを見直す前の 40 文)。

    同じ1文に3通りの聞き方をした確率。Aは87%、Bは9%、Cは4%
    「正直、前のほうが似合ってたと思う。」への3通りの聞き方。左からA、B、C

    A で Yes 側になった 12 文

    A の 5 回の平均が高い順に、全部並べます。数字は A→B→C の順です。

    • 「正直、前のほうが似合ってたと思う。」(似合っていると思っているか)87→9→4

    • 「正直に言うと、これはあまり口に合わなかったな。」(料理を気に入っているか)85→9→3

    • 「正直、この企画は見送ったほうがいいと思う。」(企画に賛成しているか)84→5→3

    • 「予算的に無理があると思う。この案には賛成できない。」(企画に賛成しているか)84→4→2

    • 「正直、ちょっと狭くて落ち着かないかな。」(家を気に入っているか)81→17→6

    • 「ごめん、ちょっと味が濃すぎて食べきれないかも。」(料理を気に入っているか)79→19→7

    • 「駅から遠いし、自分なら選ばないかも。」(家を気に入っているか)75→13→5

    • 「うーん、ちょっと短くしすぎたんじゃない?」(似合っていると思っているか)71→22→9

    • 「大変恐縮ですが、別の会社にお願いすることになりました。」(提案を採用するつもりか)71→4→2

    • 「検討の結果、今回は見送らせていただくことになりました。」(提案を採用するつもりか)66→4→2

    • 「今回はパスで。最近ちょっと飲み会を控えてるんだ。」(参加するつもりか)65→5→2

    • 「ごめん、途中で読むのをやめちゃった。」(面白いと思っているか)60→12→4

    「この案には賛成できない。」と言い切った文でも、A では 84% です。

    A は、文が判定軸の話題に関係しているかを答えていたように見えます。

    検証の記録にもそう書かれていますが、検証時の推測で、原因は調べていません。

    数え方で 12 文が 13・14 文になる

    12 文は、ラベルを見直した後の 37 文を、5 回の平均で数えた値です。数え方を変えると、次のようになります。

    • ラベルを見直す前の 40 文、5 回の平均: 13 文

    • 見直す前の 40 文、1 回目の判定だけ: 14 文

    • 見直した後の 37 文、1 回目の判定だけ: 13 文

    差が出るのは、50% の前後にいる文があるからです。

    「ごめん、お金の貸し借りはしないって決めてるんだ。」(お金を貸すつもりか)は、5 回の判定が 53・48・45・44・45 でした。

    同じ聞き方でも、境界に近い文は判定のたびに Yes・No が入れ替わることがあります。

    A にも、B・C より良かった点がある

    明らかな Yes の 39 文は、A では全部 Yes 側でした。B と C は、1 文だけ No 側にしました。

    「騒音に困っています。改善されない場合は管理会社に相談します。」(やめてほしいと伝えているか)は、A が 5 回の平均で 56%、B が 46%、C が 34% でした。

    No の文を一番よく読んだ聞き方は、採用しなかった

    C は、明らかな No の平均が 6% で、3 通りの中で一番低い値です。

    五分五分狙いの文での Yes 寄りの偏り(判定用の AI とパネルの差)も、C が +0.7 で最小でした。

    それでも、ゲームに採用したのは B です。

    決め手は、迷う文で迷ってくれるかどうかでした。

    パネルが 40〜60% と推定した 34 文で、判定用の AI の確率も 30〜70% に収まった割合は次のとおりです。

    • B: 65%

    • A: 59%

    • C: 56%

    パネルとの順位の相関(全体/五分五分狙い)も、B が 0.92/0.76、C が 0.91/0.72 で、B がわずかに上でした。

    明らかな Yes・No の 80 文の正解は、A が 66 文、B と C が 79 文でした。

    ここまでの比較と、この 80 文の正解数は、ラベルを見直す前に出した値です。

    はっきりした文を正しく読む聞き方と、迷う文で迷ってくれる聞き方は、同じではありませんでした。

    はっきり分けたいなら C、迷いの度合いを知りたいなら B、というように、用途で良い聞き方が変わります。

    1 通りだけ試して終わりにしない方がいい、と考える理由はここにあります。

    「褒めているか」を「高く評価しているか」に変えると、5 モデルとも推定が下がった

    ここからは、公開モデル 5 つ(パネル)の結果が中心です。

    お題の 1 つに「後輩のプレゼンへのフィードバック」がありました。

    最初の判定軸は「褒めているか」でしたが、判定軸ごとの点検で問題が出たため、言い回しを 4 通り比べ直しています。

    • W1: 褒めているか

    • W2: プレゼンを高く評価しているか

    • W3: プレゼンの出来に満足しているか

    • W4: プレゼンが良かったと思っているか

    4 通りには同じ 28 文を当て、パネルの推定も言い回しごとにやり直しました。

    そのうち五分五分を狙った 15 文で、5 モデルの推定 Yes 率の平均は次のように動きました。

    言い回し4通りでの5モデル平均の推定Yes率。左から50%、29%、26%、36%
    同じ15文への言い回し4通り。左からW1「褒めているか」、W2、W3、W4
    • W1「褒めているか」: 50%

    • W2「プレゼンを高く評価しているか」: 29%

    • W3「プレゼンの出来に満足しているか」: 26%

    • W4「プレゼンが良かったと思っているか」: 36%

    W1 から W2 で、約 20 ポイント下がっています。モデル別に見ても、5 モデルとも W1 より W2 で低く出ました。

    • deepseek-v4.1-flash: 51→31

    • glm-5.3-flash: 45→30

    • kimi-k2.6: 54→40

    • nemotron-3-120b: 54→23

    • gemma-4-26b: 44→22

    文ごとでは、次のように動きました(5 モデルの平均。W1→W2→W3→W4)。

    • 「時間ぴったりに終わったのは偉い。」77→27→29→25

    • 「熱意は伝わったよ。時間配分はもう少し考えようか。」67→24→24→51

    • 「お疲れさま。初めてにしては頑張ったんじゃない?」67→29→49→49

    「偉い」は褒め言葉ですが、プレゼンの出来を高く評価しているとまでは言えません。

    「褒める」「高く評価する」「満足している」は、もともと違う問いです。

    答えが変わるのは、AI の誤りではありません。

    困るのは、どの言い回しで聞いたかで「肯定的な声は 50%」にも「29%」にもなるのに、それを知らずに集計の数字を使うことです。

    判定用の AI は「満足しているか」で最も Yes 寄りにずれた

    同じ 4 通りを、判定用の AI にも 3 回ずつ判定させました。

    判定用の AI の確率からパネルの平均を引いた値を、「Yes 寄りの偏り」とします。

    数字は、言い回しを選ぶのに使った 7 文/選んだ後の検証用に分けておいた 8 文の順です。

    • W1: +12/+14

    • W2: +6/+7

    • W3: +20/+25

    • W4: +12/+19

    W3「満足しているか」では、パネルが下がったのに判定用の AI は下がりきらず、ずれが最も大きくなりました。

    同じ言い回しの変更でも、効き方はモデルによって違います。

    ゲームでは、パネルとの一致が最も良く、偏りも最も小さかった W2「プレゼンを高く評価しているか」を採用しました。

    本番に流す前に、はっきりした文で聞き方を 2〜3 通り比べる

    AI に分類を任せるのをやめよう、という話ではありません。聞き方で数字が動く幅を、先に知っておこうという話です。

    私の検証でも、最初は聞き方 A だけで 220 文を 5 回ずつ判定していました。

    明らかに No の文に高い確率が出てから、聞き方を 3 通りに増やして判定し直しています。

    自分の業務の文で試すなら、目安は次の 3 つです。

    1. はっきり Yes・はっきり No の文を、自分の業務の言葉で数件ずつ書いて混ぜる。今回 A で高く出た 12 文の多くは、「正直、」「ごめん、」で始まる否定的な感想や、丁寧な見送りの文でした

    2. 聞き方を 2〜3 通り用意して、同じ文に当てる。「〔文〕を書いた人は、〔判定軸〕」のように主語を書き手にする形と、問いに Yes と答えているかを聞く形は、今回の候補になりました

    3. はっきりした文の正解数と、迷う文での数字の動きを、両方並べる。片方だけで選ぶと、今回の C と B のように選ぶ聞き方が変わります

    50% 前後の文は、同じ聞き方でも判定のたびに入れ替わることがあります。

    境界の文だけは、2〜3 回判定させて平均を取ると安心です。

    ただし、どれも 220 文と 28 文から引いた目安です。これで誤った分類が無くなるとは言えません。

    次の有料記事で扱う予定のこと

    この 3 つの目安を、手順として組み立て直す予定です。次の 4 つを入れるつもりでいます。

    • テスト用の文の作り方(はっきりした Yes・No と、五分五分を狙った文)

    • 聞き方の候補の出し方

    • 聞き方を選ぶ文と検証用の文を分けて、「偶然よく見えた聞き方」を選ばない手順(今回のプレゼンの言い回しで行った方法)

    • 比べる指標と、どこで決めるかの基準

    有料にする予定なのは、手順・テンプレート・判断の基準を、そのまま持ち帰れる形にするためです。

    AI で数百件以上の文を分類・判定している方に向けて書く予定です。

    まずは無料で、上の目安 3 つを自分の業務の文で 1 回試してみてください。

    今日、分類の指示文に、はっきりした No の文を 1 つ混ぜて流す

    いま使っている分類の指示文を 1 つ開いて、誰が読んでも No の文を 1 つ混ぜて流してみてください。

    その文が Yes 側に出たら、聞き方を変える合図です。

    聞き方や言い回しを変えると数字がどう動くかを、これからも元の例文つきで書いていきます。

    次の記事も読みたいと思った方はフォローを、指示文を見直すきっかけになったらスキで教えてもらえるとうれしいです。

     
     
    AIとテクノロジーを活用した効率化・収益化のプロ📈最新ツールの使い方から副業で月10万円稼ぐ方法まで、実践的なノウハウを分かりやすく解説。読者の「知りたい」に応える記事で、あなたのスキルアップをサポートします✨

    あなたへのおすすめ