メインコンテンツへスキップ
見出し画像

小説の感想「心から笑えた」の皮肉、AI 12モデル中10モデルが褒め言葉と読んだ

    「面白かった!特に最後のページ。もう読まなくていいんだと思ったら、心から笑えたよ。」

    友人の小説への感想、という設定のこの日本語の皮肉を、AI 12 モデルに読ませました。10 モデルは「面白いと思っている」側です。

    一方、「気持ちだけは参加するね」で終わる断りの文を、参加と読んだモデルは 1 つもありませんでした。

    AI に問い合わせや口コミの判定を任せ始めた方向けの記事です。皮肉 12 文と冗談めかした本音 8 文の結果を、例文つきで並べます。分かるのは次の 4 つです。

    • 皮肉を字面どおりに取り違えたのは、12 文中何文だったか

    • 見抜かれた文と見逃された文は、どこが違ったか(12 文からの仮説と、その反例)

    • 判定用の AI が、比較実験の厳しい基準では皮肉の文を「不自然な日本語」としたこと

    • AI に判定を任せるとき、人が読み直す文の選び方

    先に書いておきます。冗談めかした本音の 8 文は、12 モデルとも 1 文も取り違えませんでした。

    取り違えは、皮肉の側だけで起きています。

    調べ方と、この数字で言えないこと

    私は会社員のエンジニアです。業務の外で、自宅サーバーと Claude Code を使って自分用のシステムを作っています。

    今回のデータは、自作のゲームの開発前に行った検証のものです。AI の判定が五分五分になる文章を書くほど、高得点になるゲームです。

    AI が字面に引きずられる癖は、遊びの前提にも障害にもなります。そこで 2026 年 10 月 24〜25 日に、ゲームとして成り立つかを測りました。

    作りかけで止まった個人開発がいくつもあったので、最近は作る前にこういう関門を置いています。

    調べ方

    1. 判定させたのは、Cloudflare Workers AI 上の公開モデル 12 個です。llama-4-scout、gpt-oss-120b、llama-3.3-70b、mistral-small-3.1、nemotron-3-120b、gemma-4-26b、qwen3.8-27b、kimi-k2.6、glm-5.3-flash、glm-5.3、deepseek-v4.1-flash、deepseek-v4-pro で、名前のとおり llama・glm・deepseek は 2 つずつ入っています

    2. 文は、モデルを選ぶために本体とは別に作った 20 文です。字面は Yes・意味は No の皮肉 12 文と、冗談めかしているが本当に Yes の 8 文で、どの文にも「面白いと思っているか」のような問いが付いています

    3. 各モデルに「日本人 100 人に聞いたら何人が Yes と答えるか」を 0〜100 で推定させ、50 以上を「Yes 寄りに読んだ」としました

    4. 別に、ゲーム本体の 220 文(お題 20 組×11 文)を 2 通りで判定しています。1 つは 12 個から選んだ、開発元の異なる 5 モデルの推定の平均で、費用は約 0.3 ドルでした

    5. もう 1 つは、ゲームの判定に使う予定の、Yes/No の確率を返す判定用の AI です。Workers AI で公開されている別のモデルで、12 個の公開モデルとは別に呼んでいます

    6. 記事の数字は、Claude Code のエージェントに自作のスクリプトで数え直させたものです(2026 年 11 月 12 日)。新しく AI に判定させてはいません

    本体の 220 文は Claude に下書きさせ、私が確認して確定した文です。選別用の 20 文は、作り手の記録が残っていません。

    この数字で言えないこと

    • 判定したのは Workers AI 上の公開モデルと判定用の AI で、ChatGPT・Claude・Gemini の製品ではありません。あなたが使っている AI に同じ傾向があるかは、確かめていません

    • 皮肉は 12 文、本音は 8 文だけです。モデル別の順位はこの数では言えないので、出しません

    • 「正解」は文の作り手の意図です。後で書くとおり、人が読んでも割れる文があります

    • 選別用の 20 文は実験用の文で、日常の皮肉を代表するものではありません

    皮肉 12 文のうち、どのモデルも 2〜6 文は字面どおりに読んだ

    ここから 2 つの見出しでは、12 個の公開モデルの結果を書きます。

    皮肉 12 文のうち何文を Yes 寄りに読んだか。少ないモデルで 2 文、多いモデルで 6 文です。12 文すべてを見抜いたモデルはありませんでした。

    冗談めかした本音の 8 文は、結果が逆でした。12 モデルとも 8 文すべてを Yes 寄りに読み、取り違えは 0 件です。

    たとえば「これはやばい。体重計に乗るのが怖いけど、おかわり!」(料理を気に入っているか)です。自虐が混ざっていても、本音の Yes は読めていました。

    なので「AI は皮肉が分からない」とは言えません。言えるのは、この 12 モデル・この 20 文では、取り違えが「字面は Yes・意味は No」の側だけで起きたことです。

    見抜かれた皮肉と見逃された皮肉は、文ごとにはっきり分かれた

    皮肉12文それぞれを字面どおりに読んだモデルの数。左から0、0、1、1、1、2、2、3、7、9、10、10
    皮肉12文を、字面どおりに読んだモデルが少ない順に並べた

    字面どおり Yes 寄りに読んだモデルの数を、少ない順に並べます(1 文だけ 1 モデルの値が欠けていて、11 モデル中)。

    • 0 モデル:「行く行く!その日は法事と歯医者と引っ越しが重なってるけど、気持ちだけは参加するね。」(参加するつもりか)

    • 0 モデル(11 モデル中):「ありがたいご提案です。弊社の社員全員が霞を食べて生きられるようになり次第、対応いたします。」(値下げに応じているか)

    • 1 モデル:「喜んで。三日間寝なくても平気な体に生まれ変わったら、すぐ取りかかります。」(引き受けているか)

    • 1 モデル:「素敵な家だね。夜中にラップ音が聞こえるなんて、家賃以上の付加価値だと思う。」(家を気に入っているか)

    • 1 モデル:「最高の企画だね。ライバル会社が出してきたなら、心から応援したよ。」(企画に賛成しているか)

    • 2 モデル:「最高だよ。この味なら、ダイエット中の人にも自信を持って勧められる。食欲がなくなるから。」(料理を気に入っているか)

    • 2 モデル:「ぜひ採用したいです。弊社の決裁が、あと二十年ほどで下りる予定ですので。」(提案を採用するつもりか)

    • 3 モデル:「全然いいよ。僕の財布に住みついている蛾が許してくれたらね。」(お金を貸すつもりか)

    • 7 モデル:「似合ってるよ!ちょうど近所のトイプードルも同じ髪型にしたところなんだ。」(似合っていると思っているか)

    • 9 モデル:「さあ、帰った帰った!…と言いたいところだけど、終電はもう一時間前に出たよ。泊まっていきな。」(帰ってほしいと思っているか)

    • 10 モデル:「面白かった!特に最後のページ。もう読まなくていいんだと思ったら、心から笑えたよ。」(面白いと思っているか)

    • 10 モデル:「もちろん休んでいいよ。その間に、君のポジションの求人を出しておくから。」(許可しているか)

    0〜3 モデルの文が 8 文、7〜10 モデルの文が 4 文です。4〜6 モデルの文は 1 つもありません。

    見抜けるかどうかは、モデルより文で分かれました。

    12 文では、後半の皮肉が「ありそうな話」だと見逃された

    12 文から立てた仮説で、言い切れる水準ではありません。

    前半は、どの皮肉も字面どおりの Yes です。「喜んで。」「最高だよ。」で切れば、見抜かれた文も素直な承諾や褒め言葉になります。違いは後半にありました。

    見抜かれた文(0〜3 モデル)の後半には、あり得ない条件か、はっきりしたマイナスが書かれています。

    • 法事と歯医者と引っ越しが、同じ日に重なる

    • 社員全員が霞を食べて生きられるようになる

    • 決裁が二十年後に下りる

    • 食べると食欲がなくなる

    見逃された文(7〜10 モデル)の後半は、ありそうな話です。

    • 休んでいる間に、求人を出しておく

    • 最後のページで、もう読まなくていいと思う

    • 近所の犬が、同じ髪型にした

    • 終電が出たので、泊まっていく

    どれも現実に起こり得るので、マイナスとして目立つ言葉がありません。皮肉だと気づくには、言われた側の場面を想像する必要があります。

    前半は同じ褒め言葉の吹き出しが2つ。後半があり得ない話の方はロボットが気づき、ありそうな話の方は親指を立てている
    前半は同じ。違いは後半(選別用の12文での見え方。本体の文には反例があった)

    本体の 19 文に当てると、反例が出た

    本体の皮肉は「字面は Yes・意味は No」として作った 20 文です。うち 1 文は私の確認の段階で「意味も Yes と取れる」と分類を変えたので、19 文で数えます。数字は 5 モデルの平均です。

    • 合う例:「どうぞどうぞ、休んでいいよ。戻ってきたときに君の机が残っているかは保証できないけど。」(許可しているか)は、後半がありそうな話で、90 と字面どおりに読まれた

    • 合わない例:「ぜひ採用させてください。弊社が百年後も存続していれば、ですが。」(提案を採用するつもりか)は、「決裁が二十年後」と同じあり得ない時間の条件なのに、61 と字面どおりに読まれた

    • 合わない例:「素晴らしいプレゼンだったよ。おかげで会議中、久しぶりにぐっすり眠れた。」(褒めているか)は、後半もありそうな話なのに、9 と意味どおりに読まれた

    19 文全体では、5 モデルの平均で字面どおりが 8 文、意味どおりが 11 文でした。判定用の AI では 19 文中 13 文が字面どおりで、後から追加した第 2 弾の皮肉 18 文では 8 文です。

    型で言い切れるほどの差は出ていません。「選別用の 12 文ではこう見えた」までに留めます。

    閾値 80% では、判定用の AI が皮肉の文の多くを「不自然な日本語」とした

    この見出しの数字は、12 個の公開モデルではなく、判定用の AI のものです。

    ゲームでは意味の通らない文を弾くため、判定用の AI に「お題に沿った、意味の通る自然な日本語の文章か」も聞いています。

    閾値を比べた実験で 80% にすると、本体で皮肉として作った 20 文(分類を変えた 1 文を含む)のうち 15 文が「不自然」として弾かれました。それ以外の 200 文で弾かれたのは 15 文(7.5%)です。

    ただし、実際に採用した閾値は 60% です。60% では、弾かれる皮肉の文は 20 文中 3 文、220 文全体でも 4 文(1.8%)まで下がります。

    閾値を厳しくすると、皮肉の文は「読み違える」より前に、「日本語として変」の側に落ちやすかった、ということです。

    種類を隠して私が推定しても、建前の文は割れた

    人の側の数字も置いておきます。検証では本体から 40 文を選び、文の種類やメモを隠した状態で、私も「100 人中何人が Yes と答えるか」を推定しました。

    • 「申し訳ありませんが、今週は手一杯のため今回はお受けできません。」(引き受けているか): 30

    • 「ぜひ参加させてください。お店の場所だけ教えてもらえますか?」(参加するつもりか): 60

    どちらも、はっきり断る文・はっきり参加する文として下書きされた文です。

    1 文目は「来週以降なら受けられる」とも取れます。明らかな断りや参加の文でも、建前と受け取る人が一定数いる、という読みです。

    私の推定と 5 モデルの推定の順位の相関は、40 文全体で 0.77、五分五分を狙った 27 文だけでは 0.50 でした。

    評価者は私 1 人なので、人と AI のどちらが正しいかは言えません。言えるのは、正解そのものが揺れる文がある、ということです。

    AI に任せる前に、人が読み直す文は 4 つの目安で選べる

    AI に判定を任せるのをやめよう、という話ではありません。取り違えが起きる文に偏りがある、という話です。

    全部を人が読み直すのは大変なので、読み直す文を選ぶ目安を 4 つにしました。

    1. 字面は承諾や褒め言葉などの Yes で、後半がありそうな話で終わる文。選別用の 12 文で 7〜10 モデルが見逃した 4 文は、どれもこの形でした。ただし本体の「ぐっすり眠れた」の文のように、この形でも見抜かれた文があります

    2. 「冗談だよ」「〜と言いたいところだけど」と、文の中で自分の言葉を打ち消す文。「さあ、帰った帰った!…」は 9 モデルが字面どおりに読み、本体で「冗談だよ」と打ち消す文も、5 モデルの平均で 65.6 と字面寄りでした。一方で、同じく「冗談」と打ち消す「激おこだよ。罰として、遅刻の言い訳を百個考えてもらうから。冗談、座って。」(怒っているか)は 5 モデルの平均で 20 で、意味どおりに読まれました

    3. 複数の AI に聞いて答えが割れた文や、確率が 50 前後の文。「弊社が百年後も存続していれば」の文は、5 モデルの値が 5 から 95 まで割れました

    4. 定型の断りや承諾でも、人が読んで迷う文。AI の答えとは別に、人の判断として扱います

    どれも選別用の 12 文と本体の 19 文から引いた目安で、反例もあります。これで取りこぼしが無くなるとは言えません。

    評価で見えた傾向が、本番で崩れた話

    評価と本番がずれる経験は、プロンプトキャッシュでもしています。ヒット率が評価では 97.6%、本番では 26.6% でした。

    その見積もり直しの手順を有料記事(980 円)にまとめ、安いモデルに先に文を判定させる案を不採用にした記録も入れました。

    Claude を自分のアプリに組み込んでいる方向けです。まずは無料部で、2 つの失敗を読めます。

    https://note.com/pon_tanuki_blog/n/na6affe7dd0aa

    今日、1 文だけ人の目で読み直す

    AI に判定させている文から、「字面は承諾や褒め言葉などの Yes で、後半がありそうな話で終わる文」を 1 つ探して、読み直してみてください。

    自作のシステムで AI を検証した結果を、これからも数字で書いていきます。気になった方はフォローを、役に立ったらスキで教えてもらえるとうれしいです。

     
     
    AIとテクノロジーを活用した効率化・収益化のプロ📈最新ツールの使い方から副業で月10万円稼ぐ方法まで、実践的なノウハウを分かりやすく解説。読者の「知りたい」に応える記事で、あなたのスキルアップをサポートします✨

    あなたへのおすすめ