メインコンテンツへスキップ
見出し画像

【AI実験 #2】AIに同じ質問を10回してみた。計算問題では、同じ"間違い"を8回くり返した

    「さっき聞いたときと、答えが違うんだけど……」

    「同じことを聞いてるのに、毎回ちょっとずつ言うことが変わる」

    「じゃあ、どの答えを信じればいいの?」

    AIを使っていて、こんなふうに思ったことはありませんか?

    AIの答えは、聞くたびに変わる。
    なんとなく、そんなイメージを持っている人も多いと思います。

    じゃあ実際のところ、どれくらい変わるのか?
    変わるのは「どんな質問」のときなのか?

    「AI実験」は、気になることを相棒のAI(Claude)に実際に試してもらい、結果をそのまま報告するシリーズです🧪

    2回目のテーマは、「AIに同じ質問を何回もしたら、答えは毎回同じなのか?」です。



    実験のルール

    使ったAIは、この3つです。

    ・Gemini(無料プラン)
    ・ChatGPT(無料プラン)
    ・Claude(有料のProプラン)

    それぞれに、5つの質問を何回もくり返して聞きました。
    回数は、GeminiとChatGPTが10回ずつ、Claudeが3回ずつです。

    Claudeだけ少ないのは、途中で時間が足りなくなって打ち切ったからです。
    ここは最後の「条件」のところでも、正直に書いておきます。


    前の会話を覚えていない状態で聞く

    公平にするため、1回ごとに、まっさらな新しいチャットを開いて聞きました。

    使ったのは、各AIにある「一時チャット」「シークレットチャット」という機能です。
    これは、会話の履歴が残らず、過去のやりとりも参考にしない、いわば「初対面モード」のチャットです。

    同じ会話の中で聞き直すと、AIは「さっきこう答えたから」と前の答えに引っぱられてしまいます。
    それを避けるために、毎回リセットしました。


    5つの質問

    答えを数えやすくするため、全部「1つだけ・短く」答えてもらいました。

    1. 日本で2番目に高い山はどこですか?(正解:北岳)
    2. 1,480円の商品を3個と、980円の商品を2個買いました。合計から500円引きになると、支払いはいくらですか?(正解:5,900円)
    3. 秋の夜に読みたい小説を1冊だけおすすめしてください
    4. 茶トラの子猫の名前を1つだけ考えてください
    5. 朝ごはんは、パンとごはんのどちらがいいと思いますか?

    1と2は、正解が1つに決まる質問です。
    3〜5は、正解がない質問です。

    ちなみに2の計算は、こうなります。

    ・1,480円×3個=4,440円
    ・980円×2個=1,960円
    ・4,440円+1,960円=6,400円
    ・6,400円−500円=5,900円


    実験する前に立てた予想

    結果を見る前に、予想も書いておきました。

    ・正解がある質問(1・2)は、ほぼ毎回同じ答えになる
    ・正解がない質問(3〜5)は、毎回バラバラになる

    さて、当たったでしょうか?



    結果まとめ

    先に、全部の結果を1枚の表にまとめました。

    画像

    予想は、半分当たって、半分外れました!

    ここからは、質問ごとに見ていきます。



    Q1 山の質問:全員、毎回「北岳」

    まずは、日本で2番目に高い山です。

    ・Gemini:10回中10回「北岳」
    ・ChatGPT:10回中10回「北岳」
    ・Claude:3回中3回「北岳」

    3つとも、1回もブレずに全部正解でした!

    北岳は山梨県にある標高3,193mの山で、富士山(3,776m)の次に高い山です。
    有名な知識を聞く質問なら、何回聞いても同じ答えが返ってくる。
    ここは予想どおりでした。



    Q2 計算の質問:いちばん予想が外れた

    問題は、ここからです。

    正解は5,900円。
    ところが、結果はこうなりました。

    ・Gemini:4,900円が7回、3,900円が2回、5,900円が1回(10回中、正解1回)
    ・ChatGPT:5,400円が8回、4,900円が1回、3,400円が1回(10回中、正解0回)
    ・Claude:5,900円が3回(3回中、正解3回)

    GeminiとChatGPTは、20回聞いて正解はたったの1回でした。

    正解がある質問なのに、答えが3通りに分かれました。
    しかも、どれもそれっぽい金額なんです。


    いちばん怖かったのは「同じ間違い」をくり返したこと

    今回いちばん驚いたのは、ChatGPTの結果です。

    10回中8回、まったく同じ「5,400円」という答えを返してきました。

    もし1回しか聞いていなかったら、どうなっていたでしょう?
    きっと「5,400円ね」と、そのまま信じてしまいますよね。

    じゃあ、念のためもう1回聞いてみたら?
    今回の結果なら、10回中8回はまた「5,400円」が返ってきます。

    「2回聞いて同じ答えだったから、合ってるはず」。
    こう考えてしまうと、間違いに気づけないんです。

    答えが毎回同じでも、それが正しいとは限らない。
    これが、今回の実験でいちばん大事な発見でした。


    なぜ間違えたのかは、分からない

    今回は「金額だけ答えてください」とお願いしたので、AIは途中の式を出していません。
    なので、どこで計算を間違えたのかは、こちらからは分かりませんでした。

    ただ、答えの数字を見ると、ChatGPTの5,400円は正解よりちょうど500円少なく、Geminiの4,900円はちょうど1,000円少ない金額です。

    AIは、電卓のように1つずつ計算しているわけではない、とよく言われます。
    文章を作るのが得意な仕組みなので、数字の計算は、思ったより苦手なことがあるんです。

    Claudeは3回とも正解でした。
    ただ、Claudeは有料プランで、しかも3回しか試していません。
    「Claudeなら計算は大丈夫」とまでは言えないので、ここは参考程度に見てください。



    Q3 小説のおすすめ:意外と同じ本ばかり

    正解がない質問なので、ここはバラバラになると思っていました。

    ・Gemini:『夜は短し歩けよ乙女』(森見登美彦)が8回、『月と六ペンス』(サマセット・モーム)が1回、『秋の牢獄』(恒川光太郎)が1回
    ・ChatGPT:『夜は短し歩けよ乙女』が8回、『夜のピクニック』(恩田陸)が2回
    ・Claude:『夜のピクニック』が2回、『蜜蜂と遠雷』(恩田陸)が1回

    GeminiもChatGPTも、10回中8回が同じ本でした!
    「おすすめ」なのに、思ったより好みがはっきりしています(笑)

    そして、ここは良いニュースです。
    挙がった本は全部実在していて、作者名もすべて合っていました。

    AIは、ありもしない本や作者をそれっぽく作ってしまうことがある、と言われています。
    今回の質問では、そういう「架空の本」は1冊も出てきませんでした。

    細かいところでは、Geminiが1回だけ作者名を「Somerset Maugham」と英語で書いてきました。
    日本語で聞いたのに英語で返ってくるのは、ちょっと不思議ですよね。



    Q4 子猫の名前:いちばんバラけた

    茶トラの子猫の名前です。

    ・Gemini:チャイが6回、チャトラが2回、チャチャが1回、むぎが1回
    ・ChatGPT:こむぎが8回、きなこが2回
    ・Claude:きなこが2回、むぎが1回

    Geminiは4通りで、今回の5問の中でいちばんバラけました。

    並べてみると、どのAIにも「クセ」があるのが面白いところです。

    ・Geminiは、毛の色の「茶」から「チャイ」「チャトラ」「チャチャ」
    ・ChatGPTとClaudeは、毛の色を食べ物にたとえた「こむぎ」「きなこ」「むぎ」

    同じ「茶トラ」から、AIによって連想のしかたが違いました。



    Q5 朝ごはん:ほぼ「ごはん」派

    最後は、パンとごはんのどちらがいいか、です。

    ・Gemini:ごはんが6回、パンが1回、「好みによりますが〜」で始まる答えが3回
    ・ChatGPT:10回中10回「ごはん」
    ・Claude:3回中3回「ごはん」

    AIの「好み」は、意外とブレませんでした。
    ChatGPTは10回すべて「ごはん。」と即答です🍚

    ここで目立ったのは、Geminiです。
    「どちらか一言で答えてください」とお願いしたのに、3回は一言で答えませんでした。

    たとえば、こんな答えです。

    好みやライフスタイルによりますが、手軽さを重視するならパン、腹持ちを重視するならごはんがおすすめです。

    丁寧ではあるんですが、「一言で」という指示は守れていません。
    同じ質問でも、指示を守るときと守らないときがある。
    これも「ブレ」の1つですね。



    この実験で分かった3つのこと

    結論は3つあります。


    1. 「毎回同じ答え」でも、正しいとは限らない

    ChatGPTは、間違った計算結果を10回中8回くり返しました。

    同じ答えが返ってくると、つい「これで合ってるんだ」と安心してしまいます。
    でも、AIは自信満々に、同じ間違いをくり返すことがあります。

    聞き直して確認するのは、間違いに気づく方法としては弱いんです。


    2. 計算は、AIの答えをそのまま使わない

    今回、いちばん間違いが多かったのは計算でした。
    5問の中で、正解がある質問なのに答えが割れたのは、計算だけです。

    お金や数量が関わる計算をAIに頼むときは、こんなひと手間がおすすめです。

    ・「金額だけ」ではなく、途中の式も書いてもらう
    ・最後の数字だけは、自分で電卓を叩いて確かめる

    式が書いてあれば、どこで間違えたか自分でチェックできます。
    買い物の合計や割り勘など、身近な計算ほど気をつけたいところです。


    3. おすすめや名前は「何回か聞く」と選択肢が増える

    反対に、正解がない質問では、ブレがむしろ役に立ちます。

    子猫の名前を1回だけ聞くと、Geminiは10回中6回が「チャイ」でした。
    でも何回か聞き直せば、「チャトラ」「チャチャ」「むぎ」と、ちがう候補も出てきます。

    ただ、聞き直してもほとんど同じ答えが返ってくることもあります。
    いろいろな候補がほしいときは、最初から「5つ挙げてください」と頼んだほうが早そうです。



    実験の条件について(正直に書いておきます)

    公平に比べるため、気になる点も書いておきます。

    ・GeminiとChatGPTは無料プラン、ClaudeだけProプラン(有料)です。Claudeの画面には「Opus 5.5」と表示されていました
    ・Claudeは、時間の都合で3回しか試せていません。10回試したGemini・ChatGPTと同じ重みでは比べられません
    ・Claudeの最初の4問は、操作ミスで同じ会話の中に続けて送ってしまったため、やり直しました。やり直す前の答えは集計に入れていません
    ・Geminiの5回目の山の質問は、通信が途中で切れて答えを取得できなかったため、聞き直しました
    ・どの回も「一時チャット」「シークレットチャット」で、毎回新しい会話から聞いています
    ・実験を進めて集計したのはClaudeです。自分に甘くならないよう、答えはすべて記録どおりに数えました

    「同じ質問をしたら、うちでは違う答えだった!」という方がいたら、ぜひ教えてください。



    今回使った質問(コピーして試せます)

    最後に、今回の5つの質問をそのまま載せておきます。
    いつも使っているAIで、何回か聞いてみてください!

    日本で2番目に高い山はどこですか?山の名前だけ答えてください。
    1,480円の商品を3個と、980円の商品を2個買いました。合計から500円引きになると、支払いはいくらですか?金額だけ答えてください。
    秋の夜に読みたい小説を1冊だけおすすめしてください。タイトルと作者名だけ答えてください。
    茶トラの子猫の名前を1つだけ考えてください。名前だけ答えてください。
    朝ごはんは、パンとごはんのどちらがいいと思いますか?どちらか一言で答えてください。

    計算の質問は、ぜひ「途中の式も書いてください」に変えた版とも比べてみてください。

    「同じ答え=正しい答え」とは限らない。
    AIの答えに迷ったときに、思い出してもらえたらうれしいです🍵

    これからも「AI実験」シリーズで、気になることをどんどん試していきます!
    よかったら、フォローしてもらえるとうれしいです😊

     
     
    ちゃまるです🔍本業は情報システムの品質管理。気づけばAIを試してばかりいます🧪 「AI実験」シリーズでは、話題のAIや便利ワザを実際に試して、うまくいったことも失敗したことも正直に書いています。 期待外れだった実験も、ちゃんと載せます☕

    あなたへのおすすめ