
【AI実験 #2】AIに同じ質問を10回してみた。計算問題では、同じ"間違い"を8回くり返した
「さっき聞いたときと、答えが違うんだけど……」
「同じことを聞いてるのに、毎回ちょっとずつ言うことが変わる」
「じゃあ、どの答えを信じればいいの?」
AIを使っていて、こんなふうに思ったことはありませんか?
AIの答えは、聞くたびに変わる。
なんとなく、そんなイメージを持っている人も多いと思います。
じゃあ実際のところ、どれくらい変わるのか?
変わるのは「どんな質問」のときなのか?
「AI実験」は、気になることを相棒のAI(Claude)に実際に試してもらい、結果をそのまま報告するシリーズです🧪
2回目のテーマは、「AIに同じ質問を何回もしたら、答えは毎回同じなのか?」です。
実験のルール
使ったAIは、この3つです。
・Gemini(無料プラン)
・ChatGPT(無料プラン)
・Claude(有料のProプラン)
それぞれに、5つの質問を何回もくり返して聞きました。
回数は、GeminiとChatGPTが10回ずつ、Claudeが3回ずつです。
Claudeだけ少ないのは、途中で時間が足りなくなって打ち切ったからです。
ここは最後の「条件」のところでも、正直に書いておきます。
前の会話を覚えていない状態で聞く
公平にするため、1回ごとに、まっさらな新しいチャットを開いて聞きました。
使ったのは、各AIにある「一時チャット」「シークレットチャット」という機能です。
これは、会話の履歴が残らず、過去のやりとりも参考にしない、いわば「初対面モード」のチャットです。
同じ会話の中で聞き直すと、AIは「さっきこう答えたから」と前の答えに引っぱられてしまいます。
それを避けるために、毎回リセットしました。
5つの質問
答えを数えやすくするため、全部「1つだけ・短く」答えてもらいました。
1. 日本で2番目に高い山はどこですか?(正解:北岳)
2. 1,480円の商品を3個と、980円の商品を2個買いました。合計から500円引きになると、支払いはいくらですか?(正解:5,900円)
3. 秋の夜に読みたい小説を1冊だけおすすめしてください
4. 茶トラの子猫の名前を1つだけ考えてください
5. 朝ごはんは、パンとごはんのどちらがいいと思いますか?
1と2は、正解が1つに決まる質問です。
3〜5は、正解がない質問です。
ちなみに2の計算は、こうなります。
・1,480円×3個=4,440円
・980円×2個=1,960円
・4,440円+1,960円=6,400円
・6,400円−500円=5,900円
実験する前に立てた予想
結果を見る前に、予想も書いておきました。
・正解がある質問(1・2)は、ほぼ毎回同じ答えになる
・正解がない質問(3〜5)は、毎回バラバラになる
さて、当たったでしょうか?
結果まとめ
先に、全部の結果を1枚の表にまとめました。

予想は、半分当たって、半分外れました!
ここからは、質問ごとに見ていきます。
Q1 山の質問:全員、毎回「北岳」
まずは、日本で2番目に高い山です。
・Gemini:10回中10回「北岳」
・ChatGPT:10回中10回「北岳」
・Claude:3回中3回「北岳」
3つとも、1回もブレずに全部正解でした!
北岳は山梨県にある標高3,193mの山で、富士山(3,776m)の次に高い山です。
有名な知識を聞く質問なら、何回聞いても同じ答えが返ってくる。
ここは予想どおりでした。
Q2 計算の質問:いちばん予想が外れた
問題は、ここからです。
正解は5,900円。
ところが、結果はこうなりました。
・Gemini:4,900円が7回、3,900円が2回、5,900円が1回(10回中、正解1回)
・ChatGPT:5,400円が8回、4,900円が1回、3,400円が1回(10回中、正解0回)
・Claude:5,900円が3回(3回中、正解3回)
GeminiとChatGPTは、20回聞いて正解はたったの1回でした。
正解がある質問なのに、答えが3通りに分かれました。
しかも、どれもそれっぽい金額なんです。
いちばん怖かったのは「同じ間違い」をくり返したこと
今回いちばん驚いたのは、ChatGPTの結果です。
10回中8回、まったく同じ「5,400円」という答えを返してきました。
もし1回しか聞いていなかったら、どうなっていたでしょう?
きっと「5,400円ね」と、そのまま信じてしまいますよね。
じゃあ、念のためもう1回聞いてみたら?
今回の結果なら、10回中8回はまた「5,400円」が返ってきます。
「2回聞いて同じ答えだったから、合ってるはず」。
こう考えてしまうと、間違いに気づけないんです。
答えが毎回同じでも、それが正しいとは限らない。
これが、今回の実験でいちばん大事な発見でした。
なぜ間違えたのかは、分からない
今回は「金額だけ答えてください」とお願いしたので、AIは途中の式を出していません。
なので、どこで計算を間違えたのかは、こちらからは分かりませんでした。
ただ、答えの数字を見ると、ChatGPTの5,400円は正解よりちょうど500円少なく、Geminiの4,900円はちょうど1,000円少ない金額です。
AIは、電卓のように1つずつ計算しているわけではない、とよく言われます。
文章を作るのが得意な仕組みなので、数字の計算は、思ったより苦手なことがあるんです。
Claudeは3回とも正解でした。
ただ、Claudeは有料プランで、しかも3回しか試していません。
「Claudeなら計算は大丈夫」とまでは言えないので、ここは参考程度に見てください。
Q3 小説のおすすめ:意外と同じ本ばかり
正解がない質問なので、ここはバラバラになると思っていました。
・Gemini:『夜は短し歩けよ乙女』(森見登美彦)が8回、『月と六ペンス』(サマセット・モーム)が1回、『秋の牢獄』(恒川光太郎)が1回
・ChatGPT:『夜は短し歩けよ乙女』が8回、『夜のピクニック』(恩田陸)が2回
・Claude:『夜のピクニック』が2回、『蜜蜂と遠雷』(恩田陸)が1回
GeminiもChatGPTも、10回中8回が同じ本でした!
「おすすめ」なのに、思ったより好みがはっきりしています(笑)
そして、ここは良いニュースです。
挙がった本は全部実在していて、作者名もすべて合っていました。
AIは、ありもしない本や作者をそれっぽく作ってしまうことがある、と言われています。
今回の質問では、そういう「架空の本」は1冊も出てきませんでした。
細かいところでは、Geminiが1回だけ作者名を「Somerset Maugham」と英語で書いてきました。
日本語で聞いたのに英語で返ってくるのは、ちょっと不思議ですよね。
Q4 子猫の名前:いちばんバラけた
茶トラの子猫の名前です。
・Gemini:チャイが6回、チャトラが2回、チャチャが1回、むぎが1回
・ChatGPT:こむぎが8回、きなこが2回
・Claude:きなこが2回、むぎが1回
Geminiは4通りで、今回の5問の中でいちばんバラけました。
並べてみると、どのAIにも「クセ」があるのが面白いところです。
・Geminiは、毛の色の「茶」から「チャイ」「チャトラ」「チャチャ」
・ChatGPTとClaudeは、毛の色を食べ物にたとえた「こむぎ」「きなこ」「むぎ」
同じ「茶トラ」から、AIによって連想のしかたが違いました。
Q5 朝ごはん:ほぼ「ごはん」派
最後は、パンとごはんのどちらがいいか、です。
・Gemini:ごはんが6回、パンが1回、「好みによりますが〜」で始まる答えが3回
・ChatGPT:10回中10回「ごはん」
・Claude:3回中3回「ごはん」
AIの「好み」は、意外とブレませんでした。
ChatGPTは10回すべて「ごはん。」と即答です🍚
ここで目立ったのは、Geminiです。
「どちらか一言で答えてください」とお願いしたのに、3回は一言で答えませんでした。
たとえば、こんな答えです。
好みやライフスタイルによりますが、手軽さを重視するならパン、腹持ちを重視するならごはんがおすすめです。
丁寧ではあるんですが、「一言で」という指示は守れていません。
同じ質問でも、指示を守るときと守らないときがある。
これも「ブレ」の1つですね。
この実験で分かった3つのこと
結論は3つあります。
1. 「毎回同じ答え」でも、正しいとは限らない
ChatGPTは、間違った計算結果を10回中8回くり返しました。
同じ答えが返ってくると、つい「これで合ってるんだ」と安心してしまいます。
でも、AIは自信満々に、同じ間違いをくり返すことがあります。
聞き直して確認するのは、間違いに気づく方法としては弱いんです。
2. 計算は、AIの答えをそのまま使わない
今回、いちばん間違いが多かったのは計算でした。
5問の中で、正解がある質問なのに答えが割れたのは、計算だけです。
お金や数量が関わる計算をAIに頼むときは、こんなひと手間がおすすめです。
・「金額だけ」ではなく、途中の式も書いてもらう
・最後の数字だけは、自分で電卓を叩いて確かめる
式が書いてあれば、どこで間違えたか自分でチェックできます。
買い物の合計や割り勘など、身近な計算ほど気をつけたいところです。
3. おすすめや名前は「何回か聞く」と選択肢が増える
反対に、正解がない質問では、ブレがむしろ役に立ちます。
子猫の名前を1回だけ聞くと、Geminiは10回中6回が「チャイ」でした。
でも何回か聞き直せば、「チャトラ」「チャチャ」「むぎ」と、ちがう候補も出てきます。
ただ、聞き直してもほとんど同じ答えが返ってくることもあります。
いろいろな候補がほしいときは、最初から「5つ挙げてください」と頼んだほうが早そうです。
実験の条件について(正直に書いておきます)
公平に比べるため、気になる点も書いておきます。
・GeminiとChatGPTは無料プラン、ClaudeだけProプラン(有料)です。Claudeの画面には「Opus 5.5」と表示されていました
・Claudeは、時間の都合で3回しか試せていません。10回試したGemini・ChatGPTと同じ重みでは比べられません
・Claudeの最初の4問は、操作ミスで同じ会話の中に続けて送ってしまったため、やり直しました。やり直す前の答えは集計に入れていません
・Geminiの5回目の山の質問は、通信が途中で切れて答えを取得できなかったため、聞き直しました
・どの回も「一時チャット」「シークレットチャット」で、毎回新しい会話から聞いています
・実験を進めて集計したのはClaudeです。自分に甘くならないよう、答えはすべて記録どおりに数えました
「同じ質問をしたら、うちでは違う答えだった!」という方がいたら、ぜひ教えてください。
今回使った質問(コピーして試せます)
最後に、今回の5つの質問をそのまま載せておきます。
いつも使っているAIで、何回か聞いてみてください!
日本で2番目に高い山はどこですか?山の名前だけ答えてください。1,480円の商品を3個と、980円の商品を2個買いました。合計から500円引きになると、支払いはいくらですか?金額だけ答えてください。秋の夜に読みたい小説を1冊だけおすすめしてください。タイトルと作者名だけ答えてください。茶トラの子猫の名前を1つだけ考えてください。名前だけ答えてください。朝ごはんは、パンとごはんのどちらがいいと思いますか?どちらか一言で答えてください。計算の質問は、ぜひ「途中の式も書いてください」に変えた版とも比べてみてください。
「同じ答え=正しい答え」とは限らない。
AIの答えに迷ったときに、思い出してもらえたらうれしいです🍵
これからも「AI実験」シリーズで、気になることをどんどん試していきます!
よかったら、フォローしてもらえるとうれしいです😊