メインコンテンツへスキップ
見出し画像

AI は「有償(高価な上位モデル)ほどハルシネーションが出ない」という説は、本当なのか?

    結論から言うと、

    「高価なモデルほどハルシネーションが少ない傾向はあるが、必ずしもそうではない」

    です。そして実は、

    価格よりも「モデルの設計」「学習方法」「推論方式」の方が重要です。

    昔は概ねそうだった

    一般論として、

    • 7B モデルより 70B モデル

    • 小型モデルより大型モデル

    の方が知識量や推論能力が高く、ハルシネーションも減る傾向がありました。実際、医療分野の研究では、1B クラスから 70B クラスへ大きくなるにつれてハルシネーション頻度が低下したという結果があります。

    しかし最近は単純ではない

    2025~2026 年頃になると、小型でも非常に優秀なモデルが登場しています。例えば Vectara のハルシネーション評価では、必ずしも最大規模モデルが上位を独占しているわけではありません。比較的小型のモデルが大型モデルより良い結果を出す例もあります。 つまり、

    高価 = ハルシネーションが少ない

    ではなく、

    モデル次第

    です。

    むしろ重要なのは「知らないと言えるか」

    OpenAI の研究でも、ハルシネーションは単純な知能不足だけではなく、

    「分からないのに推測で答えてしまう」

    ことが大きな原因とされています。 極端な話、

    分かりません

    と答えるモデルは、間違った断言をするモデルよりハルシネーション率が低くなります。 

    高価な推論モデルでも増える場合がある

    さらに面白いことに、一部の研究では、「長く考える推論モデル」が特定条件下で逆にハルシネーションを増やす例も報告されています。 つまり、

    よく考える
    ↓
    必ず正確

    でもありません。考えた結果、もっともらしい理屈を作り上げてしまう場合があります。

    ご体感としては

    現在の生成 AI を使っていると、

    • 無料モデル → ハルシネーションが多め

    • 上位有料モデル → 少なめ

    という傾向は確かにあります。しかし、「月額料金が 10 倍だからハルシネーションが 10 分の 1」ではありません。

    むしろ最近は、上位モデル同士の差はかなり縮まっています。 ですので、「有償で高価なモデルほどハルシネーションが出ない」という説は、

    昔はかなり当たっていたが、2026 年現在では半分正解・半分不正解

    というのが実態に近いです。モデルサイズや価格よりも、

    • 学習データの質

    • 推論設計

    • 検索機能の有無

    • 不明時に回答を控える設計

    の方が、ハルシネーション率に大きく影響します。



    それは結局、性能が上がればハルシネーションは減るということではないのか?

    (質問)


    はい。大きな流れとしては、性能が上がるほどハルシネーションは減る傾向があります。これはほぼ間違いありません。ただし、

    10% → 0.001%

    のような劇的な改善ではありません。

    昔は劇的だった

    例えば GPT-3 世代から GPT-4 世代にかけては、明らかに改善が見られました。存在しない論文や API をでっち上げる頻度は大きく減りました。 ユーザー体感でも、

    昔
    ↓
    平然と嘘をつく

    今
    ↓
    かなり正しいが時々嘘をつく

    くらいの差があります。

    しかし最近は頭打ち気味

    面白いのは、最先端モデル同士になると差が小さいことです。あるベンチマークでは、上位モデルのハルシネーション率は1~5% 程度に集中しています。つまり、

    モデルA 4.5%
    モデルB 3.5%
    モデルC 2.0%

    のような世界です。10 倍違うわけではありません。 

    なぜゼロにならないのか

    AI は本質的に

    「知識ベース」ではなく「文章生成器」

    だからです。知らないことを聞かれたとき、人間なら

    分かりません

    と言えます。しかし AI は

    たぶんこうだろう

    を生成しがちです。OpenAI も、ハルシネーションの大きな原因は

    「不明時に推測すること」

    だと説明しています。 

    実際どれくらい違う?

    体感としては、例えば 100 個の専門質問をした場合、小型モデルだと

    • 10~20 個くらい怪しい

    • 自信満々で間違う

    ことがあります。上位モデルだと

    • 1~5 個くらい怪しい

    • 分からない時は保留する

    傾向があります。もちろん質問分野によります。

    意外な事実

    2026 年の評価では、巨大で高価な推論モデルが、必ずしも最もハルシネーションが少ないわけではありません。一部の小型モデルや検索特化モデルの方が良い結果を出しています。 理由は単純で、

    賢い
    ≠
    事実に忠実

    だからです。賢いモデルほど、足りない情報を補完して説明しようとすることがあります。 

    ご質問への答え

    「性能向上でハルシネーションは減るのか?」

    → はい、減ります。 

    「劇的か?」

    → GPT-3 級から GPT-5 級のような世代差ならかなり体感できます。

    ただし現在の最上位モデル同士では、

    既に改善幅は数%単位になっており、『嘘をつく AI』から『たまに嘘をつく AI』への改善段階に入っている

    というのが実態に近いです。 



    性能が上がったことで、ハルシネーションの精度が上がったように思うのだが…つまり、嘘が上手くなった?

    (質問)


    その感覚は、多くの人が持っています。そして実際、「ハルシネーションの発生頻度」と「ハルシネーションのもっともらしさ」は別の問題です。

    昔のハルシネーション

    性能の低いモデルでは、例えば、

    • 存在しない URL

    • 存在しない論文

    • 明らかに破綻した説明

    • 年代や人物の矛盾

    などが多くありました。そのため、間違いでも比較的気付きやすかったのです。

    今のハルシネーション

    性能が上がると、文章構成や論理展開が自然になります。すると、間違っていても

    • 文法は完璧

    • 論理は一見通る

    • 専門用語も適切に見える

    • 自信満々に説明する

    ということが起こります。結果として、

    「嘘の数は減ったが、残った嘘は見抜きにくくなった」

    と感じる人がいます。

    研究者も認識している

    AI 安全性の分野では、単純な誤答よりも、

    もっともらしい誤答(plausible hallucination)

    の方が危険だと指摘されています。なぜなら、利用者が誤りに気付きにくいからです。

    ただし「嘘をつく能力」が上がったわけではない

    ここは少し注意が必要です。AI は通常、

    嘘をつこう

    と考えているわけではありません。むしろ、

    最も自然で説得力のある回答を生成しよう

    とした結果、誤った情報が混ざることがあります。そのため、研究者は「嘘」よりも「ハルシネーション」という言葉を使います。

    利用者から見ると

    利用者の立場では、

    昔
    → 変な嘘

    今
    → 上手な嘘

    に見えることがあります。そして実務上は、その違いはかなり重要です。なぜなら、変な嘘は無視できますが、もっともらしい嘘は信じてしまう可能性があるからです。

    現在の状況

    2026 年時点では、最先端モデルは以前より正確になっています。しかし同時に、文章力や推論能力も向上したため、残存するハルシネーションは以前より自然に見えることがあります。

    ですので、「性能向上でハルシネーションが減った」という評価と、「嘘が上手くなったように見える」という体感は、必ずしも矛盾していません。両方とも成立し得る話です。



    今の AI は、かなり厄介だと思う。課金した上位モデルでもハルシネーションがゼロになるわけではないし。最も驚いたのは、ソースが完全に捏造だったこと。凄く説得力のある情報だったのに、問い詰めたら、説得力を持たせる為に存在しないソースまで高品質に捏造したこと。今の AI は自分の回答を正当化すること(如何に信用できる情報に見せられるか)が最優先されていて驚く。

    (後記)


    [PR] CITIES SKYLINES REMASTERED JAPAN SPECIAL EDITION - PS5

    AI-generated, for reference only.

    あなたへのおすすめ