メインコンテンツへスキップ
見出し画像

LLMの挙動まとめ【3回】学習と構造的限界

    1回目では「単語ベクトル(埋め込み)」について、

    2回目では「Transformer(Self-Attention)」について述べた。

    今回は、LLMがどのように“学習”しているのかを扱う。

    AIが“もっともらしい嘘”を返す理由は、学習の構造を見れば明確だ。 LLMは「正しい答え」を学習していない。 学習しているのは “次に来そうな単語のもっともらしさ” だけである。

    AIは文章を読むとき、 「この次に来る単語はどれくらい“それっぽい”か」 という確率を計算し、外したときは重みを調整し、当たったときは強化する。 これを何兆回も繰り返しているだけだ。

    ここで問題になるのが、人間側の判断の揺れである。 例えば、

    「AさんはB君のことを嫌っている」

    この文章を読んで、 「嫌っている」と判断する人もいれば、 「いやよいやよも好きのうち」と解釈する人もいる。 つまり 教師データの“正解”が揺れる。

    教師が揺れれば、AIの学習も揺れる。 その結果、モデルは 統計的に安全な“平均” に逃げる。
    わたしが画像生成の時、世界観を渡して「許容範囲」を定義しているのは、このためだ。 そうしないとAIはすぐに平均に吸い寄せられる。

    さらに、商用AIにはもう一つの事情がある。 企業は「正確だけど黙るAI」より、 多少間違っても返すAI を優先する。 そのほうがユーザー体験として成立しやすいからだ。

    例えば、

    「ダービー馬に名馬なしってどういう意味」と存在しない格言を聞いた時

    これに対して 「知りません」 「そんな格言はありません」 と返すAIより、 もっともらしい説明を返すAIのほうが、 ユーザー満足度(CS)は高くなる。

    しかし、ここで根本的な問題がある。 AIは「間違っても返す」ように設計されている一方で、 “自分が間違っているかどうか”を判断する仕組みを持っていない。

    つまり、

    • 間違っても返すように最適化されている

    • しかし間違いを検出する回路がない

    この2つが重なると、 AIは誤りを誤りと認識できないまま、平然と生成を続ける。

    LLMは自己評価・自己修正のループを持たない

    LLMには、自分の出力を「正しいかどうか」評価する仕組みがない。 学習時に行っているのは、 “次に来そうな単語のもっともらしさを上げる” という調整だけであり、 生成中に自分の答えを振り返る回路が存在しない。
    *「AIエージェント」やRAGが根本的解決にならない件は、こちらで詳しく述べている。

    さらに間違っても止まれず、そのまま進む

    LLMは文章を「1トークンずつ」生成する。 そして “止まる”という選択肢が構造的に存在しない。

    • 間違った前提で1語出す

    • その語を前提に次の語を出す

    • さらに次の語を出す

    この連鎖が続くため、 一度ズレると、そのズレを積み上げ続ける。

    これがハルシネーションの構造的原因である

    • 正しさを評価できない

    • 自己修正できない

    • 間違っても止まれない

    • それでも“もっともらしさ”だけは最大化する

    この構造が重なって、 “もっともらしいけれど間違った文章”=ハルシネーション が必然的に発生する。

    これはバグではなく、 LLMという仕組みそのものが持つ限界 である。

    人間は当たり前のように、

    • 自分の行動を評価し

    • 間違えば反省し

    • 次の行動に活かす

    という“自己ループ”を持つ。 このループがあるから、人間は成長できる。

    しかしAIは違う。

    • 自分の出力を自分で評価できない

    • 間違いを「間違いだ」と認識できない

    • 内部モデルを自分で書き換えることもできない

    つまり AIは自分自身を更新できない。

    以上のように現行のLLM型AIは既に限界が来ていて、これ以上の発展がないのは目に見えている。
    「次トークン予測」という学習目標と「行列演算」という構造を維持する限り、今後さらにLLMは改良されていくだろうが、それは決して真の知能を得るプロセスではない。
    もっと早く、もっと巧妙に人間っぽい振る舞いをするだけである。
    それでもLLM型AIが世界中で使われ続けているのは、 この方式が 成功しすぎた からだ。
    検索、広告、クラウド、アプリケーション、OS、API── 主要なテック企業のほとんどが、このエコシステムに依存している。
    それはかつて日本が他国を圧倒していた携帯電話分野で、ガラケーがあまりにも成功しすぎて、スマホに乗り遅れた件と同じである。

    だから現状の構造は、 今後100年は続く可能性が高い。
    車がいまだに空を飛ばないのと同じである。
    どんなに夢があっても、デロリアン(バック・トゥー・ザ・フューチャーの車)は生まれない。
    それは技術的な理由ではない。
    あらゆる産業・インフラ・法律が現状の車というエコシステムの上で成り立っていて、それを変えることができないからだ。
    *LLMの、CUDAを中心としたエコシステムについては、上記リンクで詳しく語っている。

    2022年、ChatGPTの登場は、多くの人々に 「ドラえもんが現実になる日」をリアルに想像させた。
    しかしそれは幻想である。

     
     

    太郎

     
     
    2026年1月、AIとの雑談から始めたnoteです。 今はAIニュースの検証から進化生物学、文明論まで、 気になったことを裏取りしながら考察しています。 定説を疑い、フラットな目線で書くことを心がけています。

    あなたへのおすすめ