LLMは「次の単語を当てる」だけなのに、なぜ思考しているように見えるのか?
これは私のメルマガ「週刊Life is beautiful」で紹介している記事の要約・解説です。要約をこちらに書き、リンクを貼った上で私のコメントを書くというスタイルで、メルマガ本体のボリュームを減らして読みやすくすることを目的としています。
LLMs do one thing: predict the next word. Here's how that creates something that feels like thinking
LLM(大規模言語モデル。大量の文章を学習して人間のような文章を生成するAI)が実は「次に来る単語を予測する」ことしかしていないのに、なぜ思考しているように見えるのかを、専門知識のない人にも分かるように順を追って説明した解説です。AIの仕組みを人に説明する機会のある方には、そのまま使える説明の型になっています。
ChatGPTやClaude、Geminiにメッセージを送ると、モデルの中では毎回まったく同じことが起きています。それまでに書かれた文章全体を見て、「次に来る確率が最も高い単語は何か」を一つだけ決める。そしてそれを文章の末尾に足して、また同じことを繰り返す。返答が終わるまで、これだけです。仕掛けはこれで全部だ、と記事は言い切ります。
その一つの単純な作業を、途方もない量の文章に対して何十億回と繰り返した結果、コードを書き、量子物理を説明し、詩を翻訳し、人と話しているとしか思えない会話をこなす何かが現れました。規模を実感するための数字が一つ挙げられています。GPT-3の学習に使われた文章量は、人間が寝ずに、休みなく、24時間読み続けても2,600年以上かかる分量です。それ以降のモデルは、さらに大量の文章を読んでいます。
ここが重要なところです。モデルは、私たちが言葉を覚えたやり方で言語を学んだわけではありません。誰も規則を書き下ろしていないし、文法も、意味も、文脈も説明していません。ただ、想像しにくいほどの量の文章を見せて、「次に来るものを当てるのが上手くなれ」という一つの指示だけを与えた。言語の知識も、事実も、推論も、話し方の調子も、性格めいたものも、すべてその一つの目標から浮かび上がってきたものです。
モデルの中身は、数千億個の数字だけ
モデルの振る舞いを決めているのは、パラメータ(重み)と呼ばれる数字です。その数は数千億個。あるモデルと別のモデルを違うものにしているのは、この数字だけです。
学習の最初、これらはすべてでたらめな値です。モデルは意味のない文字列しか出しません。そこから学習が始まります。手順はこうです。文章を一つ用意する。最後の単語を除いた部分をモデルに入れる。モデルが「次に来る」と予測したものを見る。それを実際の単語と比べる。どれだけ外れたかを測る。そして数千億個のパラメータのすべてを、その外れが小さくなる方向にほんの少しずつ動かす。これを何兆もの例に対して繰り返します。
計算量は桁外れです。記事によれば、1秒間に10億回の計算ができる人が、最大級のモデルの学習に必要な計算を再現しようとしたら、1億年以上かかります。これが現実に可能なのは、GPU(大量の計算を同時並行でこなす専用チップ)があるからです。
学習が終わったとき、その数千億個のパラメータには、言語がどう働くのか、物事が何を意味するのか、概念どうしがどう関係するのか、どんな場面でどんな返答が適切なのかが、誰も完全には解読できていない形で符号化されています。
一つの予測が、会話になるまで
チャットボットにメッセージを送ったとき、実際に起きていることを追ってみます。システムは会話の文脈全体を取り、そこにAIの役割や目的を書いた説明を足して、まとめてモデルに入れます。モデルはその文章の塊全体を見て、次に来る可能性が最も高い単語を予測する。その単語が文章に足される。そしてまた全体が最初から走る。これの繰り返しです。
一つひとつの予測は確率的です。モデルは毎回いちばん確率の高い単語を選ぶわけではなく、確率の分布から抽選するように選びます。確率の高い単語がよく選ばれますが、ときどき確率の低い単語も選ばれる。同じ質問を二度しても違う答えが返ってくるのはこのためで、返答が機械的でなく自然に感じられるのもこのためです。常に最も確率の高い単語だけを選ばせると、ぎこちなく、同じ表現を繰り返す文章になってしまいます。分布から抽選することで、人が書いたように読めるものになるわけです。
AIツールで見かける「temperature(温度)」という設定は、この分布を調整するものです。低くすると、モデルはより決まりきった、焦点の定まった答えを出す。高くすると変化に富んだ創造的な答えになり、上げすぎると支離滅裂になります。
2017年の論文が変えたもの
2017年より前の言語モデルは、文章を先頭から一語ずつ、順番に処理していました。これは長い文章では根本的な問題を生みます。文章の冒頭にある情報が末尾に影響を与えるには、その間のすべての段階を通り抜けなければならないからです。
2017年、Googleのチームが「Attention Is All You Need」という論文を発表しました。そこで示されたトランスフォーマーという構造が、すべてを変えました。
トランスフォーマーは文章を順番には読みません。入力全体を一度に受け取り、並列に処理します。どの単語も、他のすべての単語を同時に直接参照できる。長い文章の冒頭が末尾に与える影響は、隣り合った単語どうしと同じくらい直接的になります。
その中心にある仕組みがアテンション(注意)です。入力の各単語は、長い数字の並びとして表現されます。アテンションは、それぞれの単語が他のすべての単語を調べて、周囲の文脈に応じて自分の表現を更新することを可能にします。「bank」という単語は、「river bank(川岸)」の中と「bank account(銀行口座)」の中とでは別の意味を持ちます。アテンションによって、モデルは周囲の単語を調べ、「bank」を表す数字の並びが何を表すかを調整して、この違いを区別できるようになります。
この処理が何層にもわたって繰り返されます。各層が文脈に基づいて表現を洗練していく。最後の層に到達したとき、各単語の表現には、次に来るものを予測するのに役立ちそうな情報が——入力がどれだけ長くても、その全体から引き出された情報を含めて——詰め込まれている、というのが狙いです。
ニューラルネットワークとは何でできているのか
ニューラルネットワークは、脳の神経細胞の働きをゆるやかに参考にした、数学的な演算をつなぎ合わせた仕組みです。
基本の単位はニューロンで、ニューロンは数字を一つ持ちます。その値は、前の層でつながっているニューロンたちの値に重みを掛けて合計し、バイアスと呼ばれる定数を足し、出力を一定の範囲に収める関数に通して決まります。このつながりに掛けられている重みが、パラメータです。学習の過程で、この重みが調整されていきます。
画像認識の例を見ると、これが具体的に見えてきます。手書きの数字を認識するように訓練されたネットワークは、まず一つひとつの画素の値を処理します。最初の隠れ層は輪郭を検出することを学ぶかもしれない。次の層は輪郭を組み合わせて形にする。最後の層は形を組み合わせて数字の識別にする。誰もこれをプログラムしていません。学習から現れたものです。言語モデルは、はるかに大きな規模とはるかに複雑な構造で動きますが、原理は同じです。仕事に役立つ内部表現を、モデルが自分で学ぶ。その表現は設計されたものではなく、現れたものです。
「便利な助手」になるための、もう一段階の学習
ネット上の文章による事前学習は、モデルに言語を予測することを教えます。しかし、ネット上のランダムな文章の続きを当てられることと、役に立つ助手であることは別です。
事前学習だけのモデルは、与えられたパターンの続きをそのまま書いてしまいます。有害な内容も、誤った情報も、流暢ではあるがまったく役に立たない返答も含めて。
これに対処するため、チャットボットには第二の学習段階があります。人間のフィードバックによる強化学習(RLHF)と呼ばれるものです。人間の評価者が複数の返答を見比べ、どちらが良いかを示す。そのフィードバックを使って、人間が好む返答を出しやすくなるようにパラメータをさらに調整します。
モデルが特定の要求を断るのも、単に流暢なだけでなく役に立とうとするのも、自動補完ではなく助手のように振る舞うのも、この段階があるからです。事前学習は言語と世界についての知識を与え、第二の段階はその知識をどう使うかを形づくった、というわけです。
作った人にも分かっていないこと
ここに、これらのシステムについて本当に奇妙な点があります。
手書き数字を認識するように訓練されたニューラルネットワークを可視化して、各ニューロンがどんなパターンに反応するようになったかを見てみると、期待どおりのものが出てくるとは限りません。輪郭を学び、次に形を学ぶ、という分かりやすい形にはならず、解釈のしようがないパターンを学んでいることが多い。ちゃんと動くのですが、人が期待した動き方ではないのです。
言語モデルでも、はるかに大きな規模で同じことが言えます。研究者は、モデルが推論のように見える何か、類推のように見える何か、文脈の理解のように見える何かをしていることを観察できます。しかし、その振る舞いが背後の数式からどうやって現れているのかは、これらのシステムを作った人たちにさえよく分かっていません。モデルは推論するようにプログラムされたわけではなく、文章を予測するように訓練されただけです。推論——もしそう呼べるものなら——は、その学習が規模を得たときに現れたものです。
これが、これらのシステムを印象的にしていると同時に、予測しにくい形で信頼できないものにしています。複雑な概念を見事に説明できるモデルが、まったく事実でないことを自信たっぷりに述べることもある。モデルが学んだのは「流暢で役に立つ文章とはどういうものか」であって、その中身が正確かどうかは別の問題だからです。
丸暗記ではなく、構造を見つけている
もう一つ、示唆的な実験が紹介されています。正解ラベルをすべてでたらめに入れ替えてから学習させても、モデルは学習データに対しては完璧な正答率を出せます。ただ丸暗記しているだけで、未知の問題には一般化しません。一方、正しくラベル付けされたデータで学習させると、モデルははるかに速く学び、一度も見たことのない例にも対応できるようになります。データの中に構造があると、パターンが見つけやすくなるからです。
ここから分かるのは、これらのモデルが単に丸暗記しているのではなく、構造を見つけているということです。その構造が何に対応しているのか——理解のようなものなのか、理解に似ているだけの何かなのか——は、研究者が今まさに取り組んでいて、まだ答えの出ていない問いです。
はっきりしているのは、十分な規模と十分なデータのもとでの次単語予測が、誰も明示的にプログラムしていないことをこなすシステムを生み出したという事実です。
コードを書く
言語を翻訳する
文書を要約する
学習データのどこにも現れない話題についての質問に答える
なぜこれが「始まり」なのか
記事は最後に、ここまでの流れを振り返ります。2017年のトランスフォーマーが、文章を大規模に並列処理することを可能にした。最大級のモデルの学習に必要な計算量は、手作業なら何百万年もかかる規模になった。そして、次の単語を予測するというだけのことから役に立つ能力が現れたことは、それを作った研究者たちさえ驚かせた。
これらのどれ一つとして、実際に動くまでは自明ではありませんでした。文章の予測が、ソフトウェアを書いたり科学を説明したり筋の通った会話を続けたりできる何かを生む、という考えを、自信を持って予言していた人はいません。
なぜ動いたのか。言語そのものの中に、世界についての膨大な構造が含まれているからだ、というのが記事の答えです。物理実験の説明文の次の単語を当てるには、物理について何かを分かっている必要がある。コードの次の一語を当てるには、そのコードが何をしているのかを分かっている必要がある。モデルは物理もプログラミングも直接教わっていません。文章の予測が上手くなるために必要なことを、必要なだけ学んだのです。
仕事は一つ。次の単語を当てること。それを数千億のパラメータと何兆もの例でやらせると、思考のように見える何かが反対側から出てくる。なぜそうなるのかを、完全に分かっている人はまだ誰もいません。