メインコンテンツへスキップ
見出し画像

LLMの挙動まとめ【2回】Transformer

    前回は、LLMの土台となる「単語ベクトル」について説明した。

    単語を多次元空間の座標として表し、距離が意味の近さを表す——という構造だ。

    しかし、単語ベクトルだけでは重大な問題が残っている。

    それが 多義語 だ。

    「空」という単語は、文脈によって意味が変わる。

    • 空が青い →「そら」

    • コップが空になった →「から」

    単語ベクトルの世界では、「空」はたった1つの座標しか持っていない。「そら」も「から」も同じ点として扱われてしまう。

    この問題を解決するために登場したのが、Transformer だ。

    ニューラルネットワークの基礎

    Transformerの説明に入る前に、その土台となる「ニューラルネットワーク(NN)」を理解しておく必要がある。

    ニューラルネットワークとは、人間の脳の神経細胞(ニューロン)を模した計算の仕組みだ。

    ニューロンは、複数の信号を受け取り、それが一定の強さを超えたときだけ「発火」して次のニューロンに信号を送る。

    これをコンピューター上で表現したのが、ニューラルネットワークである。

    発火モデル

    具体例で見てみよう。

    あなたが誰かに「好意を持つかどうか」を判定する場面を想像してほしい。

    判断材料は3つだ。

    • 学歴  → 重み 1.0

    • 言葉遣い → 重み 2.0

    • 清潔感  → 重み 3.0

    それぞれの項目を「0〜1の数値」で評価し、重みをかけて合計する。 合計が 閾値(3.5) を超えたら「発火=好意あり」、超えなければ「不発火=好意なし」となる。


    画像

    ここで重要なのが、重みと閾値は学習によって調整されるという点だ。

    たとえば「発火すべき場面なのに不発だった」場合、こんな調整が起きる。

    • 学歴の重み:1.0 → 2.0

    • 言葉遣いの重み:2.0 → 2.5

    • 閾値:3.5 → 3.0

    逆に「発火してはいけない場面なのに発火してしまった」場合は、重みを下げ、閾値を上げる。


    画像

    この調整を膨大な回数繰り返すことで、ニューラルネットワークは正しい判断ができるようになっていく。

    次に、1つのニューロンだけでは、複雑な判断はできない。

    そこで、ニューロンを層状に積み重ねる。

    • 入力層:データを受け取る

    • 隠れ層:特徴を深める

    • 出力層:結果を出す


    画像

    入力層から受け取った情報が隠れ層で複雑に処理され、出力層で最終的な答えが出る。

    この「層を重ねる」という構造が、ディープラーニング(深層学習) の名前の由来だ。

    Transformerとは何か

    ニューラルネットワークは強力だが、そのままでは言語処理に使いにくい問題がある。

    従来のモデルは、文章を左から右へ順番に処理していた。 「今日は」→「雨が」→「降った」という具合に、1単語ずつ処理するため、離れた単語の関係を掴むのが苦手だった。

    Transformerはこの問題を根本から解決した。

    文章全体を一度に見て、すべての単語の関係を同時に計算する。

    これがTransformerの核心だ。

    そのために使われる仕組みが、次に説明する Self-Attention である。

    Self-Attention:文脈で意味を決める

    「空が青い」という文を例に考えよう。

    この文の中で、「空」という単語は他のどの単語と強く結びついているか。

    • 「空」→「青い」:強く結びついている

    • 「空」→「が」:弱い

    • 「空」→「。」:ほぼ無関係

    Self-Attentionは、文中のすべての単語に対して**「どの単語をどれだけ見るか」という重みを計算する**仕組みだ。

    「空」が「青い」と強く結びついていると判断されれば、「空」のベクトルは「そら(sky)」の方向に引っ張られる。

    「コップが空になった」であれば、「空」は「コップ」「なった」と強く結びつき、「から(empty)」の方向に引っ張られる。

    これが、単語ベクトルだけでは解決できなかった多義語問題の答えだ。

    同じ単語でも、文脈によってその単語が持つベクトルは変化する。 ここで問題になるのは、文脈が曖昧でも LLM は“止まれない”という点だ。

    たとえば「空のグラスを空に向けた」という文を考えてみる。 この文には「空(から)」と「空(そら)」という、異なる意味を持つ同形語が含まれている。

    Self-Attention はこの文を処理するとき、それぞれの「空」がどの意味に近いかを 文脈から確率的に推定する。
    しかし、曖昧な文脈では確率分布が広がり、どちらの意味にも寄り得る。 それでも LLM は「分からない」とは言えず、必ずどちらかの方向に寄ったまま文章生成を続ける。

    その結果、意味の流れが少しずつズレていく「semantic drift(意味の漂流)」が起きる。
    たとえば「空(そら)」の方向に引っ張られたまま進めば、 文法的には正しいが意味的には破綻した文章が生まれることがある。

    LLM は曖昧さに対して停止できない構造を持つため、 誤った方向に進んだまま“もっともらしい文章”を生成し続けてしまう。
    これが LLM の根本的な限界のひとつだ。

    さらに、コンテキストが積み上がるほど、 Self-Attention が参照する情報は増え、重みは希釈され、 単語がどの方向に引っ張られるかはより不安定になる。 つまり、コンテキストが長いほど意味の漂流は起きやすくなる。

    そして、どの方向に寄るかは、 その時点までに積み上がったコンテキスト全体によって決まる。

    これが、わたしが繰り返し述べてきた「AIはプロンプトではなく、コンテキストで動く」という挙動の構造的な理由だ。 プロンプトを少し変えただけで劇的に変わるはずがない。
    LLM が“単発の指示”ではなく“積み重なった文脈”を基準に動くのだから。
    そして、この一点を理解すると、AIに対する多くの疑問は自然に整理されていく。 LLM の振る舞いはすべて「コンテキスト依存」という原理に回収されるからだ。
    だからこそ、もう一度だけ強調しておきたい。 AIはプロンプトではなく、コンテキストで動く。 この原理を押さえるだけで、LLMの“不可解さ”の大半は説明可能になる。

    Multi-Head Attention:複数の視点で同時に見る

    Self-Attentionをさらに強力にしたのが、Multi-Head Attention だ。

    「空が青い」という文を、1つの視点だけで見るのではなく、複数の視点で同時に見る。

    • 文法の視点:「空」は主語である

    • 意味の視点:「空」は「青い」と結びつく

    • 文脈の視点:この文は情景描写である

    人間が文章を読むとき、無意識に複数の角度から同時に解釈しているのと同じ構造だ。

    ここで問題が起きる:視点が衝突すると出力がブレる

    複数の視点が一致していれば精度は上がる。

    しかし視点同士が衝突する場合——たとえば「文法的にはAだが、意味的にはB」という状況では、どの視点を優先するかが曖昧になる。

    その結果、会話の途中で突然トーンや内容が変わるという現象が起きる。

    長い文章を書かせたとき、前半と後半で矛盾が生じるのはこれが原因のひとつだ。

    たとえば「ビル・ゲイツは若い頃は競合を潰すことで知られた敏腕(悪徳)経営者だったが、今は世界中の貧困や感染症と戦う慈善活動家だ」という文章をLLMが続けて書く場面を想像してほしい。

    「悪徳」の視点と「慈善家」の視点が真っ向から衝突している。

    その結果、「ビル・ゲイツは今日もアフリカの子どもたちのワクチン普及に尽力しながら、競合他社の特許を巧みに回避する戦略を…」という、慈善家と悪徳が同居した謎の人物が爆誕することがある。

    残差接続とLayerNorm:壊れないための安全装置

    層を重ねていくと、計算が深くなるにつれて情報が消えたり、数値が暴走したりする問題が起きる。

    これを防ぐための仕組みが2つある。

    残差接続

    Self-Attentionの結果に、入力そのものを足し算するという仕組みだ。

    出力 = Attention結果 + 入力

    Attentionの計算が外れていても、元の情報が残るため、致命的な破綻を防ぐことができる。

    LayerNorm

    層を通るたびに数値が大きくなりすぎたり、小さくなりすぎたりする問題を、毎層リセットして正規化する仕組みだ。

    この2つが組み合わさることで、何十層重ねても安定して動くTransformerが実現している。

    層を重ねることで何が起きるか

    Transformerは、以下の処理を何度も繰り返す。

    1. Self-Attention(文脈の重みを計算)

    2. 残差接続(元の情報を保持)

    3. LayerNorm(数値を安定化)

    4. FFNN(特徴をさらに深める)

    5. また残差接続・LayerNorm

    この繰り返しによって、最初は「近くの単語との関係」しか見えていなかったものが、層を重ねるごとに文章全体の抽象的な意味まで理解できるようになっていく。

    「空が青い」の「空」が、最終的に「そら」であると確定するのは、この層の積み重ねによるものだ。

    ここで問題が起きる:深くなるほど元の入力から離れていく

    層を重ねることは強力だが、副作用がある。

    処理が深くなるにつれて、最初に受け取った入力の情報が抽象化・変形され続ける。

    人間で言えば、「伝言ゲーム」に近い。

    最初のメッセージは正確でも、何十人もの手を経ると少しずつ歪んでいく。

    これが長い会話や長文生成で文脈がズレていく原因のひとつだ。 残差接続がある程度これを補っているが、完全には防げない。

    ここまでのまとめ

    • 単語ベクトルだけでは多義語を区別できない

    • Transformerは文章全体を一度に見て単語の関係を計算する

    • Self-Attentionが文脈によってベクトルを動的に変える——しかし曖昧な文脈でも止まれないためハルシネーションが起きる

    • Multi-Headで複数視点を同時処理する——しかし視点が衝突すると出力がブレる

    • 残差接続とLayerNormで安定性を確保する

    • 層を重ねることで抽象的な文脈理解が生まれる——しかし深くなるほど元の入力から離れていく

    次回は、このTransformerが**「次のトークンを予測する」という学習目標**とどう結びつくのか——そしてそれがハルシネーションとどう繋がるのかを解説する。


     
     

    太郎

     
     
    2026年1月、AIとの雑談から始めたnoteです。 今はAIニュースの検証から進化生物学、文明論まで、 気になったことを裏取りしながら考察しています。 定説を疑い、フラットな目線で書くことを心がけています。

    あなたへのおすすめ