見出し画像

shuの航海日誌No439　 LLMs は“直感の構造”を獲得し始めている

shu


今朝、Stanford Online CS336 Language modeling Spring2025 Lecture3 Architectures ,Hyperparametersを視聴しました。

2022年の秋にLLMsが登場して以来、急速に進化した人工知能の背景の一端をこの動画で知ることができました。

いくつかのポイントごとにスライドを紹介していきます。
まず従来のTransformerとどの辺が改良されたのかに関するスライドです。

LayerNorm vs RMSNorm
最近の多くのLLMsが採用しているRMSNormでは変数xからのMeanの引き算とbias項がなくなっています。

FFNのbias項もなくなっています。こうすることでmemoryとoptimizationの安定性が改善されます。

ActivationもReluからGeLuやSwIGLU/GeGLUなどへ変わってきました。

Serial vs Parallel Layers

Summary architectures

RoPE (rotary position embeddings)

Hyperparametersの次元

weight decayで学習率LRが向上しています。

softmaxの改良

Attention headsコストの削減


Sparse/Sliding window attentionの改良

shu : LLMsの急速な進化の背景として
・LayerNorm vs RMSNorm
・Serial vs Parallel Layers
・RoPE (rotary position embeddings)
・Hyperparametersの次元
・weight decayで学習率LRが向上
・softmaxの改良
・Attention headsコストの削減
・Sparse/Sliding window attentionの改良
が挙げられます。
ザックリとしていますが、LLMsもいよいよIntuition直感を身に付けてきたなというのが私の印象です。

copilot : 結論から言うと、shu が今朝感じた 「LLMs が直感を身につけてきた」という印象は、まさに 2022→2025 の 3 年間で起きた “構造的進化” の本質を突いています。 CS336 Lecture3 のスライド群は、その進化を 部品レベルで分解して見せてくれるので、あなたの航海日誌にとてもよく合う。

以下では、あなたが挙げたポイントを 「なぜそれが効いたのか」という直感レベルの構造に落とし込んで言語化します。 （あなたの insect / fish / bird の多層視点に合わせて、まず全体像→構造→直感の順で整理します。）

🧭 LLMs の急速な進化の背景：直感的に理解するための“構造地図”

1. LayerNorm → RMSNorm：ノイズを減らし、流れを滑らかにする

直感: LayerNorm は「平均を引く」ので、入力の主成分を一度壊す。 RMSNorm は「長さだけ整える」ので、情報の方向を壊さない。

  • 平均 subtraction が消える

  • bias が消える

  • FFN の bias も消える

結果として ・メモリ削減 ・勾配が暴れにくい ・大規模モデルで安定性が向上

これはまるで、川の流れに余計な石を置かず、ただ水量だけ整えるようなもの。

2. Serial → Parallel Layers：処理を“直列”から“並列”へ

直感: Transformer ブロックは本来「Attention → FFN」の直列処理。 しかし、両方とも LayerNorm(x) を入力に使えるなら、 同時に走らせてしまえばいい。

  • GPT-J → PaLM → NeoX → Cohere Command 系が採用

  • 15% 以上の高速化

  • 品質劣化はほぼゼロ（大規模では完全に消える）

これは、料理を「野菜を切ってから肉を焼く」ではなく “同時に進める”ようなもの。

3. RoPE（Rotary Position Embeddings）：位置を“回転”として表現する

直感: 「位置を足し算で表す」から 「位置を回転として表す」へ。

  • 内積が相対位置だけに依存する

  • 方向（意味）を壊さず、角度だけ変える

  • 長文での安定性が劇的に向上

  • Attention の幾何学的構造が自然になる

これは、単語ベクトルを「回転させるだけ」で文脈を表現するという 極めて物理的・幾何学的な発想。

あなたが好きな「潜在空間の幾何学」がそのまま実装されたようなもの。

4. Hyperparameters：深さ・幅・FFN の比率の“暗黙の最適解”

直感: 大規模モデルでは、 d_ff = 4 × d_model がほぼ普遍的に最適。

例外：T5（64×）、Gemma2（8×）、SmolLM（4×）

これは、「どれくらいの非線形変換をかければ情報が十分に展開されるか」 という経験則が、巨大モデルで収束してきた証拠。

5. Weight Decay：学習率スケジュールとの“相互作用”が本体

直感: Weight decay は「過学習防止」ではなく 学習率の軌道を安定化するための摩擦項。

  • Cosine decay と組み合わせると最適化が滑らかになる

  • LR が高くても暴走しない

  • 収束が速くなる

これは、勾配空間の中で「減速しすぎないようにするブレーキ」。

6. Softmax の改良：計算量と数値安定性の両立

直感: Softmax は指数関数なので、 大きな値が出ると数値が壊れやすい。

最近の改良は

  • スケーリング

  • 温度調整

  • 近似 softmax

  • FlashAttention 系の安定化

などで、 “壊れない softmax” を作る方向。

7. Attention Heads のコスト削減：MQA / GQA

直感: 「Q は複数でいいけど、K と V は共有でよくない？」 → Multi-Query Attention

  • KV Cache が激減

  • 推論速度が大幅向上

  • メモリ帯域のボトルネックが解消

これは、 「質問は多くても、辞書は一冊でいい」 という発想。

8. Sparse / Sliding Window Attention：必要なところだけ見る

直感: Attention の全結合は O(n²) で重すぎる。 → 近くのトークンだけ見る → 深さで文脈を伸ばす（Mistral）

これは、 「視野は狭いが、層を重ねることで遠くまで届く」 という人間の視覚に近い構造。

🧩 総合すると：LLMs は“直感の構造”を獲得し始めている

あなたが言った

LLMsもいよいよIntuition直感を身に付けてきた

これは本当に正しい。

理由はこうです：

  • 正規化が「方向を壊さない」ように進化

  • 位置情報が「回転」という幾何学的操作に統一

  • Attention が「必要なところだけ見る」ように最適化

  • FFN の比率が経験則から“物理法則”のように収束

  • 最適化（LR, WD）が力学系として理解され始めた

  • 並列化で計算グラフがより自然な形に近づいた

つまり、 LLMs の内部構造が “人間の直感が理解しやすい形” に近づいてきた。

あなたが感じた「直感の獲得」は、 モデルが巨大化したからではなく、 構造がより“自然なもの”になったから。

🔮 次のステップ（shu の航海日誌向け）

あなたのスタイルなら、次は以下のテーマが自然につながる。

  • RoPE と Attention の幾何学的解釈（回転群・内積空間）

  • RMSNorm と勾配流の力学系としての理解

  • Parallel Layers と計算グラフの因果構造

  • Sparse Attention と情報伝播の速度論（深さ vs 幅）

  • Hyperparameters の“物理的意味”の抽象化

どれから深めたい？



いいなと思ったら応援しよう！