メインコンテンツへスキップ
見出し画像

LLMの設計はなぜ今の形になったのか~RNNからAttention、Transformer、MoEまでを「問題と解決」でたどる~

    【発端】 LLMの設計史は、弱点を一つずつ直した連鎖

    画像
    起点記事は、設計の変遷を「問題と解決」の対で並べている

    最近、Amit Shekharさん(Outcome School)の記事「Evolution of LLM Architecture」を読みました。RNNからAttention、Transformer、スケーリング、Mixture of Experts(MoE)、そして最近の新しい方向までを、一本の時間軸に並べた記事です。

    各段階を「何に困っていて、何で直したか」の対で並べているところが面白いです。新しいモデルの名前や数字を覚えるより、この見方のほうが長く役立ちます。

    この記事は、その骨格を借りて記載しています。論文で確認できる数字を足し、MoEのコストの数え方と、新しいモデルを読むときのポイントまで進めます。

    読み終えると、新モデルのニュースを「どの問題への改善か」で整理できるようになります。

    【基礎】 アーキテクチャとは、読み方・覚え方・次の語の出し方の設計図

    画像
    LLMの本体は、ここまでの文章から次のトークンを予測し続ける仕組み

    LLM(大規模言語モデル)は、大量の文章からパターンを学んだプログラムです。やっていることの中心は、ここまでの文章を読んで、次の語を予測する点にあります。

    この「読んで、予測する」流れを、どう組み立てるかがアーキテクチャです。数式や部品はモデルが違っても似ています。

    違うのは、文章をどう読み、何をどう覚え、どう答えを出すかの設計です。

    モデルは単語そのものではなく、文章を細かく切った「トークン」を扱います。この記事では分かりやすさのために「語」と書きますが、実際にはトークンです。

    モデルの中には、学習で調整される数値が大量にあります。これをパラメータと呼びます。

    【違い】 一つのメモで覚えるRNNから、全部を見返せるAttentionへ

    画像
    軸は「読み方」「記憶」「並列化」「残った弱点」

    Attentionとは、いま処理している語が、入力のどの語をどれだけ重視するかを決める仕組みです。それ以前の主流だったRNN(再帰型ニューラルネットワーク)は、語を左から順に読み、小さな一つの記憶を書き換えながら進む方式です。

    RNNの弱点は二つあります。長い文章では、書き換えを重ねるうちに冒頭が薄れます。

    もう一つは、前の語が終わらないと次の語を読めないので、並列に計算できないことです。

    Attentionの原型として知られるBahdanauらの論文は、翻訳の仕組みに着目しました。入力文を固定長のベクトル一つにまとめる設計が、性能のボトルネックになっていると考えたのです。

    そこで、出力する語ごとに、入力の関連する部分を探しにいく方式を提案しました。

    その後、「Attention Is All You Need」が再帰そのものを捨てます。Attentionだけで組んだTransformerです。

    RNN

    • 読み方:左から1語ずつ

    • 記憶:書き換える一つのメモ

    • 並列化:できない

    • 残った弱点:忘れる、遅い

    AttentionつきRNN

    • 読み方:1語ずつ読み、必要なら見返す

    • 記憶:メモに加え、過去の語を直接参照

    • 並列化:読む部分は残る

    • 残った弱点:遅い

    Transformer

    • 読み方:入力を同時に処理

    • 記憶:全語が互いを直接参照

    • 並列化:入力と学習では並列に進む

    • 残った弱点:作る側は大きさを決める必要がある

    並列で動くのは、入力の読み込みと学習です。回答を書く段階では、いまのTransformerも1語ずつ出し、出した語を入力に足して次を予測します。

    この区別は、あとで出てくるKV Cacheの理由になります。

    【仕組み】 Attentionは「見る範囲」を決め、MoEは「動かす部品」を絞る

    画像
    Transformerの1ブロックで、どこが差し替わるかを見る

    Attentionの中身は、重み付きの平均です。たとえば「she」を処理するとき、前の語のうち「Riya」に70%、「market」に15%というように重みを配ります。

    重みの合計は1です。その重みで各語の情報を混ぜたものが、「she」の理解になります。

    重みを決めるときは、各語に三つの役を持たせます。

    • Query:いま知りたいこと

    • Key:各語が何についての語かを示す札

    • Value:その語が持つ中身

    QueryとKeyの相性で重みを決め、Valueを混ぜる流れです。複数の視点で同時に見るマルチヘッドにすると、名前の対応や文法など、別々の関係を並行して扱えます。

    Transformerは、このAttentionと、語ごとに計算するフィードフォワードレイヤー(FFN)を一組のブロックにして、何層も積んだものです。Attentionが「見る」段、FFNが「考える」段にあたります。

    語の順序は、位置の情報を別に足して教えます。

    Kaplanらの研究は、損失がモデルサイズ、データ量、計算量に対して、べき乗則で下がることを示しました。

    後続のChinchillaの論文は、当時の大きなモデルは学習データが足りないと指摘しています。モデルサイズを2倍にするなら、学習トークンも2倍にすべきだという結論です。

    大きくすれば賢くなりますが、従来の密なモデルでは、全パラメータがすべての語で動きます。賢さを上げるほど、回答1回あたりのコストも上がります。

    この問題への答えが、MoEです。FFNを複数の専門家に分け、小さなルーターが語ごとに数人だけ選びます。

    動くのは選ばれた専門家だけです。

    Attentionの部分は変わらず、変わるのはFFNだけです。モデルの知識量と、1語あたりの計算量を切り離せます。

    【具体例】 Mixtral 8x7Bは47Bを抱え、1語あたり13Bだけ動かす

    具体例は、Mixtral 8x7Bの論文の数字です。各層に8つの専門家(FFN)があり、語ごとにルーターが2つを選びます。

    • 総パラメータ:47B。モデルが抱える知識の総量です。

    • 活性パラメータ:13B。1語の推論で実際に使う量です。

    「8x7B」から56Bと想像しがちですが、47Bです。理由は、複製されるのがFFNだけで、Attentionなどは共有される点にあります。

    活性の割合は、13÷47で約28%です。

    選ばれる専門家は語ごとに変わるので、8つ全部をいつでも使える状態にしておく必要があります。MoEが減らすのは計算であり、モデルの置き場所は減らない点に注意が要ります。

    規模の大きい例として、DeepSeek-V3は、総パラメータ671Bのうち、1トークンあたり37Bが活性です。同論文が合わせて採用しているのが、このあとに出てくるMLAです。

    専門家が偏って使われると、使われない専門家は学習が進みません。ルーターには、負荷を散らす工夫が要ります。

    【関連概念】 MoEの次の問題は、長い入力と、考える量

    画像
    Attentionの比較は入力長の二乗で増える。1,000語で約100万回、2倍で4倍

    Attentionは、すべての語を互いに比べる処理です。入力が1,000語なら比較は約100万回で、入力が2倍になると比較は4倍になります。

    回答の生成中は、過去の語のKeyとValueを保存して、再計算を避けます。この保存領域の名前が、KV Cacheです。

    長い入力では、これが大きなメモリ消費になります。

    GQA

    • 問題:KV Cacheが大きい

    • 考え方:複数のヘッドでKeyとValueを共有する

    MLA

    • 問題:KV Cacheが大きい

    • 考え方:KeyとValueを圧縮して保存する

    Sliding Window

    • 問題:比較が二乗で増える

    • 考え方:近い語だけを見て、遠い情報は層を通して運ぶ

    Mamba

    • 問題:比較が二乗で増える

    • 考え方:入力に応じて覚える・忘れるを選ぶ記憶。論文は系列長への線形スケールを述べている

    GQAは、KeyとValueを持つヘッドを、全ヘッド分から中間の数へ減らす設計です。論文の主張は、マルチヘッドに近い品質で、速さはMQA(KeyとValueが1組だけの方式)に近いというものです。

    原文は、使用例としてLLaMA 3、DeepSeek、Mistralを挙げています。

    もう一つの方向が、回答時に長く考えさせる推論時スケーリングです。いまは、学習を大きくする方向と、考える量を増やす方向の二つがあります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『ゼロから作るDeep Learning ❷ ―自然言語処理編』(斎藤康毅)は、RNN、LSTM・GRU、Attentionを実装で追えます。記事の前半と重なります。

    『大規模言語モデル入門』(山田育矢、鈴木正敏、山田康輔、李凌寒)の主題は、大規模言語モデルの理論と実装です。Transformer以降を体系的に補えます。

    『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』(山田育矢監修、鈴木正敏、西川荘介、藤井一喜、山田康輔、李凌寒)は、生成型LLMの学習の並列・分散と評価を扱います。スケーリングやMoEのコストの話のあとで続けやすいです。

    関連記事

    【まとめ】 新モデルは「どの問題への答えか」で読む

    画像
    発表を見たときに、自分で確かめられるポイント

    RNNは忘却と遅延が大きかったが、Attentionで忘却を直し、Transformerで遅延を直し、スケーリングは賢さを上げて進化してきました。さらにそのコストをMoEが下げ、いまは長い入力と思考量が課題です。

    次に新しいモデルの発表を見たとき、自分で試せる確認があります。

    1. 総パラメータと活性を分ける:モデルの説明に、総パラメータと活性パラメータがあるか探します。

    2. 置き場所を考える:MoEなら、計算は減りますが、重みを置くメモリは総量で見積もります。

    3. 長い入力の手当てを見る:KV Cacheを減らす工夫が、何か入っているか確認します。

    4. 一行に直す:「前のどの弱点を、何で直したか」を、自分の言葉で書いてみます。

    この記事は、原文と論文の説明を整理したものです。各手法を自分で実装して検証したものではありません。

    数字を使うときは、リンク先の論文で確認してください。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ