メインコンテンツへスキップ
見出し画像

LLMのための強化学習手法 2025 -PPO・DPO・GRPO・DAPO一気に理解する-

    AI Solution EngineerをやっているKeisuke Kamata (X: olachinkei) です。LLMのための強化学習手法を一気に理解する記事を書きました!構成を書きながら「万里の長城よりなげーよ」と思ったのですが、一気に理解するのも悪くないと考え、詰め込みました。お好きなペースで読んでください。

    なぜ今、LLMの強化学習なのか

    LLMの学習プロセスは、事前学習と事後学習の2段階に分かれます。事前学習で言語能力の土台を作り、事後学習でユーザーにとって有用な振る舞いを身につける。2022年のChatGPT以降、この事後学習において強化学習(RL)が重要な役割を果たすようになりました。

    画像
    Beyond Pipelines: A Survey of the Paradigm Shift toward Model-Native Agentic AIより参照

    まず最初に注目するべきは、ChatGPTの成功を支えたRLHF(人間のフィードバックによる強化学習)です。人間が「どちらの回答が良いか」を評価したデータから報酬モデルを学習し、その報酬を最大化するようにLLMを調整する。このとき使われたのがPPOというアルゴリズムでした。PPOによって、LLMは人間にとって自然で有用な回答ができるようになったのです。

    しかしPPOには課題がありました。報酬モデルとLLM本体の2つを同時に扱う必要があり、学習が複雑で計算コストも高い。この問題を解決したのがDPOです。DPOは報酬モデルを介さず、人間の選好データから直接LLMを学習させることで、プロセスを大幅に簡略化しました。

    そして2024年後半、RLの役割が大きく変わります。OpenAIのo1、DeepSeek-R1といった推論モデルの登場です。DeepSeek-R1はGRPOというアルゴリズムを採用し、「立ち止まって考える」「間違いに気づいて修正する」といった推論能力をRLによって獲得しました。GRPOはPPOで必要だったCriticモデルを排除し、さらに効率的な学習を可能にしています。2025年にはByteDanceがGRPOを改良したDAPOを発表するなど、この分野は今も急速に進化を続けています。

    LLMをカスタマイズする手法として、教師ありファインチューニング(SFT)もあります。SFTは「この入力にはこの出力」という正解ペアを大量に用意して学習させる方法です。一方、RLは「タスクが完了したか」「エラーが発生したか」といった評価基準(報酬)に基づいて学習を進めます(基盤モデルの学習フェーズにおいてはどちらも利用されます)。RLの大きな利点は、大量の完璧な正解データを用意する必要がないことです。SFTが数千〜数万の正解ペアを必要とするのに対し、RLは評価基準さえ定義できれば、比較的少ないデータで効果を発揮します。自社のワークフローにAIをカスタマイズさせることの関心が高いものの、自社のワークフローに特化したAIを作りたいとき、「十分な正解データが確保できない」という問題は多くのケースで発生します。2026年、RLはこの課題に対する有力な解決策となりえるのではないかと私は考えています。

    本記事では、カスタムLLMの構築に備え、LLMの強化学習における主要手法——PPO、DPO、GRPO、DAPO——を一気にキャッチアップします。それぞれがどんな課題を解決し、どう進化してきたのか。数式の直感的な意味とともに解説していきます。それではみていきましょう!

    以下、LLMにおけるRL手法キャッチアップの流れです。

    画像



    強化学習の大きな流れ:価値ベースから方策ベースへ

    強化学習には、大きく分けて2つのアプローチがあります。ここを理解することが、強化学習の大きな流れを理解する第一歩です。

    価値ベース手法(Value-Based Methods)

    DQN(Deep Q-Network)に代表される価値ベース手法は、「今の状況(状態)はどれくらい有利か?」という価値を計算します。そして、その価値が最も高くなる行動を選びます。将棋を例に取れば、盤面を見て「この局面は勝率80%だ」と判断し、その評価値が高い手を指すようなイメージです。

    価値ベース手法は、Atariゲームなどの離散的な行動空間(「右に行く」「ジャンプする」など)で大きな成功を収めました。しかし、ロボットアームの制御のように「関節を32.5度にする」といった連続的な行動空間では扱いにくいという弱点がありました。

    本記事では価値ベースの手法についてこれ以上触れませんが、価値ベース手法は強化学習の重要な基本概念です。以下の本がわかりやすいので、関心のある方はご確認ください。

    「強化学習」を学びたい人が最初に読む本

    方策ベース手法(Policy-Based Methods)

    一方、方策勾配法は価値計算を挟まず、状況(状態)に対して「どの行動をどのくらいの確率でするべきか」という方策(ポリシー)πを直接学習します。

    # 自転車に乗る練習で、「右に倒れそうならハンドルを左に切る」という反射的な動作そのものを体に覚えさせるようなものです。判断を挟まず、状況から行動への写像を直接学習します。

    方策ベース手法の利点は、連続的な行動空間を自然に扱えることです。価値ベース手法が「すべての行動の価値を比較して最大を選ぶ」のに対し、方策ベースは「この状況ではこう動く」という写像を直接出力するため、ロボットアームの角度制御のような連続値も問題なく扱えます。また、確率的な方策を自然に表現できるため、「70%の確率でAを選び、30%でBを選ぶ」といった柔軟な行動選択が可能です。LLMの文章生成においても、次のトークンを確率分布から選ぶという性質と相性が良い手法となっています。


    方策勾配法:基本のREINFORCE

    方策勾配法の最も基本的な形であるREINFORCEアルゴリズムは、1992年にRonald J. Williamsによって提案されました。

    そもそも方策(Policy)とは何か

    方策勾配法では、方策を以下の関数(ニューラルネットワークなど)で表します:

    πθ(a∣s)π_θ(a|s)

    • s: 状態(State) - 入力

    • a: 行動(Action) - 出力

    • θ: パラメータ(ニューラルネットの重み)

    この関数は、ある状態 s において、ある行動 a をとる確率を出力します。

    例えば、ロボットが歩くとき:

    • 入力 s:現在の関節の角度、傾き

    • 方策 π:ニューラルネットワーク

    • 出力 a:「右足を前に出す確率:80%」「左足を前に出す確率:20%」

    学習の仕組み

    方策勾配法の学習のゴールは、「最終的にもらえる報酬の合計(収益)が増えるように、確率分布を調整すること」です。目的関数(最大化したいもの)は、期待収益です:

    J(θ)=Eτ∼πθ[R(τ)]J(θ) = \mathbb{E}_{τ \sim π_θ}[R(τ)]

    ここで τ は軌跡(状態と行動の系列)、R(τ) はその軌跡から得られる累積報酬です。

    #数式が出てきて読むのが辛くなってくる人のために、イメージを言語化して書いていきますのでご安心ください。

    学習の更新式(方策勾配定理)は、以下のようになります:

    ∇θJ(θ)=Eτ∼πθ[∑t=0T∇θlog⁡πθ(at∣st)⋅Rt]∇_θ J(θ) = \mathbb{E}_{τ \sim π_θ}\left[\sum_{t=0}^{T} ∇_θ \log π_θ(a_t|s_t) \cdot R_t\right]

    実用上は、サンプリングした軌跡を使って以下のように近似します:

    θnew←θold+α∇θlog⁡πθ(a∣s)⋅Rθ_{new} ← θ_{old} + α ∇_θ \log π_θ(a|s) \cdot R

    この式の意味は非常にシンプルです:

    • π_θ(a|s): AIが選んだ行動の確率

    • R (Reward): その行動をとった結果、最終的にどれくらい良かったか

    • α: 学習率

    仕組み:

    • もし結果が良かった(Rがプラス)なら、その行動をとる確率(π)を上げます

    • もし結果が悪かった(Rがマイナス)なら、その行動をとる確率(π)を下げます

    これを何度も繰り返すことで、AIは「良い結果につながる行動」を高い確率で選ぶようになります。

    REINFORCEの課題

    REINFORCEは直感的でシンプルですが、大きな問題を抱えていました:

    • 学習が不安定(分散が大きい): ゲームが終わるまで待って「最終的な結果」だけで判断するため、たまたまの「まぐれ」で大きな報酬を得ると、間違った行動を過剰に強化してしまいます。例えば、じゃんけんで「グー」を出してたまたま勝った場合、「グーは良い手だ!」と学習してしまい、次から「グー」ばかり出すようになってしまう可能性があります。

    • データ効率が悪い: 学習するために非常に多くの試行回数(エピソード)を必要とします。報酬のフィードバックが遅いため、何が良くて何が悪かったのかを学習するのに時間がかかるのです。これらの課題を解決するために、次世代のアルゴリズムが登場します。


    Actor-Critic:方策と価値の融合

    REINFORCEの不安定さを克服するために登場したのが、Actor-Criticというアーキテクチャです。この概念は、1983年のBartoらによる研究に遡ります。

    2つの役割:ActorとCritic

    Actor-Criticでは2つのニューラルネットワークが協力します:

    Actor(アクター/役者・行動者)

    • 役割: 実際に行動を決める担当(方策 π_θ)

    • 仕事: 今の状況を見て、「右に行く」「ジャンプする」などを確率的に決める

    • イメージ: スポーツ選手

    Critic(クリティック/批評家・評価者)

    • 役割: Actorの行動が良かったかどうかを採点する担当(価値関数 V_w または Q_w)

    • 仕事: 今の状況や行動に対して、「今の動きは将来的にこれくらいの得点になりそうだ」と予測する

    • イメージ: 専属コーチ

    なぜ2つ必要なのか?

    REINFORCEは、ゲームが終わるまで待って「最終的な結果」だけで判断していました。これは大雑把で、「まぐれ勝ち」も高く評価してしまいます。

    一方、Actor-Criticではコーチ(Critic)がいるので、もっと細かく評価できます。行動するたびに、Criticが「今の動きはナイス!」「今のはちょっと悪手だったな」と即座にアドバイスをくれるのです。

    学習の仕組み

    以下のサイクルを繰り返します:

    1. Actorが、現在の状況 s を見て行動 a を実行する

    2. Criticが、その行動の結果を見て「予想より良かったか、悪かったか」を計算する(Advantageの計算)

      • 「予想より良かった!」 → プラスの評価

      • 「予想より悪かった…」 → マイナスの評価

    3. Actorの更新: Criticの評価を信じて、良かった行動の確率を上げ、悪かった行動の確率を下げる

    4. Criticの更新: 自分の採点能力(価値の見積もり)が正しかったか、実際の結果と照らし合わせて修正する

    数式的には、通常の方策勾配の代わりに、アドバンテージ関数 A(s,a) を使います:

    ∇θJ(θ)=E[∇θlog⁡πθ(a∣s)⋅A(s,a)]∇_θ J(θ) = \mathbb{E}\left[∇_θ \log π_θ(a|s) \cdot A(s,a)\right]

    ここで A(s,a) はアドバンテージ関数と呼ばれ、「平均的な期待値よりもどれくらい良かったか」をCriticが計算した値です:

    A(s,a)=Q(s,a)−V(s)A(s,a) = Q(s,a) - V(s)

    ここで、

    • Q(s,a)Q(s,a) は「状態 ss で行動 aa をとった場合に、その後得られる累積報酬の期待値」(=現在の選択の“総合的な良さ”を示す指標)、

    • V(s)V(s) は「状態 ss から最善を尽くす場合に得られる累積報酬の期待値」(=その場に“居るだけ”で期待できる平均値)、

    を表します。A(s,a)A(s,a) は「その場で“たまたま”aaを選んだことで、平均よりどれくらい得をしたか(または損をしたか)」を数値で示すものです。(TD誤差を使った近似も使われたりします)

    A2C / A3Cの登場

    Actor-Criticの考え方を実用化したのが、DeepMindが2016年に発表したA3C(Asynchronous Advantage Actor-Critic)と、その同期版であるA2C(Advantage Actor-Critic)です。

    これらは複数のActor(エージェント)を並列に動かしてデータを集め、学習を高速化しました。A3Cは当時、Atariゲームのベンチマークで大きな成功を収め、Actor-Criticアーキテクチャの有効性を実証しました。

    Actor-Criticの課題

    Actor-Criticによって学習は安定しましたが、まだ根本的な問題が残っていました:

    学習率(ステップ幅)の調整が非常に難しい

    • 学習率が小さすぎる:学習が遅い

    • 学習率が大きすぎる:「方策の崩壊(Policy Collapse)」が起きる

    一度悪い更新をしてしまうと、AIがめちゃくちゃな行動をとるようになり、そこから得られるデータも悪くなるため、二度と元の賢さに戻れなくなってしまいます。まさに「崖から落ちる」ようなイメージです。この問題を解決するために、理論的に厳密なアプローチが求められました。

    # OpenAIがGPTの開発に使ったPPOまであとちょっと。飛ばすとよくわからなくなるので、次のTRPO頑張りましょう!


    TRPO:信頼領域による安全な学習

    2015年、UC BerkeleyのJohn Schulmanらによって、TRPO(Trust Region Policy Optimization:信頼領域方策最適化) が提案されました(TRPOの理論的基礎は、Kakade and Langfordによる2002年の研究に基づいています)。

    これは、方策勾配法における「学習の不安定さ」という最大の課題を、数学的に厳密な方法で解決した画期的なアルゴリズムです。ICML 2015で発表され、ロボットの歩行制御やAtariゲームなど幅広いタスクで有効性が実証されました。

    TRPOの思想

    TRPOの一言でまとめると、「『絶対に改悪しない』という安全圏(信頼領域)を守りながら、できるだけ大きく学習を進める手法」です。従来の方策勾配法では、「崖から落ちないギリギリの範囲で、できるだけ大股で進みたい」という問題がありました。TRPOはこれを、数学的な制約として定式化しました。

    信頼領域とKL情報量

    TRPOでは、方策(AIの行動確率)を更新する際に、「更新前と更新後で、方策が変わりすぎていないか?」という厳しい制約(ブレーキ)をかけます。この「変わりすぎ」を測るために、KL情報量(Kullback-Leibler Divergence)という指標を使います。

    TRPOの最適化問題は以下のように定式化されます:

    max⁡θEs,a∼πθold[πθ(a∣s)πθold(a∣s)Aπθold(s,a)]\max_θ \mathbb{E}{s,a \sim π{θ_{old}}}\left[\frac{π_θ(a|s)}{π_{θ_{old}}(a|s)} A^{π_{θ_{old}}}(s,a)\right]

    subject to Es[DKL(πθold(⋅∣s)∣πθ(⋅∣s))]≤δ\text{subject to } \mathbb{E}s\left[D{KL}(π_{θ_{old}}(\cdot|s) | π_θ(\cdot|s))\right] ≤ δ

    • 目的関数: 報酬の期待値を最大化したい

    • 制約条件: 古い方策 πoldπ_{old} と新しい方策 πnewπ_{new} のKLダイバージェンスは、許容範囲 δ(信頼領域)以内に収めなさい

    この制約のおかげで、TRPOは理論上、安定した学習を行いやすくなります。

    TRPOのメリットとデメリット

    メリット:

    • 学習が非常に安定する: 突然性能が急落する(バカになる)ことがほぼない

    • パラメータ調整が楽: 学習率を細かく調整する必要がなく、信頼領域の広さ(δ)を決めるだけで済む

    デメリット:

    • 計算がとにかく重い: 制約を守りながら最適化するために、「ヘッセ行列(2階微分)」という巨大な行列計算や、共役勾配法(Conjugate Gradient)という複雑な処理が必要

    • 実装が難しい: 正しく実装するのに高度な数学的知識が必要

    TRPOは理論的には非常に美しいですが、計算コストの高さが実用上のボトルネックとなっていました。


    PPO:TRPOの簡略化と実用化

    TRPOの重い計算を何とかできないか――この課題に答えたのが、2017年にJohn Schulmanらが発表したPPO(Proximal Policy Optimization:近接方策最適化)です。

    # やっとここでPPOまできましたね

    PPOは現在よく利用される強化学習の手法になっています。OpenAIのGPT-3.5/4の強化学習フェーズ(RLHF)でも中心的に使われているとされています。

    PPOの立ち位置:TRPOの「いいとこ取り」

    PPOは、TRPOの複雑な数学(2階微分や制約付き最適化)を捨て、「Clipping(クリッピング)」という単純なトリックを使うことで、TRPOと同等の安定性を手に入れました。

    • TRPO: 数学的に厳密な「信頼領域」を計算して、そこからはみ出さないように慎重に進む(重装備)

    • PPO: 計算は簡単にするけど、もし変化しすぎたら強制的に無視(クリップ)する(軽装備で実用的)

    PPOの核心:Clipping(クリッピング)

    PPOの凄さは、学習の更新式(目的関数)に組み込まれた「Clip機能」にあります。まず、確率比 r(θ) を定義します:

    r(θ)=πθ(a∣s)πθold(a∣s)r(θ) = \frac{π_θ(a|s)}{π_{θ_{old}}(a|s)}

    • r = 1 なら変化なし

    • r = 2 なら確率が2倍になった

    • r = 0.5 なら半分になった

    PPOの目的関数(PPO-Clip)は以下のようになります:

    LCLIP(θ)=E[min⁡(r(θ)A,clip(r(θ),1−ε,1+ε)A)]L^{CLIP}(θ) = \mathbb{E}\left[\min\left(r(θ)A, \text{clip}(r(θ), 1-ε, 1+ε)A\right)\right]

    ここで ε は典型的には 0.1 〜 0.2 程度の値です。

    この式の意味は:

    • 確率比 r(θ) が [1-ε, 1+ε] の範囲内なら、通常通り更新

    • 範囲を超えたら、それ以上の更新を「クリップ」して無視

    具体的なイメージ:

    「今の行動はすごく良かった!」というデータが得られたとします。

    • 通常の方策勾配: 「よし!じゃあその行動をする確率を100倍にしよう!」→ 危険。もしそれがまぐれだったら、AIの方策が壊れてしまう

    • PPO: 「よし、確率を上げよう。でも、前回の1.2倍までしか認めないよ。それ以上極端に変えるのはリスクだから無視(Clip)するね」→ 安全。確実に一歩ずつ進むことができる

    この「単純な割り切り」のおかげで、難しい計算をせずとも学習が安定します。

    PPOのメリット

    PPOが世界中で使われている理由は以下です。

    1. 実装が簡単: TRPOのような複雑な行列計算が不要で、基本的な深層学習フレームワーク(PyTorchやTensorFlow)で簡単に書ける

    2. 計算が軽い: 1次微分(普通の勾配降下法)だけで済むため、計算速度が速い

    3. ハイパーパラメータに敏感ではない: 調整が必要な数値が少なく、デフォルトの設定でもそこそこ良い性能が出る

    PPOの実用例

    PPOは、様々な場面で実際に使われています:

    • ChatGPT (RLHF): 人間が書いた理想的な回答(報酬モデル)に合わせて、言語モデルを微調整する際にPPOが使われています。
      OpenAIはInstructGPT論文(2022年)でRLHFの手法を詳細に解説しています。

    • OpenAI Five (Dota 2): プロゲーマーチームに勝利したAIもPPOベースで学習されました。

    • ロボット制御: シミュレーション上のロボットを歩かせるタスクなどでも標準的に使われます。


    DPO:強化学習の簡略化への挑戦

    PPOが主流となった一方で、2023年に全く異なるアプローチが登場しました。スタンフォード大学のRafael Rafailov、Chelsea Finnらが発表したDPO(Direct Preference Optimization:直接選好最適化)です。

    これは、これまで解説してきた「強化学習(PPO)」の流れを根底から覆す手法です。

    DPOの核心思想

    DPOを一言で表すと、「『報酬モデル』も『PPO』も『Critic』も全部捨てて、普通の学習(教師あり学習)と同じくらい簡単な計算式だけで、人間好みのAIを作る手法」です。

    これまでの悩み:RLHFの複雑さ

    PPOは、「報酬モデル」と「Actor」と「Critic」を同時にメモリに乗せる必要があり、調整も複雑で、学習の失敗も起こりやすいという課題があります。

    DPOの研究者たちは「強化学習(PPO)がやろうとしている数式(最大化問題)を解いていくと、実は『報酬モデル』を使わずに、『人間の選んだデータ』から直接AIを更新する式に変換できる」という数学的な発見をしました。具体的には、RLHFの最適解が以下の形で書けることを示しました。

    # 気づいた時は気持ちよかっただろうな

    π∗(y∣x)=1Z(x)πref(y∣x)exp⁡(1βr(x,y))π^*(y|x) = \frac{1}{Z(x)} π_{ref}(y|x) \exp\left(\frac{1}{β}r(x,y)\right)

    この式を変形すると、報酬関数 r を方策 π で表現できます:

    r(x,y)=βlog⁡π∗(y∣x)πref(y∣x)+βlog⁡Z(x)r(x,y) = β \log \frac{π^*(y|x)}{π_{ref}(y|x)} + β \log Z(x)

    DPOの損失関数

    この発見により、DPOの損失関数は以下のようにシンプルになります:

    LDPO(πθ;πref)=−E(x,yw,yl)[log⁡σ(βlog⁡πθ(yw∣x)πref(yw∣x)−βlog⁡πθ(yl∣x)πref(yl∣x))]L_{DPO}(π_θ; π_{ref}) = -\mathbb{E}{(x, y_w, y_l)}\left[\log σ\left(β \log \frac{π_θ(y_w|x)}{π{ref}(y_w|x)} - β \log \frac{π_θ(y_l|x)}{π_{ref}(y_l|x)}\right)\right]

    ここで:

    • x: 入力(質問)

    • y_w: 勝ち回答(人間が選んだ良い回答)

    • y_l: 負け回答(人間が選んだ悪い回答)

    • σ: シグモイド関数

    • β: 温度パラメータ(元のモデルからどれくらい離れていいかを制御)

    つまり、面倒な「審査員(報酬モデル)」を作らなくても、「AとB、どっちが好き?」というデータ(選好データ)さえあれば、直接AIを賢くできることが証明されたのです。

    DPOの学習プロセス

    DPOの学習は単純です:

    1. データ用意: 「質問」と、それに対する「勝ち回答 ywy_w」と「負け回答yly_l」のペアを用意する

    2. 学習: 以下のルールでAI(ニューラルネット)を更新する

      • 「勝ち回答」を出す確率を上げる

      • 「負け回答」を出す確率を下げる

      • ただし、元のモデル(Reference Model)から離れすぎないようにする

    これだけです。Criticも、価値関数も、報酬モデルもいりません。計算の仕方は、普通の「分類問題(これは犬か猫か)」を解くのとほぼ同じ「Binary Cross Entropy(二値交差エントロピー)」を使うため、非常に安定しており、計算コストもPPOよりずっと低いです。

    改めてPPO vs DPO
    PPOは、Actor、Reference、Critic、Reward Modelの4つのモデルを同時に扱う必要があり、メモリ消費が非常に大きくなります。パラメータ調整も難しく、実装も複雑ですが、うまく調整できれば強力な性能を発揮します。

    一方DPOは、ActorとReferenceの2つだけで済むため、メモリ消費は大幅に軽減されます。学習も非常に安定しており、実装もSFTのコードを少し変えるだけで対応できます。学習が安定している分、性能を上げやすいという利点もあります。

    DPOの実用例

    DPOは、オープンソースAI界隈で爆発的に普及しました:

    • Meta社「Llama 3」: 現在、世界で最も使われているオープンモデル。技術レポートには、「PPOとDPOを組み合わせて使った」と明記されています。("The Llama 3 Herd of Models")

    • Hugging Face「Zephyr」:「Mistralという普通のモデルにDPOをかけたら、数倍大きいLlama 2(PPOで学習)よりチャット性能が良くなった!」という衝撃的な結果を出し、DPOブームの火付け役となりました

    • Alibaba「Qwen 2 / Qwen 2.5」:
      性能がGPT-4クラスだと話題の中国製モデルも、DPOを採用しています。

    DPOの普及理由
    PPOをやるには、超高価なGPU(H100など)が大量に必要で、GoogleやOpenAIのような大企業しかまともに扱えませんでした。DPOはメモリ消費が少なく計算も単純なため、大学の研究室や個人の開発者レベルでも「ChatGPTのような調整」が可能になりましたが、こうした便利さがDPOが普及した理由だと考えられます。

    DPOとPPO/GRPOの使い分け

    では、PPOはもう不要なのでしょうか?実は、そうとも言い切れません。それぞれの手法には得意分野があります。

    DPOが得意なこと(オフライン学習・スタイル調整):
    「もっと丁寧に喋って」「差別的なことは言わないで」といった、既存のペアデータから好みを学習させたい場合。学習が安定しており、計算コストも低いですが、データにある以上の未知の能力は引き出しにくいという特徴があります。

    PPO/GRPOが得意なこと(オンライン学習・探索):
    AIに何度も試行錯誤させて、データにはない「新しい解法」を自己発見(探索)させたい場合。報酬関数を定義できれば、数学・コードに限らず、推論タスク、画像生成、ロボット制御など幅広い領域で活用できます。特に同じアプローチをとるGRPOは、Criticモデルが不要なため、大規模モデルでの学習に適しています。


    GRPOへ

    ここまで、方策勾配法の進化を見てきました:

    • REINFORCE: 最も基本的な方策勾配法

    • Actor-Critic: Criticを導入して安定化

    • TRPO: 数学的に厳密な信頼領域で安全性を確保

    • PPO: TRPOを簡略化して実用化

    • DPO: 強化学習自体を避けて直接最適化

    そして、2024年にDeepSeekが提案したのがGRPO(Group Relative Policy Optimization)です。DeepSeekMath論文では、GRPOを「PPOの変種(variant)であり、数学的推論能力を高めつつ、PPOのメモリ使用量を最適化する手法」と説明しています。

    GRPOの初出:DeepSeekMath
    GRPOは、2024年2月に発表されたDeepSeekMathで最初に提案されました。その後、2025年1月のDeepSeek-R1で大きな注目を集めました。

    # やっとGRPOも出てきましたね。ここで一旦休憩してから戻ってきてください☕️

    GRPOの登場背景

    PPOは最強の手法ですが、LLMに適用しようとすると、ある「コストの問題」が発生します。

    • PPOの仕組み: Actor(文章を書くAI)と、Critic(それを評価するAI)の2つが必要。

    • 問題点: Actorが巨大(例:700億パラメータ)だと、Criticも同じくらい巨大である必要があります。つまり、メモリ(VRAM)が2倍必要になり、計算コストも跳ね上がります。

    「評価するためだけに、もう一つ巨大なAIを用意するのは重すぎる……どうにかしてActor単体で学習できないか?」この悩みを解決したのがGRPOです。

    GRPOの仕組み:「集団面接」方式

    GRPOは、Critic(専属コーチ)を雇うのをやめます。その代わり、「自分自身が作った複数の回答を比較する」ことで良し悪しを決めます。

    手順:

    1. Group Sampling(集団生成): ある問題 q に対して、AIに複数個(例えばG個)の回答 {o1o_1, o2o_2, ..., oGo_G} を生成させる

    2. Scoring(採点): その G 個の回答すべてに点数 rir_i をつける(正解なら1点、不正解なら0点など)

    3. Group Relative Advantage(相対評価): グループ内での相対的な良さを計算

    アドバンテージの計算式:

    Ai=ri−mean(r1,...,rG)std(r1,...,rG)A_i = \frac{r_i - \text{mean}({r_1, ..., r_G})}{\text{std}({r_1, ..., r_G})}

    Optimization(更新): この相対評価を使って、PPOと同じようにクリッピングしながら方策を更新します。GRPOの目的関数は以下のとおりです。

    LGRPO(θ)=Eq,oi[1G∑i=1Gmin⁡(ri(θ)Ai,clip(ri(θ),1−ε,1+ε)Ai)−β⋅DKL(πθ∣πref)]L_{GRPO}(θ) = \mathbb{E}{q, {o_i}}\left[\frac{1}{G}\sum{i=1}^{G} \min\left(r_i(θ) A_i, \text{clip}(r_i(θ), 1-ε, 1+ε) A_i\right) - β \cdot D_{KL}(π_θ | π_{ref})\right]

    直感的に理解しやすいように例え話にいきましょう。

    PPO vs GRPO の直感的比較

    わかりやすく「テスト勉強」で例えます:

    PPO(家庭教師方式):

    • 生徒(Actor)が回答を書くたびに、隣にいる先生(Critic)が「今の回答は80点の価値があるよ」と教えてくれる

    • デメリット: 先生を雇うお金が高い

    GRPO(偏差値方式):

    • 先生はいません。生徒(Actor)は、自分で64パターンの回答を一気に書きます

    • 「64個の中での平均点」を出し、「平均より出来が良かった回答」を正解として覚えます

    • メリット: 専属の家庭教師不要。

    # 64パターンも大変!と思った方もいると思いますが、学習的には後述するようにCriticaモデルを持つ方が大変なんです!!

    GRPOのメリット

    1. メモリ効率が圧倒的に良い:
    巨大なCriticモデル(価値関数)をメモリに乗せる必要がありません。これにより、同じ計算資源でもより大きなモデルを学習させたり、バッチサイズを大きくしたりできます。

    2. 汎用性が高い:
    GRPOは報酬関数を柔軟に設計できるため、様々なタスクに適用可能です。報酬の定義さえできれば、数学・コードに限らず、多様な領域で活用できます。

    GRPOの多様な応用例

    GRPOは当初DeepSeek-R1での数学的推論で注目されましたが、現在では様々な分野に応用が広がっています

    • LLMの推論能力向上: Chain-of-Thought(CoT)トレーニングの安定化・効率化(arXiv:2509.24494)

    • 画像・動画生成: 生成モデルを人間の好みに合わせて調整(arXiv:2511.16955)

    • 視覚言語モデル(VLM): 画像理解と推論の強化

    • ロボット工学: 連続制御タスクへの適用(arXiv:2507.19555)

    • 幾何学的問題解決: 補助構成の判断能力向上(arXiv:2506.07160)

    Hugging FaceのTRLライブラリにもGRPOTrainerとして実装されており、汎用的なLLMアライメントツールとして広く使われています。

    DeepSeek-R1での成功

    DeepSeek-R1は、GRPOとルールベースの報酬設計を組み合わせることで、驚くべき成果を上げました。

    報酬設計(検証可能なタスク向け):

    1. 正解報酬(Accuracy Reward): 数学問題やコードなど、正解を自動検証できるタスクで使用。最終的な答えが合っているかどうかを機械的に判定

    2. 形式報酬(Format Reward): 思考プロセスを `<think>...</think>` というタグの中に書いているかどうか

    重要なポイント: 「論理的に考えろ」とは一言も命令していません。ただ「タグを使え」「正解を出せ」と言っただけです。AIは「タグの中にたくさん文字を書いたほうが、なぜか正解する確率が上がるぞ?」と自ら気づき、勝手に長考(Chain of Thought)し始めました。

    さらに学習が進むと、誰にも教わっていないのに「自己修正(Self-Correction)」をし始めました。一度間違ったことを書いて、それを自分で否定して書き直すというプロセスを経たほうが、最終的に「正解報酬」をもらえる確率が高かったのです。これが、人間の教師なしにAI自身が「考える力」を獲得したメカニズムです。

    一般的なタスクへの拡張:
    なお、GRPOは報酬関数を自由に設計できるため、検証可能なタスク以外にも適用可能です。例えば、画像生成では人間の好みを学習した報酬モデルを使用し、ロボット制御では物理シミュレーションからの報酬を使用するなど、タスクに応じた報酬設計が行われています。


    DAPO:GRPOのさらなる改良

    GRPOの成功を受けて、さらなる改良版が登場しています。2025年3月、ByteDance社が発表したDAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)は、GRPOを基盤としながら複数の改良を加えた手法です。

    # DAPOもいっちゃいましょう!2025年の重要な手法の一つです

    DAPOの主な改良点

    DAPOはGRPOに対して以下の4つの改良を加えています:

    1. 非対称クリッピング範囲(Decoupled Clip)

    PPOやGRPOでは対称的なクリッピング範囲(例:±0.2)を使用していましたが、DAPOでは上限を拡張し、下限を維持します。

    clip(r,1−εlow,1+εhigh)clip(r, 1-ε_{low}, 1+ε_{high})

    例えば、下限 εlowε_{low} = 0.2、上限 εhighε_{high} = 0.28 とすることで、良い行動をより積極的に強化できます。これにより、モデルの探索能力が向上します。

    2. 動的サンプリング(Dynamic Sampling)

    トークンごとの確率に基づいてサンプリング回数を動的に調整し、学習効率を高めています。すでに高い確率で正解できるサンプルには少ないリソースを、難しいサンプルにはより多くのリソースを割り当てます。

    3. トークンレベルの損失関数

    GRPOはシーケンス全体に対して報酬を与えますが、DAPOではトークンごとの損失を考慮することで、より精緻な学習が可能となっています。

    4. 超長出力のフィルタリングとペナルティ

    LLMの強化学習では、報酬を稼ぐために過度に長い出力を生成する問題(報酬ハッキング)が発生しがちです。DAPOでは:

    • 極端に長い出力をフィルタリング

    • ソフトな長さペナルティを導入

    これらの改良により、DAPOはGRPOよりもさらに高い性能と学習効率を実現しています。

    GRPOからDAPOへの進化

    GRPOでは対称的なクリッピング(±ε)を使っていましたが、DAPOでは非対称なクリッピング(異なるεlowε_{low}, εhighε_{high})を導入し、探索能力を向上させています。サンプリングについても、GRPOが固定だったのに対し、DAPOでは難易度に応じて動的に調整します。損失関数はGRPOがシーケンスレベルだったのをDAPOではトークンレベルに変更し、より精緻な学習を可能にしました。また、GRPOにはなかった長さ制御についても、DAPOではフィルタリングとペナルティを導入して対応しています。

    DAPOは、GRPOの「Criticを排除して効率化」という設計思想を継承しながら、実際の大規模学習で発生する問題(探索不足、報酬ハッキングなど)に対処した実践的な改良版と言えます。


    まとめ

    本記事では、LLMの強化学習における主要手法を、REINFORCE → Actor-Critic → TRPO → PPO → DPO → GRPO → DAPO という流れで解説しました。

    PPOは、ActorとCritic、そして報酬モデルを組み合わせた手法です。クリッピングによる安定した学習が特徴で、ChatGPTのRLHFで採用されるなど、汎用性の高さが強みです。ただし、複数のモデルを同時に扱う必要があり、計算コストが高くなります。

    DPOは、報酬モデルもCriticも使わず、人間の選好ペアデータから直接LLMを学習させる手法です。実装がシンプルで学習も安定しているため、多くのオープンソースモデルで採用されています。一方で、学習中に新しい回答を生成して探索する能力は限られます。

    GRPOは、PPOからCriticを排除し、グループ内での相対評価によってアドバンテージを計算する手法です。報酬関数さえ定義できれば学習でき、大規模モデルでもメモリ効率が良いのが強みです。DeepSeek-R1で採用され、推論能力の向上に貢献しました。

    DAPOは、GRPOをさらに改良した手法です。非対称クリッピングによる探索能力の向上、動的サンプリングによる効率化、トークンレベルの損失関数など、大規模学習で発生する問題に対処した実践的な改良が加えられています。

    自社のワークフローにAIをカスタマイズしたいとき、「正解データが十分に確保できない」という課題は多くの企業で発生します。RLは評価基準さえ定義できれば学習を進められるため、この課題に対する有力な解決策となりえます。本記事で解説した手法の進化を理解しておくことで、いざ自社でRLを活用する際の選択肢が広がるはずです。その助けになっていれば幸いです!

    最後に私が所属するW&Bでは、W&B TrainingsというLLMのためのRLツールを新しくリリースしました。学習用のGPU server自体を提供したりと面白いツールになっており、合わせて以下のブログも書いたので是非ご確認ください!



     
     
    因果推論からML、今は生成AIをメインに営むW&BのAI Solution Engineerです! X: https://x.com/olachinkei 趣味: ワイン(ワインエキスパート)・ハーレー

    あなたへのおすすめ