メインコンテンツへスキップ
見出し画像

2025年W&Bが注目するLLMにおける強化学習のトレンドとW&B Training

    2025年Weights & Biasesは、強化学習を実用化する大きな一歩として強化学習のライブラリー"Agent Reinforcement Trainer(ART)"を提供するOpenPipeを買収し、W&B Trainingをリリースしました。

    例えば、W&B Trainingの中のServerless RLは、ARTによる高機能な強化学習フレームワークと、CoreWeaveが提供するGPUクラスタを組み合わせることで、強化学習において最大の課題だった「GPUリソースの確保」と「複雑なインフラ管理」というハードルを取り除き、あらゆる企業やエンジニアがRLをより低いハードルで活用できる革新的なソリューションを実現しています。

    このブログでは、W&Bが注目するLLMの強化学習のトレンドとW&Bが提供するW&B Trainigsについて紹介をします。

    画像

    CoreWeaveによるWeights & Biasesの買収
    CoreWeaveはWeights & Biasesを2025年5月に買収しました。この買収により、CoreWeaveの強力なクラウド/GPUインフラと、W&Bの機械学習モデル開発/監視ツールが統合され、AIの「開発→訓練→デプロイ→運用」を一気通貫するエンドツーエンド環境が実現しました。W&Bのサービスは変わらず提供されます。


    なぜ今、RLがAIエージェントに不可欠なのか

    強化学習と聞いて、まず思い浮かぶのはチェスや囲碁でしょう。実際、RLの初期の大きな成功は、こうしたゲーム分野で生まれました。明確なルールが定義された環境の中で、エージェントは何百万回もプレイを繰り返し、やがてトッププレイヤーをも上回る戦略を見出していきます。

    RLはLLM開発にも利用されるようになってきました。現代のLLM開発は、大きく2つのステップで進みます。まず、大量のテキストデータで事前学習(Pretraining)を行い、言語の基礎能力を身につけます。そして次に、人間の意図に沿った振る舞いができるよう、事後学習で調整します。この事後学習の段階で強化学習が使われてきました。例えば、2022年、ChatGPTの爆発的な普及を支えたのがRLHF(Reinforcement Learning with Human Feedback:人間のフィードバックによる強化学習)でした。人間の好みに基づく報酬を使ってモデルを調整することで、自然で有用な回答ができるAIが誕生したのです。

    画像

    それ以降、RLは進化を続けています。PPO(Proximal Policy Optimization)、GRPO(Group Relative Policy Optimization)、DPO(Direct Preference Optimization)といった手法が次々と登場し、より効率的で安定した学習が可能になってきました。特に、DeepSeek-R1のような推論能力に優れたモデルは、GRPOを使って「自己修正」という能力を獲得しています。

    PPOやGRPOの解説については、以下のブログをご参照ください。

    高度なAI研究所は、すでにこうした最先端のRLを実践しています。しかし、彼らがリリースするモデルは汎用的に作られているため、企業が独自のワークフローで使おうとした際、そのままでは実際のユーザーニーズを満たせないケースは少なくありません。そこで登場するのがオンザジョブRL、つまり実務での追加学習です。企業固有のタスク――たとえばカスタマーサポート、社内文書の要約、専門分野の質疑応答など――に特化してモデルを調整することで、信頼性・レイテンシ・コストが本番レベルに引き上げられます。


    SFT vs RL:なぜRLがエージェントタスクで優位なのか

    LLMをカスタマイズする手法として、教師ありファインチューニング(SFT)と強化学習(RL)の2つがあります。どちらも有効な手法ですが、アプローチと成果には大きな違いがあります。

    SFTは、ラベル付きの「入力と出力のペア」を使って、参照回答の尤度を最大化するようにモデルを訓練します。簡単に言えば、「この入力にはこの出力」という正解データを大量に学習させる方法です。

    一方、RL事後学習では、人間の好み比較やシミュレーター、プログラマティックなチェックから得られる報酬シグナルに対して、方策(ポリシー)を最適化します。正解データは不要で、「良い結果」を評価する基準さえあれば学習が進みます。

    SFTが数千〜数万の正解データを必要とするのに対し、RLは厳選された約20〜300程度の驚くほど少ないデータで効果を発揮します。自社のワークフローで機能するAIエージェントを開発する際、十分なデータが確保できないという問題が多くのケースで生じますが、RLはこの点において優れていると言えます。

    また、「完璧な正解(Golden Answers)」を用意する必要がなく、「タスクが完了したか」「エラーが発生したか」といったシンプルな評価基準を設定するだけで学習が進みます。

    W&B Trainingの提供開始

    一方で、強化学習には大きな価値があるにもかかわらず、多くの企業にとって導入は非常に困難でした。その主な理由は、GPUリソースの不足と、複雑なオーケストレーション作業にあります。資金力のあるAI研究所であれば専用GPUを確保し、クラスターを最適化し、独自のRLスタックを維持できますが、一般的な企業にはそれが難しく、プロバイダの選定やGPU枠の確保、ローンチスクリプトの作成やクラスターの調整などに何日も費やさなければなりません。

    こうしたボトルネックを解消するため、W&B Trainingは業界初のパブリックなServerless RLを提供しました。これにより、CoreWeaveのGPUリソースへ即時にアクセスでき、スケーリングも自動で行われるため、複雑な準備は一切不要です。また、OpenPipeが提供するオープンソースのAgent Reinforcement Trainer (ART) やRULER、そしてW&B ModelsやWeaveとも統合されており、GPUやインフラについて悩むことなく、RL事後学習を進めることができます。

    W&B Trainingの最初のリリースには、主に3つのコンポーネントが含まれています:

    • ART統合:人気のオープンソース強化学習トレーナー「Agent Reinforcement Trainer(ART)」がサービスに組み込まれています。詳しくはARTのGitHubリポジトリをご覧ください

    • RULER:強化学習の報酬を汎用的に検証するオープンソースの「RULER」もART経由で利用できます

    • Serverless RL:CoreWeaveのGPUクラスター上で実行され、オーケストレーションや自動スケーリングが自動化された、サーバーレス型の強化学習基盤です

    画像

    基本的な使い方はとてもシンプルです。自分の環境やエージェントのコードを書き、ARTで数行RLの設定を追加し、「エージェントにどんな場面で学習させたいか」(例: メールエージェントに尋ねるような質問など)をシナリオとして与えるだけ。そのうえで、ARTのトレーニングループのバックエンドとして「Serverless RL」を選択すれば、あとはエージェントが環境を探索し、報酬を集め、モデルのLoRA(低ランク適応)重みを自動的に更新してくれます。

    裏側では、Serverless RLがARTからのロールアウトリクエストをW&B Inferenceクラスターに自動でルーティングし、トレーニングステップは別のGPUクラスタに送られます。ART側でRLループ(トレーニングの開始・終了や推論への切り替えタイミングなど)を完全にコントロールでき、Serverless RLはトレーニング中も推論用のLoRA重みをホットスワップしてオンポリシーを維持するため、常に最新の推論バージョンでロールアウトが行われます。

    さらに、Serverless RLはすべてのトレーニングステップでメトリクスやトレースをWeights & Biasesに自動記録し、W&B Modelsで監視しながらW&B Weaveでロールアウトごとの詳細を可視化でき、LoRAヘッドのチェックポイントや最終版の重みもW&B Registryに自動で保存されるため、収束状況や安定性の可視化や成果物管理まで一気通貫で簡単に行えます。


    画像
    W&B Modelsによるトラッキング例


    画像
    W&B WeaveによるTrace例

    推論環境も最初から統合済みです。トレーニング済みモデルを自分でダウンロード・デプロイする必要はありません。準備ができたら、Serverless RLのAPI経由で推論をすぐ実行できます。適用したいLoRA重みを指定するだけで、サービス側がW&B Registryから必要な重みを自動で読み込んでくれます。

    以下で、インフラ面でのメリットを詳しく解説します。

    面倒なRLインフラ構築からの解放

    Serverless RLは、従来の自前でRLインフラを構築・運用する場合と比べて、初心者から熟練の実践者まで、あらゆるレベルの開発者にとって格段に優れた体験を提供します。これまでGPUインフラの管理やトレーニングジョブの障害対応――たとえば一晩かけて実行したのに「CUDAのメモリエラー」で失敗するようなトラブル――はRL現場の大きな悩みの種でした。しかしServerless RLを使えば、こうしたインフラ管理やトラブル対応を一切心配することなく、トレーニングに集中できます。

    また、RLの開発は一度モデルを作って終わりではなく、実験を重ねてエージェントの挙動を確認し、時には報酬関数を変更したり、ロールアウトの設定を微調整したりと、繰り返し試行錯誤するサイクルの連続です。従来はそのたびにジョブやコード全体を再起動しなければならず、GPUへのロードや再初期化で多くの時間を浪費していました。Serverless RLでは、トレーニングや推論がリモート環境で常時稼働しているため、ループや関数を変更してもすぐに反映され、すぐに結果が確認できます。この高速なフィードバックループによって、開発効率が飛躍的に向上します。

    また、これまでGPUクラウドの選定やインフラ構築、動作確認のための煩雑な作業に数時間から数日かかっていたものが、Serverless RLならW&BアカウントとAPIキーを登録するだけですぐにジョブを走らせることができます。RLの実験を始めるハードルが大きく下げることを実現しています。

    大幅なコスト削減と高速化を実現

    開発者がより快適に使えるだけでなく、Serverless RLはトレーニングのスピードやコスト面でも大きなメリットがあります。

    たとえば、OpenPipeのART-EタスクでローカルのH100 GPUとServerless RLを使って、同じQwen 2.5 14Bモデルをトレーニングしてみました。その結果、Serverless RLならトレーニングコストが40%も削減でき、実行時間も28%短縮されました。しかも、出来上がったモデルの品質はそのまま変わりません。

    なぜServerless RLでここまでコストや時間を削減できるのか。その理由を知るには、「RLトレーニング中のGPUの使われ方」を理解する必要があります。

    強化学習(RL)の学習ループでは、通常「多数の並列ロールアウト → その結果を使って学習」という流れを繰り返します。ところが、ロールアウト(エージェントの試行)は実行時間に大きなばらつきがあります。

    • ほとんどのロールアウトは比較的早く終わる

    • 一方で、一部のロールアウトだけが長時間かかる(=ストラグラー)

    GPU は多数のロールアウトを同時に捌いている間は高い利用率を保ちますが、最後の数個のロールアウトが終わるのを待つ間はほぼ遊んでしまうため、利用効率が大幅に下がります。これがいわゆる「ストラグラー問題」です。

    この現象を私たちは「ストラグラー問題」と呼んでいます。これまでも、開発現場では様々なアプローチで対策されてきました:

    • とりあえず放置:そのまま実行し、GPUの無駄を容認する。これが最も一般的でした。

    • 非同期RL:終わったロールアウトから順に学習に回し、遅いロールアウトは次のステップに回す方式です。ただしこれは、ロールアウトを生成したモデルと、学習時点のモデルが異なるという off-policy の問題を避けられません。このズレは学習の安定性を損ねることがあります。

    • 早めにカット:なかなか終わらないロールアウトを途中で打ち切るやり方。ただし、時間がかかる実行は時にモデルが難問を克服した証拠かもしれず、その情報を捨ててしまうことになります。

    W&B Inference のサーバーレス基盤を用いると、ロールアウト生成を多数の GPU に自然に散らしながら進められるようになります。この仕組みのポイントは、1つの学習ジョブに紐づく GPU の空き時間を、他のジョブのロールアウト要求が自動的に埋めるという構造にあります。従来のように「1台の GPU を専有し続ける」形では、ストラグラーによって GPU が遊んでしまう時間がどうしても生じますが、サーバーレス環境ではその隙間を別のジョブが利用するため、クラスタ全体としての GPU 利用率が高い状態で維持されます。しかも料金は実際に生成されたトークン数に比例するため、長時間 GPU を占有する従来方式よりもコスト効率が良くなり、ART-E の例では品質を保ったまま約 40% のコスト削減につながったとされています。

    画像

    また、ロールアウトを一斉に開始するタイミングでは、通常は GPU が詰まりやすく、最初のバーストで処理が待ち行列になりがちです。しかしサーバーレス方式ではロールアウト要求が多数の GPU に水平に広がるため、一台に負荷が集中する状況が避けられます。プロジェクトごとに 2000 リクエストまで同時に処理できる仕様になっており、大規模実行に強い構造になっています。こうした特性が組み合わさることで、ロールアウト生成の効率化と、各ステップの処理速度向上が同時に実現します。結果として、学習全体の経過時間が短くなり、ART-E プロジェクトでは 22 時間かかっていたものが 16 時間へと短縮された、という報告につながったわけです。

    画像

    そのため、自分でGPUマシンを用意するよりもずっと安くトレーニングできます。ART-Eプロジェクトでも、モデルの精度はそのままにコストを40%削減できました。

    継続的学習への道

    我々が目指しているのは、すべてのエージェントが実際の環境から継続的に学習できる世界を作ることです。強化学習はもっと簡単で、ほぼ自動的に使えるものであるべきだと考えています。エージェントが環境との対話を通じて、自然に学び続けていく――そんな未来を目指しています。

    これまでリリースされてきたART(エージェントの強化学習トレーニングの簡易化)やRULER(自動報酬モデル)は、その実現に向けたステップでした。

    Serverless RLは、そこからさらに前進したものです。これまでRLチームの大きな悩みだったインフラ管理の手間をなくし、オンラインでの継続的な学習も手軽にできるようになっています。すでに本番グレードの推論クラスターでRLサービスの推論が支えられており、トレーニングはオンデマンドで動かせるため、技術的にはすぐにでも継続的学習に使うことができます。

    今後も、こうした方向性をさらに推し進める発表を予定していますので、ご期待ください…🙂


    W&B Trainingを始める

    ドキュメントはこちらからご覧いただけます。現在、Serverless RLが対応しているモデルは限定的ですが、今後続々と対応モデルを増やしていく予定です。もちろん、ART内でローカルGPUを使ったトレーニングも引き続きサポートしています!


    まとめ

    強化学習を用いたAIエージェントの開発の障壁が大きく下がってきました。W&B TrainingのServerless RLによって、GPUインフラの確保や複雑な設定に悩むことなく、すぐにRL事後学習を始められるようになったのです。

    現在、数多くのユースケースでServerless RLが利用され、実検証がどんどん進んでいます。カスタマーサポート、社内文書処理、専門分野での質疑応答など、企業固有のワークフローに特化したAIエージェントが、RLによって実用レベルに引き上げられています。今後の事例にご注目ください!

    おまけ

    強化学習をトピックにしたMonthly Meetupを2025年最後に企画しています!是非ご参加ください。

    また、Weights & Biases 本第3版が技術書典に出されました!オンラインでも手にいれることができるので、本の形式がお好みの方は是非以下からゲットしてください。


     
     
    Weights & Biases は、世界で50万人を超えるML開発者が利用するモデル開発プラットフォームです。OpenAI、NVIDIA、Toyotaなど世界のAI開発の最先端企業がML開発を加速するためにW&Bを取り入れています。 https://www.wandb.jp/

    あなたへのおすすめ