メインコンテンツへスキップ
見出し画像

ChatGPTはなぜ「人間らしく」なったのか:RLHF(人間フィードバックによる強化学習)を図解する

    前回の記事「生成AI×強化学習──エンジニアなら知っておきたい『AIが賢くなる仕組み』」を読んでくださった方、ありがとうございます。

    おかげさまで多くの方に読んでいただき、「続きが読みたい」というお声もいただきました。

    今回はその続編として、前回さらっと触れたRLHF(Reinforcement Learning from Human Feedback)を深掘りします。

    「ChatGPTがなぜあれほど自然な会話ができるのか」——その核心がここにあります。

    前回の記事を読んでいなくても読めるように書いていますが、読んでいると理解がより深まります。


    この記事で扱うこと

    • RLHFとは何か、なぜ必要なのか

    • RLHFの3ステップを図解で理解する

    • 「報酬モデル」という概念を具体的に掘り下げる

    • エンジニアの実務にどう関係するのか(全職種向け)

    • RLHFの限界と、その先の手法(DPO・GRPOへの接続)


    よくある誤解から始めます

    「ChatGPTは大量のテキストを学習したから賢いんでしょ?」

    半分正解で、半分は違います。

    大量テキストの学習(事前学習)だけでは、ChatGPTは生まれません。 事前学習だけのモデルは、質問に対して「それらしい続き」を生成するだけです。

    たとえば「自殺の方法を教えて」という質問に対しても、 ネット上の文章に続きそうな内容を平然と返してしまいます。

    RLHFは、この「言語は流暢だが人間には有害・不適切」な状態を、「人間にとって役立ち、安全で、誠実」な状態に変える技術です。

    ChatGPTのあの自然さは、膨大な学習量だけでなく、 RLHFという「人間との対話で磨かれるプロセス」があって初めて実現しています。


    1. RLHFが必要な理由——「賢い」と「良い」は別物

    事前学習で作られたモデルには、3つの根本的な問題があります。

    問題①:有害なコンテンツを生成する
    ネット上のテキストには差別的・暴力的な表現も含まれます。 それをそのまま学習したモデルは、同じような表現を生成します。

    問題②:嘘をつく(ハルシネーション)
    「それらしい文章を生成する」ことが目的なので、 知らないことでも自信満々に答えてしまいます。

    問題③:ユーザーの意図を汲まない
    「短く要約して」と言っても長文を返す、 「子ども向けに説明して」と言っても専門用語だらけで返す—— こういったことが起きます。

    これら3つをまとめて「アライメント問題(Alignment Problem)」と呼びます。 「モデルの目的」と「人間が本当に望むこと」がズレている状態です。

    RLHFはこのズレを、人間のフィードバックを使って修正する手法です。


    2. RLHFの3ステップを図解する

    RLHFは大きく3つのステップで構成されます。

    画像

    Step 1:SFT(Supervised Fine-Tuning)——「良い回答」の基礎を教える

    まず、人間が書いた「良い回答の例」を大量に用意します。

    • 質問:「Pythonでリストをソートする方法は?」

    • 良い回答例:「sorted()関数を使います。元のリストを変更しない場合は……」

    このペアデータを使って、モデルに「こういう質問にはこう答えるべき」という 基礎的な振る舞いを教え込みます。

    ただし、このステップだけでは不十分です。 すべての質問に対して「正解例」を用意するのは不可能だからです。


    Step 2:報酬モデルの訓練——「良い回答」を判定するAIを作る

    ここがRLHFの最も重要なポイントです。

    人間が「すべての回答を評価し続ける」のは現実的ではありません。 そこで「人間の代わりに良し悪しを判定するAI(報酬モデル)」を作ります。

    手順はこうです。

    1. 同じ質問に対して、モデルに複数の回答を生成させる

    2. 人間のアノテーター(評価者)が「AとBどちらが良いか」を選ぶ

    3. この「人間の好み」のデータで、報酬モデルを訓練する

    ポイントは「AかBか」という選択形式にした点です。

    「この回答のスコアは75点」と絶対評価で採点するより、 「AよりBの方が良い」という相対評価の方が、 人間が一貫して判断しやすいことがわかっています。

    画像

    【つまずきポイント①】 「報酬モデル」と「生成モデル」の違いで混乱する方が多いです。 生成モデルは「文章を作る」モデル。 報酬モデルは「文章の良し悪しをスコアで返す」だけのモデルです。 役割が全く異なります。出力はスコア(数値)1つだけです。


    Step 3:PPOによる強化学習——報酬を最大化するように学習する

    報酬モデルができたら、いよいよ強化学習本番です。

    生成モデルが回答を出す → 報酬モデルがスコアをつける → スコアが高い回答を生成しやすくなるようにモデルを更新する

    この繰り返しで、モデルは「人間に高評価される回答」を どんどん生成できるようになっていきます。

    ここで使われるアルゴリズムがPPO(Proximal Policy Optimization)です。 前回の記事で触れた「一歩ずつ着実に学習する」手法です。

    なぜPPOが必要なのか?

    単純に「スコアが高い方向に全力で更新する」と、 モデルが「報酬モデルの弱点をついた高スコアの回答」を生成し始めます。

    たとえば「とにかく長文を返せば高スコアになる」ことを学習して、 無意味に長い回答を返し続けるようになる——これを「報酬ハッキング」と呼びます。

    PPOは更新幅を制限することで、この暴走を防ぎます。

    画像

    【つまずきポイント②】 「元のモデル(SFTモデル)から離れすぎない」という制約(KLダイバージェンス)も同時にかかっています。 報酬を最大化しようとするあまり、日本語が崩壊したり人格が変わったりするのを防ぐための安全装置です。 PPOとKL制約がセットで機能して初めて、RLHFは安定します。


    3. RLHFで何が変わるのか——Before / After

    RLHFを適用すると、モデルの振る舞いはどう変わるのか。 具体例で見てみます。

    質問:「ダイエットのために食事を抜いてもいいですか?」

    RLHF適用前(事前学習のみ): 「はい、カロリー制限は有効な減量方法です。1日1食にすることで……」 (有害な情報をそのまま返す)

    RLHF適用後: 「食事を完全に抜くことは、栄養不足や代謝低下のリスクがあります。 医師や栄養士に相談しながら、バランスの取れた食事制限をおすすめします。」 (安全性・誠実さを重視した回答)

    この変化はプログラムのルールで実装されているのではありません。 人間のフィードバックから学習した「好み」が反映されています。


    4. エンジニアの実務にどう関係するのか

    MLエンジニア / データサイエンティスト

    自社データでLLMをカスタマイズする際、RLHFの仕組みを理解していると設計の選択肢が広がります。

    「正解データを大量に用意できない」場合でも、 「AとBどちらが良いか」という比較データなら集めやすいことが多いです。 報酬モデルを使ったアプローチが有力な選択肢になります。

    バックエンド / インフラエンジニア

    PPOの学習にはActor・Critic・報酬モデルの3モデルを同時に動かす必要があります。 GPUメモリの消費量は事前学習の3〜4倍になることもあります。 インフラ設計の際、この特性を知っているかどうかで見積もりの精度が変わります。

    フロントエンド / アプリケーションエンジニア

    RLHFで調整されたモデルは「安全・誠実・役立つ」を優先します。 この特性を知っていると、プロダクトの制約設計がしやすくなります。

    たとえば「なぜClaudeはこの質問に答えないのか」を理解した上で、 システムプロンプトやガードレールの設計ができるようになります。

    全エンジニア共通:プロンプトエンジニアリングへの応用

    RLHFで学習されたモデルは「人間に高評価される回答を生成しようとする」傾向があります。

    つまり、「評価されやすい指示の出し方」をすると、モデルはより良い回答を返します。

    • 役割を与える(「あなたはシニアエンジニアです」)

    • 評価基準を明示する(「簡潔さと正確さを重視してください」)

    • フィードバックを与える(「この回答は長すぎます。半分にしてください」)

    これらが効果的なのは、RLHFで「人間の評価を最大化するように」訓練されているからです。


    5. RLHFの限界——なぜ次の手法が生まれたのか

    RLHFは強力な手法ですが、3つの限界があります。

    限界①:コストが高い
    人間のアノテーターを大量に雇って、膨大な回答ペアを評価させる必要があります。 ChatGPTの開発にはこのプロセスに莫大なコストがかかったと言われています。

    限界②:実装が複雑
    3つのモデル(生成モデル・報酬モデル・参照モデル)を同時に管理する必要があり、 学習が不安定になりやすいです。

    限界③:報酬ハッキングのリスク
    前述のとおり、モデルが報酬モデルの弱点をついた「ズルい回答」を学習するリスクが残ります。

    これらの限界を解決しようとして生まれたのが、前回の記事で紹介したDPO・GRPO・DAPOです。

    特にDPOは「報酬モデルを使わずに、直接人間の好みから学習できる」という 革命的なアプローチで、RLHFの実装コストを大幅に下げました。


    まとめ

    RLHFの流れを整理します。

    1. SFT:人間が書いた良い回答例でモデルの基礎を作る

    2. 報酬モデルの訓練:「AとBどちらが良いか」という人間の比較データで、好みを学習するAIを作る

    3. PPOによる強化学習:報酬モデルのスコアを最大化するようにモデルを更新し続ける

    この3ステップが、「大量テキストを学習した賢いAI」を「人間にとって安全・誠実・役立つAI」に変えます。

    ChatGPTが「なんとなく話しやすい」のは、偶然でも魔法でもありません。 何百万もの「どちらが良いか」という人間の判断が積み重なった結果です。


    生成AIを「使う」立場のエンジニアにとって、 「なぜそのモデルがそう振る舞うのか」を知ることは、 道具をより深く使いこなすことに直結します。

    次回は、RLHFの限界を突破したDPO(Direct Preference Optimization)を深掘りする予定です。

    前回・今回の記事が良かったと思ったら、スキを押してもらえると次を書く励みになります。


    前回の記事はこちら


    佐藤賢治 — MLエンジニア / 元宇宙物理学研究者 X: @horizon_IT00 / note: horizon_it00

     
     
    経歴:宇宙学→機械学習→生成AI(現在)→起業(未来) 実績:Signateグランドマスター / 総合7位。 「再現性ある成果を出し続けるエンジニア」になるための 実践知を発信しています。 特に生成AIツールの活用・AI実装を発信しています。

    あなたへのおすすめ