推理模型为何越思考越强：Hands-On Modern RL推理时计算扩展与思维链训练揭秘
项目地址: https://gitcode.com/gh_mirrors/ha/hands-on-modern-rl 🧠 开源教程 Hands-On Modern RL 带你从零搭建强化学习知识体系：从经典 RL 概念出发，一路打通 LLM 对齐、RLVR 与 Agentic 系统，其中第 19 章专门拆解推理模型的核心机制——推理时计算扩展（Test-Time Scaling）与思维链训练（Chain-of-Thought Training）。这篇文章用最直白的方式回答一个问题：为什么 o1、DeepSeek-R1 这类模型"想得更久，答得更对"？额外算力到底花在了哪里？
先看懂失败模式：为什么"多想想"真的有用
传统语言模型一次连续生成，第一步算错，后面几百个 token 只能沿着错误路径继续跑。推理模型改变了这一点：在给出答案之前，先在轨迹里展开中间思考——比较候选方法、调用工具检查结果、必要时推翻重来。
关键洞察是区分两类失败：
- 知识型失败：模型根本没掌握所需知识，只能靠继续训练解决
- 采样型失败：模型会做，但这次选错路线、算错数字——这类失败可以用推理时计算补救
训练计算决定能力上限，推理计算决定你能否接近这个上限。
2024 年 9 月 OpenAI 发布 o1 后，推理投入变成了可调档位（reasoning_effort）：翻译任务给低档、竞赛题给高档。产品接口已经允许系统按任务难度调节推理预算，这正是"越思考越强"的工程化表达。
思维链训练揭秘：R1-Zero 的纯强化学习路线
🎯 一个更惊人的实验是 DeepSeek 的 R1-Zero：不给模型看任何人工编写的思维链（CoT），只给题目 + 可自动验证的答案，用 GRPO 强化学习直接训练。训练循环只有四步：
- 从题库采样题目
- 当前策略对每题独立生成 G 个回答
- 规则验证器判断每个回答的对错（答案比对、运行测试）
- GRPO 做组内比较：高于组内均值的回答被强化，低于均值的被抑制
几个反直觉但重要的细节：
- 奖励函数里没有"反思""验算"这些词，只奖励最终答案正确
- 但"先验算一遍再回答"的行为因为最终答对率更高，被间接强化了出来
- 全对或全错的题目不产生学习信号，难度居中（答对率 0.3~0.7）的题才是梯度来源
- 训练中出现的"Aha Moment"——模型主动停下来写"等等，我刚才好像算错了"——正是结果奖励强化反思行为的可见证据
观察这条训练曲线就能发现：响应长度（下方子图）随训练逐步变长，而奖励均值（右上）同步上升——思考链变长与正确率提升是同一个强化过程的两个侧面。
推理时计算扩展：同样的模型，三种"加思考"的花法
参数训练完固定不变后，推理阶段还能怎么加计算？test-time-scaling.md 总结了三种基本花法：
| 用法 | 做法 | 适合场景 |
|---|---|---|
| 并行采样 Best-of-N | 生成 N 条候选，用验证器挑最优 | 早期方向可能选错、有可靠验证器 |
| 顺序修订 | 生成初稿→批评→修订，迭代 K 轮 | 局部错误容易定位（如代码修一个 bug） |
| 树搜索 | 中间步骤展开成树，把预算集中在高分路径 | 需要复用中间结果又不困在单条路径 |
并行采样有清晰的理论上限：单次正确率为 p 时，N 条候选至少一条正确的覆盖率为 $1-(1-p)^N$。但边际收益按几何级数衰减——p=0.2 时第 16 条候选只贡献 0.6 个百分点。这就是为什么部署时必须设计停止条件：答案已通过验证、高分候选趋于一致时就不再烧算力。
⚡️ 还要注意一个常见误区：并行缩短的是等待时间，不会消除总计算量。该花的 token 一个不少，只是摊到多张 GPU 上同时跑。
思考预算控制：如何避免"思考过头"
越思考越强，但思考不能无限——简单题思考一万个 token 纯属浪费。hybrid-thinking.md 介绍了工业界的两层控制：
- 双模式路由（Hybrid Thinking）：同一模型同时支持"直接回答"和"长思考"两种接口（如 DeepSeek V3.1 的 chat/reasoner 双端点、Qwen3 的模板标记），简单题快速返回，难题展开推导
- Thinking Budget：给思考过程设 token 上限，同一模型形成不同"质量—延迟"工作点
更进一步的是自适应思考（见 adaptive-thinking.md）：把判断权交给模型，让它根据任务难度和当前进展自己决定还要算多久，开发者只用 effort 档位和硬上限框住边界。其背后的训练目标可以写成：
$$r_{\text{total}} = r_{\text{task}} - \lambda C$$
任务奖励减去成本惩罚——模型自然学会"翻译少想、竞赛题舍得想"。而 long2short 压缩技术（如 Kimi k1.5 的组内长度奖励）则让模型在保持正确率的前提下把思考链压短：先在"都能答对"的前提下偏好更短的回答，而不是强行要求所有题都短。
延伸阅读：跟着教程亲手验证这些机制
本教程的所有章节都配有可运行代码，你可以亲手复现上面的结论：
- 推理模型全景与 o1 解析：emergence-and-o1.md
- R1-Zero 训练循环详解：r1-zero-pure-rl-reasoning.md
- 推理时计算扩展与预算分配：test-time-scaling.md
- GRPO 与 RLVR 算法细节：grpo-practice-and-mechanism.md
- 推理链该不该展示给用户：cot-visibility-alignment.md
- 数学推理 GRPO 训练代码：grpo_math_reasoning.py
一句话总结："越思考越强"的本质，是 RL 训练让模型学会了把计算花在刀刃上，而推理时计算扩展让这份能力在部署时按任务难度伸缩。这正是现代推理模型区别于传统 LLM 的核心所在。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
