拒绝采样微调：如何通过高质量推理路径提升大模型性能

关注

VIP免费原创最新推荐文章于 2026-09-06 12:25:13 发布 263 阅读 AI 写同款· GEO 优化 ›

拒绝采样微调方法拒绝采样微调（Rejection Sampling Fine-Tuning, RFT）是一种用于提升大模型推理能力的微调技术。其核心思想是通过生成和筛选高质量的推理路径，构建增强的微调数据集，从而提升模型的性能。以下是拒绝采样微调的主要流程和特点：（1）生成推理路径使用多个小模型（如LLaMA1/2-7B/13B）生成多条推理路径。这些路径经过质量筛选（保留答案正确的路径）和多样性控制（选择具有不同计算过程的路径），以增加模型的泛化能力。（2）构建微调数据集。阅读详情

1. 拒绝采样微调：不只是“微调”，更是“路径重塑”

大家好，我是YUTransformer，一个在AI圈子里摸爬滚打了十来年的老兵。今天想和大家深入聊聊一个最近在提升大模型推理能力上特别火的技术——拒绝采样微调。你可能听过很多微调方法，比如监督微调、指令微调，但这个RFT有点不一样。它不像传统方法那样，给你一堆问题和标准答案，然后让模型去“背”。RFT的核心，更像是给模型请了一位“顶级私教”，这位私教不直接告诉你答案，而是带你走一遍又一遍的解题思路，并且只把那些走得最漂亮、最清晰的路径记录下来，让你反复观摩学习。

简单来说，拒绝采样微调 是一种通过“生成-筛选”高质量思维链，来构建超级训练数据，从而让大模型“学会思考”的技术。它的目标非常明确：不是为了记住更多的知识，而是为了掌握更优的推理方法。这尤其适合那些需要一步步推导的复杂任务，比如解一道数学应用题，或者分析一个逻辑谜题。你想想看，我们人类学霸解题，厉害的不只是答案对，更是他写在草稿纸上的那套清晰、严谨的推导过程。RFT要做的，就是让AI也拥有这样的“草稿纸能力”。

我刚开始接触这个方法时，觉得它特别“聪明”，因为它巧妙地避开了强化学习那种需要复杂奖励函数设计和大量试错训练的麻烦。RFT不需要额外训练一个“裁判”模型，它用的是一种更直接、更“朴素”的筛选逻辑：生成多条推理路径，只留下答案正确的，再从这些正确的路径里，挑出那些推导过程最有特点、最多样化的。这个过程，本质上是在为模型挖掘和提炼它自身（或一群小模型）“灵光一现”时产生的高质量思考范例。用这些范例去微调大模型，效果往往比直接用原始数据好得多，因为数据质量被极大地提升了。

2. 核心三步走：高质量推理路径是如何炼成的？

拒绝采样微调听起来概念很酷，但具体是怎么操作的呢？其实它的流程非常清晰，可以概括为三个核心步骤：生成、筛选、微调。下面我结合自己的理解，给大家拆开揉碎了讲一讲。

2.1 第一步：发动“群体智慧”，生成多样推理路径

这一步是RFT的起点，也是它“多样性”的来源。传统方法可能只用一个模型生成一个答案。但RFT认为，一条路可能走不通，或者走得不够好，那我们就多找几个“向导”，多试几条路。

具体怎么做呢？通常，我们不会直接用要微调的那个庞然大物（比如一个700亿参数的大模型）来生成路径，那样计算成本太高了。相反，我们会动用一群“小模型”或者同一个模型的不同版本。比如，我们可以用LLaMA-7B、LLaMA-13B，或者它们指令微调后的版本，让它们各自针对同一个问题，独立生成自己的推理过程。

这里有个关键点：我们要求模型必须输出“思维链”。也就是不能只给个最终答案，必须把“第一步怎么想，第二步怎么算”的过程一步步写出来。比如面对问题“一个篮子里有5个苹果，吃掉2个，又放进3个，现在有几个？”，我们想要的不是光秃秃的“6”，而是“最初有5个，吃掉2个剩余5-2=3个，再放进3个，变成3+3=6个”这样的完整链条。

我实测下来，让多个小模型并行生成，有两个明显好处。第一是提升覆盖率：总有一个模型能蒙对那条正确的推理路径。第二是增加多样性：不同模型、甚至同一模型不同随机种子下，产生的推理过程在表述、步骤拆分、中间变量命名上都会有差异，这为我们后续筛选提供了丰富的素材。