Black-Box On-Policy Distillation of Large Language Models

文章总结与翻译

一、主要内容

本文聚焦大语言模型（LLM）的黑盒策略蒸馏问题，提出了生成对抗蒸馏（GAD）框架。黑盒蒸馏的核心挑战是仅能获取教师模型的文本输出，无法访问其内部参数或概率分布，而现有方法（如序列级知识蒸馏SeqKD）存在泛化能力弱、易过拟合局部模式等问题。

GAD框架将学生模型视为生成器，训练判别器区分学生与教师的响应，形成极小极大博弈：

1. 生成器（学生模型）：通过策略梯度（采用GRPO算法）优化，目标是生成让判别器无法区分的响应；
2. 判别器：作为在线策略奖励模型，采用Bradley-Terry损失捕捉师生响应的 pairwise 偏好，且与学生模型协同进化，避免传统奖励模型的奖励欺骗问题；
3. 训练流程：包含预热阶段（师生模型分别通过交叉熵损失和Bradley-Terry损失微调）和GAD训练阶段（交替优化生成器和判别器）。

实验以GPT-5-Chat为教师模型，Qwen2.5、Llama3系列为学生模型，在LMSYS-Chat、Dolly等数据集上验证：GAD在自动评估（GPT-4o评分）和人工评估中均持续优于SeqKD，在分布外泛化任务中表现突出，Qwen2.5-14B-Instruct经GAD训练后性能接近GPT-5-Chat，且避免了过拟合和奖励欺骗。

二、创新点

1. 首次实现黑盒场景下的在线策略蒸馏：无需教师模型的概率分布或内部