【YOLOv11模型改进系列】23 YOLOv11知识蒸馏：用大模型当老师，让小模型精度飙升

23 YOLOv11知识蒸馏：用大模型当老师，让小模型精度飙升

老铁，上篇我们聊完了剪枝，你成功把模型砍掉了一半参数，但心里肯定犯嘀咕：剪完的模型虽然快了，但精度掉了2%——这在某些场景下就是“致命伤”。

比如上个月我帮一个做工业质检的朋友调试，他剪枝后的模型在检测0.5mm划痕时漏检率从1%飙到了4%，产线直接报警。他急得问我：“能不能让这个小模型学到大模型的本事？”

答案是：能。用知识蒸馏（Knowledge Distillation）。今天我们就来搞这件事——用YOLOv11x当老师，让YOLOv11n当学生，在推理速度不变的前提下，把mAP再拉回来3-5%。

痛点拆解：蒸馏不是简单的“复制粘贴”

先看一个最容易犯的错：有人直接把大模型的输出当硬标签，让学生模型去拟合。比如这样写：

# 错误示例：直接用教师输出做硬标签训练
teacher_outputs = teacher_model(images)
student_outputs = student_model