小模型能教大模型什么？反向蒸馏换了个用法
训练方法 / 论文补看 · 8/10｜持续观察
OPRD 研究的是一个有趣的问题：已经训练好的弱模型，能否帮助更强的模型学得更快，又不把学生限制在老师的水平？论文 9 月 8 日提交，9 月 9 日出现在 HF 每日论文中，本期作为技术补看，不把推荐日期当成首次发布。
它没有要求学生照抄老师的答案。学生先生成自己的解题过程，用能够检查答案的程序得到奖励；老师训练前后的输出变化，则用于调整学生更新时的力度。更准确地说，方法会放大学生学习方向中沿着老师变化方向的分量，同时保留其他分量。正确性依据仍来自验证器，老师提供的是训练上的帮助。
作者用 Qwen3 系列做数学和规则推理实验，包括让 4B 老师辅助 8B 学生。结果显示，在论文设定下可以用更少的更新取得更好的表现。但这依赖可靠的验证器，不能据此断言弱模型能监督所有开放任务；理论分析对优化驻点的结论，也不是最终正确率的保证。核对时，公开仓库 README 仍为占位说明，尚不能称为已有完整复现代码。