OPRD：弱模型怎样帮助更强的模型训练
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
验证器提供正确性信号，弱老师的变化方向调整学生学习力度；当前代码仓库仍为占位。
作者
相关期次：2026-09-10 精选
阅读笔记
OPRD 研究的是一个有趣的问题：已经训练好的弱模型，能否帮助更强的模型学得更快，又不把学生限制在老师的水平？论文 9 月 8 日提交，9 月 9 日出现在 HF 每日论文中，本期作为技术补看，不把推荐日期当成首次发布。
它没有要求学生照抄老师的答案。学生先生成自己的解题过程，用能够检查答案的程序得到奖励；老师训练前后的输出变化，则用于调整学生更新时的力度。更准确地说，方法会放大学生学习方向中沿着老师变化方向的分量，同时保留其他分量。正确性依据仍来自验证器，老师提供的是训练上的帮助。
作者用 Qwen3 系列做数学和规则推理实验，包括让 4B 老师辅助 8B 学生。结果显示，在论文设定下可以用更少的更新取得更好的表现。但这依赖可靠的验证器，不能据此断言弱模型能监督所有开放任务；理论分析对优化驻点的结论，也不是最终正确率的保证。核对时，公开仓库 README 仍为占位说明，尚不能称为已有完整复现代码。
入选理由：弱教师只改变验证器支持更新的力度，有机制新意；超窗按补看，代码尚为占位。 重要度 8/10。
原始资料：https://arxiv.org/abs/2609.08798
https://github.com/raymin0223/on_policy_reverse_distillation
本期资料：https://www.asteronline.cn/juju-radar/2026-09-10/
AI辅助整理；一手核验不表示独立复现。
笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。