TY  - UNPB
TI  - Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
UR  - https://arxiv.org/abs/2609.08798
DO  - 10.48550/arXiv.2609.08798
DA  - 2026-09-08
AU  - Park, Youngrok
AU  - Bae, Sangmin
AU  - Jung, Hojung
AU  - Ko, Jongwoo
AU  - Choi, Yunseon
AU  - Kim, Young Jin
AU  - Cameron, Pashmina
AU  - Courville, Aaron
AU  - Yun, Se-Young
KW  - 训练方法
KW  - 蒸馏
KW  - 补看
KW  - 待阅读
N1  - OPRD 研究的是一个有趣的问题：已经训练好的弱模型，能否帮助更强的模型学得更快，又不把学生限制在老师的水平？论文 9 月 8 日提交，9 月 9 日出现在 HF 每日论文中，本期作为技术补看，不把推荐日期当成首次发布。  它没有要求学生照抄老师的答案。学生先生成自己的解题过程，用能够检查答案的程序得到奖励；老师训练前后的输出变化，则用于调整学生更新时的力度。更准确地说，方法会放大学生学习方向中沿着老师变化方向的分量，同时保留其他分量。正确性依据仍来自验证器，老师提供的是训练上的帮助。  作者用 Qwen3 系列做数学和规则推理实验，包括让 4B 老师辅助 8B 学生。结果显示，在论文设定下可以用更少的更新取得更好的表现。但这依赖可靠的验证器，不能据此断言弱模型能监督所有开放任务；理论分析对优化驻点的结论，也不是最终正确率的保证。核对时，公开仓库 README 仍为占位说明，尚不能称为已有完整复现代码。    入选理由：弱教师只改变验证器支持更新的力度，有机制新意；超窗按补看，代码尚为占位。 重要度 8/10。 原始资料：https://arxiv.org/abs/2609.08798 https://github.com/raymin0223/on_policy_reverse_distillation 本期资料：https://www.asteronline.cn/juju-radar/2026-09-10/ AI辅助整理；一手核验不表示独立复现。
ER  -