难题一直做不对，训练方法可能太早放弃了

强化学习 / 训练方法 · 8.5/10 · 建议深挖

强化学习训练之后，模型可能只是把原来会做的题做得更熟，真正的难题依旧不会。Never Give Up（NGU）研究发现，给每道题分配同样的尝试次数，会让不少计算花在已经容易做对的题上，难题却得不到足够的有效样本。

NGU 的改动是：某道题一旦采样到正确答案，就让出预算；还没做对的题回到队列，继续尝试。它配合异步训练运行，并保留一定概率放弃当前题目，避免被无解题无限拖住。因此，“不放弃”是方法名，不是让模型永远重试，更不是给聊天提示词加一句鼓励。

作者用 Qwen3-4B 做数学实验，在每组约 120 个 H100 小时、三次不同随机种子的比较中，改善了难题与易题之间的训练效果取舍。编程实验也观察到对困难测试的持续改进。局限是训练集要有足够多的易题，才能腾出预算；若几乎全是难题，反复排队可能更慢，还会增加旧样本与当前模型不一致的问题。这篇适合做训练的人细读。论文 9 月 11 日提交，15 日公告。