TY  - UNPB
TI  - Negative Self-Distillation: Learning to Reason by Avoiding Flaws
UR  - https://arxiv.org/abs/2609.11699
DO  - 10.48550/arXiv.2609.11699
DA  - 2026-09-10
AU  - Pei, Rongcan
AU  - Wei, Zhepei
AU  - Xu, Shuyao
AU  - Zhu, Xinyu
AU  - Chen, Wei-Lin
AU  - Meng, Yu
KW  - Juju Radar
KW  - 待阅读
KW  - 推理训练 / 开源论文
N1  - Negative Self-Distillation，中文可译为“负向自蒸馏”。它先给模型加入容易诱导错误推理的条件，再比较模型在正常条件和干扰条件下的输出倾向，让训练有针对性地远离这些错误。关键在于筛选：如果对所有词元都一概拉开差异，正常的语言表达也可能被破坏。  实验使用 MATH 题目训练，去掉标准答案；默认做法会结合模型自己生成的解答来构造干扰。作者在 Qwen3 的 1.7B、4B 和 8B 模型上测试，七项数学评测的平均成绩分别提高 2.3、7.5 和 6.0 个百分点。代码和训练后的检查点已公开。  这些数字来自作者的数学实验，主表采用非思考模式、每题八次采样的平均成绩，这里统计的是平均答对率，不是八次里答对一次就算成功；编程或知识问答也未必会同样提升。它有意思的地方是：除了寻找更好的正确答案，还可以研究模型在什么条件下容易走偏，再把这类倾向变成训练信号。这里仍然需要题目、模型计算和训练资源。  判断：用自身负向条件产生训练信号；有多规模数学实验与代码，保留采样和任务局限。 原始论文：https://arxiv.org/abs/2609.11699 本期资料：https://www.asteronline.cn/juju-radar/2026-09-12/ AI辅助整理。
ER  -