NSD：没有标准答案，也能研究自己容易怎么错
推理训练 / 开源论文 · 8.5/10｜建议深挖
Negative Self-Distillation，中文可译为“负向自蒸馏”。它先给模型加入容易诱导错误推理的条件，再比较模型在正常条件和干扰条件下的输出倾向，让训练有针对性地远离这些错误。关键在于筛选：如果对所有词元都一概拉开差异，正常的语言表达也可能被破坏。
实验使用 MATH 题目训练，去掉标准答案；默认做法会结合模型自己生成的解答来构造干扰。作者在 Qwen3 的 1.7B、4B 和 8B 模型上测试，七项数学评测的平均成绩分别提高 2.3、7.5 和 6.0 个百分点。代码和训练后的检查点已公开。
这些数字来自作者的数学实验，主表采用非思考模式、每题八次采样的平均成绩，这里统计的是平均答对率，不是八次里答对一次就算成功；编程或知识问答也未必会同样提升。它有意思的地方是：除了寻找更好的正确答案，还可以研究模型在什么条件下容易走偏，再把这类倾向变成训练信号。这里仍然需要题目、模型计算和训练资源。