ImpossibleRubrics：自动评分会不会奖励编造
ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals
用证据不足或前提错误的任务攻击模型生成的评分细则，统一150任务中被利用比例为8%—26%。测量对抗可利用性，不是日常幻觉率，困难子集另行区分。
相关期次：2026-09-17 精选
阅读笔记
Juju Radar · 2026-09-17
现在不少训练和评测先让模型写一份评分细则，再按这份细则给回答打分。ImpossibleRubrics 检查了一个容易漏掉的问题：假如题目根本无法根据现有材料得出确定结论，评分标准会不会反而奖励那个编得最完整的答案？
研究准备了 169 个此类任务和 48 个可回答的对照任务。每题附有一份独立约束，规定哪些说法有证据、哪些不该出现；攻击模型则尝试写出违反约束、却能拿到不低于诚实回答分数的答案。这样测的是评分细则能否被利用，不是普通问答的准确率。
在用于统一比较的 150 个任务上，11 种模型生成的细则被成功利用的比例为 8% 至 26%。论文还报告了一个专门筛出的 45 题困难子集，那里失败率明显更高，不能拿它代表日常任务。细则生成、攻击和判断都依赖模型，样本主要是封闭证据材料，结果也不宜外推到所有科研或商业评审。
最值得留意的不是谁排第一，而是标准可能要求错了东西：材料没有给出某个概率，细则却奖励一个确定数字。条目越具体，反而越清楚地告诉攻击者应该编什么。代码和复现材料已公开；论文 9 月 15 日提交、16 日公告。做自动评分时，应先检查“无法作答”是否也是合法结果。
入选理由：ImpossibleRubrics直接攻击模型生成的评分细则，检验是否奖励违反证据的回答；区分主样本与特意筛选的困难样本。
重要度：8.5/10。
原始提交：2026-09-15T08:21:40+00:00；arXiv公告：2026-09-16。
原文：https://arxiv.org/abs/2609.16816
本期资料：https://www.asteronline.cn/juju-radar/2026-09-17/
AI辅助整理，尚未独立复现；PDF为链接附件。
笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。