Jev安全评测：排序有效，阈值仍需任务内校准
Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
一次调用多个类型化判断，用44个基准拆开评估措辞、上下文和阈值。分数排序较好不等于固定阈值可迁移；对照费用为特定基准按公开标价估算。
相关期次：2026-09-28 精选
阅读笔记
研究将Jev的问题措辞、可见上下文和阈值分开评估。它对同一输入一次回答多个类型化判断，44个基准共7193条实例；31个适用二元问题的基准AUROC中位数0.886，这是排序指标而非准确率。
19个裁判评分基准按列价估算Jev总成本0.30美元，对照18.96美元。排序效果较好不保证固定0.5阈值适用，任务内校准与是否提供定义异常的参照信息更关键。输出主要来自2至7B模型，部分标签未经独立验证；代码公开，HF数据集需申请。重要度8.5/10，作为近期补看。
原文：https://arxiv.org/abs/2609.29429
本期资料页：https://www.asteronline.cn/juju-radar/2026-09-28/
AI辅助整理。
笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。