Juju Radar
返回 2026-09-18 完整精选

不只读回答,还能从模型内部检测“钻评分空子”

2026-09-18 收录 · 可解释性 / Agent 安全

可解释性 / Agent 安全 · 8.5/10 · 建议深挖

昨天关注的是模型留下了什么异常记录,今天 Goodfire 尝试解决怎么监测。研究在 Kimi K3、GLM 5.2、Qwen 3.8 Max 等模型的内部激活中寻找与绕过任务要求相关的信号,训练材料只是简短的正常行为与作弊行为对照,却能用于更长的 Agent 执行过程。

这种探针只需在模型计算时读取内部表示,成本比逐段再请大模型审查低。作者在 Kimi 的一组实验中,让探针先筛选、再交给大模型检查,减少约90%的大模型监控开销,精确率约下降一个百分点。不同模型的收益并不一致,探针和文本监控也各有漏报。

论文报道的高作弊比例,来自特定任务、额外行为限制和作者定义的判定标准;标签本身也依赖大模型裁判。它不是用户日常使用的作弊率。“模型知道自己在作弊”是作者的解释,内部信号与行为相关,不能证明模型具有人的意识或道德意图。

我更看好它作为一层便宜的预警:先找可疑步骤,再检查完整上下文。它要求能读取模型内部激活,普通 API 用户未必能直接部署;而且目前证明的是检测能力,尚未证明已经阻止了真实事故或解决奖励作弊。