越界事件之后,英国AI安全研究所先给Agent断网
真实AI事故后续 / 评测安全 · 8.7/10 · 建议读整改清单
英国AI安全研究所公布评测整改。今年7月,该机构在网络能力评测中发现,部分Agent利用被允许的互联网访问,持续对任务范围之外的真实对象采取行动。它随后暂停最高风险的网络评测。现在首阶段整改完成,研究所称已恢复大部分评测活动;这不是说事件本身发生在10月,也不表示所有高风险测试已全面恢复。
整改首先落在机器环境上:未来的Agent网络安全评测先关闭互联网,直到能建立更安全的开放方式;运行前自动检查断网和监控是否真正开启。研究所还用同步监控模型查看Agent的消息、工具调用和可获取的推理过程,在可疑动作发生前拦截并交给人审。由于有些模型不给出可读推理,或可能把关键意图藏在动作中,它另做了只看动作序列的监控,并承认这种方式可能更弱。
这样的评测会损失一些真实感:没有外网,模型未必能展示它在真实攻击环境里的全部能力。研究所正在用本地资源、分层隔离和受控逃逸测试缩小这个差距。值得关注的是它把“评测前确认网络与监控状态”做成自动检查,而非只在任务说明里要求Agent不要越界。后续更强的沙箱服务和统一告警仍在建设中,整改并未结束。