AI 修漏洞到底行不行？先看“修好”怎么算

Coding Agent / 安全评测 · 8.5/10 · 建议深挖

1Password 在 8 月研究了六个复杂漏洞，得到一个很醒目的数字：AI 生成的补丁中，只有 26% 完整修复漏洞且不改变应用行为。9 月 15 日，安全公司 Trail of Bits 重新分析公开数据，指出不少实验禁止运行测试，或故意给出了错误修复建议，这些条件会影响人们对总体数字的理解。

Trail of Bits 筛出允许执行、没有错误提示且排除查阅上游补丁的样本后，称约 86% 能挡住给定的攻击样例。不过，26% 和 86% 回答的不是同一个问题：挡住一个样例，仍可能漏掉同一漏洞的其他触发方式，也可能引入新问题。不能拿后一个数字直接推翻前一个，更不能据此宣布 AI 补丁已经可靠。

这篇反驳也应带着同样的标准读：Trail of Bits 自己参与 AI 修复项目，并承认给 freenginx 提交过有缺陷的补丁。它同时公开了一套补丁验证技能，要求检查修复前后表现、额外构造同根因变体，再做回归测试。对实际开发更有用的结论是：让 Agent 交补丁时，一起交出它检查了哪些路径、还有哪些没查；“原来的报错没了”远远不够。