Vapi让审查机器人先跑代码，少发未经验证的评论

Coding Agent / 工程评测 · 8.5/10 · 推荐工程团队阅读

Vapi公开了自建审查机器人Pedantic Review Bot的实验。公司称，PR从提交到合并的平均时间由130多小时降到65小时。相比这个结果，更值得借鉴的是验证步骤：机器人可以追踪调用链、运行测试或写小复现，检查自己的判断后再提出问题。分析任务移除Git凭据，先产出JSON；另一个任务校验后发评论，机器人没有批准或推送代码的权限。

9月2日至10月2日，它审查了1,694个PR，在276个PR中提出363个阻塞问题。公司还在一个PR上测试101种开头提示，发现“报出更多问题”会抬高分数，也会增加工程师核查误报的工作。把误报成本纳入评价后，原来简单的提示反而胜出。审查机器人的产出不能只按评论数量计算，还要看每条评论有没有证据、能否促成修复。

它的失败同样有参考价值。另一次单PR实验中，194轮代码审查只有8轮找到一个会使lint检查失败的关键问题；多数发现正确，也可能漏掉唯一阻止合并的缺陷。提示实验由AI裁判评分，模型对比也只使用一个PR，尚未跟踪意见被采纳或驳回的比例；合并时间下降更没有对照实验。这些结果适合用来设计自己团队的评估，不能当作某种模型或提示已普遍胜出的证据。