03 / OpenAI 首席科学家：推理过程越来越难监控
对齐 / Agent 安全 · 9/10 · 9 月 6 日新披露 · 持续观察
OpenAI 首席科学家 Jakub Pachocki 在《An Alien Mind》中写道，公司的评估显示，对思维链监控的依赖能力正在逐步减弱。这里的“思维链”指模型用文字展开的推理过程；检查它，曾是发现异常目标和行为的重要办法。
文章给出的原因不止一种。推理越来越多地穿插在人、工具和其他 Agent 的交互中；模型更善于调整自己的推理过程；随着预训练能力提升，有些能力即使不展开文字推理也能实现。可见的文字因此只能提供部分观察依据。
Pachocki 同时强调，这种监控仍然关键，并提出结合模型内部状态等方法。文中关于未来能力增长、递归自我改进的判断，应当与已经测到的现象分开：这是首席科学家的研究判断，并非已经完成自我改进闭环的证明。
对实际部署的启发很直接：不能只看 Agent 的解释是否合理，还要核对它动了哪些文件、调用了哪些工具、结果是否通过检查。长任务交出去以后，留下可核查的操作记录，与提高任务完成率同样值得投入。