把片子换了，医疗 AI 的回答为什么没怎么变

医疗 AI / 多模态评测 · 8.5/10 · 建议深挖

给医疗多模态模型一张胸片，再附上文字报告，它的答案可能主要来自报告。ModaLens 用一个直接的办法检查：保持问题和报告不变，把图片换成另一项检查的图片，看看回答会不会跟着变。

在来自 293 位患者的 3199 组影像案例上，研究者对 MedGemma-27B 进行了成对测试。要求明确输出答案时，附有报告的回答改变率为 4.26%；拿掉报告后升到 20.94%。这些是“换图后回答是否变化”的比例，既不是诊断准确率，也不是误诊率。

这不能证明模型完全没看图，更不能直接判定听从报告就是错的：报告可能是医生对影像的可靠解释，替换的图片也可能仍包含同一征象。研究没有获得独立的影像标注，而且主实验限于单家机构的胸片与英文报告。它提出了一个值得保留的检查方法：多模态系统答对问题时，要分别测试每种输入到底起了多大作用。否则，漂亮的总分可能遮住对单一路径的依赖。论文 9 月 14 日提交，15 日公告。