ModaLens：换一张影像，医疗模型的答案会变吗

ModaLens: Measuring Image Sensitivity in Report-Conditioned Medical VLMs

保持报告与问题不变，只替换图像，比较有无报告时的回答改变率。主实验293位患者，测量的是换图敏感性，并非误诊率；没有独立影像标注，不能据此认定依赖报告就是错误。

首次公开：2026-09-14 · 收录：2026-09-16

相关期次：2026-09-16 精选

阅读笔记

Juju Radar · 2026-09-16

给医疗多模态模型一张胸片，再附上文字报告，它的答案可能主要来自报告。ModaLens 用一个直接的办法检查：保持问题和报告不变，把图片换成另一项检查的图片，看看回答会不会跟着变。

在来自 293 位患者的 3199 组影像案例上，研究者对 MedGemma-27B 进行了成对测试。要求明确输出答案时，附有报告的回答改变率为 4.26%；拿掉报告后升到 20.94%。这些是“换图后回答是否变化”的比例，既不是诊断准确率，也不是误诊率。

这不能证明模型完全没看图，更不能直接判定听从报告就是错的：报告可能是医生对影像的可靠解释，替换的图片也可能仍包含同一征象。研究没有获得独立的影像标注，而且主实验限于单家机构的胸片与英文报告。它提出了一个值得保留的检查方法：多模态系统答对问题时，要分别测试每种输入到底起了多大作用。否则，漂亮的总分可能遮住对单一路径的依赖。论文 9 月 14 日提交，15 日公告。

入选理由：ModaLens保持报告和问题不变只换影像，测量文本报告如何改变模型对图片的敏感性；明确这不是误诊率或视觉正确性证明。
重要度：8.5/10。
原始提交：2026-09-14T14:25:20+00:00；arXiv公告：2026-09-15。
论文：https://arxiv.org/abs/2609.15635
本期资料：https://www.asteronline.cn/juju-radar/2026-09-16/
AI 辅助整理；PDF以原始链接附件保存，未独立复现。

笔记记录收录当期的判断。阅读一手材料不等于独立复现；后续进展请以原始来源为准。