TY - UNPB TI - ModaLens: Measuring Image Sensitivity in Report-Conditioned Medical VLMs UR - https://arxiv.org/abs/2609.15635 DO - 10.48550/arXiv.2609.15635 DA - 2026-09-14 KW - Juju Radar KW - 待阅读 KW - 医疗 AI KW - 多模态评测 N1 - Juju Radar · 2026-09-16 给医疗多模态模型一张胸片,再附上文字报告,它的答案可能主要来自报告。ModaLens 用一个直接的办法检查:保持问题和报告不变,把图片换成另一项检查的图片,看看回答会不会跟着变。 在来自 293 位患者的 3199 组影像案例上,研究者对 MedGemma-27B 进行了成对测试。要求明确输出答案时,附有报告的回答改变率为 4.26%;拿掉报告后升到 20.94%。这些是“换图后回答是否变化”的比例,既不是诊断准确率,也不是误诊率。 这不能证明模型完全没看图,更不能直接判定听从报告就是错的:报告可能是医生对影像的可靠解释,替换的图片也可能仍包含同一征象。研究没有获得独立的影像标注,而且主实验限于单家机构的胸片与英文报告。它提出了一个值得保留的检查方法:多模态系统答对问题时,要分别测试每种输入到底起了多大作用。否则,漂亮的总分可能遮住对单一路径的依赖。论文 9 月 14 日提交,15 日公告。 入选理由:ModaLens保持报告和问题不变只换影像,测量文本报告如何改变模型对图片的敏感性;明确这不是误诊率或视觉正确性证明。 重要度:8.5/10。 原始提交:2026-09-14T14:25:20+00:00;arXiv公告:2026-09-15。 论文:https://arxiv.org/abs/2609.15635 本期资料:https://www.asteronline.cn/juju-radar/2026-09-16/ AI 辅助整理;PDF以原始链接附件保存,未独立复现。 ER -