视频模型能记住被遮住的物体吗?一套可训练的测试题
世界模型 / 视频生成 / 论文 · 8.6/10 · 建议读实验设计
一篇9月24日提交的论文把“物体被遮住后还在不在”“两个实体会不会互相穿过”做成了可生成、可训练的任务。WROP数据集由150类Blender任务构成,覆盖六种物体恒存与不可穿透场景;每类随机改变视角、速度和光照,合成超过1万段样本。团队开放了150万段训练视频、300题测试集、模型答案、权重与训练代码。
研究者拿视频前半段作输入,让模型续出关键事件之后的画面,再请人盲评结果是否符合物理约束。用这些数据继续训练的16B模型PWM-WROP,在同类续写模型中排名第一;论文也同时评估了图生视频和视频编辑模型,不能把不同输入条件下的排名直接当成通用视频生成能力榜。相比只看画面是否逼真,这套任务能更具体地测出模型有没有保留遮挡后的物体状态。
局限也很明显:场景是由Blender合成的受控小世界,碰撞和遮挡种类有限;在测试题上表现好,尚不等于机器人能在真实杂乱环境中预测下一步。它的价值在于给世界模型一个可重复训练和反驳的物理细节问题,而不是宣告机器已经学会常识物理。论文提交早于本期窗口,因此放在补看。