InternW0-Δ:学会预测变化,执行时不必生成未来视频
机器人 / 世界动作模型 / 论文 · 8.5/10 · 建议深挖
上海人工智能实验室9月25日提交的InternW0-Δ论文,把视频专家和动作专家连接起来,并用超过两万小时处理后的机器人、人类第一视角等示范数据预训练。这些不同来源的数据先被统一为共同的状态与动作表示,再用于学习。
方法部分的关键设计叫Causal Imprint。训练时,未来观察作为监督,帮助模型学到哪些场景变化与动作有关;执行时,模型只接收已发生的观察,直接把预测性特征交给动作专家。它不先生成一段未来视频再决定动作,也不在推理时调用用于几何与运动蒸馏的教师模型。
这让世界模型的用途从“画出可能的未来”延伸到“把预测知识带进控制”,同时避免每次动作都支付视频生成开销。论文有模拟和多种实机平台实验,但更换机器人仍需后训练适配,人类示范的贡献也尚未系统拆开验证。项目页目前仍将代码与模型标为即将发布;两万小时是论文描述的处理后训练规模,不能说成已经全部可下载的数据集。