Juju Radar
返回 2026-09-08 完整精选

WorldSculpt:把生成的房间拆成能单独取用的物体

2026-09-08 收录 · 3D生成/仿真

3D 生成 / 仿真 · 8.5/10|持续观察

生成一个看起来完整的房间,和拿到一套可以继续编辑的 3D 资产,仍有距离。很多场景模型把物体融在一起,椅子和花瓶虽然看得见,却不方便单独选中、移动或放进仿真环境。WorldSculpt 针对的就是这个问题:结合多视角图像,逐个生成物体网格,再把它们放回同一个空间坐标系。

它借用了 Pixal3D 已经学到的单物体生成能力,增加多视角信息的融合。值得注意的是,模型微调时只用单个物体,测试时却能处理包含数百个物体、相互遮挡的复杂场景。这条路线的价值,在于让生成结果更接近游戏、内容制作和机器人仿真真正需要的资产形式。

不过,输入并非随手拍一段视频就够:方法需要相机位姿、物体掩码和 3D 包围盒等信息,完全看不见的部分也仍靠推断。论文中的几何指标优势来自作者实验,不能当作物理仿真已经可靠的证明。仓库可见推理代码及权重入口;9 月 7 日的 README 更新也不应另算一次重大发布。

WorldSculpt 论文 · 项目代码