Skip to content

3DGS 正在成为世界模型的新骨架——2026年5月论文笔记

从5月初到现在，每天花点时间看世界模型和3D重建方向的论文。本周有三篇工作放在一起看，相当有意思——它们从不同角度指向了同一个趋势：

3D Gaussian Splatting 不再是’渲染工具’，正在成为世界模型的核心表示层。

趋势信号 #1：GaussianDream——3DGS 作为 VLA 的时空记忆

论文： GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation 时间： 2026-05-20

它解决了什么问题

机器人领域的 VLA（视觉-语言-动作）模型有个通病：训练时只监督 2D 像素级别的动作模仿，缺少对 3D 几何和短时环境演化的显式监督。模型学会了"在某个像素位置移动机械臂"，但不理解物体在三维空间里是什么形状、往哪里动。

怎么做

GaussianDream 的思路很巧妙——它不改变 VLA 的主干网络，而是外加一个"3DGS 世界模型"作为训练时的辅助监督。

具体来说：训练时，模型同时学两件事——

  1. 从当前帧重建 3D 高斯场景
  2. 预测未来时刻的 3D 高斯场景

这两者共享同一个紧凑的"时空前缀"（spatio-temporal prefix）。这个前缀被迫同时编码了当前几何信息和未来动态信息。

推理时，解码头全部扔掉，只保留前缀来条件化动作生成。不需要渲染、不需要视频 rollout、不需要额外规划器。

实验结果

  • LIBERO 基准：98.4% 平均成功率（SOTA）
  • RoboCasa Human-50：52.6%
  • 真实机器人：50.0%

有意思的点

GaussianDream 论文里有个细节值得注意：他们用的是前馈式（feed-forward）的 3DGS——不需要 per-scene 优化，单次推理就能输出高斯场景。这意味着 3DGS 首次被当作一个实时的世界状态表示层来使用，而非需要分钟级优化的离线重建工具。

趋势信号 #2：X-WAM——Diffusion 路线的 4D 统一模型

论文： X-WAM: Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising 时间： 2026-04-29

它解决了什么问题

之前的统一世界模型（如 UWM）只建模 2D 像素空间，且动作执行效率和世界建模质量无法兼得。要么动作快但生成质量差，要么生成质量好但动作太慢。

怎么做

X-WAM 走的是 diffusion 路线，思路和 GaussianDream 完全不同：

  1. 利用预训练视频扩散模型的视觉先验，预测多视角 RGB-D 视频来"想象"未来世界
  2. 在预训练 Diffusion Transformer 的最后几层复制一个轻量深度预测分支——只加了很少的参数就让模型具备 3D 感知能力
  3. 异步噪声采样（ANS） 是关键创新：推理时用不同的去噪步数——动作解码用很少步数（快），视频生成用完整步数（高质量）。训练时从联合分布采样，让推理分布对齐。

有意思的点

X-WAM 和 GaussianDream 的对比很有启发性：

维度 GaussianDream X-WAM
表示方式 显式 3DGS 隐式 diffusion latent
推理效率 极高（无渲染） 中（需去噪）
生成质量 场密度高 视频保真度高
路线 3DGS 前馈 视频 diffusion + 深度分支

两者在往同一个方向走——让世界模型同时具备空间理解（3D）和时序推理（4D）。只是走的路不同。

趋势信号 #3：HY-World 2.0——从文本/单图到完整 3D 世界的全链路

论文： HY-World 2.0: A Multi-Modal World Model 时间： 2026-04-15

它解决了什么问题

从单一输入（文字、单张图片）到可交互 3D 世界的全自动化生成，此前没有端到端的解决方案。

怎么做

四阶段流水线：

  1. HY-Pano 2.0： 从输入生成 360 度全景图
  2. WorldNav： 自动规划 3D 场景中的探索轨迹
  3. WorldStereo 2.0： 沿轨迹生成新视角（带一致记忆）
  4. WorldMirror 2.0： 将所有视角融合为 3DGS 世界表示

最终通过 WorldLens 渲染平台实现实时交互探索。

关键意义

HY-World 2.0 是完全开源的，且效果与闭源模型 Marble 相当。这在 3D 世界生成领域是少见的——大多数高质量工作不开源。它的开源可能加速整个领域的发展，就像 LLaMA 对 LLM 领域的影响一样。

三篇论文放在一起看

这三篇工作虽然任务不同（机器人操控、动作建模、世界生成），但共享一个底层趋势：

3DGS 正在从"渲染格式"升级为"世界模型的表示格式"。

  • GaussianDream 用它做时空记忆
  • X-WAM 用深度分支隐式做3D 感知
  • HY-World 2.0 用它做最终世界表示

另一个观察：前馈 3DGS 正在成熟——不再需要 per-scene 优化，单次推理即可输出有意义的 3D 表示。这意味着 3D 理解正在从"离线优化"进入"在线实时"阶段。

对做产品的人

如果你在做和 3D 空间智能相关的事情，这几个趋势值得关注：

  1. 3DGS 生态正在快速成熟—— 工具链、优化器、前馈架构都在加速发展。现在是切入的好时机。
  2. 开源 vs 闭源的差距在缩小—— HY-World 2.0 证明开源方案可以达到闭源质量。不要轻易假设"开源不够好"。
  3. 统一模型是终局方向—— 不论是 GaussianDream 的 prefix 范式还是 X-WAM 的 diffusion 路线，“一个模型同时做理解、生成和控制"是大家共同的目标。
  4. 3D 数据的规模化出现—— 当 feed-forward 3DGS 成熟，3D 数据获取成本会大幅下降。这会在下一阶段催生更多 3D 应用。

最后推荐那篇综述：Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective——67页、395篇参考文献，覆盖了前馈 3D 重建的完整文献地图。适合想系统了解这个领域的人。