世界模型的下一个瓶颈：持久性——WorldKV / GenRe / ReCuriosity 论文笔记
接昨天的笔记。昨天三篇论文指向 3DGS 成为世界模型的表示骨架，今天三篇又指向了另一个问题——骨架建起来之后，怎么不让它散架。
世界模型要从"生成一张好图"进化到"维持一个持续一致的虚拟世界"，核心瓶颈已经从生成质量转向了持久性和一致性。
WorldKV：世界级 KV 缓存
论文： WorldKV: A Training-Free Persistent World Model Framework 时间： 2026-05-21
问题
自回归视频扩散模型（如 Cosmos、GameNGen）能逐帧生成画面，但没有持久记忆。一个物体从画面左侧移出屏幕再回来，模型可能已经"忘了"它长什么样。这是当前世界模型走向"持久虚拟世界"的核心障碍。
解法
WorldKV 提出了一个训练无关的框架——用类似 LLM 中 KV Cache 的思路管理世界记忆：
- World Retrieval（WR）：多模态嵌入将视频帧映射为可检索的记忆向量，当模型要生成新帧时，从记忆库中检索最相关的历史帧作为条件
- World Compression（WC）：记忆不能无限膨胀——通过自编码将长视频序列压缩为紧凑的时序表征，只保留对后续生成有价值的信息
有意思的点
这是"训练无关"的——作者用了 GPT-4o 辅助实现检索排序，CLIP 做图像嵌入，没有修改底层视频扩散模型的任何权重。理论上可以套在任何自回归视频模型上。
这个思路本质上是把 LLM 的 RAG + 缓存管理搬到了视频生成领域。如果说昨天看的 GaussianDream 是把 3DGS 当"世界模型的数据库"，那 WorldKV 就是在给这个数据库写查询引擎和压缩算法。
GenRe：通用场景重建增强器
论文： GenRe: Diffusion-Guided Generalizable City Scene Reconstruction Enhancer 单位： Waabi（自动驾驶公司） 荣誉： ICRA 2026
问题
绝大多数的城市场景重建（NeRF、3DGS）都有视角缺陷——训练图像没覆盖到的角度，重建结果会崩掉。现有的修复方法都要 per-scene 优化，费时费力。
解法
GenRe 是一个通用增强器：给定任意 3DGS 场景，它用扩散模型在不同视角生成"缺失"的纹理信息，几分钟内就能修复所有视角缺陷。关键创新是跨场景先验——不是针对某个场景单独训练，而是学习一个通用的"城市场景应该长什么样"的先验知识。
有意思的点
这是 Waabi（Uber ATG 创始人 Raquel Urtasun 创办）的工作，说明自动驾驶公司也在用 3DGS 做场景建模，且面临同样的"视角覆盖不全"问题。
GenRe 的"几分钟修复任意 3DGS"意味着：
- 自动化 3D 重建质量达到了可实用的水平——不需要人工挑选视角、逐场景调参
- 跨场景先验在 3D 领域开始走通，类似基础模型在 CV 领域的突破
和 WorldKV 的联系
WorldKV 解决的是时序上的持久性（帧与帧之间的记忆），GenRe 解决的是空间上的完整性（同一时刻不同视角的一致性）。合在一起看，世界模型的"全维度一致性"正在被拆解为多个子问题分别攻克。
ReCuriosity：好奇心驱动的 3D 世界探索
论文： ReCuriosity: Curiosity-Driven 3D World Exploration with Online 3D Reconstruction as a Persistent World Model 单位： UC Berkeley / Adobe Research
问题
智能体要在未知 3D 环境中自主探索——它往哪走？经典的好奇心驱动探索方法在 2D 像素空间工作，但缺少 3D 几何理解，容易陷入"看了但没理解"的困境。
解法
ReCuriosity 的思路：用在线 3D 重建作为持久世界模型，指导探索策略。
具体来说：
- agent 持续收集 RGB-D 帧，实时构建 3DGS 场景（用 SplaTAM 或 InstantSplat）
- 探索奖励来自"当前 3DGS 对未探索空间的预测不确定性"——模型越不确定某个区域的样子，agent 就越想去那里看看
- 探索过程中，3DGS 不断精化，再反过来降低不确定性
这个"探索 → 重建 → 降低不确定 → 再探索"的闭环，本质上是把 3DGS 当成了 agent 的世界模型。
有意思的点
ReCuriosity 和昨天看的 GaussianDream 形成了对照：
| 维度 | GaussianDream | ReCuriosity |
|---|---|---|
| 3DGS 角色 | 训练时的辅助监督信号 | agent 的在线世界模型 |
| 时序范围 | 短程（前缀长度内） | 长期（全程在线构建） |
| 是否为世界模型 | 中间表示 | 是，且是核心 |
| 推理负载 | 低（前馈） | 中（在线优化） |
GaussianDream 把 3DGS 当作"给 VLA 看的 3D 板书"，ReCuriosity 则把它当作"agent 认识世界的眼睛"。
三篇放一起看：持久性成为本周最热议题
昨天三篇在争 3DGS 是不是世界模型的最佳表示形式，今天三篇则默契地把焦点转向了"有了好表示之后怎么维持它"：
| 论文 | 解决什么"持久性" |
|---|---|
| WorldKV | 时序记忆持久——帧之间不遗忘 |
| GenRe | 空间视角完整——所有角度不崩坏 |
| ReCuriosity | 在线世界保持——探索过程中不断精化 |
更想强调的一个观察：三篇工作都选择了 3DGS 作为底层表示。加上昨天的三篇（GaussianDream、X-WAM、HY-World 2.0），一周内六篇来自不同团队、不同任务的 SOTA 论文，全部在 3DGS 基础上做文章。这已经不是巧合了。
对做产品的启示
-
3DGS 基础设施化——就像 2017 年 Transformer 取代 LSTM，2025-2026 年的 3DGS 正在吞掉之前 NeRF 和隐式表示的所有应用场景。如果你在构建任何涉及 3D 理解的系统，3DGS 是最安全的押注方向。
-
持久性是下一波机会——生成单帧/单视角已经卷得差不多了，但"维持一个持续准确的世界"还远未解决。WorldKV 的 RAG 思路、GenRe 的通用修复器、ReCuriosity 的在线精化，三个方向各有空间。
-
在线 vs 离线路线选择：ReCuriosity 走在线优化（实时构建+精化），GaussianDream 走前馈推理（单次跑出结果）。面向不同场景：机器人需要快速推理，自动驾驶需要离线高质量。取决于你的延迟和精度要求。
-
自动驾驶的最佳场景重建——GenRe 来自 Waabi，说明 3DGS 在自动驾驶仿真中的应用已经很务实了。如果你的产品需要自动生成高保真 3D 场景（游戏、XR、仿真），GenRe 多视角修复能力值得关注。