牛津大学研究团队打造"世界生成器"|焦点快播

2026-07-15 17:06:32 来源：科技行者

这项由牛津大学视觉几何组（Visual Geometry Group）主导的研究，以预印本形式于2026年7月发表，论文编号为arXiv:2607.05392。研究团队提出了一套名为SynCity 3000的框架，目标直指一个让游戏设计师、电影制作人和虚拟世界创作者都魂牵梦萦的问题：能不能让计算机自动帮我们"凭空建造"一座完整的三维城市，或者一片山林，或者一个游乐场？

这个问题听起来轻描淡写，背后却藏着巨大的技术鸿沟。现有工具要么只能生成单个物品——比如一把椅子、一栋建筑——要么在拼接多个区域时留下明显的"拼缝"，就像用形状不齐的地砖铺地，怎么看都觉得哪里不对劲。SynCity 3000的核心贡献，就是找到了一种让整个世界"浑然天成"而非"东拼西凑"的生成方式。

为了帮助理解这套系统，可以借用一个日常场景来贯穿全文：把整个3D场景生成过程，比作一位画家先画出一张完整的鸟瞰草图，再由一组工匠照着这张草图把城市"立体雕刻"出来。这个"先画草图、再雕刻实体"的两步流程，正是SynCity 3000的根本逻辑。

【资料图】

一、为什么"拼砖块"的老方法行不通

假设你想用乐高积木搭一座城市。最简单的方法是先把城市切成一块块方格，每块单独搭好，然后拼起来。这正是SynCity 3000的前身——SynCity——所采用的策略。它把整个场景切成一个个"瓷砖"，每块瓷砖单独生成，生成完再拼在一起。

这个方法确实能用，但问题也相当明显：拼接处的痕迹很难消除。就像你把不同品牌的瓷砖铺在同一块地板上，颜色和花纹总有细微差异，走近看一眼就会发现"这里有条缝"。更棘手的是，某些大型结构——比如一条穿越整个场景的河流，或者一座占地宽广的城堡——根本没办法被整齐地塞进一个固定大小的格子里，必然会被硬生生切断。

SynCity 3000要解决的，正是这个"拼缝问题"。研究团队不再把世界切成碎片分别处理，而是让整幅"草图"在一次连贯的过程中同时成形，让每个局部在生长时都能感知到周围发生了什么。

二、第一步：画出整张世界的"鸟瞰草图"

在SynCity 3000的比喻框架里，第一位"画家"负责生成整个场景的二维模板图。这张图采用一种叫做"斜二测画法"（dimetric view）的视角——简单说，就是像经典游戏《文明》或《模拟城市》里那种斜45度俯视的视角，既能看到地面布局，又能看到建筑的高度感。

研究团队使用了一种叫做"潜在扩散模型"（latent diffusion model）的图像生成技术。这类技术的核心原理可以这样理解：计算机在一堆噪声中，通过不断"去噪"，逐渐把一张清晰的图像还原出来，就像雕刻家在一块粗糙的石头里慢慢凿出人像。

但这里有个现实限制：这类图像生成模型一次只能生成固定尺寸的图像，就好像一位画家手边只有一张A4纸，却要画一张城市全貌图。SynCity处理这个问题的方式，是分张纸画、再贴在一起；而SynCity 3000的处理方式更聪明——它让画家在画每一小块区域时，都能同时看到旁边区域目前的进展，从而保证整体连贯。

技术上，这套机制受到了一篇名为MultiDiffusion的研究的启发。具体做法是：把整张"画布"（即潜在空间的编码网格）切成多个互相重叠的"窗口"，每个窗口分别交给图像生成模型处理，然后在每一步"去噪"时把所有窗口的结果平均融合。这种"共享信息、协同去噪"的方式，让不同区域的内容在生成过程中自然地协调一致，而不是事后硬拼。

除了全局的一致性，这套系统还支持"局部约束"——用户可以指定某个区域必须包含特定内容，比如"这里要有一座木质过山车"或者"这个角落放一个旋转木马"。这些约束作为额外的"条件窗口"加入到生成流程中，与全局风格和局部内容约束同时发挥作用，从而实现精细化的布局控制。

值得一提的是，用户甚至可以完全不自己写约束，直接让大语言模型（比如ChatGPT）来生成这些布局指令。研究团队展示了一套提示词模板，能够让AI自动设计出各种风格各异的世界——从中世纪小镇到科幻城市，从山地公园到工业港口。

三、第二步：照着草图，把整个世界"雕刻"成立体

草图画好之后，第二位"工匠"登场，负责把这张二维图像变成真正的三维场景。SynCity 3000的最终输出是一种叫做"三维高斯点云"（3D Gaussian Splats）的表示方式——这是近年来在计算机图形学领域迅速崛起的一项技术，可以从任意角度渲染出高质量的三维画面，就像一个由无数个微小彩色气泡构成的立体世界，每个气泡都携带着颜色和透明度信息。

研究团队选择在一个名为TRELLIS的现有模型基础上进行改造。TRELLIS原本是一个"看图生成单个3D物体"的工具，比如你给它看一张椅子的图片，它能输出一把三维的椅子。但SynCity 3000需要的是处理整个场景——这就好比原本只会雕刻一个人像的工匠，现在要同时雕刻一整座广场。

TRELLIS内部有两个主要的工作阶段。第一阶段叫做"稀疏结构生成"，负责确定三维空间里哪些格子（体素，可以理解为三维的"像素"）是有物体的，哪些是空的——类似于用乐高砖块搭出一个粗糙的骨架。第二阶段叫做"结构化潜码生成"，负责为每个有物体的格子填充详细的外观和形状信息——类似于给骨架上色并雕刻细节。最后，这些信息被解码成最终的三维高斯点云。

把这套流程扩展到整个场景，关键挑战在于：TRELLIS原本的"大脑"（一种叫做扩散变换器的神经网络）一次只能处理固定大小的区域，没办法直接应用于更大的场景。研究团队采用的解决方案，与第一步中处理二维草图的思路如出一辙——滑动窗口加协同去噪。

具体来说，整个场景的三维潜码被划分为多个互相重叠的窗口，每个窗口对应草图中的某个区域。模型在处理每个窗口时，不仅能看到该区域对应的草图内容，还能看到相邻区域已经生成的三维信息作为"上下文"——就像工匠在雕刻某个区域时，能看到旁边已经雕好的部分，从而确保衔接顺畅。

为了确保模型聚焦于正确的区域，研究团队还对输入草图进行了遮罩处理：只把当前窗口对应的那片草图区域展示给模型，遮住其余部分。这就像工匠只看着当前正在雕刻的那块区域的设计图，避免被整体图案"带偏"。同时，邻近区域的三维信息作为"背景参考"传入模型，但模型只对当前窗口的核心区域负责生成预测，不对参考区域做出改动。

所有窗口在每个去噪步骤中并行处理，各自产生的预测结果通过加权平均的方式融合，从而让整个场景在统一的节奏下协调生长。

四、训练数据从哪来？研究团队自己造了个"数据工厂"

现有的大规模三维数据集几乎都是针对单个物体的，比如椅子、杯子、汽车等，而场景级别的三维数据非常稀缺。要让TRELLIS学会处理场景，就必须有场景级别的训练数据——但这种数据几乎不存在，更别提符合SynCity 3000特定训练格式的数据。

面对这个困境，研究团队选择了自己动手，丰衣足食。他们设计了一套"合成数据生成引擎"，可以在不需要任何真实场景数据的情况下，自动生成大量用于训练的人工场景。

这套引擎的运作方式颇为有趣：首先随机生成一块地形表面，用几种随机颜色按照随机的硬边界涂色（就像抽象画里的色块），营造出地面的多样感；然后从一个名为Objaverse-XL的海量三维物体数据库中随机挑选一些物体，随机缩放后放置在地面上，同时确保它们不会离地面边缘太近；接着用顶光和随机的额外光源照亮场景，制造阴影效果。整个过程高度随机，几乎每次运行都会产生完全不同的场景组合。

生成场景之后，引擎会用斜二测画法拍摄一张渲染图作为"草图"，同时把场景体素化，并为每个体素注入从多个角度拍摄的视觉特征（利用DINOv2这个图像理解模型提取的特征）。这样就得到了一对"输入草图+三维数据"的训练样本。

研究团队用这套引擎一共生成了32万个训练样本。这个数量远超此前同类工作中使用的训练数据规模——作为对比，一个名为NuiScene的类似系统只用了43个真实场景进行训练。

五、如何让模型在"新任务"中不忘记"老本领"

把TRELLIS改造成能处理整个场景的系统，需要对它进行微调（fine-tuning）——也就是在新的训练数据上继续训练，让它适应新的任务形式。但这里有个微妙的风险：如果训练过度，模型可能会"忘记"它原本生成高质量单个三维物体的能力，就像一个钢琴家被要求专门练交响乐，结果生疏了独奏技巧。

为了防止这种"灾难性遗忘"，研究团队设计了两种交替出现的训练目标。一种是"含上下文"模式：给模型提供当前核心区域加上周围邻近区域的三维信息，让它学会如何在感知整体环境的情况下填充局部细节。另一种是"不含上下文"模式：只给模型提供核心区域，没有任何周围信息——这几乎和原始TRELLIS的训练任务完全相同。两种模式各以50%的概率随机出现，训练时损失函数只计算核心区域的误差，不惩罚对上下文区域的处理。

这种双目标交替训练的设计，让模型在学会"看全局、雕局部"的新本领的同时，不会丢失原本精雕细刻单个物体的能力。

六、实验结果说明了什么

研究团队从多个维度对SynCity 3000进行了评估，最直接的一项是"模板忠实度"——也就是生成的三维场景和原始草图有多相似。他们生成了35张随机主题的场景草图，然后分别用SynCity 3000、TRELLIS（原版）、TripoSG以及Hunyuan3D-2.1来生成对应的三维场景，最后从与草图相同的视角渲染，用三个图像相似度指标（LPIPS、SSIM、PSNR）进行比较。

在这三个指标上，SynCity 3000均优于其他方法。原版TRELLIS的问题在于它的输出分辨率有限，处理大场景时细节会变得模糊；TripoSG和Hunyuan3D-2.1则更严重，不仅颜色还原差，几何结构也可能出现空洞和错误——这两个工具在7个场景上甚至直接失败，被排除在最终比较之外。

研究团队还专门评估了几何重建质量，使用合成场景作为"有真实答案可对照"的测试用例，计算了倒角距离（Chamfer Distance）和F分数等几何精度指标。测试分两种尺寸进行：标准尺寸（1344×672像素模板）和大尺寸（2240×1120像素模板）。结果显示，随着场景尺寸增大，TRELLIS的几何精度明显下降，而SynCity 3000的表现则保持稳定，在大尺寸场景上的优势尤为明显。

用户研究的结论更为直接。研究团队招募了27名用户，以强制二选一的方式进行多组比较。在布局控制方面，所有用户（100%）都认为SynCity 3000提供的布局控制方式比SynCity更灵活自由。在三维重建忠实度方面，71.6%的用户认为SynCity 3000比TRELLIS原版更准确，对比TripoSG和Hunyuan3D-2.1时则达到了100%的优势。在整体场景偏好方面，SynCity 3000分别以63%、74.1%、59.3%和78.6%的胜率击败了SynCity、NuiScene、3DTown和使用SynCity 3000草图但用原版TRELLIS生成三维的版本。研究团队还请用户对场景的"视觉合理性"打分（1分最不合理，5分最合理），SynCity 3000的平均得分为3.57分。

七、细节决定成败：几个关键设计选择的影响

研究团队还通过消融实验（ablation study）——也就是逐一去掉某个设计，观察效果有多大变化——来验证各个设计决策的必要性。

不进行任何微调、直接使用原版TRELLIS处理场景草图时，效果最差，主要原因是原版模型会试图为场景找一个"正面朝向"，但场景不像单个物体那样有明确的正面，导致生成结果混乱。

去掉"上下文窗口"（即不让模型看到邻近区域的三维信息），效果有所下降，说明感知周围环境对于填充局部细节确实有帮助。把上下文范围缩小（从论文设定的V=8缩减到V=4），效果进一步下降，说明模型能够捕捉到相当长范围的空间依赖关系，上下文不能太小。

把滑动窗口的步长调大（相当于相邻窗口之间的重叠减少，甚至没有重叠时），效果也会明显变差。这是因为重叠窗口之间的平均融合，能够有效解决遮挡带来的歧义——比如一栋高楼的背面在草图里被遮住了，到底该如何生成？多个重叠窗口从不同角度"投票"，能够大大减少重复或错误结构的出现概率。

八、这套系统还有哪些局限和未来方向

SynCity 3000并非没有短板，研究团队对此相当坦诚。

首先是视角的强制性。整套系统要求场景必须以斜二测画法呈现，这是为了保证草图和三维生成之间的对应关系。这意味着它不适合处理第一人称视角或正面透视的场景。未来或许能找到不依赖固定视角的生成方式。

其次是纹理细节的轻微损失。由于使用了重叠窗口加权平均的机制，相比原版TRELLIS直接生成单个物体时，最终纹理的锐利度会略有下降。

再者是偶发的结构重复问题。当场景中有非常高大或占地宽广的结构时，窗口裁切带来的遮挡可能让模型误判，偶尔会在相邻区域生成重复的结构。使用更小的步长（即更密集的窗口重叠）可以显著缓解这个问题。

此外，生成结果整体偏向"游戏风格"或卡通化，真实感有所欠缺。这主要源于训练数据Objaverse-XL本身的风格偏向（里面有大量人类创作的卡通风格三维模型），以及FLUX图像生成模型对斜二测画法场景的固有偏好。这一特征在SynCity中同样存在。

最后是生成速度。在单块NVIDIA RTX A6000显卡上，生成一个标准尺寸的场景大约需要30分钟（三维部分），更大的场景则耗时更久，并且随场景尺寸呈平方级增长。在NVIDIA H100上测试的数据显示，1344×672像素模板需要31分钟，2240×1120像素需要82分钟，3136×1568像素则需要约3小时，同时显存占用也从46GB逐步增加至56GB。

说到底，SynCity 3000干成了一件看起来简单、做起来极其复杂的事情：让一台计算机从一句文字描述出发，自动生成一个可以从任意角度观看的完整三维世界，而且这个世界在视觉上是连贯一致的，不会出现明显的拼接痕迹。这对游戏开发、影视制作、虚拟现实内容创作来说，都意味着一个重要的可能性：原本需要团队花费大量时间手工搭建的场景，未来或许可以从草图一键生成，创作者把更多精力留给创意本身，而不是繁琐的手工建模。

当然，这项技术目前还处于研究阶段，生成速度、真实感和对某些特殊场景的支持，都还有提升空间。但从整个领域的发展轨迹来看，这类研究正在快速推进三维内容生成的边界。有兴趣深入了解技术细节的读者，可以通过arXiv编号2607.05392查阅完整论文。

Q&A

Q1：SynCity 3000和普通的三维建模软件有什么区别？

A：普通三维建模软件（比如Blender、3ds Max）需要用户手动绘制每一个物体的形状、贴图和位置，是纯手工制作。SynCity 3000则是一套自动生成系统，用户只需提供文字描述，系统就能自动生成完整的三维场景。它的核心是把图像生成AI和三维重建AI结合在一起，先生成二维场景草图，再把草图转成三维模型，全程不需要人工建模。

Q2：SynCity 3000生成的场景可以在游戏引擎里直接用吗？

A：SynCity 3000的输出格式是"三维高斯点云"（3D Gaussian Splats），这是一种近年来兴起的三维表示方式，可以从任意角度高质量渲染。目前主流游戏引擎（如Unreal Engine、Unity）对这种格式的原生支持还在逐步完善中，可能需要转换工具或插件才能直接使用。研究团队的目标主要是展示场景生成的可行性，后续的工程集成还需要进一步工作。

Q3：SynCity 3000需要什么样的硬件才能运行？

A：根据论文中的实验数据，研究团队在NVIDIA RTX A6000和NVIDIA H100级别的专业GPU上进行了测试。生成一个标准场景大约需要30到180分钟不等，显存需求在46GB至56GB之间，远超普通消费级显卡。目前这套系统还处于研究阶段，并不是面向普通用户的消费级产品，对硬件要求相当高。

标签：草图空间感知模型