点击下方卡片，关注计算机视觉Daily
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
WonderWold团队 投稿
转载自：量子位（QbitAI）
斯坦福吴佳俊团队与MIT携手打造的最新研究成果，让我们离实时生成开放世界游戏又近了一大步。
从单一图像出发，在用户的实时交互下生成无限延展的3D场景：
只需上传一张图片，就能踏入一个由AI创造的虚拟世界。用户可以通过移动视角和输入文本提示，实时决定接下来要探索的方向和场景内容：
从鸟瞰图的视角，可以清晰看到虚拟世界的生成过程：
无论是魔幻森林、现实都市，还是宁静乡村，WonderWorld都能在眨眼间为你呈现：
这项工作名为WonderWorld，由斯坦福吴佳俊团队和MIT联合打造。
主页：https://kovenyu.com/wonderworld
WonderWorld的项目主页上还有能以第一视角移动的交互式场景：
资深游戏创业者，GOAT Gamin的首席AI官兴奋地表示：“它还能对非真实感的图片work。有无限多的可能性！”
在硅谷广受欢迎的Hacker News上，WonderWorld也一度被放在头版讨论：
要知道，之前的生成式AI方法都需要数十分钟甚至若干小时才能生成一个单独的场景，WonderWorld的速度可谓打开了交互式新世界的大门。
那这究竟是如何做到的？
交互式生成 3D 世界
要让用户来控制生成一个3D世界，最核心的难点在于生成速度。先前的AI生成3D场景的方法大都需要先逐步生成许多目标场景的2D图片来补全被遮挡的部分，然后再优化得到一个3D场景的表示。这个过程耗时颇多。
WonderWorld的核心突破在于其惊人的速度。
研究团队开发的FLAGS (Fast LAyered Gaussian Surfels) 场景表示方法，使得系统能在短短10秒内生成一个新场景。这一速度比现有方法快了近100倍，真正将交互式3D世界生成推向了实时的门槛。
具体来说，WonderWorld生成新场景时，会先生成一张场景的2D图片（对于第一个场景则是直接使用输入图片），从图片中生成三张layer images，再从layer images来生成 FLAGS 表示。
FLAGS表示由三层Gaussian surfels组成：天空层，背景层，以及前景层。每一层都从对应的layer image中生成。天空和背景的layer image 都单独进行了遮挡的补全，因此WonderWorld不需要逐步生成多张图片。
另外，FLAGS表示的每个Gaussian surfel都唯一对应一个layer image 上的像素，因此它可以使用估计的像素级别几何信息（如单目深度和单目法向量）来初始化Gaussian surfels的参数，从而加速其优化过程。
最后，WonderWorld 还针对多个3D场景之间经常出现几何“裂缝”的问题，提出了Guided depth diffusion。核心想法是，利用已经生成的 3D 场景的深度信息作为 guidance，使新生成场景的深度与其一致。只要新旧场景在连接处的深度一致，那么场景的裂缝就得以弥合。
值得一提的是，无论是2D图片生成还是深度估计模块，都可以直接采用预训练模型，因此整个框架不需要任何训练。
实验测试
由于先前没有任何方法可以做到交互式3D场景生成，研究人员采用了连贯3D场景生成的方法WonderJourney，单一场景生成的Text2Room以及LucidDreamer作对比。由于缺乏现有可用评估数据集，研究人员生成了28个场景作为测试。
研究人员首先展示了更多的交互式生成的场景，从而说明WonderWorld可以在应用到不同场景类型以及不同视觉风格：
与基准方法的比较表明，WonderWorld明显优于各个方法：
从人类偏好评估的角度，WonderWorld 也显著更受青睐：
此外，从一张输入图片，WonderWorld能够接受不同的用户控制，生成不同的场景内容：
作者简介
该篇论文主要作者来自斯坦福大学吴佳俊团队。
论文一作俞洪兴，斯坦福大学五年级博士生。
主要研究领域为重建可交互的物理世界。他曾获得 SIGGRAPH Asia 最佳论文奖，高通奖学金，以及 Meta 奖学金和 NVIDIA 奖学金的提名。
吴佳俊，现任斯坦福大学助理教授，隶属于斯坦福视觉与学习实验室（SVL）和斯坦福人工智能实验室（SAIL）。
在麻省理工学院完成博士学位，本科毕业于清华大学姚班，曾被誉为“清华十大学神”之一。
参考链接：
[1]https://x.com/Koven_Yu/status/1835769026934673595
绘图神器下载
后台回复：绘图神器，即可下载绘制神经网络结构的神器！
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
▲扫码加入星球学习
整理不易，请赞和在看
