李飞飞World Labs官宣新AI产品，一张图片生成交互式3D世界

科技 2024-12-03 08:03 北京

在生成式AI领域不断发展的今天，给AI一张静态图片，它就能创造出一个可交互的3D世界，真可谓是“开局一张图，剩下全靠编”。

当地时间12月2号，由“AI教母”李飞飞（Fei-Fei Li）创立的初创公司World Labs发布了令人眼前一亮的“空间智能”（spatial intelligence）技术，即一套能够将单张静态图片转化为可交互3D场景的AI系统。

比如下面这样：

短视频平台很火的“希区柯克式变焦”（dolly zoom）也是信手捏来：

用户还可以通过键盘和鼠标在网页上实时控制场景：

它还能模拟景深，调节景深效果，让背景物体产生自然的虚化效果，营造出专业的摄影效果：

可惜的是，World Labs目前只向公众发布了关于该技术的博客，人们能够体验的功能极为有限，而且并未放出任何代码和模型。至于如何尝鲜，World Labs现在开放了Waitlist申请，感兴趣的可以在文末找到链接。

当然，这并不妨碍技术创新本身带来的震撼。随着它未来面向公众开放，一旦用户体验优秀，不仅标志着生成式AI向3D领域的重要突破，更预示着数字内容创作方式即将迎来革命性变革。

这套系统最引人注目的特点在于其独特的交互性和可修改性。根据World Labs网站提供的演示界面和描述，用户仅需一张普通照片，就能生成一个可以自由探索的3D环境。虽然生成的场景略显卡通风格，分辨率和细节也有瑕疵，但已经展现出令人印象深刻的真实感和稳定性。

与市面上其他AI系统相比，World Labs展示的技术优势显然是3D空间生成。它在博客中表示，大多数生成模型都会预测像素，而预测 3D 场景有许多好处：

持久现实：3D场景一旦生成，它就会一直存在。即使你把视线移开然后又回来，场景也不会改变。
实时控制：3D场景生成后，用户可以在其中实时移动。你可以仔细观察花朵的细节，也可以窥视藏在角落里的物体。
正确的几何形状：生成的世界遵循 3D 几何的基本物理规则。它们兼具真实感和深度感，与某些 AI 生成视频的梦幻感形成了鲜明对比。

传统的生成式AI工具往往只能创建2D内容，如图片或视频，而World Labs选择直接在3D空间中进行生成，这种方式不仅提供了更好的控制性和一致性，更确保了场景在生成后保持稳定，并遵循基本的物理法则。

这意味着生成的3D世界具有真实的空间感和深度感，避免了其他AI模型常见的“健忘”问题。比如初创公司Decart的Minecraft模拟世界模型Oasis就存在分辨率低下、容易“遗忘”场景布局等问题。

World Labs的系统还提供了丰富的互动特效和动画功能。用户可以改变物体的颜色、调整场景的光照效果，甚至能够将经典艺术作品转化为可探索的3D空间。

比如，他们成功地将梵高的知名画作《夜晚露天咖啡座》中的场景扩展成了一个完整的街区环境。

这种技术还能与其他AI工具完美结合，创作者可以先使用文本生成图像，再将其转化为3D场景，继承不同图像生成模型的独特风格。在博客中，他们使用的许多图片都来自于FLUX、Ideogram 和Midjourney 等生成式AI工具：

当然，目前这项技术仍有改进空间。比如，用户的移动范围仍然受限于较小的区域，一旦超出边界就会遇到限制。实测下来，目前用户只能在生成的3D空间中挪动几步，就会碰上所谓的“空气墙”。

有时还会出现渲染错误，例如物体之间会以不自然的方式混合在一起。不过，World Labs表示这些只是“早期预览”，他们正在努力提升生成世界的规模和真实度，并探索新的交互方式。

从商业角度来看，World Labs展现出强劲的发展势头。公司由李飞飞联合创办，成立之初就获得了来自A16z、Intel Capital、AMD Ventures和埃里克·施密特（Eric Schmidt）等投资者共计2.3亿美元的风险投资，估值已超过10亿美元。公司计划在2025年推出首款正式产品。

World Labs表示，其愿景不仅限于创建互动场景，他们计划开发一系列工具，服务于艺术家、设计师、开发者、电影制作人和工程师等专业人士。

公司联合创始人贾斯汀·约翰逊（Justin Johnson）在接受采访时表示：“传统的虚拟互动世界开发需要投入数亿美元和大量时间。我们的世界模型技术将让创作者不只是得到一张图片或一段视频，而是能够获得一个完全模拟的、充满活力的、可交互的3D世界。”

目前World Labs已经对公众开放了Waitlist候补名单申请，不过作为开发和测试的一部分，有的创作者已经受邀并将其整合到了现有的工作流程中。

例如，内容创作者埃里克·索洛里奥（Eric Solorio）发现，这项技术完美地填补了他创作过程中的空白，可以“让角色布置和精确的镜头调度变得更容易”。从电影制作到游戏开发，从模拟器到各类数字内容创作，World Labs的技术都可能带来革命性的改变。

随着技术的不断完善和应用场景的拓展，World Labs希望重新定义数字世界的创作方式。这不仅是AI技术的一次重要突破，更预示着数字内容创作即将迎来一个全新的时代。或许在不久的将来，从单张图片到沉浸式3D世界的转变，可能就像现在的文字生成图片一样简单而自然。

最后附上官方宣传视频：

参考资料：

https://www.worldlabs.ai/blog

https://techcrunch.com/2024/12/02/world-labs-ai-can-generate-interactive-3d-scenes-from-a-single-photo/

https://x.com/theworldlabs/status/1863617989549109328

Waitlist表格：

https://docs.google.com/forms/d/e/1FAIpQLSf9jHsaDq1IwM_FADQP0Gbd82tbW4CBOI5YfUAdPfqrFrWEeA/viewform

DeepTech深科技

DeepTech 是一家专注新兴科技的资源赋能与服务机构，以科学、技术、人才为核心，通过科技数据与咨询、出版与影响力、科创资本实验室三大业务板块，推动科学与技术的创新进程。DeepTech 同时是《麻省理工科技评论》中国区独家运营方。

研究人员提出模糊推理基准“青蛙”，助力理解大模型推理机制

科学家研发可穿戴超声传感器，可提供无创的连续性血压监测

微型化工厂：MIT衍生公司改造内燃机用废弃甲烷生产绿色燃料

李飞飞World Labs官宣新AI产品，一张图片生成交互式3D世界

科学家开发新型多光子显微镜，可实现大脑最深层皮层的大视野成像，定制组件已实现商品化

科学家开发深度学习方法DynamicBind，实现对复合物的动态结构预测

香港中文大学（深圳）数经院团队与中证报联合发布投顾大模型

价格大跌超50%，三星、铠侠计划减产NAND闪存

科学家研发全天候AI声呐分析系统，平均精度比当前最先进的方法提高9.5%，已成功完成实地部署

范德堡大学团队研发电化学离子分离平台，可用于提炼金属和能源转化

研究人员阐明语言模型在不同算术场景中的泛化机制，可指导大模型训练优化

胰岛素口服不是梦：无针胶囊正在改变药物递送方式

全球首个去中心化训练的10B级模型已正式开源，使用横跨三大洲的112块GPU训练而成

中德联合团队揭开长新冠刺突蛋白新机理，开发新型三维成像技术，将造福全球数百万长新冠后遗症患者

科学家研发微型变形机器人，在100毫秒内实现40%面积伸缩和定向运动

前硅谷工程师创办，合成生物学公司融资7300万美元，利用AI开发蛋白质工程

清华学者制备电磁超表面传感器，可用于车载环境的非接触生理传感，将联合汽车厂商推进落地

AI模拟人格技术新突破，两小时对话即可创造“数字分身”

LED亮度达116万尼特，浙大团队实现钙钛矿半导体可控p/n型掺杂

MIT开发高效算法大幅降低强化学习训练成本

科学家将二氧化硅缺陷“变废为宝”，打造新型非易失性存储器，数据存储时间长达10年以上

美国初创称将打造百万量子比特的光量子计算机，公司估值超过30亿美元

罗氏15亿美元收购了一家“现货型”细胞疗法开发商

量子计算新突破：MIT发现新型物质形态可构建量子比特

前Android副总裁开发AI Agent通用操作系统，已获5600万美元投资

科学家打造活性液滴系统，基于全新耗散组装系统，可用于打造液滴机器人与人工细胞模型

上交团队构建AI社会模拟器，数千智能体引领大模型自演进

基于全新技术框架与生成算法，AI初创公司解锁工业级3D AIGC

MIT揭秘无磁场条件下五层石墨烯中的电子“分身术”

西湖大学团队研发新型铝基跨尺度3D制造技术，极大提高结构材料加工尺度范围和精度

寻找亚太科技青年力量｜《麻省理工科技评论》“35岁以下科技创新35人”亚太区报名正在进行

Common Voice：用多语言数据打造包容性AI语音

初创公司研发新型减肥药，针对4个不同靶点，称融资金额高达数亿美元

SpaceX将执行核动力直升机“蜻蜓号”承载任务，前往土卫六探索生命存在的可能性

科学家开发高熵金属间化合物，法拉第效率达到95%，正联合业界开展催化剂放大实验

常德“科创·柳叶湖”合成生物制造创新创业大赛即将启幕

弹跳超过自身高度108倍，浙大团队开发双稳态软体弹跳机器人

打开AI黑箱：DeepMind开发的新工具可揭示大模型内部秘密

科学家开发无柱纯化高性能蛋白质制备方法，纯度达到98%，可用于研发酶制剂和诊断试剂

澳洲昆大团队研发新型聚合物吸附剂，短时间内实现超99%氟化污染物去除

蛋白质设计再突破！麻省理工团队利用人工智能与梯度优化开发新策略

在家就能查血：MIT开发微型硅光芯片血液检测系统

科学家研发“仿心脏”电极材料，促进离子流传输，解决钠离子电池离子传输动力学缓慢问题

亚马逊向Anthropic追投40亿美元，Anthropic将使用前者芯片训练AI模型

还原真实世界：MIT用“AI+物理模拟”为机器人打造虚拟训练场

诺奖得主联合创办，初创融资3000万美元，开发新型糖免疫疗法

打破传统蛋白质进化方法局限性：MIT团队设计新型蛋白质大模型，发现比自然界高效百倍的突变体

寻找定义未来的科技先锋丨2024年度“35岁以下科技创新35人”中国报名中

被迫剥离Chrome和安卓？谷歌或将迎来“至暗时刻”

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉