首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

一张图，生成一个世界！李飞飞首个空间智能项目发布

科技 2024-12-05 13:01 山西

大数据文摘受权转载自夕小瑶科技说
作者 | 海野

“AI教母”李飞飞的初创公司World Labs，用3个月时间，打磨出了第一个“空间智能”项目：

用一张图片生成3D世界，可探索，可交互。

只需要一张图片，甚至是一句prompt，就能生成一个非常精细的3D世界。

让我没想到的是，这个3D世界还允许以第一人称视角探索、转身。

有些小伙伴可能有印象，在11月初，一家公司Decart发布过一个项目Oasis：由AI实时生成游戏Minecraft（《我的世界》）的物理世界。它也能探索、转身。

我还试玩过一段时间，不得不说，Oasis还需要打磨打磨。

其中最让我诟病的是，内容生成的稳定性太差了。本来面前是一片村庄，一转身，就变成新的场景了。

World Labs的“空间智能”模型就很好地解决了这个问题。此前的生成模型大部分是预测像素，而空间智能模型直接预测整个3D场景，所以，场景一旦生成，就会一直稳定存在。

即使你移开视线再回头看，场景也不会在你背后改变。3D场景，怎么转，都有面。

生成3D场景后，还能实时进行探索，在官网贴的demo中也能体验到。

即使在官方demo中，用的都是一些比较梦幻感很强的例子，但与AI生成的视频相比，3D场景中的各种元素，的确要真实得多。

甚至，它还可以模拟相机效果，精准控制摄像头，模拟景深或滑动变焦。

这些成果，还只是World Labs生成3D世界的第一个早期预览。

AI理解3维物理世界，突破空间智能界限

当下，2D的图片/视频生成模型比比皆是，国外的Midjourney，Stable Diffusion、国产的可灵、Vidu、清影等等。

而视频生成模型始终有一个痛点挥之不去：AI视频的稳定性、一致性得不到控制。

而3D模型生成的视频可控性和一致性，成为了新的着眼点。于是从2023年开始，许多厂商开始专攻3D生成模型或升维（2D转3D）模型。

但就现状来说，直到现在，效果好一点/满足需求的3D生成模型实在是屈指可数。

而李飞飞团队的World Labs公司，为我们打了个样。

早在李飞飞在斯坦福大学的实验室的时候，她就已经开始试图教会计算机“如何在3D 世界中行动”了。例如，通过使用LLM让机械臂执行诸如打开门、制作三明治等任务。

后来，她在今年4月开始计划创业，并于9月正式创立World Labs，探索“空间智能”。

关于公司的愿景，李飞飞在温哥华的一次TED会议的演讲中提到：

训练一个，能够理解复杂物理世界，及其内部物体相互关系的AI系统。

至于什么是“空间智能”，她说：

视觉化为洞察，看见成为理解，理解导致行动。

在李飞飞眼里，人类智能可以分为两项：语言智能和空间智能。

一直以来，我们都在LLM等语言智能的路上飞奔前行，而空间智能方面还留有大片空白。

今天，World Labs公布的第一个项目，成为了我们探索空间智能的一块重要拼图，而且还是SOTA级的。

就连英伟达高级计算机科学家Jim Fan也来贺喜：

GenAI正在创建越来越高维度的人类体验快照。SD是2D快照。Sora是一个2D+的快照。现在，World Labs是一个完全身临其境的3D快照。

到现在，我们已经揭开了空间智能的一角。

马上也要到2025年了，我很期待，在新的一年里，还能看到GenAI的最新革命。

参考资料

https://x.com/DrJimFan/status/1863646433435586903
https://www.worldlabs.ai/blog

黑色小圆动图分割线

租售GPU算力

租：4090/A800/H800/H100

售：现货H100/H800

特别适合企业级应用

扫码了解详情☝

点「在看」的人都变好看了哦！

大数据文摘

普及数据思维，传播数据文化

最新文章

RTX5090震撼发布，一文带你看懂英伟达CES2025发布会。

谢赛宁、李飞飞「空间智能」新作：多模态大模型仍难突破空间推理

GitHub 造假浪潮爆发！已有450万虚假星标，实锤造假将导致仓库限流

惊呆网友！微软论文意外“泄密”OpenAI模型参数引热议，GPT-4o mini仅8B？

现在的搜索引擎，快被AI垃圾淹成赛博粪坑了。

Sam Altman 剧透2025年OpenAI的大计划

强化学习之父 Rich Sutton 最新演讲：用「去中心化神经网络」应对深度学习局限性

OpenAI 突发公司剧变，将分裂为两家组织:一块营利，一块非营利

某机构：JSON 输出会让 AI 变笨！大佬：是你们太菜了

中国首次！高文院士获得 IEEE 社会基础设施创新奖

AI美女图成了过去式，“巨物宝可梦”才是新的流量密码。

OpenAI正式发布o3 - 通往AGI的路上，已经没有了任何阻碍。

尤瓦尔·赫拉利对话李开复：AI终将比我们更聪明，但它们不会有人性……

黄仁勋：扫过最多厕所的CEO

锤爆Sora，尺度最大，谷歌发布最强视频模型Veo2，叫板海螺可灵

中国科学家李春来、徐沪济上榜！2024《自然》十大科学人物揭晓

愤怒！AI 顶级会议 NeurIPS 现场，MIT演讲者现场歧视中国人

OpenAI长文爆料反击马斯克诉讼：“你不能通过诉讼获得AGI”

谷歌发布Gemini2.0，开启Agent新时代

体操运动，是所有AI视频最残酷的图灵测试。

刚刚，OpenAI Sora来啦！AI视频新纪元已开启

满血版 o1 上线两天，被网友玩出来了 10 个疯狂用法

清华赵明国专访：坚守人形机器人二十载，从孤军奋战到百家争鸣

o1满血版上线，还有卖200美刀的Pro会员｜OpenAI直播第1天。

一张图，生成一个世界！李飞飞首个空间智能项目发布

新瓜不断！2024NeurIPS最佳论文，花落字节起诉的实习生

ICLR'25 惊现[10,10,10,10]满分论文，ControlNet 一作张吕敏新作，Github 5.8k 颗星

破例两篇！NeurIPS时间检验奖颁给了Ian的GAN、Ilya的Seq2Seq，实至名归

从Neuralink开始美国脑机接口研究迎来春天

AI又一突破！“眼神打字”更快更省力，研究登上Nature子刊

Sora被泄漏！艺术家联盟上书，奥特曼怒拔网线！

一手体验Kimi版“o1”模型，这就是最通人性的数学AI。

DeepSeek版o1与OpenAI的o1大PK，到底谁真的炸场了？

Science重磅：AI完成定向蛋白质进化，特性提升100倍

具身大模型，国内最大融资诞生

3名高中生中了AI顶会NeurIPS！来自人大附中、北师大实验中学、上海星河湾双语学校

微信公众号悄悄上线AI音色克隆，微信的一小步，却是AI的一大步。

吴恩达最新观点：LLM的下一个新兴方向是Agentic AI

Nature重磅：AI化学家再升级！大幅提升实验效率，推动化学合成进入“智能化”新阶段

Ilya承认Scaling Law到头了，Meta和谷歌寻找替代o1的方法

17岁高中生写了个神级Prompt，直接把Claude强化成了满血o1。

著名AI学者、天工智能首席科学家颜水成离开昆仑万维

马斯克和特朗普这对CP组合赢了后，科技界会变天吗？

人工智能专家获诺奖，是希望之光，还是灾难前奏？

贝索斯领投、OpenAI连续跟投，这家机器人公司再融4亿美金

你愿意和AI恋人共度一生吗？

比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行

专访"Prompt之神"李继刚 - 我想用20年时间，给世界留一句话。

深夜重磅！ChatGPT可以“AI搜索”了，但并不完美

谷歌被俄罗斯罚款2,500,000,000,000,000,000,000,000,000,000,000,000美元

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉