【导读】李飞飞的World Labs首个「空间智能」模型，刚刚诞生了！一张图生成一个3D世界，网友惊呼：太疯狂了，我们进入了下一轮革命，这就是视频游戏、电影的未来。
就在刚刚，AI教母李飞飞创立的World Labs首次官宣「空间智能」模型，一张图，即可生成一个3D世界。用李飞飞的话说，「无论怎样理论化这个想法，都很难用语言描述一张照片或一句话生成3D场景的互动体验。」![]()
交互传送门：https://www.worldlabs.ai/blog#footnote1所有场景都能在浏览器中实时渲染，还能实现可控的相机效果、可调节的模拟景深。未来，游戏NPC的虚拟世界可以随意切换，都是分分钟生成的事情。英伟达高级研究科学家、李飞飞高徒Jim Fan总结道，「GenAI正在创造越来越高维度的人类体验快照。Stable Diffusion是2D快照；Sora是2D+时间维度的快照；而World Labs是3D、完全沉浸式的快照」。今年4月，李飞飞被曝出开始自创业，专注于空间智能，新公司私下融资直接晋升10亿美元独角兽。直到9月，这家名为World Lab正式亮相，并在新一轮融资2.3亿美金，得到了AI大牛Geoffrey Hinton、Jeff Dean、谷歌前CEO Eric Schmidt等人的鼎力支持。![]()
World Labs创始人团队，左起依次为Ben Mildenhall、Justin Johnson、Christoph Lassner和李飞飞网友们激动地表示，太疯狂了，我们即将迎来一个像是80年代、90年代那样的革命。这将让许多人实现他们的创意，有望降低开发成本，帮助工作室的新知识产权更大胆冒险。
不论是Midjourney、FLUX，还是Runway、DreamMachine，我们熟知的大多数GenAI工具仅能制作图像/视频2D内容。若是实现了在3D中生成，视频的控制性、一致性能得到极大的改善。这也就意味着，制作电影、游戏、模拟器等其他物理世界的数字表现形式，将会发生翻天覆地的变化。World Labs成立开始的初衷便是，空间智能的AI对世界进行建模，还能3D时空中物体/地点/交互进行推理。如下，是在浏览器中进行的实时渲染演示（注：AI图像均由FLUX 1.1 pro/Ideogram/Midjourney生成）。输入一张AI生成的古色古香的村庄图像，然后就可以得到一个3D的世界。![]()
提示：这是一个古色古香的村庄，鹅卵石铺就的街道，茅草屋顶的小木屋，中央广场上有一口石井，周围是花坛一座富丽堂皇的宫殿，AI把光与影都展现得淋漓尽致。又或者输入一张博物馆取景照片，谁又能想到这周围是什么样子的呢？AI帮你设想出了一切，出入门，下一间相邻的展馆、展品.....
你还可以体现不同相机效果，场景生成后，会使用虚拟相机在浏览器中进行实时渲染。通过对这个相机的精准控制，便可以实现艺术摄影特效。比如模拟不同的景深，让只有在相机特定距离范围内的物体保持清晰：还可以模拟滑动变焦（dolly zoom），通过同时调整相机的位置和视场角来实现这一效果：
大多数生成式模型都是预测像素的。而预测3D场景有很多好处：- 场景持久性：一旦生成了一个世界，它就会稳定存在。即使你转开视线后再次观看，场景也不会在你看不见时发生变化。- 实时控制：生成场景后，你可以在其中实时移动。你可以仔细观察花朵的细节，或是探头查看角落后面有什么。- 几何精确性：这个生成的世界遵循基本的3D几何物理规则。它们具有真实的立体感和空间深度，与某些AI生成视频的虚幻效果形成鲜明对比。可视化3D场景最简单的方法是，就是使用深度图（depth map）。在深度图中，每个像素都会根据其到相机的距离来着色：
现在，我们可以以全新的方式，体验标志性的艺术作品了！下面，就让我们走进从梵高、霍珀、修拉和康定斯基最喜欢的作品中生成的世界。
现在，3D世界生成可以十分自然地和其他AI工具组合在一起，创作者们可以使用已知的工具，获得无比丝滑的全新体验了。首先，可以通过使用文本到图像模型生成图像，来从文本创建世界。不同的模型都有自己的不同风格，而空间智能世界可以继承这些风格。下面就是使用不同的文本到图像模型生成同一场景的四个变体， 它们使用的都是相同的提示。提示：一间充满朝气的动漫风格青少年卧室，床上铺着五颜六色的毯子，书桌上杂乱地摆着一台电脑，墙上贴满了海报，各种运动器材随意地散落在房间里。一把吉他斜靠在墙边，房间中央铺着一块带有精美图案的舒适地毯。窗外透进的阳光为整个房间营造出温馨活力的青春氛围。
比如Eric Solorio就使用这个模型，填补了自己创意工作流程中的空白，可以让场景中的角色可以上阵，甚至还能指导摄像机精确移动。Brittani Natail则将World Labs技术与Midjourney、Runway、Suno、ElevenLabs、Blender和CapCut等工具相结合，在生成的世界中精心设计了摄像机路径。现在，候补名单已经开放了，话不多说了，赶快去申请吧。
此前，李飞飞在一次活动中，首次详细揭秘了何谓「空间智能」：她将人类智能归结为两大智能，一是语言智能，另一个便是空间智能。虽然语言智能备受关注，但空间智能将对AI产生重大的影响。而在4月公开的TED演讲中，李飞飞也分享了自己关于空间智能的更多思考，同时预示着World Labs的目标所在。她表示，「所有空间智能的生物所具备的行动能力，是与生俱来的。因为，它能够将感知与行动进行关联」。「如果想让AI超越其自身当前的能力，我们需要的是，不仅仅能够看到、会说话的AI，而是一个可以行动的AI」。就连英伟达高级计算机科学家Jim Fan称，「空间智能，是计算机视觉和实体智能体的下一个前沿」。正如World Labs的官博所阐述的那样，人类智能包含了诸多方面。语言智能，可以让我们通过语言与他们进行交流和联系。而其中最为基础的便是——空间智能，能够让我们理解，并与周围世界进行互动。此外，空间智能具备了极强的创造力，可以将我们脑海中的画面，在现实中呈现。正是有了空间智能，人类能够推理、行动和发明。从简单的沙堡到高耸的城市可视化设计，都离不开它。在接受彭博最新采访中，李飞飞表示，人类的空间智能，实际上经过了数百万年的演化而来。这是一种理解、推理、生成，甚至在一个3D世界中互动的能力。不论是你观赏美丽的花朵，尝试触摸蝴蝶，还是建造一座城市，所有这些皆是空间智能的一部分。那么，如何让计算机也能具备空间智能的能力呢？其实我们已经取得了巨大的进步，过去十年AI领域的发展相当振奋人心。一句提示，AI生成图像、视频，真知还能讲述故事。这些模型已经以全新的方式，重塑人类的工作和生活方式。需要将这些能力，如何带到3D领域。因为现实世界，就是3D的，同时人类空间智能是建立在非常「原生」的理解和操作3D的能力之上的。如今，单个图像生成3D世界模型，让我们对空间智能有了初步的理解。https://x.com/DrJimFan/status/1863646433435586903
https://x.com/drfeifei/status/1863618536318345688
![]()
为伟大思想而生！
AI+时代，互联网思想（wanging0123)，
第一必读自媒体
商务合作、投稿及内容合作，请联系后台小编
或271684300@qq.com
