智东西12月3日消息,今日凌晨,由“AI教母”李飞飞联合创立并担任CEO的AI初创公司World Labs对外公布了他们的首个成果,3D世界生成模型,一个可以让用户从单张图片生成3D世界的AI系统。
World Labs的3D世界生成模型通过预测3D场景,实现了更高的可控性和一致性。和市面上大多数将图片转化为3D的产品不同,使用该模型生成的3D场景,用户可以与之互动。比如,用户可以模拟相机进行对焦或滑动变焦,还可以在浏览器中与之实时交互,并能为场景添加交互效果和动画。World Labs称,这是他们迈向空间智能的第一步。
根据World Labs博客介绍,用户只需要提交一张图片,不论是由AI生成的图像,还是日常生活中拍摄的照片,3D世界生成模型都能根据该图片生成一个3D场景,且风格和原始图片保持一致。
▲左图为输入的图片,右图为模型生成的3D场景。
同时,和市面上将图片转化为3D建模或环境的产品不同,World Labs的3D世界生成模型生成的3D场景更像是开放世界游戏里的画面,它允许用户通过操作键盘、鼠标和场景交互,比如摁下“D”键向右移动,点击并划动鼠标转换视角。
▲通过键盘和鼠标在生成的3D场景里移动、转换视角。
生成3D场景后,模型会使用虚拟相机在浏览器中实时渲染。用户在使用时通过拖动滑块精准控制虚拟相机,可实现艺术摄影效果。比如,用户可以通过拖动滑块来模拟拍照时候的对焦,从而渲染出更清晰或模糊的画面。▲通过移动滑块转换由远及近的焦距。
另外,在World Labs生成的3D场景中,用户还可以使用滑动变焦来调整虚拟相机的视野范围,从而获得不一样的视觉效果。
▲通过移动滑块可以模拟滑动变焦效果。
World Labs在博客中介绍,与大多数模型预测像素不同,他们预测3D场景,这么做有三个明显的优势:连续性(Persistent Reality):模型生成的3D场景将一直存在,转换视角和移动都不会对已生成的场景产生影响;实时控制(Real-Time Control):用户可以在场景中自由、实时移动,能凑近去看花的经络,也能抬头远望太空星云;正确的几何结构(Correct Geometry):模型生成的3D场景遵循3D几何的基本物理规律,有立体感和纵深感。正因为这些优势,用户可以在生成的3D场景中构建交互式效果。如选择声纳(Sonar)效果后再点击场景中的任一区域,该区域会出现对应效果。▲对脉动、声纳、聚光灯三种交互效果的演示。
还可以为场景制作动画效果,比如选择波纹动态效果,整个画面就会像波纹一样动起来。▲对波纹动画效果的演示。
World Labs团队认为,3D世界生成模型将改变电影、游戏、模拟器和其它数字媒体的制作方式。他们展示了两个应用案例。World Labs的模型可以根据梵高等世界知名画家的画作生成一个画中世界,让用户以全新的方式感受艺术作品。▲模型根据梵高的画作《夜晚的咖啡馆露台》生成的3D场景。
该3D世界生成模型可以与现有的其它AI工具结合使用,为内容创作者提供便利。比如,用户可以先使用文生图模型生成图像,再从生成的图像创建3D世界。虽然不同的文生图模型有不同的风格,生成的3D场景依然可以适配这些风格。World Labs给出了一个示例。他们给四个不同的文生图模型输入了同一组提示词,再根据生成的不同风格的图像创建了对应风格的3D场景。提示词为:A vibrant cartoon-style teenager's bedroom with a bed covered in colorful blankets, a cluttered desk with a computer, posters on the walls, and scattered sports gear. A guitar leans against the wall, and a cozy, patterned rug is in the center. Light from a window adds a warm, youthful vibe to the room.(一间充满活力的卡通风格青少年卧室,床上铺着五颜六色的毯子,杂乱的书桌上放着一台电脑,墙上贴着海报,运动装备散落。一把吉他靠在墙上,中间是一块舒适的图案地毯。窗外的光线为房间增添了温暖、年轻的氛围。)▲3D世界生成模型在同一主题、不同风格的AI图片中的表现。
▲创作者Eric Solorio通过3D世界生成模型给画面加入角色并精确地调度虚拟相机完成“拍摄”。▲创作者Brittani Natali将3D世界生成模型与Midjourney、Runway、Suno、ElevenLabs、Blender和CapCut等工具结合使用,通过三支短片传递了不同情绪。
当然,目前该模型还存在一些不足,例如生成的3D场景可探索区域有限,在移动一小段距离后,它就会提示已达到边界;某些场景会出现渲染错误,不同的物体以不自然的方式融合,成为了一团色块。World Labs表示,以上成果还偏早期,他们正在努力提高生成世界的大小和拟真度,也正在试验用户与它们交互的新方式。
World Labs于今年9月13日正式宣布成立,是一家空间智能AI公司,试图构建大型世界模型(LWM)来感知、生成3D世界并与之交互。前谷歌云AI负责人、斯坦福大学教授李飞飞是该公司的联合创始人兼CEO。
▲李飞飞在AI Optimist Club发表演讲(图源:福布斯)
World Labs在博客中写道:“我们的目标是将AI模型从像素的2D平面提升到完整的3D世界,赋予它们与我们一样丰富的空间智能。”
据《福布斯》9月19日报道,成立不到一个星期,World Labs的估值就已经超过10亿美元。
彼时,World Labs筹集了2.3亿美元的风投资金,投资方包括Andreessen Horowitz(a16z)、NEA和Radical Ventures在内的美国知名风投机构,以及Salesforce公司创始人兼CEO Marc Benioff和英伟达(Nvidia)旗下投资部门NVenture。
该公司预计到2025年发布首批产品,应用范围包括游戏、机器人以及其他潜在行业。
从自然语言到图片、视频、3D建模,再到如今的空间计算,两年时间,生成式AI正在以极快的速度认知、理解、模拟、生成人类所存在的物理世界。在即将到来的2025年,由World Labs开启的空间智能AI竞争或将重现今年各大AI视频生成应用厂商的盛况,生成式AI也有可能由此迈入下一阶段。