这不是关于战争的硝烟,也不是关于政治的博弈,而是关于想象力与创造力的全新篇章。今天,我们要讲述的,是一个关于全球首款AI游戏诞生的故事,一个无需游戏引擎,直接由视频模型生成「我的世界」的奇迹。这个故事的主角,是两家初创公司——Decart和Etched,他们联手打造了一个名为Oasis的神秘世界。
Oasis,这个由AI自动生成的游戏,无需传统的游戏引擎,仅凭一个AI基座模型,就能实时生成一个开放世界。这听起来像是科幻小说中的情节,但今天,它成为了现实。
https://github.com/etched-ai/open-oasis
Oasis经过了数百万小时游戏视频的训练,它能够理解并执行用户的键盘输入,实时生成一个可交互的开放世界游戏。这不仅仅是图形学的渲染,更是对物理原则和游戏规则的深刻理解。在没有任何延迟的情况下,Oasis在H100上运行时能以360p的分辨率实现每秒20帧的渲染,并实时生成视频交互内容。
谷歌曾发布了首个AI游戏引擎GameNGen,但并未开源。而Oasis,这个由Decart和Etched联手打造的项目,不仅开源了代码,还公开了500M参数版本的模型权重。这一行为,无疑是对整个AI游戏开发领域的一次巨大推动。开源的代码和模型权重,意味着更多的开发者可以参与到这个项目的改进和创新中来,共同推动AI游戏的发展。
虽然Oasis的360p分辨率在4K HDR盛行的今天显得相当复古,但这正是它的迷人之处。它让我们回想起了游戏的初心,那份简单而纯粹的快乐。然而,未来已经在招手。如果在Etched打造的Sohu芯片上运行100B+参数的优化模型,就能达到4K级别的实时渲染,并发用户数量也将提升超过10倍。这不仅是技术的飞跃,更是游戏体验的革命。
就在模型发布的当天,红杉资本宣布以2100万美金投资Oasis背后的其中一家初创公司Decart。这不仅是对Decart技术的认可,更是对整个AI游戏领域未来发展的看好。红杉资本的这一举动,无疑为Oasis的发展注入了一剂强心针。
Oasis虽然看起来是一个游戏,但真正的技术重点却是「视频」和「交互」。随着视频模型的扩展,它们正在学习代表整个物理世界和游戏,从而赋能一个全新的产品类别。从短视频社交媒体到视频通话,再到流媒体,目前超过70%的互联网流量来自视频;但另一方面,视频的数据密集程度相当高,AI生成视频所需的FLOPs比文本或图像多出10倍。因此,大部分人工智能推理工作负载将来自视频。无论是游戏、教育还是生成式内容,大型、低延迟、交互式的视频模型将成为下一波人工智能产品的核心。
Oasis的底层机制并不是游戏引擎,而是单一的视频生成模型,相当于一个能交互、可玩的Sora。技术团队进行了数百次架构和数据实验,以确定用于快速生成自回归交互式视频的最佳架构。Oasis模型均基于Transformer架构,由基ViT的变分自动编码器(VAE)和基于DiT的潜在扩散主干组成,使用了加速过的轴向、时空和因果注意力机制来克服长序列中的模型发散。
Oasis模型是由Decart和Etched两家初创公司共同推出的。Decart成立于2023年9月,一直致力于提高AI模型的效率和降低运行成本,提供更快、更可靠的训练以及实时推理,成立三个月后便与一家GPU云服务商达成了数百万美元的交易。Decart联合创始人Moshe Shalev和Dean Leitersdorf,今天,红杉资本更是豪掷2100万美金对其进行了投资,合伙人Shaun Maguire更是大力称赞Decart的团队,认为他们是「超精英的AI工程师」、「合作过的技术最有天赋的团队之一」,正在将生成式体验推向极致。目前推出的Oasis只是一个实时推理方面的热身实验,接下来的几个月,他们还将发布更具有颠覆性的成果。
另一家初创Etched是来自美国的人工智能芯片公司,成立于2022年,三位核心创始人均为哈佛辍学生。他们最耀眼的成绩,就是推出了Sohu——世界上第一个基于Transformer架构的ASIC芯片,专为LLM推理加速打造,不仅快过Groq,也能碾压英伟达最新的B200。以Llama 70B模型的推理性能为例,1张Sohu≈20张H100≈10张B200。令人咂舌的性能背后,是Etched的一场豪赌般的权衡。打造针对特定算法的AI芯片,将模型架构直接烧录到芯片的硬件结构中,这意味着无法运行其他模型,比如CNN、RNN或LSTM,但对Transformer来说,就能得到有史以来最快的芯片。
能高效推理的AI芯片,对于极耗算力的视频生成而言,可以说是类似于Scaling Law的福音。虽然文生视频模型已经达到了很好的生成效果,但速度非常慢,成本也很高。视频中的每个帧包含数百甚至数千个token,必须并行处理多次才能完全去噪。最好的模型平均每秒生成不到一帧,而且每个用户每分钟的费用可能高达1美元。这种低效高成本的推理,不得不说是视频生成模型用于实际应用的一大障碍,而这正是Sohu芯片期望解决的问题。
今年6月,Etched宣布已经筹集了1.2亿美元的资金用于扩大生产,并与台积电合作,以35人的精干团队直接放话挑战市值3万亿的英伟达。
虽然Oasis目前还处于实验阶段,但它已经向我们展示了AI游戏的无限可能。随着技术的不断进步,我们有理由相信,Oasis将不仅仅是一个游戏,更是一个全新的交互体验平台。它将改变我们对游戏的认知,让我们在虚拟世界中体验到前所未有的自由和真实。
这个故事,只是AI游戏发展的一个开始。随着技术的不断进步,未来将有更多像Oasis这样的项目出现,它们将带领我们进入一个全新的虚拟世界,让我们的想象力和创造力得到无限的延伸。这是一个悬念丛生、环环相扣的故事,而我们,都是这个故事的见证者。
小编这几天用业余时间写了个用AI写藏头诗的小程序,欢迎大家体验并给出改善建议,感谢!