【导读】「鸽」了整整一年的Sora,终于上线了!OpenAI 20分钟的演示展示了视频二合一等多项炸裂的新功能。奥特曼直言:Sora是AGI路线图上的重要里程碑。现在系统已经被网友们挤爆了,新用户间歇性暂停注册。
OpenAI直播第三弹,Sora终于现身了!
才一上线,网页就已经瞬间挤爆。现在,所有新用户注册已经紧急暂停(不定期)。
奥特曼与Sora团队负责人Bill Peebles、研究副总Aditya Ramesh,以及Rohan Sahai、Joey Flynn开启了短短20分钟的在线直播。
相较于2月的原版Sora,他们今天带来了更高级的加速版Sora Turbo。
Sora能生成任意长宽比的视频,分辨率从480p到1080p,时长从5秒到20秒,还可以一次生成多个方向的视频版本,让我们选择其中最理想的一个。
包括文本到视频、图像到视频、视频到视频的功能。
这次,OpenAI着重介绍了Sora的几项功能:Remix(重混)、Re-cut(重新剪辑)、Storyboard(故事板)、Loop(循环)、Blend(混合)以及Style presets(风格预设)。
所有新功能一览:
等了大半年,Sora终于不再只是艺术家们的工具,现在所有的ChatGPT Plus/Pro用户皆可使用。唯一区别是,使用限制不同:Plus用户每个月有50次生成额度,Pro用户可以获得500次快速生成额度(如果选择的分辨率更高,则次数更少)或是无限次慢速生成额度。奥特曼本人表示,对我来说,Sora最令人兴奋的一点是,它使得与他人共作变得如此容易。这感觉像是一个有趣的全新事物!它就像视频领域的GPT-1,现在还处于初期阶段,但我已经觉得这个信息流非常吸引人。Sora团队研究者自豪地表示,突破视觉生成的界限,就是在机器学习和人机交互方面取得突破。诚如这条读者评论所言:Sora之所以令人激动,不止是因为我们现在在哪里;更重要的,是想象我们的前进方向。可以确信,我们正在经历一个不平凡的年代。
在Library中,我们可以查看视频的所有版本,通过几种不同的方式对此处的视图进行切片。现场,几位工作人员给我们实测了一把Sora的文生视频功能。在输入「长毛猛犸象走过沙漠景观」的prompt,等待一段时间后,四个视频就出现了,我们可以选择最理想的那个。只需要通过Remix描述希望视频怎样更改(无论是大的更改,还是希望背景中多一些风或者沙),接下来的工作就可以直接交给Sora。故事版功能,可以让我们使用时间轴,在整个序列中产生一个包含多个动作的视频。在其中,我们可以描述环境、角色、想要在特定点发生的动作。在prompt中我们写得越少,Sora就会填充得越多,反之亦然。在时间轴的开头,我们可以直接设置场景:开始白鹤站着,然后将头进入水中,捉出一条鱼。在几组动作中,需要给Sora足够的时间来连接这些想法我们还可以使用Re-cut,将其中的片段剪切到新的故事板中,在留白的地方创建其余的片段,比如一个结尾。上传一个灯塔的图像后,它被放入第一张卡片,然后Sora创建了一个全新的卡片。厉害的地方来了!Sora已经看过了该图像,并且还添加进了关于我们希望图像怎样动的理解。通过Blend功能,Sora甚至还能将两个场景完美地混到同一个视频中,可以理解为这某种维度上粉碎两个视频,然后组成一个新的。研究者强调说,这是他此前在其他AI视频从未见过的功能!利用Sora,我们不仅可以制作分辨率最高1080p、时长最长 20 秒的各种格式视频,并且还可以通过文本生成新内容,或者增强、重混和融合自己的素材。此外,通过「精选」和「最新」来查看社区的创作,也可以为自己的新想法提供灵感。这款模型基于DALL·E和GPT模型丰富的经验而打造,可以为用户提供更强大的讲故事和创意表达工具。与GPT模型类似,Sora使用Transformer架构,解锁了卓越的扩展性能。此外,它采用了扩散模型技术,从看似静态噪声的基础视频开始,逐步去除噪声,最终生成完整视频。值得注意的是,Sora解决了视频生成中的一个关键挑战——主体一致性。通过让模型同时预测多个帧,确保即使主体暂时消失在视野之外,也能保持一致性。在数据标注上,Sora核心秘密武器便是DALL·E 3——为视觉训练数据生成高度详细的描述性标注。因此,训练后的Sora能够以前所未有的精度,遵循用户在生成视频时的文本指令。Sora的能力远远超出了简单文生视频,它还能将静态图变身动画,添加细节。更令人兴奋地是,Sora作为理解和模拟真实世界的模型基础,被OpenAI视为迈向AGI的关键里程碑。除了20分钟发布会上的内容,OpenAI在官网上,也放出了新功能的详细介绍和示例。Storyboard(故事板)
带有关键帧的时间轴,是Sora非常亮眼的新功能。在个人时间轴上,可以组织和编辑独特的视频序列。A vast redlandscape with adocked spaceship in the distance
广袤的红色星球景观中,一艘银光闪闪的宇宙飞船静静停靠在远处Looking out frominside thespaceship, a spacecowboy standscenter frame
透过宇宙飞船的舷窗向外眺望,一位星际牛仔挺立在画面中央Detailed close up view of astronaut'seyes framed by aknitted fabricmask
特写镜头下,宇航员深邃的双眼透过织物面罩的框架凝视着前方Remix(重混)
这个功能,可以让我们替换、删除或重新想象视频中的元素。比如,我们先生成一个场景——打开通向图书馆的大门。Re-cut(重新剪辑)
这个功能,能让我们找到并且选中最佳帧,向任一方向延伸。比如,选出这段「水獭玩球」视频中自己最心仪的那几帧,Sora可以生成在它之前或者之后的帧。Loop(循环)
通过这个功能,Sora可以修剪并创建无缝的重复视频。Sora会在开头和结尾中添加大量帧,来将它们连接起来。Blend(混合)
通过这个功能,可以把两个完全不同的视频,融合为一个无缝剪辑。Style presets(风格预设)
这个功能,可以让我们充分发挥想象力,创建想要的风格。Earthy tones with muted pastels and pops of color. Soft, diffused lighting enhances handcrafted textures. Everything—characters, objects, and scenery—is transformed into cardboard and paper, complete with visible creases and folds
以大地色调为基础,配以柔和的粉彩色,并点缀上鲜艳的色彩。柔和的环境光勾勒出精致的手工质感。画面中从人物、物件到背景的一切元素,都被重塑成纸板与纸张的质地,呈现出自然的折痕与起伏
Shot on 100t film, the image quality is grainy and high contrast, with shallow depth of field and cinematic look, epic and dramatic shot, very nostalgic采用100T胶片拍摄,呈现独特的颗粒质感和高对比度效果,配合浅景深营造电影感,画面富有史诗感和戏剧性,散发浓郁的怀旧氛围Shot in high-contrast black and white with deep shadows and selective highlights. Features low-key chiaroscuro lighting, hard shadows, and venetian blind effects. Moody, mysterious, and suspenseful, with a vintage cinematic vibe采用高反差黑白摄影手法,营造出深邃的暗部和精准的亮部层次。运用低调的明暗对比打光,呈现出锐利的阴影效果和威尼斯百叶窗光影。整体氛围充满忧郁、神秘和悬疑感,完美展现复古电影的美学OpenAI科学家Noam Brown表示,「Sora,是scale力最直观的证明之一」。OpenAI Sora研究员Will Depue展示了一些生成虚构历史影像的demo。found footage of Genghis Khan on the steppe with his warriors in the 1200s
13世纪成吉思汗与他的战士们在草原上的历史影像片段found footage from Kyoto in the 1600s
OpenAI COP Kevin Weil总结了今天的发布,并给了一个海马泡泡的演示。一部分网友也迫不及待开始试用了,比如秋叶原的十字路口飘着雪花。woman confidently walking towards the camera, there are paparazzis behind her, tokyo high high contrast background
一位女性自信地迎着镜头走来,身后跟随着一群狗仔队记者,背景是东京,光影对比强烈
今年2月,OpenAI抢先推出了自家首个视频生成模型Sora。随即,他们又放出了首批访问者利用Sora做出的7个创意的演示,还有一支由Sora制作的MV——Worldweight,引全网围观。直播开场,奥特曼本人介绍了,视频对于OpenAI如此重要的原因,主要有三点。第一,对于OpenAI而言,Sora不仅仅是一项技术,更是一种赋能创意人士的工具。在公司的文化基因中,用AI激发人类创造力,也很重要。通过Sora,OpenAI看到了一种全新的协作模式:AI和人类共同创造,开启了富有想象力的可能性。早期测试中出现的创新性互动,预示着AI创意工具将极大地改变我们思考和创意的方式。其次,文本曾是人机交互主要形式,但OpenAI坚信,这远远不够。仅仅通过文字来理解和表达,我们将会错过丰富的信息维度。视频,作为一种更加立体、生动的交互方式,能够传递更多情感、语境、细节。最后,Sora之于OpenAI,不仅仅是一个视频生成工具,更是AGI路线图上的重要里程碑。通过学习和生成视频,AI将获得更丰富、更深入的世界理解。让我们拭目以待,看看Sora将为人类世界带去怎样的惊喜。