Sam耍猴落幕,Sora圣诞首测:从期待到现实的全景剖析

文摘   2024-12-26 11:41   广东  

一、引言

Sam 的“耍猴发布会”刚告一段落,Sora 便赶在圣诞节点推出免费试用活动,借此机会我们也来蹭一波热度,一探这款全新视频生成模型的实际表现。相较于目前市面上的主流 AIGC 视频模型,Sora Turbo 被定位为「性能与成本平衡」的基础款,效果整体属于行业平均水准,虽然偶尔还会出现一些 Bad Case,但在多数常见场景下都足够胜任日常创作需求。接下来,我们将深入体验 Sora 的界面与功能,详细展示在文生视频与图生视频方面的表现,同时也会对其故事板(Storyboard)模式进行剖析,帮助你快速了解其优点与不足。一起往下看,看看这款备受关注的 Sora 是否值得体验吧!


二、界面以及功能介绍

Sora与其他常见视频生成应用不同的地方在于其内置了自己的剪辑工作流功能,用户可以通过预设的一些能力进行生成素材的编辑,无需导出后使用后期工具进行重复调整。目前已上线的功能有:Remix、Recut、Storyboard、Blend、Loop,均可以在平台内对生成的视频直接使用。


进入页面首先能看到的是其他用户的生成结果分享以及最下方的生成操作栏位。


用户可以选择上传图片或者视频进行编辑,也可以直接输入文本进行文生视频模式,不需要手动切换。生成的可选项有预设的风格模式,也有常规的输出比例以及分辨率。


对于时间以及生成视频的数量也可以进行选择


在视频的编辑页面可以对视频进行编辑,包括重新编辑提示词、Recut、Remix、Blend、Loop等操作,分辨对应了重新剪辑、替换元素、无缝拼接、无限循环,具体的操作就不多赘述,目前应该已经有很多相关功能的介绍了。


单独说下故事板,故事板可以通过添加视频以及关键帧来进行后续生成。用户只需要在时间轴标记上大概想要切换分镜的节点并添加文字描述或图像提示,模型将会根据这些信息在生成时作为参考。目前测试下来的结果来看,受限于模型本身的能力,生成结果对于提示词遵循的强度并不高。


三、效果展示

01

文生视频

跟往期的测试一样,为了统一效果方便大家进行对比,我们将使用与往期其他竞品测试相同的提示词进行测试。首先我们测试的是单纯的文生视频,不包含任何其他功能。


前几期对比可见:工具与测评 | 即梦AI发布全新视频生成模型:精准细节与多镜头切换引爆创作体验 、工具与测评 | Vidu 多主体一致性:一场视频生成的冒险


Case1

在奇幻森林深处,精灵射手在追逐一只发光的鹿,开始是森林的中景展示精灵与鹿的追逐,然后切换到精灵拉弓射箭的手部特写,最后切换到鹿逃窜的背影视角,画面呈现空灵奇幻风格。


生成视频:



可以看到结果1有了弓箭手、鹿,但是对于手部特写以及追逐的镜头没有表示清楚,同时鹿也并非发光状态;而结果2虽然完全按照提示词生成,但是顺序和运镜似乎有些问题。看来对于Sora来说过于复杂运镜切换还是有些难为模型,如果使用对应分镜单独生成后拼接可能会好很多。事实上很多目前的AIGC短片创作者也是这么做的。


Case2

未来都市中,身着银色机甲的战士在高楼间穿梭战斗,先全景展示城市与战斗场景,再切换到战士面部表情特写,最后以从战士视角俯瞰战场结束,画面风格为炫酷科幻风。


生成视频:


问题跟上面的场景一样,人物动作、镜头并没有按照提示词的故事性进行展开,只是单纯的动作和场景拼接。所以即使看上去美术风格保持了统一,最后的结果还是存在割裂感。


Case3

在废弃的游乐园,小丑玩偶坐在旋转木马前,背后是生锈的摩天轮。先以全景呈现游乐园的荒废景象,然后切换到小丑玩偶破损的脸部特写,最后以夜晚灯光下游乐园的全景结束,画面风格为写实的诡异惊悚风,色调昏暗。


生成视频:




转场略显生硬,但是整体的效果出人意料,对比往期的其他模型生成结果也更有写实感,这几个case一雪前耻,可以说效果都相当出色。


02

图生视频

Case1

图中的人慢慢走过向日葵,脸逐渐抬起看向远方


整体效果还可以,人物动作和进行的情况都符合提示词,除了运镜的转换有些过于生硬。


Case2

比熊先在原地轻轻抖动身体,抖落身上可能存在的灰尘,随后开始缓慢走动,在走动过程中自然地嗅闻周围的空气,毛发随着动作自然摆动。


比熊的动作幅度过大,整体的动态效果有些太夸张了,同时也并不符合宠物狗平时的动作。


Case3

篮球入网,篮网因篮球的冲击而剧烈晃动


除了突然刷新的人手,整体都还算正常,球很顺利的入网并且下落,不过运动的速度可能有点偏慢了。


Case4

展现从不同角度观察这份水果拼盘的动态过程


倒不是说这个效果不好,而是好像没有理解拼盘旋转的意义和展示的含义。人物拿走水果后确实少了一颗蓝莓,这点倒是理解清楚了,很有意思。


Case5


并没有像一些bad case一样,文生图只是静静地展示,没有提示词的情况下完成镜头的转换和墙背后物体的补完,相当优秀。


四、故事板模式(Storyboard)

针对文生图的三个场景描述,我们进行了故事板模式的尝试,希望能够通过产品自带的功能,控制分镜的生成以及运镜流畅程度。


首先我们将提示词根据想要切分分镜的大概时间分段填入时间轴,系统也可以帮助你优化提示词,不过第一次我们先使用正常的提示词进行生成。保持文生视频的三组基础提示词不变,让我们看看整体效果有没有明显提升。




可以看到第一组的效果虽然对比之前增加了转场,整体的环境和光影效果都有非常大的提升。但是人物的追逐动作以及故事性还是没有得到保留,出现了AI视频生成经常出现的主题错乱问题。第二组的效果倒是有了运镜以及人物特写,但是人物的形象上并不协调,也没有对应的动作生成。第三组的效果相当出色,在塑造感上也不错,不过对比提示词直出没有特别大的提升。


接下来使用系统优化提示词的功能重新进行下生成。

第一组优化后的效果有点难以评价了,不仅主体错乱,运镜也前后不相关,仅仅是为了按照提示词生成而生成画面,在连贯性上存在较大的问题,莫名出现的人头甚至会让人觉得惊悚。第二组的变化较大,除了人物动作有些奇怪之外,其他部分的生成效果以及运镜都是符合提示词的,并且镜头语言是一致的。第三组反倒对比之前的结果损失了运镜相关的部分,场景和氛围没什么问题。


总体来看,故事板这部分功能受限于模型本身能力的限制,并没有发挥出预想的奇效。模型对于提示词本身的理解能力已经足够出色了,是否使用故事板以及提示词优化对于结果的优化效果并不大,实际上还不如多抽几次卡来的方便。


五、  总结


总体来看Sora还是拖了太久,只说目前的效果,对比国产各家优质模型其实并没有特别领先的优势,部分场景甚至还要劣势一些。当然这也只是平衡质量和性能之后的模型Sora Turbo的效果,至于目前在画饼的Sora V2效果如何,我们还无从得知。客观来说Sora Turbo的效果没想象中的惊艳,整体的缺陷还是在镜头的叙事性不足以及运动的物理规律遵循有待提升,但也没有那么此前传闻的那么不堪一用,生成效果还是在一线水平的。当然考虑到200刀一个月高额的定价,Sora确实不是最优的选择,不过对于已经长期开通了Plus的用户,一个月1000代币还是能用来当作添头,偶尔创作一些内容的。


还要提到的一点是,Sora不仅在产品功能上针对内容创作做出了优化,产品交互上也是看得出下了一番功夫的,甚至在内容导出的一些细节上都有进行调整。能够感受到这样设计的目的是希望用户能在产品上完成内容创作前80%的部分,降低了创作的门槛。不过目前的产品能力以及效果表现似乎很难让Sora完成这样的愿景,用户还是需要高质量的出片才能更顺利的完成内容创作。

关于LitGate

大家好,我是LitGate,一个专注于AI创作的游戏社区。我们的新版官网已经上线✨你可以在里面找到各种AI创作的实操案例,以及已经沉淀的AI游戏创意demo,相信一定能让你大开眼界!


我们还有一个讨论群📣,如果你对AI创作感兴趣,或者有什么问题想要咨询,欢迎加入我们的讨论群,和大家一起交流学习!(PS:目前群内人数较多,为了有一个优质的讨论环境,请各位添加社区管理员企业微信账号邀请入群


更多精彩活动和功能筹备上线中,敬请期待~


关注我们,一起探索AI创作的无限可能吧!


新版官网地址:www.litgate.ai


LitGate
AI赋能游戏开发,一站式创作者社区 http://www.litgate.ai
 最新文章