字节豆包发布 AI 视频模型,剧情、人物一致性有不俗突破

创业   2024-09-24 19:13   广东  

作者子川 

来源AI 先锋官


就在刚刚,豆包家族迎来了两位视频模型新成员:PixelDance V1.4和Seaweed
废话不多说,跟随小编的步伐体验下:
PixelDance V1.4:支持文生视频和图生视频,能够一次性生成长达10秒的视频片段。
该模型具备出色的语义理解能力,无论是复杂的故事叙述,还是细腻的情感表达,PixelDance V1.4通通都能get到,效果还贼不错。
PixelDance V1.4:支持文生视频和图生视频,能够一次性生成长达10秒的视频片段。
该模型具备出色的语义理解能力,无论是复杂的故事叙述,还是细腻的情感表达,PixelDance V1.4通通都能get到,效果还贼不错。

精准的语义理解

先给大家看几个视频,感受一下PixelDance V1.4模型变态的语义理解能力。

prompt:狮子身上燃烧着火朝画面左侧跑去,它逐渐被火焰吞没成为一团火焰,火焰逐渐变成了字母WOW。

prompt:一个男人走进画面,女人转头看着他,他们互相拥抱,背景周围的人在走动。

prompt:特写一个中国女人的面部。她有些生气地戴上了一副墨镜,一个中国男人从画面右侧走进来抱住了她。

恐怖如斯语义理解能力!!!
不仅完美的遵从了prompt,还表现出多个主体之间的交互能力,甚至解锁了多拍的动作指令。
再回到画面本身,用影视级的画质形容它,一点都不为过。

强大动态和炫酷运镜

视频生成领域的难题:运镜,同样也没有难倒它。

如此丝滑的运镜,这不妥妥为内容创作者量身打造的吗?

有没有狠狠的心动啦!!!

一致性多镜头

熟悉视频生成工具的小伙伴都知道,画面一致性的控制有多难,本来好好的一台超跑,只要消失在镜头外,再次入镜极有可能变成一辆三蹦子。

反观PixelDance V1.4模型不仅能在一个prompt内实现多个镜头切换,还能同时保持主体,风格,氛围的一致性。

多风格、多比例兼容

PixelDance V1.4模型支持包括黑白、3d动画、2d动画、国画、水彩、水粉等多种风格,

还包含了1:1、3:4、4:、16:9、9:16、21:9六个比例。

再聊回另一个兄弟,Seaweed,同样有不俗的表现。
三大亮点:

逼真度极高,细腻丰富的细节层次

专业级色彩调和和光影布局

动态流畅,符合真实物理运动

先来看一下它的逼真度。

这虚化的背景和甜甜的笑容,确定不是相机拍的吗?
我们再来看一下专业级色彩调和和光影布局。

色彩搭配这块是不是觉得还不错,无论是视频中阳光的自然还是女生穿着炫丽色彩的衣服,都符合光影布局和专业级色彩调

再来看一下急速运动的场景又是一番什么样的景象。

看到这个视频画面是不是异常熟悉,这和之前Sora放出的Demo视频极其相似。整体运动画面流畅自然,速度快慢也符合物理运动机制。
大家觉得这个视频和Sora生成的视频哪个更加符合物理运动机制?
是不是效果还不错!
Seaweed同样支持文生视频和图生视频两种模式。
默认输出为720p分辨率、24fps、时长5秒,可动态延长至20-30秒。
目前,豆包已经在方舟平台开放内测申请,感兴趣的朋友可以去碰碰运气。
链接:https://www.volcengine.com/
最后,不得不说一句,看完豆包视频模型的发布会,从未停止过的震撼,在整个文章中同样表达了小编对豆包视频模型的圈圈爱意。
真的太强啦!!!
加上快手的可灵,阿里的通义万象 AI 视频模型,生数科技的Vidu,智谱的清影,爱诗科技的PixVerse。或许中国的Sora时刻正在来临!

 .END.
扫码邀请进群,我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型,顺便学一些AI搞钱技能。

往期文章回顾





AI先锋官
AIGC大模型及应用精选与评测
 最新文章