前几天,在字节的火山引擎的发布会上字节正式发布了他们全新的两款AI视频模型:
豆包视频生成-PixelDance模型和Seaweed模型。今天就和大家说下这个豆包PixelDance模型,因为太屌了
如果要给这个豆包PixelDance模型,做一个总结,那就是三个词:人物的复杂连续动作,多镜头组合视频,极致的运镜控制。听着感觉有点难理解是不是?不用急,我一会详细来解释。
我先放几个case,给大家感受一下这玩意的震撼:
真的,影视行业在之前,几乎没法用AI,就是因为,人物表演太垃圾,还有场景和人物一致性太差,运镜说实话也不咋地。
行业颠覆的奇点,就在今天,就在这个发布会上,正式到来了。过往,AI视频有一个很致命的点,就是看起来像PPT动画。不管是Sora展示出来的视频、还是runway、还是可灵等等,运动幅度再大,也只是镜头幅度大,从来没有人的复杂动作。顶天了,转个身,或者快速跑个步,或者挥个手,或者拥抱一下。说实话,就单拥抱这个,都没几个AI视频能做出来的。而如果让图里这个女生,摘下墨镜,站起身,然后走向雕像呢?所有的AI视频,全部阵亡。
除了手上的表有一些些闪动,人物比例、动作、肢体、光影等等,几乎毫无瑕疵。比如在《喜剧之王》里,在最后一幕,周星驰饰演的尹天仇,在对着柳飘飘喊出那句经典的“我养你啊”的台词之后,柳飘飘坐在离去的出租车里,哭的非常伤心,看了一会手上的钱和表,然后把他们放进包里,拿出尹天仇视为信仰的那本《演员的自我修养》,伤心的抱在胸口。这段表演,是连续的。连续的东西,才有张力。你才能感受到,那痛彻心扉的情绪。而现在,用AI,生成可以做连续动作的人物表演,不再是空谈。再看一个case,男人喝了一口咖啡,然后放下,一个女人从背后走来。之前就幻想过无数种关于AI做人物表演的可能。现在,豆包就帮我实现了这个“梦想”。
▍02.多镜头组合视频
一张图+Prompt,就能生成风格、场景、人物一致的多镜头视频,这个能力,我只在Sora的宣传片里面看到过。
其实说实话,这个视频当时看,非常的震撼,但是现在看其实也还好,风格、角色和场景都太简单了,所以一致性很好保持,也没啥复杂的故事和分镜。但就这样,现在,依然没有任何一个AI视频,能做到单视频多镜头,而且还能保证完美的一致性。别跟我说LTX studio那种玩意,那个做做故事版还行,做正片?洗洗睡吧,别说场景了,人物保持全景、中景、特写统一都难。而且真的丑的出奇。但是现在,豆包PixelDance做出来了,而且一致性简直无敌,真的。Prompt:拿着镰刀的死神朝女人走近。特写女人的脸,她惊恐地尖叫。或者,一场战斗。
Prompt:白色机器人抬起双手拿着一把步枪对着画面左侧不断射击。枪口射出一道绿色的能量光线。镜头变化成画面左侧是一个黑色的机器人,一道绿光从画面右侧快速射入,击中了它的身体,黑色机器人被击倒并爆炸。画面变了,白色机器人望向爆炸,它望向远处的爆炸,转身走出了画面。一张图和Prompt,就能生成单视频多镜头,屌爆了,真的。对于影视和广告行业来说,几分钟能瞬间调度后面两三个镜头的分镜,直接出成片。普通人的使用门槛,也巨幅降低,人人都是导演,人人都可以做故事的时代。▍02.极致的运镜控制
现在的AI视频的运镜控制,还基本集中在摄像机+运动笔刷两个功能的组合拳上,但是说实话,上限真的有限,很多大运镜和变焦,根本做不出来。什么鸟瞰缩放上移旋转这种基操我就不说了,关键是,直接一句话,各种360度围绕主体环绕、前后景变焦、摇摄、目标跟随、升降镜头什么玩意都行。效果出奇的好,我第一次见到,在AI视频,运镜能这么牛逼,这么炫酷的。Prompt:女人微笑着低下头,镜头拉远,一个白人男人注视着这个女人。Prompt:黑白风格,镜头环绕着戴墨镜的女人拍摄,从她侧面移动到正面,最后聚焦于女人的面部特写。
这是一张图,然后一句Prompt干出来的,你敢信?这动作幅度,这稳定性,比特么建模出来的还离谱,我真的服了。
End. 最后>>
豆包PixelDance模型,就会优先对企业开启邀测,过几天上线火山方舟,等模型能力优化稳定后,就会直接上线即梦,向C端用户全员开放。
我们还给大家推荐了很多好用的AI提效工具,并且整理了一个AI工具文档。想要的的同学扫下方二维码添加叮当猫微信回复“AI工具”获取。限额前50名。
AI绘画师日记是由原阿里设计专家Sky盖哥创建,在星球你可以和 2 万 AI 绘画师一起在 AI 绘画世界里冲浪。这里为你提供 AI 落地解决方案和最新 AI 绘画技术探索。星球不定期组织 AI 实战案例、AI 实战打卡等。现在加入星球可立即获得会员专属福利!赶快扫码直接加入星球,一起拥抱新变化,逆袭成长!