作者|子川
来源|AI先锋官
继Runway首次删库跑路之后,终于再一次听到了Runway的声音。近日,Runway在X上官宣发布一项新功能:Act-One。Act-One是一款生成式角色表演工具。简单来说,就是上传一张人物图片和一段视频后,图片中人物的脸会替代视频中的人物脸。其表现形式和传统的换脸工具会有稍稍有些不同,我们可以称为换头工具。正如大家所看到的那样,“四个不同的人物说着同样的话。且眼神、微表情、语调和动作节奏保持一致"。其中中年大叔是自己录制的视频,而另外三张的面孔是由AI生成的图片。凭借着Act-One功能,另外三位由AI生成的图片可以惟妙惟肖的模仿中年大叔在视频中所作的任何事。看下来,Runway的新功能Act-One在英文语境上表现的十分不错,那在中文语境上效果如何呢。扔给它一个经典语录:“我信你个鬼,你这个糟老头子,坏得很!”。在对口型方面表现依旧不错的,但是脸部动作有点不自然,较强僵硬。看来,当Act-One遇到广西口音,就有点露怯了!
除了Runway有换头术外,类似的工具还有Viggle和快手的LivePortrait(开源)。随后我们进行了一番实测。首先来一个非常简单的挤眉弄眼视频,看一下它们在动作细节捕捉的极限。Runway
三款工具都没有成功复现原视频中的脸部动作。Viggle面对原视频中的挤眉弄眼,甚至已经一动不动了。而快手和Runway的表现会好一些,复现了绝大部分的脸部动作,不过动作幅度没有原视频中的大。
那再来一个较难的,来比较一下Runway和快手,谁的效果会更好。
面对幅度更大,速度更快的视频,快手开源的LivePortrait就表现就有点差强人意了,特别是嘴部动作,跟粘了胶水似的,张不开。
而Viggle的效果就更加差了,甚至还自动生成出身子。。。通过测试,会发现Runway的整体表现效果会更好。角色的面部表情不再呆板,而是更加生动真实。
不过遗憾的是,目前Rnuway这项新技术只支持脸部动作捕捉,不支持全身动作。
目前Runway的Act-One功能已全面开放,不过需要充会员,感兴趣的兄弟们可以试一下!
扫码邀请进群,我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型,顺便学一些AI搞钱技能。