马斯克图片变表情视频,表情全踩点上了!

教育   2024-09-07 17:39   浙江  

先上视频:

是不是还挺有意思?
制作方法也很简单,选好图片和视频,一键就可以生成,就是在线体验需要魔法,后台回复 “魔法” 即可免费领取。
这款工具来自国内大厂快手,开源、高效的,肖像动画生成框架:
LivePortrait
快手,在国内文生视频和图生视频领域,发展真是快啊,已经是顶流!
LivePortrait 采用单张图像作为输入参考图像,再结合输入参考视频,既可合成逼真视频,驱动输入图像的嘴型和眼部动作。
LivePortrait 框架专注于更好的泛化能力、可控性和实用性的效率。为了提高合成视频的质量和泛化能力,研发团队扩展了训练数据至约6900万高质量帧,采用了混合图像-视频训练策略,升级了网络架构,并设计了更好的运动转换和优化目标。

LivePortrait 架构方法

第一阶段:基础模型训练。模型从头开始训练,外观和动作提取器、变形模块和解码器做了改进和优化。

第二阶段:缝合和重定向模块训练。在第一阶段训练完基础模型后,冻结外观和动作提取器、变形模块和解码器。第二阶段只优化缝合模块和重定向模块。

更多技术细节,请参考技术论文:
https://arxiv.org/pdf/2407.03168

LivePortrait框架已经有对应的ComfyUI插件实现:

LivePortrait:
https://github.com/KwaiVGI/LivePortrait

comfyui-liveportrait:
https://github.com/shadowcz007/comfyui-liveportrait

不过,直接在线体验最为方便,地址:
https://huggingface.co/spaces/KwaiVGI/LivePortrait

左侧,上传人物图片:

右侧,上传人物视频,也可以从模板中挑选,比如:

最终效果就像文章开头介绍的那样,照片中的人物,就会按照视频中的人物表情动起来。

...
你觉得这个AI工具怎么样?
还有很多有意思的视频,比如让兵马俑动起来,做特朗普的表情动画等...
你还有什么好玩的点子?欢迎转发+留言区分享~
不过使用此工具,需要魔法,
公众号后台,回复 "魔法" ,或在留言区留言,即可领取免费魔法工具!
扫码进群,还有下图中的超多干货!

思维不定势
突破自我限制,跳出思维定势!分享新思想,新科技,还有AI前沿!
 最新文章