制作方法也很简单,选好图片和视频,一键就可以生成,就是在线体验需要魔法,后台回复 “魔法” 即可免费领取。
这款工具来自国内大厂快手,开源、高效的,肖像动画生成框架:
LivePortrait快手,在国内文生视频和图生视频领域,发展真是快啊,已经是顶流!LivePortrait 采用单张图像作为输入参考图像,再结合输入参考视频,既可合成逼真视频,驱动输入图像的嘴型和眼部动作。LivePortrait 框架专注于更好的泛化能力、可控性和实用性的效率。为了提高合成视频的质量和泛化能力,研发团队扩展了训练数据至约6900万高质量帧,采用了混合图像-视频训练策略,升级了网络架构,并设计了更好的运动转换和优化目标。LivePortrait 架构方法
第一阶段:基础模型训练。模型从头开始训练,外观和动作提取器、变形模块和解码器做了改进和优化。
更多技术细节,请参考技术论文:
https://arxiv.org/pdf/2407.03168
LivePortrait框架已经有对应的ComfyUI插件实现:
LivePortrait:
https://github.com/KwaiVGI/LivePortrait
comfyui-liveportrait:
https://github.com/shadowcz007/comfyui-liveportrait
不过,直接在线体验最为方便,地址:
https://huggingface.co/spaces/KwaiVGI/LivePortrait
最终效果就像文章开头介绍的那样,照片中的人物,就会按照视频中的人物表情动起来。
还有很多有意思的视频,比如让兵马俑动起来,做特朗普的表情动画等...公众号后台,回复 "魔法" ,或在留言区留言,即可领取免费魔法工具!