还在为制作趣味视频、口播讲解视频发愁吗?
今天带来的LivePortrait,可以轻松控制图像或视频中的人物,参照参考视频生成表情和动作动态视频,适合各种趣味视频和口播场景。
LivePortrait是一个肖像动画生成框架,主要用于将静态图像与输入参考视频结合,生成逼真的动态表情视频。该框架特别注重泛化能力、可控性和效率,在提升视频质量的同时,优化了框架的性能。
研发团队扩展了训练数据至约6900万高质量帧,并采用了混合图像-视频的训练策略,极大提高了合成效果。
此外,通过引入隐式关键点(implicit keypoints),结合缝合模块和重定向模块,实现了低计算开销下的高效动画生成。
显卡要求
电脑配置至少4GB显存的显卡,以确保最佳的性能和兼容性。
环境配置Conda
访问Conda官网下载合适的操作系统安装。
CUDA驱动(NVIDIA显卡用户)
访问英伟达官网下载安装CUDA 11.8。
在准备安装Live Portrait的目录下,地址栏输入'cmd'打开命令窗口。
输入以下指令克隆Live Portrait程序库
git clone https://github.com/KwaiVGI/LivePortrait
程序克隆完成后,进入克隆项目的文件目录内
cd LivePortrait
使用conda创建虚拟环境并激活
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait
conda create -n LivePortrait python=3.9
conda activate LivePortrait
进入克隆的Live Portrait目录,令安装所需的依赖包
pip install -r requirements.txt
pip install -r requirements_macOS.txt
下载权重
git lfs install
git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights
mv temp_pretrained_weights/* pretrained_weights/
rm -rf temp_pretrained_weights
在Live Portrait目录下,新建一个文本,命名为'run.bat'并打开
@echo off
CALL conda activate liveportrait
python app.py --server-name 127.0.0.1 --server-port 8890 --no-share
保存并关闭文件。
双击run.bat文件启动Live Portrait。
上传照片与视频
在操作界面点击“Upload Photo”上传静态图片,点击“Upload Video”上传表情参考视频。生成合成视频
点击“Animate”开始生成。生成完成后,可以查看原视频与合成视频的对比,或下载生成的视频。调整表情参数
可通过滑块调整眼睛和嘴巴的动作幅度,生成表情包图片。
ComfyUI-AdvancedLivePortrait让人脸编辑变得简单高效,实现动态效果,提升创作效率。感兴趣的小伙伴们快去试试吧!