工具与测评 | 驱动万物：LivePortrait

项目链接：https://huggingface.co/spaces/KwaiVGI/LivePortrait

看到经典名画中的蒙娜丽莎、戴珍珠耳环的少女和陶瓷哥突然“活”了过来，共同加入一场跨时空的“笑眼传情”，是不是觉得违和中又有点意思？这不是电影特效，上面这些”传神“的面部表情动态视频正是通过快手、中科大和复旦大学联合研发的图生视频开源大模型Live Portrait生成的视频。

Live Portrait，类似苹果的拟我表情（Anmoji），通过使用单一源图像作为外观参考，并从驱动视频、音频、文本或生成中获取动作（如面部表情和头部姿势），来合成逼真的视频。简单来说，Live Portrait不仅能让照片中的人物动起来，做出各种表情和动作，并且表情迁移也”纵享丝滑“，没有一丝违和感。

在RTX 4090这样的高性能显卡上，Live Portrait每帧视频的生成速度仅需12.8毫秒（除了快，还是快），一眨眼就可以生成一个完整的动态视频，不需要等待漫长的渲染时间。

不仅如此，Live Portrait还具有高质量的动画效果和多样性。它不仅能处理人类，还能通过数据微调让动物照片“活”起来。无论是你的宠物猫还是宠物狗的图片，都能通过Live Portrait 瞬间对你眨眨眼，简直心都化了。

7月8日，快手宣布Live Portrait正式接入 ComfyUI。这一功能的更新让网友们玩出了新花样。ComfyUI，作为一个基于节点流程设计的Stable Diffusion操作界面，以直观易用和高度定制化的自由度，让用户能够像搭建乐高积木一样，灵活组合不同的AI模块，创造出独一无二的艺术作品。这意味着，用户可以在ComfyUI的平台上轻松驾驭LivePortrait，通过拖拽节点、调整参数，以前所未有的便捷方式，定制自己的肖像动画项目。

此消息推出，网友们便各显神通，在ComfyUI平台上搭配LivePortrait和其他AI处理节点，比如风格转移或背景替换，生成一系列既创意又有个性的视频。可以说，LivePortrait接入ComfyUI，如同创意界的强强联合，堪称”完美“。

我们挑选了一些有趣的视频，这些视频不仅仅是LivePortrait的独角戏，更是与其他AI模型强强联手产出的优秀作品。话不多说，一起开看。

Ultra Edit和LivePortrait一键实现风格转换 + 动画化的效果。

上传一张原图后，Ultra Edit能够智能地根据提示词，一键实现风格转换。并且它还特别人性化地调节原画和提示词的匹配度，省去繁琐的风格迁移模型或插件，是不是超级方便？

接下来只需LivePortrait一段表情动态视频，它就能让Ultra Edit编辑过的图片瞬间“活”起来，变成一段流畅的动态视频。无论是表情的微妙变化，还是画面的动态效果，都处理得行云流水，毫无违和感。

作者：-Zho-

内心充满表达的欲望，却苦于找不到合适的模特？别担心，你可以先在 Midjourney 中输入关键词，生成你脑海中的形象，然后再用 Liveportrait 让它栩栩如生地动起来！

这里可以看出，女孩的表情在某种程度上相当逼真。她眨眼的动作与脸部苹果肌的联动非常自然，而在闭眼的瞬间也能看到微微用力的细节表现，只是偶尔会有类似掉帧的画面闪动。

作者：ola｜AI解説・アート

更炸裂的是，Liveportrait还支持通过摄像头即时生成肖像视频。用户可以使用自己的面部表情驱动生成的CG图像，这下完全可以放飞自我，想怎么用脸就怎么用脸。生成效果品质也是杠杠的，完全不输传统的CG技术。

作者：Hirokazu Yokohara

https://x.com/Yokohara_h/status/1813616931515297874

Liveportrait不仅可以应用于静态照片，现已扩展到支持视频输入，应用场景更加广泛。对于背景不断变化的动态视频，它同样能够完美应对所有需求，并且可在HF上免费试用。

项目链接：https://huggingface.co/spaces/fffiloni/liveportrait-vid2vid

作为一款能够让静止物体动起来的神奇创作工具，Liveportrait的首要任务就是赋予那些海外司空见惯的塑像以动态生命。没错，在Liveportrait的加持下，就连视频中古板朴素的塑像人物也能眉飞色舞地“RAP”起来。

作者：Pedro Anuarbe Cortes

https://x.com/peancor/status/1812188166754820397

利用 MimicMotion 捕捉并真人的舞蹈动作，使静态照片中的人动起来。接着，通过 LivePortrait ，为目标添加逼真的表情和眼神变化。两者的结合，不仅让静态图像焕发新生，还为观众带来了更加沉浸和真实的视觉体验

这段视频中的女JK初看时表情非常惊艳，完美契合了我们对青春洋溢的跳舞小姐姐的想象。她的笑容明亮，眼神充满活力。然而，随着视频的进行，她的表情逐渐显得有些用力过猛，眼睛被过度放大，面部表情也变得夸张和不自然。这种过度的表情处理在某种程度上产生了恐怖谷效应，背景也变得有些模糊，不过不知道这是不是MimicMotion处理不当的锅？

作者：艾橘溪

https://www.bilibili.com/video/BV1A6421f7n2/

LivePortrait 与 ComfyUI 的结合是一种更专业的落地方法。ComfyUI 允许与其他工作流无缝集成，实现实时处理和更复杂的动画效果。这种专业版本适用于需要高精度和高灵活性的用户，如电影制作人、游戏开发者和虚拟现实设计师。

Github：https://github.com/kijai/ComfyUI-LivePortraitKJ/blob/main/examples/liveportrait_example_01.json

下载json文件，将其load进ComfyUI，你就会看见这些层次分明的网格线图。

先简单介绍一下这些条条框框代表一些什么吧。最左上角的是Load Image，用来放置你挑选的图片，左下方的的Load Video是用来放置视频的，右侧的LivePortrait process是整个流程的核心，最上方的四个参数 dsize-vy ratio 是模型裁剪参考视频的，保持不变就好。

为了能够让视频更长，我们可以在Load Video模块的第四行frame load cap处增加帧数。

如果你希望避免图像中的人物因视频中人物过度摇头晃脑而导致的失真现象，并且只希望图像中的人物模仿眼睛的动作，在LivePortrait process模块中，你可以点击第6行的 eye retargeting 的false并将其改成true，人物就只会模仿眼睛了。

下面的eye retargeting multiplier和lip retargeting multiplier选项可以调节眼睛和嘴巴的动作幅度。如果图像中的人物有着过度夸张的大眼睛或大嘴巴，无法完全按照视频中人物的动作幅度闭合或张开，你可以通过调整这两个选项来解决。不过需要注意的是，一旦启用这两个选项，头部将不会再移动，感觉其泛用性有点低。

介绍完了功能就让我们开始吧。图片模块我们上传了一张表情夸张的搞怪人像。

视频的话我们直接选择官方提供的视频案例。

最后点击 Queue Prompt运行就可以了。

得到结果如下：

LivePortrait 也提供了一个面向非技术用户的版本，专注于单一需求的体验。这一版本简化了操作流程，即使没有专业背景的用户也能轻松上手，快速生成生动的动画效果。

详情网站：https://huggingface.co/spaces/KwaiVGI/LivePortrait

按照要求，左边载入图片，右侧载入视频，网站下方已经有了不少范例可供使用。

例如，对蒙娜丽莎神秘微笑的讨论自古以来一直是传颂千秋的重大议题。借助Liveportrait技术，我们可以深入解构这一神秘微笑的奥秘。

左右两侧分别上传图片和视频后，点击最下端的Animate，得到结果如下。

LivePortrait的登场，简简单单就上演了现实版的“点石成金”。不仅仅是动起来这么简单，它那飞一般的速度和随心所欲的创作自由度，从静态到动态，从单一到多元，简直是把创意大门开到了最大。

而它与ComfyUI的联袂出演，更是将“不可能”变为“可能”的常态。与UltraEdit、Midjourney等AI工具的强强联合，完美验证了“只有你想不到，没有AI做不到”这句老话。

如果说去年我们还在为视频生成技术的小步慢走挠头，今年Sora、SVD的横空出世，以及6月份以来Luma 和国内新秀可灵的同台竞技，视频生成模型领域仿佛驶入了创新的超车道。如今Live portrait 更是把视频生成的赛道卷成了创意的高速路，每一个弯道超车都让人心跳加速。

未来AI还会怎样刷新我们的视界，以及给创作领域带来怎样的狂飙突进，我们尚未可知但又不禁遐想，未来的每一次点击，都可能开启一个新的视觉奇迹。