AI 视频精准控制人物表情,压箱底的 4 款神器!

科技   2024-10-13 21:01   湖北  

 大家好我是花生~

随着生成式 AI 技术的发展,无论是 AI 图片和视频质量都越来越好,可以轻松实现“以假乱真”。与此同时大家对细节把控的追求也在不断提升,如何让角色形象或场景保持一致、如何控制人物做出复杂连贯的动作、如何控制人物的面部表情等都是目前很受关注的问题。

今天就为大家推荐 4 款可以帮我们精准控制人物头部运动和表情变化的 AI 神器,有了它们,无论是让图像人物做出指定表情,还是让 AI 视频的角色表现出细腻的情绪都没有问题,一起来看看吧~

文本控制

 熟悉 AI 绘画的小伙伴应该都知道,我们可以直接通过文本生成带不同表情的人物,所以现在很多 AI 视频在表现人物情绪时,都会选择先生成对应的图像,然后再添加动态。

目前 HaiLuo AI、Kling AI 等视频生成工具在处理这一块的动态时效果就很好,情绪传递非常到位。而且它们还可以根据提示词的要求,让原本的表情转为另一种状态,从而在视频中展现出丰富的情绪变化。

▲ 通过一张正面人物图像,生成带转头、微笑等表情的视频。
来源:Twitter @Dan_Dawson__

另外,这两款 AI 工具本身的文生视频能力也很强大,可以直接生成微笑、愤怒、忧伤、恐惧等的表情,甚至是不同情绪的混合和切换,大家在创作时可以多尝试 AI 在情绪表达上的可能性。

▲ Kling 1.5 模型直接通过文本生成复杂的人物情绪。

来源:Twitter @CharaspowerAI


LivePortrait

在线体验 👇

huggingface.co/spaces/KwaiVGI/LivePortrait


ComfyUI 插件 👇

github.com/kijai/ComfyUI-LivePortraitKJ


Windows 一键安装包 👇

www.uisdc.com/ai-video-7

 Liveportrait 我之前已经向大家介绍过了,它控制人物面部表情时效果准确又自然,并且可控程度非常高,因此很推荐 AI 视频创作者尝试。作为一款开源模型,它可以部署到本地免费使用,ComfyUI 里也有对应的插件,还可以在 Huggingface 上免费体验。

使用时只需准备好一张目标角色的图像,然后录制一段表情动态,LivePortrait 就能将其完美复刻到图像角色脸上,操作简单,同时效果也很贴合。现在已经有人将其用驱动图像角色“对嘴型”唱歌说话上了,用来制作一些搞笑整活视频,效果也很有意思。LivePortrait 还支持对动物的表情进行控制。

▲ 视频来源:Twitter @HaruAiman


Advanced Liveportrait

在线体验 👇

huggingface.co/spaces/fffiloni/expression-editor


ComfyUI 插件 👇

github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait


  在 Liveportrait 开源不久后,开源社区很快又出现了一款基于它修改而成的面部表情控制神器 Advanced Liveportrait, 它的特点是无需真人视频,直接通过滑块就能对面部动作进行编辑调节。

下面是 ComfyUI 里 Advanced Liveportrait 插件的演示效果。它将面部表情可能包含的动态拆分为了 15 个滑块,可以实现转头、偏头、闭眼、单眨眼、眼珠转动、微笑、嘴开合等操作。而且面部的一个部位发生改变后,其余部位的肌肉也会有对应的变化,因此整体的效果非常自然。

Advanced Liveportrait 很适合用来生成 AI 写真摆拍、或者拯救有瑕疵的废片;也可以用来录制头部、表情的动作发生过程。


FacePoke

在线体验 👇

huggingface.co/spaces/jbilcke-hf/FacePoke


 FacePoke 是一款最近流行起来的面部动作控制工具,使用时要先用鼠标选中角色的五官或者整个面部,然后拖动进行调节,它可以实现头部转动、眼睛开合、微笑等效果。需要注意的是,上传的图像中人物面部不要占比不能过大,半身照或者全身照比较好,否则模型会无法正确识别。

▲ 视频来源:Twitter @DesigningFlow


综合运用

 AI 创作者 @Martin Nebelong 在 Twitter 上发布了一个视频,展示了自己是如何通过运用多个 AI 工具,完成一段带有复杂人物动作的 AI 视频的。整个视频的效果精致,制作方式也很巧妙,这里也一起推荐大家。

Martin 首先是利用 AI 实时绘画定制了一个原创角色,然后在 FacePoke 中通过鼠标控制头部进行转动,并录制了整个过程。再用 LivePortrait 实现对口型的操作,最后利用 Runway Gen 3 的视频转绘功能,将原本简单的视频变成了氛围感大片。

 视频创作过程中,Martin 充分利用了不同 AI 工具的长处,从而实现了单个工具难以实现的、非常接近实拍效果的人物动态,思路非常值得借鉴。喜欢 AI 视频创作的小伙伴平时也可以多分析、思考不同工具的特点,灵活地结合使用它们,肯定能进一步提升视频的质感。

那么以上就是本期为大家推荐的可以准确控制人物面部表情的 AI 工具,喜欢的话一定记得点赞评论支持一波,我会更有动力分享新的 AI 干货。想了解更多设计神器的话,欢迎关注优设网「神器推荐专栏和优设微信视频号。


也欢迎大家加入“优设 AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~

加群👉 后台回复关键词: 优设 AI 知识交流群

优设
优设品牌号,正专注于AI数字设计和AI应用探索。🌟我们百万内容号是@优设AIGC 优设网2012年成立至今,国内专业设计师平台。
 最新文章