国产AI可灵(LivePortrait)能让照片动起来

科技   2024-07-11 19:38   北京  

 引言:在数字时代,现实与虚拟之间的界限变得越来越模糊。其中一个令人着迷的发展就是让静态照片动起来,赋予它们逼真的动作。这正是LivePortrait在ComfyUI中的作用所在。在这篇文章中,我们将探讨LivePortrait的工作原理、设置方法以及这项创新技术的潜在应用。

一、什么是LivePortraitLivePortrait是一种通过学习真实视频来动画静态照片的AI模型。想象一下,有一张你或你所爱的人的照片,通过一点AI魔法,它可以像《哈利波特》系列中的动图一样栩栩如生。这项技术使用隐性关键点来理解和动画面部的重要部位,如眼睛、鼻子和嘴巴。

二、工作原理LivePortrait利用隐性关键点——可以将其视为放置在面部关键特征上的隐形点。这些关键点帮助AI理解如何逼真地移动你的面部。但它不仅仅是猜测;它从真实视频中学习。通过提供一个人讲话或微笑的视频,LivePortrait使用该视频的动作来动画你的照片。这意味着你的照片可以模仿视频中人物的动作,创建动态而逼真的动画。

三、设置LivePortrait要在ComfyUI中开始使用LivePortrait,请按照以下步骤操作:

  1. 安装LivePortrait自定义节点:在ComfyUI管理器中搜索ComfyUI LivePortrait KJ自定义节点并点击安装。

  2. 下载Safe Tensors模型:需要下载为ComfyUI优化的LivePortrait安全张量模型。可在这些自定义节点的GitHub项目中找到链接。

  3. 安装InsightFace:InsightFace是一个非商业用途的人脸识别库,需下载用于测试和研究目的。

  4. 重启ComfyUI:安装必要组件和依赖项后,重启ComfyUI。

  5. 整理模型文件:下载模型文件并将其放置在你的models文件夹中。在models文件夹中创建一个名为“LivePortrait”的子文件夹。

  6. 加载示例工作流:进入自定义节点项目的examples子文件夹,将工作流拖到ComfyUI界面。这将带来自定义节点工作流,允许你生成不同的面部头像。


四、微调和自定义LivePortrait提供了多种设置以微调动画。例如,可以启用或禁用眼睛和嘴唇的重定向功能。此功能允许你控制动画是跟随整个面部的动作还是仅特定部分,如眼睛或嘴唇。

示例和设置

  • 全脸运动:当关闭眼睛和嘴唇的重定向时,动画会跟随整个面部的运动,创造出更自然和逼真的效果。

  • 部分运动:通过启用眼睛或嘴唇的重定向,可以创建专注于特定面部特征的动画。例如,可以仅动画嘴唇与语音同步,如同阿里巴巴创始人马云的讲话。

在一个示例中,关闭所有重定向选项,结果是最自然和详细的面部动作,紧密模仿源视频的动作。这不仅包括眼睛和嘴唇,还包括眉毛、脸颊甚至头部的运动。


五、潜在应用LivePortrait的潜在应用非常广泛。以下是一些创意:

  • AI动画角色:增强AI动画角色的细节,使其更自然地说话和移动。

  • 虚拟助手:创建更具吸引力和逼真的虚拟助手,使其与用户的互动更像真人。

  • 数字艺术:让数字肖像栩栩如生,为数字艺术增添新维度。


结论:ComfyUI中的LivePortrait是一款强大的工具,可以通过逼真的动画让静态照片栩栩如生。通过从真实视频中学习并使用隐性关键点,它创建了动态而逼真的动画。无论你是AI爱好者、数字艺术家,还是希望创建引人入胜的虚拟助手,LivePortrait都提供了令人兴奋的可能性。我们希望本教程能激发你探索这项创新技术的潜力。

记得关注我们的公众号,获取更多AI使用技巧和效率提升秘籍

解锁未来,掌控AI 大模型的力量!评论区留言,加入“零基础掌握AI”群

AI大模型应用派
AI前沿,AI大模型应用介绍,AI大模型案例分享。
 最新文章