25K star!实时视频换脸,不要轻易相信你看到的

文摘   科技   2024-08-19 11:16   北京  

点击上方蓝字关注我们

IT 咖啡馆,探索无限可能!

恭喜你发现了这个宝藏,这里你会发现优质的开源项目、IT知识和有趣的内容。

 

AI 时代最引人关注或者说最具有争议的技术是什么?我想应该就是AI 换脸技术,但是毋庸置疑这种技术正以前所未有的速度渗透到我们的生活中,引起了广泛的关注和讨论。

今天我们分享的开源项目,它是一款实时视频换脸软件,可以让你在视频或者直播中进行换脸操作,它就是:Deep-Live-Cam



Deep-Live-Cam 是什么



Deep-Live-Cam 是一个创新的 AI 应用,它利用深度学习算法,通过单张照片实现视频中的人脸实时替换。这项技术的应用范围广泛,从娱乐到教育,从艺术创作到商业广告,都有着巨大的潜力。Deep-Live-Cam现在在GitHub上完全开源,在CPU上运行,可以使用NVIDIA CUDA、Apple Silicon(CoreML)、DirectML(Windows)、OpenVINO(Intel)进行GPU加速。

Deep-Live-Cam,在发布后短短的一周时间内,增长超过2万star,可见大家对于它的关注。我们先来看一下效果,可以看到效果非常不错。


同时该软件的开发人员意识到其可能存在不道德的应用,并致力于采取预防措施。它有一个内置检查,可以防止程序用于一些你懂的视频。





技术原理



Deep-Live-Cam 背后的技术原理涉及到面部识别、特征提取和面部融合等多个步骤。它通过深度学习模型,如 GFPGANv1.4 和 inswapper_128_fp16.onnx,精确识别源图像和目标视频中的人脸特征,然后进行像素级的融合,生成逼真的换脸效果。

  • GFPGANv1.4:

GFPGAN 是一个腾讯开源的用来恢复照片中人脸的开源项目,目前在github上以及超过了35K star,它利用预训练人脸 GAN(例如StyleGAN2)中封装的丰富多样的先验来进行盲人脸修复。

  • inswapper_128_fp16.onnx:inswapper提供支持的一键式换脸和修复。

Deep-Live-Cam 通过将多个技术融合,是得换脸能力可以落地到实时视频场景。





安装 Deep-Live-Cam



基本使用可以通过CPU运行,但速度也会非常慢。您可以按照基本安装的说明进行操作

1.运行需要

  • python(推荐 3.10)

  • pip

  • git

  • ffmpeg

  • visual studio 2022 运行时 (windows)

2. 克隆仓库

git clone https://github.com/hacksider/Deep-Live-Cam.git

3. 下载模型

  1. GFPGANv1.4

  2. inswapper_128_fp16.onnx

然后将这两个文件放在“ models ”文件夹中

4.安装依赖项

我们强烈建议使用 venv 以避免出现问题。

pip install -r requirements.txt

对于 MAC OS,您必须安装或升级 python-tk 包:

brew install python-tk@3.10

完成!如果您没有任何 GPU,您应该能够使用python run.py命令运行 roop。请记住,首次运行该程序时,它将下载一些模型,这可能需要一些时间,具体取决于您的网络连接。




使用 Deep-Live-Cam


 

执行python run.py命令将启动此窗口:

选择一张脸(包含所需脸部的图像)和目标图像/视频(您想要替换脸部的图像/视频),然后单击Start。打开文件资源管理器并导航到您选择输出的目录。您将找到一个名为的目录<video_title>,您可以在其中看到实时交换的帧。处理完成后,它将创建输出文件。就是这样。

网络摄像头模式

只需按照屏幕截图上的操作即可

  1. 选择一个面

  2. 点击直播

  3. 等待几秒钟(需要较长时间,通常需要 10 到 30 秒才能显示预览)

只需使用您最喜欢的屏幕截图即可像 OBS 一样进行流式传输




总结



整体来说 Tiny RDM 是一款功能齐备的Redis客户端工具,不输给市面的主流产品,可以作为开发和运维人员的日常工具。该项目系开发者为爱发电的开源作品,希望能有更多的优秀国产开源项目不断涌现,为国产开源添砖加瓦。




项目信息



  • 项目名称:Deep-Live-Cam

  • GitHub 链接:https://github.com/hacksider/Deep-Live-Cam

  • Star 数:25K



往期推荐

35K star!生产环境的Java诊断工具,阿里开源神器

7K star!精致小巧的开源Redis可视化客户端

「Github一周热点32期」动画图解算法教程、用LLM写完整报告等5个项目


  




识别二维码关注我们
微信号- it-coffee
B站 - IT-咖啡馆
头条号- IT咖啡馆

IT咖啡馆
开源项目、IT技能和有趣的事情
 最新文章