马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer

乐活   2024-10-28 16:16   北京  


「 无套路!文末提供免费下载 」


马赛克克星现身!让我们迎接AI图像修复新神器——CodeFormer


最近在Github狂刷Star的一款神器吸引了我的注意,这就是 CodeFormer

一款 AI 去马赛克和修复图像的强大工具,Star数已突破15.5k,由南洋理工大学和商汤科技联合研发。这款工具不仅能对模糊照片或视频进行细节还原,甚至对大面积马赛克区域也能进行高质量复原,带来不可思议的清晰效果。今天就带大家一起探索这款AI去马赛克神器,看看它如何为图像处理注入“魔法”!



#CodeFormer 的核心技术

CodeFormer 将变分自动编码器(VQGAN)Transformer 技术相结合,专门针对图像模糊和马赛克进行还原修复。它通过高效算法,优化图像细节,确保复原后的视觉效果自然、真实。它支持图片和视频的高清修复,适用场景包括家庭相册、社交媒体照片优化、专业图像修复等。

在当今数字时代,照片承载着珍贵的记忆和情感。CodeFormer 就像一位“时光魔法师”,帮助我们复原那些被时间和技术局限模糊了的瞬间。



#使用 CodeFormer 的简易步骤

虽然软件看起来很简单,但是安装环境不是太简单。一般的人,看到就会懵逼起来的!
由于源码对小白不友好,装环境难题直接阻拦大部分用户,为此我打包好了所需的python环境,做了一个图形GUI包,无需你本地安装python环境也可使用,下载链接放在文末

用法很简单

下载解压后,点击“启动程序.bat”,
然后你要处理的是图片还是视频,切换到对应选项卡
选择待处理的图片或者视频,以及结果保存位置
点击开始处理,程序开始自动运行
如果运行被360拦截,请关闭360。所有源代码均公开可见,在_internal文件夹里可查看,无需担心程序后门

版本的功能,除了codeformer本身功能之外,还有以下功能:
1. 对deepfacelab切好的aligned强化,直接写入dfl已有信息,无需重新切脸,强化完可以直接用于训练

2. 关闭了codeformer里默认尺寸放大2倍的功能,改为默认1倍尺寸,保持dfl切好的图不会出现尺寸不匹配问题
3. 把强化aligned人脸图和强化整个图分开到2个标签页,分别对应alinged文件夹强化和merge文件夹强化,方便新手小白理解

Demo 效果

为了便于演示,以下是CodeFormer的不同效果:

  1. 人脸修复:模糊人脸焕然一新。

  2. 色彩增强:提升图像色彩细节,使视觉效果更加生动。

  3. 图像修补:在局部损伤的区域进行复原,恢复图像的完整性。



#CodeFormer 的技术亮点

CodeFormer 可以在极端模糊甚至马赛克的情况下,对低质量图像的整体信息进行全局建模,复原出与原始图像相似的清晰图像。更为重要的是,它集成了可控特征转换模块,允许用户根据需求调节输出的清晰度和保真度。这一模块在适应不同图像质量的退化方面极为强大,使得 CodeFormer 在细节丰富度和真实感方面超越了许多传统工具。

此处对比3种针对人脸的清晰化算法:codeFormer,GPEN,GFPGAN  使用老婆新垣结衣的图做测试  先测试正面情况:
PS:有些马赛克是直接嵌入到图片像素中的,这种马赛克很难被清除。
正面效果上,codeFormer(以下简称CF)效果最好,清晰又清爽,原人物的身份特征保留完好 GPEN其次,清晰,但会增加一种油腻感,会平白增加一些雀斑一样的东西,原人物的身份特征保留完好 GFPGAN最垃圾,人物的身份特征会受影响,都看不出这是新垣结衣了
再测试小侧面情况

小侧面效果

CF清爽自然,但眼神有变化

GPEN油腻,但眼神有变化

GFPGAN反而效果好一点

大侧面效果上,CF和GPEN都不太好,眼神跟鬼一样。GFPGAN更烂  codeFormer算法里有个w参数控制追求细节还是忠于原图,对比如下  这个没有好坏之分,看个人喜好了

#CodeFormer 的工作流程:

1.学习高质量图像特征:通过自重构学习存储图像的高质量特征表示。

2.全局信息建模:使用 Transformer 对低质量输入图像的信息进行全局建模。

3.可控特征转换:灵活控制从低质量编码到高质量解码的信息流,以平衡输出的质量与细节。



#安装与操作

目前有几种方式供大家使用。

第一种是直接上 Github[3] 按照 README 文档配置环境,加载模型权重推理,懂的都懂,此处省略。

第二种是通过 Web[4]端直接访问,作者已将该模型打包至抱抱脸平台上,有兴趣的读者可以注册个账号直接在线上使用。

第三种是通过 GUI[5]可视化界面直接在本地运行,无惧隐私泄漏,无须安装和配置编译环境,一键运行。具体步骤如何:

  1. 下载压缩包,解压到本地目录。
  1. 准备好两个文件夹,一个输入文件夹存放待复原的图片,另一个是输出文件夹存放修复好的图片。

  2. 选择相应的功能,目前支持对人脸(抠好的)、人体(内置了人脸检测和对齐模型)、视频的推理。

本项目基于 DeepFaceLab 和 CodeFormer 完成,其中人脸检测模型基于 retinaface和 yolov5,背景增强基于 RealESRGAN_x2plus 模型权重。需要注意的是,全图清晰化针对的是全身进行复原,建议使用完之后对截取过的人脸再使用一遍人脸图清晰化的功能。




#结语

CodeFormer 用强大AI技术为图像和视频带来清晰新生,为专业图像处理、家庭相册修复、社交媒体优化等领域注入新的活力。无论是想追求极致细节,还是恢复珍贵的老照片,CodeFormer 都是你的不二之选!

更新地址点击阅读原文

--------收集不易先点 在看 后 领取--------


 资源获取方式 一 

点击下方⬇️⬇️小程序卡片⬇️⬇️免费下载

 资源获取方式 二 

长按二维码 发送 : S386

长按二维码 发送 : S386

长按二维码 发送 : S386

无/需/转/发   网/盘/下/载


好了,今天的内容就到这里啦!我们明天见哦~
资源整理不易,劳烦大家文末多多“分享、点赞、在看”~~

后期圈
分享后期软件素材等资源,提供免费下载方式。
 最新文章