InstantIR：来自小红书团队模糊图像修复技术，体验指南
🌹大家好！欢迎来到破狼公众号。感谢大家的支持与鼓励。在AIGC探索道路上，我将与你一路同行。喜欢就星标关注破狼公众号或文末扫码加入交流群 ！本人仅运营公众号平台，未经授权严禁CSDN等其他平台抄袭和转载！
InstantIR简介
今天介绍一款由InstantX团队与北京大学、香港中文大学联合推出的最新图像修复模型：InstantIR，这是一种基于扩散的新颖的老旧图像修复方法，能够在推理过程中动态调整生成条件，实现极端退化图像的细节恢复和创造性修复。 InstantIR首先使用预训练的视觉编码器提取输入的紧凑表示（compact representation），然后在每个生成步骤中使用该表示来解码当前的扩散潜在空间并实例化一个生成先验。退化的输入随后使用这个参考进行编码，提供强大的生成条件。InstantIR能够观察到生成参考的方差随退化强度波动，并利用这一点作为开发适应输入质量的采样算法的指标。最后，研发团队通过广泛的实验表明，InstantIR实现了优秀的图像修复能力，并提供了出色的视觉质量。
• Github：https://github.com/JY-Joy/InstantIR
• 项目主页：https://jy-joy.github.io/InstantIR/
• 在线体验：https://huggingface.co/spaces/JOY-Huang/InstantIR
演示案例
原图 | 修复后 |
InstantIR ComfyUI体验
通过ComfyUI插件管理器搜索ComfyUI_InstantIR_Wrapper插件并安装该插件，仍然还需要下载对应模型，具体如下所示：
• 在线web体验地址：https://huggingface.co/spaces/JOY-Huang/InstantIR
• 插件地址：https://github.com/smthemex/ComfyUI_InstantIR_Wrapper
• SDXL模型：这里可以选择任意一款本地的SDXL模型，推荐：juggernaut模型
• InstantIR模型：下载InstantIR模型，并放置到目录ComfyUI/models/InstantIR下，下载地址：https://huggingface.co/InstantX/InstantIR/tree/main/models
• dino模型：另外还需要下载facebook/dinov2-large模型，可以放置任意位置，在插件中输入对应路径，下载地址：https://huggingface.co/facebook/dinov2-large/tree/main
• SDXL模型：还需下载latent-consistency/lcm-lora-sdxl放置目录 /ComfyUI/loras/ 下。下载地址：https://huggingface.co/latent-consistency/lcm-lora-sdxl/tree/main
在线Web体验
在线web体验地址：https://huggingface.co/spaces/JOY-Huang/InstantIR
Flux文生图工作流
Flux文生图感兴趣的同学可参考LIBLIB在线运行工作流：FLUX[续篇]：12B参数23G最大开源文生图模型，Dev版直出惊艳美图欣赏
InstantIR修复工作流
InstantIR修复工作流工作流已上传LIBLIB平台：
https://www.liblib.art/modelinfo/bf9a7482f87142f789f6d35fa556c9ba?versionUuid=63c3108e05144b6eb0ca4cb254598201
无需修改默认提示词就可以开始体验了，该插件只是退化图片回复技术，对于老照片类修复还需增加放大高清等局部细节内容修复和处理。下面是笔者的一些展示图像：
原图 | 修复后 |
更多推荐文章：
• 更像了！5个百分点提升，字节写真换脸PuLID-F1再升级，小红书流量密码
• OmniGen：统一图像生成和多任务集成模型，任意人物自由合影，8位量化7G可体验
• [ComfyUI]Flux：F.1多区域精确控图，无需LORA技术多区域自由构图工具
• [ComfyUI]MochiEdit：最新视频编辑工具，Mochi视频生成加速方案
• [ComfyUI]FaceAging：太好玩啦！仅需几秒看完你或她的一生，从出生到百岁面容
• [ComfyUI]Flux:低显存救星,无限创意!无需部署就能体验最新Joy2|PuLID|LLM等,CF无缝集成
• [ComfyUI]Flux：超治愈！民间青草编织手工艺术，顽强生命微观世界
• [ComfyUI]Flux：适用F.1的sigmas细节增强工具，无需LoRA消除背景模糊和光晕提升图像质量
• [ComfyUI]PyramidFlow：快手开源视频模型，与Mochi比拼谁更强？8G可运行10秒768P与24帧视频生成
• [ComfyUI]Mochi：可商用！迄今最大开源视频生成模型，100亿参数&高保真动作&高提示遵循
• [ComfyUI]阿里EcomID：最强写真换脸？2百万淘宝图训练，结合PuLID和InstantID最新面部一致性框架
• [ComfyUI]Flux：太赞了！DGirl亚洲写实F.1再现，色彩调节与写实摄影
• [ComfyUI]Flux：超强反推Joy2！该升级你的反推插件了，多样风格和详细提示操作指南
• [ComfyUI]Flux：太酷啦！F.1创意小红书写真贴纸艺术风，字节PuLID和创意模板无限创意
