点击下方卡片，关注「魔方AI空间」公众号
简 介
DiffIR2VR-Zero：一种创新的零样本视频恢复技术，该技术利用预训练的图像恢复模型，解决了传统方法在不同场景下泛化能力不足的问题。
通过关键帧与局部帧的分层合并策略和混合对应机制，该方法在无需重新训练的情况下，实现了卓越的视频恢复效果，甚至在极端退化条件下超越了训练模型。这项研究不仅提升了视频恢复的效率和适用性，也为高质量视频输出需求的领域带来了技术革新。
项目主页：https://jimmycv07.github.io/DiffIR2VR_web/
官方演示：https://huggingface.co/spaces/Koi953215/DiffIR2VR
视频超分辨率
方法概述：
使用扩散模型批量处理低质量 (LQ) 视频，并在每批中随机采样关键帧。(a) 在扩散去噪过程开始时，分层潜在扭曲通过关键帧之间的潜在扭曲在全局提供粗略的形状指导，并通过在批次内传播这些潜在扭曲在局部提供粗略的形状指导。(b) 在大部分去噪过程中，标记在自注意力层之前合并。对于下采样块，使用光流来查找标记之间的对应关系，对于上采样块，利用余弦相似度。这种混合流引导、空间感知的Token合并通过利用流和空间信息准确地识别Token之间的对应关系，从而增强Token级别的整体一致性。
分层潜在变形
混合空间感知Token合并
在自注意力层之前，利用光流和余弦相似性匹配相似的Token，提高时间一致性。
令牌对应关系
通过光流和余弦相似性找到不同的对应关系，采用混合方法提高效果。
实操部署
为了方便访问huggingface不方便的朋友，关于DiffIR2VR-Zero的代码和模型文件，已打包好了，关注【魔方AI空间】，回复“111”即可领取！！
安装依赖
# clone this repo
git clone https://github.com/jimmycv07/DiffIR2VR-Zero.git
cd DiffIR2VR-Zero
# create environment
conda create -n diffir2vr python=3.10
conda activate diffir2vr
pip install -r requirements.txt
下载模型文件
请按照以下文件夹结构放置预训练权重。
weights
└─── gmflow_sintel-0c07dcb3.pth
└─── v2.pth
└─── v2-1_512-ema-pruned.ckpt
推理命令
视频去噪
python -u inference.py \
--version v2 \
--task dn \
--upscale 1 \
--cfg_scale 4.0 \
--batch_size 10 \
--input inputs/noise_50/flamingo \
--output results/Denoise/flamingo \
--config configs/inference/my_cldm.yaml \
--final_size "(480, 854)" \
--merge_ratio "(0.6, 0)" \
--better_start
视频超分
python -u inference.py \
--version v2 \
--task sr \
--upscale 4 \
--cfg_scale 4.0 \
--batch_size 10 \
--input inputs/BDx4/rhino \
--output results/SR/rhino \
--config configs/inference/my_cldm.yaml \
--final_size "(480, 854)" \
--merge_ratio "(0.6, 0)"
技术交流
加入「AIGCmagic社区」群聊，一起交流讨论，涉及 AI视频、AI绘画、Sora技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个不同方向，可私信或添加微信号：【m_aigc2022】，备注不同方向邀请入群！！
往期文章
• 太强了！快手的LivePortrait：肖像动画框架 | 可精准控制眼睛和嘴唇动作
• 商汤重磅推出Vimi——亮相WAIC，成为“镇馆之宝” | 2024世界人工智能大会
• FoleyCrafter：自动为视频配音 | 开源AI配音技术 | AI视频有声时代真的来了
• AI视频进入有声时代 | 谷歌 DeepMind 发布V2A：轻松给AI视频配音
• 变天啦！？| Luma 发布视频生成模型 Dream Machine，直逼电影级效果！
• UniAnimate：可控人体视频生成新框架，跳舞视频生成技术再添一员
• MOFA-Video：图像到视频的可控生成框架，可本地一键部署
• AIGC |「视频生成」系列之Hunyuan-DiT：基于DiT架构的最佳中文实践
• 「文生一切」大模型Lumina-T2X：一个框架整合图像、视频、音频和3D生成（附体验地址）
