图像恢复与适应技术：一体化自适应图像恢复框架，去噪，去模糊和去雨；去噪作为适应的图像恢复框架
AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation
2024-03-21｜TU Munich, Inception, MBZUAI, ANU, UCF, Linköping U|🔺2
http://arxiv.org/abs/2403.14614v1
https://huggingface.co/papers/2403.14614
https://github.com/c-yn/AdaIR
研究背景与意义
在图像恢复领域，各种形式的图像退化（如噪声、模糊、雾霾和雨水）常常影响图像质量，且这些退化通常源于相机的固有限制或不利的环境条件。随着深度学习技术的快速发展，基于深度神经网络的图像恢复方法逐渐取代了传统的手工设计算法。这些方法能够从大规模数据中学习强大的图像先验知识。然而，现有的单一任务恢复方法在处理多种退化类型时，往往缺乏通用性，限制了其广泛应用。因此，开发一种能够处理多种退化类型的“一体化”图像恢复方法，成为了该领域的重要课题。
研究方法与创新
本文提出了一种新颖的自适应“一体化”图像恢复框架——AdaIR，该框架基于频率挖掘和调制的思想。其核心创新在于引入了两个关键模块：频率挖掘模块（FMiM）和频率调制模块（FMoM）。FMiM模块通过对输入特征进行频率信号的提取，识别出不同类型退化所影响的频率成分；而FMoM模块则通过在不同频率特征间交换互补信息，进一步增强了恢复效果。与传统方法相比，AdaIR不仅在空间域中进行操作，还充分利用频率域信息，从而实现了更高效的图像恢复。
实验设计与结果分析
在实验中，AdaIR在多个图像恢复任务上进行了广泛评估，包括图像去噪、去雾、去雨、运动去模糊和低光图像增强。实验结果表明，AdaIR在各个任务上均取得了优异的性能，尤其是在去雾和去雨任务中，相较于现有的最佳方法PromptIR，AdaIR在去雨任务上提升了2.27 dB的PSNR。在去雾任务中，AdaIR也展现了显著的性能提升，验证了其在处理不同退化类型时的有效性。
结论与展望
综上所述，本文提出的AdaIR模型通过自适应地挖掘和调制频率信息，实现了对多种图像退化的有效恢复。未来的研究可以进一步探索如何将该框架扩展到更复杂的场景中，并在实际应用中验证其鲁棒性和通用性。此外，结合其他先进的深度学习技术，进一步提升图像恢复的效果和效率，将是一个值得关注的方向。
Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration
2024-06-26｜NTU|🔺0
http://arxiv.org/abs/2406.18516v2
https://huggingface.co/papers/2406.18516
https://kangliao929.github.io/projects/noise-da/
研究背景与意义
在计算机视觉领域，图像恢复是一个长期存在且具有挑战性的问题，包括去噪、去模糊和去雨等多个子任务。尽管基于深度学习的方法取得了显著进展，但由于训练数据的合成性，这些方法在现实场景中的泛化能力仍然有限。当前的研究主要集中在改善数据合成流程、估计降解内核、利用深度内部学习以及进行领域适应等方面。然而，现有的领域适应方法在低级视觉任务中往往难以在稳定且紧凑的框架内扩展。本文提出了一种新颖的方法——通过噪声空间进行领域适应，利用扩散模型的独特性质，使得恢复模型能够逐步对齐合成和真实世界输出，从而有效减少领域间的差距。
研究方法与创新
本研究的核心创新在于提出了一种“去噪作为适应”的方法，利用扩散模型的多步去噪过程，设计了一种有意义的扩散损失函数，以指导恢复模型对合成和真实图像的逐步对齐。具体而言，研究者通过引入通道洗牌层和残差交换对比学习策略，防止模型在联合训练过程中寻求捷径，从而确保合成和真实数据在特征学习上有机融合。这一方法不仅在图像恢复任务中表现出色，还具有广泛的适应性，能够适用于多种恢复网络，且在推理阶段不需要额外的计算开销。
方法创新详解
去噪作为适应：通过扩散模型的去噪过程，提出了一种新的损失函数，能够有效减小合成图像和真实图像之间的领域差距。 通道洗牌层：在训练过程中随机洗牌合成和真实条件的通道索引，增加了模型对这两种条件之间区别的难度，促进了更好的特征学习。 残差交换对比学习：通过残差交换构建正负样本，迫使模型学习在不同条件下的真实图像恢复，而不是简单依赖于合成图像的特征。
实验设计与结果分析
本研究在三个经典的图像恢复任务上进行了广泛的实验，包括去噪、去模糊和去雨，结果表明所提出的方法在各项任务中均显著优于现有的最先进方法。通过定量评估，PSNR和SSIM等指标均显示出明显的性能提升，尤其是在高频噪声的处理上，表现尤为突出。
实验设置：采用合成数据集和真实世界数据集进行联合训练，确保模型能够学习到更具代表性的特征。 结果对比：与多种基线方法进行对比，所提出的方法在图像恢复效果上均表现出色，尤其是在处理复杂的图像降解时，显示出更强的泛化能力。
结论与展望
本文提出的“去噪作为适应”的方法为图像恢复领域的领域适应问题提供了一种全新的解决方案，展示了扩散模型在低级视觉任务中的潜力。未来的研究可以进一步探索该方法在更多复杂场景下的应用，同时考虑如何在不依赖于合成数据的情况下增强模型的泛化能力。此外，如何将这一框架推广到其他计算机视觉任务中，也将是一个值得深入探讨的方向。
