点击下方“ 计算机书童 ”卡片，每天获取顶刊论文解读
题目：Empowering Real-World Image Super-Resolution With Flexible Interactive Modulation 通过灵活的交互式调制增强现实世界图像的超分辨率能力 作者：Chong Mou; Xintao Wang; Yanze Wu; Ying Shan; Jian Zhang
摘要 交云图像恢复旨在构建用户与恢复网络之间的交互路径，使用户能够根据自己的需求调节恢复结果。然而，现有方法主要受限于使用预定义和简单的合成退化来训练网络。因此，这些方法在面对与其假设不同的真实世界退化时，往往会遇到显著的性能下降。此外，现有的交云图像恢复方法仅支持全局调制，其中单一的调制因子支配整个图像的重建过程。在本文中，我们提出了一种新的方法来以交云的方式执行真实世界和复杂的图像超分辨率。具体来说，我们提出了一种基于度量学习退化估计策略，不仅估计整个图像的整体退化水平，而且估计真实世界场景中更细粒度的逐像素退化。这通过选择性调制基于密集估计的退化图的相应区域，实现了对恢复结果的局部控制。此外，我们提出了一种新的度量增强损失，以进一步增强真实世界图像超分辨率的性能。通过广泛的实验，我们证明了我们的方法在实现真实世界图像超分辨率任务中的卓越调制和恢复性能，同时保持了吸引人的模型复杂性。
关键词 Ⅰ引言 单图像超分辨率（SISR）是低级计算机视觉社区中一个经典而具有挑战性的话题。它旨在为给定的低分辨率（LR）图像恢复高分辨率（HR）图像的细节。传统方法通常依赖于已知的下采样核（例如，理想的双三次）来生成LR图像。然而，这种简单的退化模型与真实世界中发生的复杂退化不匹配，导致显著的性能下降。实际上，LR图像的退化过程涉及多种退化因素，例如，一些方法假设LR图像 其中 为了使恢复结果具有可控性，一些精心设计的方法被提出。一些工作观察到不同退化水平的经过训练的恢复网络在卷积核上具有继承关系。他们通过网络插值来调整网络的恢复强度，以达到调整重建结果的目的。另一项工作训练了一个单独的调整网络，在特征空间中实现控制。然而，这些先驱调制工作只能支持输入图像具有单一退化类型，例如噪声或模糊，因此调制位于一维空间。为了解决这一弱点，CResMD研究了图像恢复的多维调制概念，它可以使用单一模型对多种退化类型进行交云图像恢复。CUGAN进一步通过GAN损失改进了感知质量。然而，现有的可控图像恢复方法只能在具有简单退化过程和已知退化类型/水平的数据集上进行训练。此外，现有方法使用单一退化因子来控制整个图像。这种方案缺乏灵活性，因为在许多情况下，用户对恢复结果的局部区域不满意。 在真实世界场景中，损坏的图像通常包含混合和复杂的退化（例如，模糊、噪声和JPEG压缩）。这种复杂的真实世界退化过程可以通过随机洗牌顺序或高阶退化过程来模拟。由于不同退化水平的混合以及高阶退化中不同退化类型的复杂过程，无法访问显式的退化水平，也无法反映实际的退化类型。例如，损坏的图像通过一系列具有方差
我们提出了一种度量学习策略，将真实世界场景中无法量化的退化水平映射到度量空间，以无监督的方式进行。 我们进一步将真实世界交云图像恢复扩展到更精细的局部控制。 我们引入了一种度量增强损失，以真实世界的超分辨率，进一步提高了恢复性能。 通过广泛的实验，我们证明了所提出的方法在真实世界超分辨率中实现了卓越的调制和恢复性能。 我们的交云图像超分辨率框架包括两个版本。基础版本（命名为MM-RealSR）解决了量化真实世界场景中退化水平（即交云信号）的挑战，并已被ECCV2022接受。增强版本（命名为MM-RealSR+）是一个更通用的框架，包括基础版本作为一个特殊情况。与MM-RealSR相比，MM-RealSR+取得了显著的改进，包括：1）我们构建了一个更通用的交云图像恢复框架。它可以为真实世界图像超分辨率提供更准确和细粒度的控制。具体来说，用户可以调整整个结果的恢复或特定局部区域的恢复，区域大小和形状任意。2）基于度量学习，我们提出了一种新的恢复损失，以最小化恢复结果和真实世界退化的度量空间中的距离。这个损失函数可以进一步提高真实世界图像超分辨率的性能。3）我们通过权重共享策略在调制设计中压缩了模型参数（从2600万减少到1700万）。同时，模型性能得到了进一步的提高。 Ⅲ 方法论 在本节中，我们将详细阐述我们提出的用于度量学习的流程，该流程旨在实现真实世界场景中的交云图像超分辨率。 A. 概述 图3展示了我们提出的MM-RealSR+的概述，它由三个主要组件组成：退化估计模块（DEM）、基础网络和条件网络。DEM是一个真实世界退化估计模块，以无监督的方式训练，可以将输入的真实退化图像映射到两个度量空间，为噪声和模糊生成两个退化估计图。然后条件网络处理这两个退化图以生成一组条件张量。最后，基础网络使用退化图像和条件张量生成当前的重建结果。值得注意的是，退化图表示每个区域所需的恢复强度，从而使用户能够根据当前重建结果和他们的需求通过调制退化图进行进一步调整。
B. 网络结构 如图3所示，基础网络以一个修改特征通道的卷积层开始。可控恢复组件由一系列残差内残差块（RRDBs）和调制操作符（MODs）组成。具体来说，我们使用RRDBNet作为主干网络。我们在RRDBNet中每四个RRDBS插入MOD。MOD是一个仿射变换，公式为： 其中F指的是RRDBNet中的中间特征。 C. 调制因子设计和退化过程 在深入研究退化估计设计的细节之前，我们首先介绍现实世界交互调制的调制因子和退化过程。调制因子是指在交互式图像恢复中可以具体调制的退化类型。 调制因子：现有方法通常将调制因子定义为预定义的退化类型（例如，高斯噪声、高斯模糊）。然而，在真实世界场景中，退化是复杂和多样的。为每种退化类型设置一个调制因子是不可能的。因此，我们需要重新定义真实世界交互式调制的可控维度。在本文中，我们通过采用一般噪声（Gnoise）和一般模糊（Gblur）作为两个调制因子来进行通用设计，因为用户通常关注这两个方面的视觉效果。具体来说，一般噪声包括一些将不愉快的“伪影”引入图像的退化类型，例如高斯噪声、泊松噪声和JPEG压缩。一般模糊包括一些削弱图像细节的退化类型，例如高斯滤波器（各向同性/各向异性）、2D sinc滤波器和随机尺寸调整操作。 局部调制：此外，现有方法通常使用单一值作为调制因子的表示，以恢复整个图像。然而，这种调制方案是不足够的，因为它不能在特定区域进行细粒度调制。为了解决这一弱点，我们将调制因子设计为得分图而不是单一值。 为了与我们的通用调制和训练重建网络以处理现实退化对齐，我们采用了高阶退化过程来模拟真实世界退化。在这种设置中，考虑了各种退化类型，并随机组合。 D. 基于度量学习的退化估计 在我们方法中，每个调制因子涉及多种退化类型。这种复杂的退化是难以量化的。因此，我们采用度量学习将不可量化的退化水平映射到退化空间，对应于退化得分图。尽管度量空间中的退化得分并不代表退化水平的真实值，但它有效地捕获了不同图像之间退化的相对强度。在本节中，我们将详细描述我们的度量学习流程，如图5所示。
数据准备 ：最初，高分辨率图像 基于度量的密集退化估计：在准备训练样本后，我们采用边际排名损失来构建Gnoise和Gblur度量空间。具体来说，Gc和Ga被输入到真实世界退化估计模块（DEM），产生退化图： 其中FDEM(·)表示DEM的函数。边际排名损失定义为： 这里， 其中 最终的度量损失函数定义为这两个损失函数的总和，即 在本文中，我们表示每个图像的退化为一个退化图，其大小与低质量图像相同。退化图中的每个分数表示每个像素的退化估计。通常，退化在空间上是平滑且一致的。然而，我们观察到仅使用度量学习无法产生稳定和可靠的退化估计。估计结果表现出相当大的波动。我们在第V-A节中详细阐述了这个问题。为了提高退化估计的稳定性，我们添加了全变分（TV）损失来约束度量学习的结果。它可以被表述为： 其中TV(·)表示全变分函数。为了进一步约束学习到的退化分数在合理的范围内，并规范化度量空间的分布，我们在度量学习过程中采用了锚点策略。具体来说，当图像没有退化时，退化分数应该接近零。当图像中有强烈的退化时，退化分数应该接近1。因此，我们约束锚点组Gc中的两个样本的退化估计接近0和1，分别。引入的锚点损失（LAC）定义为： 其中 E. 度量增强损失的真实世界图像超分辨率 在图像恢复中，主要目标是尽可能接近地重建内容。这可以通过在不同域中施加约束来实现，例如在图像域（例如，L1、L2损失）和特征域（例如，感知损失）。在本文中，我们发现退化域也是完成约束的合适空间，进一步提高恢复性能。具体来说，高质量真实图像 我们进行了广泛的实验来验证我们提出的在退化域中的约束的有效性。详细信息在第V-B节中介绍。 F. 模型优化 优化过程包括两个阶段。首先，我们训练一个退化估计模型（DEM）来估计输入图像的退化水平。其次，我们使用训练好的DEM优化可控恢复过程，分为两部分：1）生成调整恢复强度的控制信号；2）计算将退化空间纳入损失函数的度量增强损失。 退化估计的损失：我们通过以下组合训练退化估计模型（DEM）：边际排名损失（LML）、锚点损失（LAC）和TV损失（LTV）。边际排名损失使模型能够在真实世界场景中对退化水平进行排名。锚点损失约束度量空间中的分数分布，TV损失平滑退化图。完整的目标函数由以下给出： 可控恢复的损失：在DEM训练完成后，我们冻结它，然后进行可控恢复模型的训练。像大多数基于GAN的真实世界超分辨率方法一样，我们使用L1损失、感知损失（Lper）和GAN损失（LGAN）的组合来训练我们的MM-RealSR+。此外，引入了新的度量增强损失（即，LMA）来增强恢复性能。优化函数被表述为： Ⅳ 实验 A. 实施细节 训练和评估数据集：按照ESRGAN和Real-ESRGAN的方法，我们在三个数据集上训练我们的MM-RealSR+：DIV2K、Flickr2K和OutdoorSceneTraining。我们使用从真实世界超分辨率挑战中获得的数据集评估我们的方法，即AIM19和NTIRE20。此外，我们使用RealSRSet的测试集，该测试集旨在模拟DLSR相机畸变。我们对所有评估执行×4上采样。 训练细节：我们的训练过程包括两个阶段。最初，我们通过（13）在200K次迭代中训练退化估计模型（DEM）。然后，我们使用预训练的DEM来促进可控恢复模型的训练。像大多数真实世界超分辨率方法一样，我们用PSNR驱动的预训练模型初始化模型参数。在这个阶段，DEM的参数被冻结，我们再训练系统600K次迭代。在这两个训练阶段中，我们将学习率设置为 B. 比较 为了展示我们方法在真实世界超分辨率中的恢复质量，我们将我们提出的MM-RealSR+与最近的调制方法进行比较，包括CUGAN和我们之前的工作，即MM-RealSR。我们还将我们的方法与一些非调制方法进行比较，包括几个知名方法（例如，RealSR和ESRGAN）和一些最近表现最好的方法（例如，BSRGAN、Real-ESRGAN和KDSR）。这里，我们使用LPIPS、DISTS、NIQE、PSNR和SSIM来量化这些方法的性能。NIQE是一种无参考图像质量评估（IQA）指标，旨在客观地测量图像的感知质量，而不依赖于参考图像。LPIPS和DISTS通过使用预训练模型计算重建图像和目标图像之间的特征相似性来表示重建质量。不同之处在于LPIPS更注重感知相似性，而DISTS更注重结构和纹理的相似性。PSNR和SSIM是评估图像质量的两个常用指标。PSNR基于均方误差（MSE），它测量原始和恢复图像的像素值之间的平均平方差。与仅关注像素级差异不同，SSIM考虑了图像的结构信息、亮度和对比度的变化。 请注意，CUGAN需要退化水平（
C. 退化估计 如第III-D节所示，我们设计了一个退化估计模型（DEM）以密集和准确的方式估计图像退化。为了说明这种能力，我们使用Real-ESRGAN中的高阶退化流程来损坏图像，包括不同的退化水平，包括无退化、小退化、大退化和最大退化。我们的DEM估计的退化图如图8所示，实验中考虑了Gnoise和Gblur退化。可以看出，我们的DEM能够产生区分和平滑的退化估计，即使在复杂和真实的退化中。
MM-RealSR的全局退化估计是一种全局平均，容易受到局部内容的影响。相比之下，提出的MM-RealSR+通过密集估计每个像素的退化，提供了更稳定的退化估计。如图9所示，损坏的图像在不同区域有不同的模糊强度，这是由原始图像的内容引起的。我们选择了三个嵌套关系的补丁，并且模糊区域逐渐增加。然后，我们使用MM-RealSR和提出的MM-RealSR+来估计这些补丁的退化。我们可以看到，随着模糊区域的扩大，MM-RealSR的退化分数逐渐增加。对于MM-RealSR+，我们展示了这些三个补丁共享区域的退化图，即Patch0。我们可以观察到，随着模糊区域的扩大，局部模糊估计几乎保持恒定。因此，MM-RealSR+的密集估计退化图具有更好的稳定性和更准确的退化表示。
D. 调制能力 全局调制：像MM-RealSR一样，提出的MM-RealSR+可以通过在退化图上添加全局偏差来执行全局调制。我们在图10中展示了结果。注意，“Auto”表示退化图是由DEM估计的。我们可以发现，当模糊分数图和噪声分数图设置为0时，恢复模型几乎没有去噪和去模糊的能力。恢复模型可以在由我们的DEM生成的退化图的指导下产生有希望的结果。添加全局偏差可以产生可控和多样的恢复结果。
局部调制：除了在全局区域调制恢复结果外，我们的MM-RealSR+还可以在局部控制恢复。在许多情况下，用户只对重建结果的局部区域不满意。他们想要调整某些区域并保持其他区域不变。我们提出的MM-RealSR+可以通过调制退化图中的相应区域来实现这一点。局部调制的可视化展示在图11中。第一行展示了在初始结果上局部调制后的恢复结果。第二行是局部调制后的量化变化，即局部调整和初始结果之间的绝对差异。在前两列中，我们展示了在规则矩形区域中的调制结果。恢复结果展示了可控恢复能力。量化结果表明了这种控制的局部性。即使在不规则区域（即图11中的最后两列）进行调制，控制的局部性也得到了很好的保持。调节区域周围的小扰动确保了控制调制的平滑性，即没有块状伪影。因此，我们的MM-RealSR+在特定局部区域具有有前途和连续的控制能力。
手动调制的恢复性能:在图像恢复任务中，使用各种定量指标来评估不同方法的性能。大多数方法在训练后有固定性能。为了将我们的MM-RealSR+与这些方法进行比较，我们在表I和图6中展示了我们的MM-RealSR+没有手动调制的性能。然而，交云图像恢复的恢复结果是无限的。在这部分中，我们通过在估计的退化图上添加随机偏差来评估我们的MM-RealSR+手动调整的样本的质量。随机偏差范围从-0.2到0.2。我们在图12中展示了结果。x轴是LPIPS分数，y轴是DISTS分数。越接近原点表示恢复质量越高。
Ⅴ 消融研究 A. TV损失的有效性 在本文中，我们使用TV损失来平滑退化估计模型（DEM）估计的退化图。我们在图13中展示了有和没有TV损失的DEM之间的比较，展示了这些两种DEM的模糊退化估计。我们可以发现，没有TV损失的约束，退化估计是不稳定的。不同区域之间的估计结果存在很大的差异。装备了TV损失后，估计结果平滑且稳定。
B. 度量增强损失的有效性 在本文中，我们通过在退化域中关闭恢复结果和真实图像之间的距离（即LMA）来进一步改进恢复性能。为了证明LMA的有效性，我们用这个损失函数重新训练了一些方法，即SPSR、BSRGAN和Real-ESRGAN。注意，训练策略和训练数据保持不变。表II中的结果显示了我们提出的度量增强损失的显著性能提升。我们还展示了在配备度量增强损失后Real-ESRGAN和BSRGAN的视觉比较。这个损失函数可以鼓励模型产生更清晰的结果。
值得注意的是，像MM-RealSR中的退化分数这样的全局退化表示可以用来减少恢复结果和真实图像之间的差距。然而，单个分数可能无法捕捉真实世界场景中的复杂退化模式。除了区分全局退化水平外，提供精确的局部纹理梯度反馈也是必要的。为了证明密集估计退化图的优越性，我们将MM-RealSR中的退化估计函数应用于度量增强损失，并重新训练了我们的MM-RealSR+。结果在表III中展示。我们可以发现，密集估计的退化图比全局退化分数有更多性能提升。在Real-ESRGAN中可以发现类似的特征，它用UNet替换了VGG鉴别器，以估计每个像素的真实值。度量增强损失有助于产生更清晰的图像内容。
C. 调制操作符的插入模式 在提出的MM-RealSR+中，我们在RRDBNet中每四个RRDBS插入调制操作符（MODs）。所有MOD共享相同的一组条件张量，即
Ⅵ 结论 在本文中，我们提出了一个用于真实世界场景的交云图像超分辨率框架。所提出的方法通过度量学习解决了真实世界场景中退化强度量化的困难。基于此，我们进一步提出了一个更准确和稳定的密集估计真实世界退化的方法。密集估计退化图的好处是双重的。1）它允许在真实世界场景中进行从粗到细的交云图像恢复。具体来说，用户可以调整整个结果的恢复或特定局部区域的恢复，区域大小和形状任意；2）构建的退化空间可以用作损失函数，通过最小化恢复结果和真实图像在度量空间中的距离来提高恢复性能。此外，我们研究了交互框架内的计算冗余。与我们最初提出的版本相比，增强版本将模型参数从2600万减少到1700万，同时实现了相当或更好的性能。广泛的实验表明，我们的方法是一个通用框架，在真实世界超分辨率中实现了卓越的调制和恢复性能，同时保持了吸引人的模型复杂性。 限制和未来的工作。我们的方法仍然存在一些问题，如图15所示，需要在未来解决。可以看出，图像中的背景模糊（bokeh）不是退化，而是我们需要的美学效果。然而，退化估计模块将其识别为一种模糊退化，并分配高退化分数以鼓励模型去模糊背景部分。尽管我们可以通过手动调整来缓解这种现象，但这仍然不够智能和用户友好。在未来的工作中，我们将增强退化估计模块对图像的全局感知能力，赋予它更准确的退化分析能力。
声明 本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。 你是否有这样的苦恼：自己辛苦的论文工作，几乎没有任何的引用。为什么会这样？主要是自己的工作没有被更多的人了解。
计算机书童 为各位推广自己的论文搭建一个平台，让更多的人了解自己的工作，同时促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 计算机书童 鼓励高校实验室或个人，在我们的平台上分享自己 论文 的介绍、解读 等。
稿件基本要求：
• 文章确系个人 论文的解读 ，未曾在公众号平台标记原创发表，
• 稿件建议以 markdown 格式撰写，文中配图要求图片清晰，无版权问题
投稿通道：
• 添加小编微信协商投稿事宜，备注：姓名-投稿
△长按添加 计算机书童 小编
