TPAMI 2024 | 连拍图像恢复与增强

文摘 2024-11-09 19:16 辽宁

点击下方“PaperEveryday”，每天获得顶刊论文解读
点击加入论文投稿、写作、阅读分享交流群
论文信息

题目：Burst Image Restoration and Enhancement

连拍图像恢复与增强

作者：Akshay Dudhane; Syed Waqas Zamir; Salman Khan; Fahad Shahbaz Khan; Ming-Husan Yang

源码链接：https://github.com/akshaydudhane16/BIPNet

论文创新点

1 伪连拍特征生成：BIPNet的核心思想是生成一组伪连拍特征，这些特征结合了所有连拍帧的补充信息以实现无缝的信息交换，这与现有工作不同，现有工作通常采用后期特征融合机制。
2 边缘增强特征对齐：为了解决帧间错位问题，BIPNet采用了边缘增强特征对齐技术，该技术使用调制可变形卷积来隐式地学习帧对齐，而不是依赖于显式运动估计技术。
3 自适应组上采样：与现有方法通常采用的单阶段上采样不同，BIPNet提出了一种自适应组上采样策略，通过多阶段逐步放大伪连拍特征，同时自适应地结合补充信息。
4 多任务适用性：BIPNet不仅在连拍超分辨率任务上表现出色，还扩展到了低光照图像增强、低光照图像超分辨率和去噪等多个连拍处理任务，显示了其广泛的适用性和有效性。

摘要

连拍图像恢复的目标是通过有效结合帧间互补信息来重建高质量图像。然而，由于单个连拍图像通常存在帧间错位，这通常会导致重影和拉链伪影，因此这是相当具有挑战性的。为了减轻这些问题，我们开发了一种名为BIPNet的新颖连拍图像处理方法，该方法专注于连拍帧之间的信息交换，并滤除固有的退化，同时保留和增强实际场景细节。我们的核心思想是生成一组伪连拍特征，这些特征结合了所有连拍帧的补充信息，以实现无缝的信息交换。然而，由于帧间错位，信息不能在伪连拍中有效结合。因此，我们首先使用所提出的边缘增强特征对齐技术对传入的连拍特征进行对齐，以参考帧为基准。最后，我们通过多阶段逐步放大伪连拍特征，同时自适应地结合补充信息。与通常采用单阶段上采样与后期融合方案的现有工作不同，我们首先采用伪连拍机制，然后是自适应渐进特征上采样。所提出的BIPNet在连拍超分辨率、低光照图像增强、低光照图像超分辨率和去噪任务上显著优于现有方法。

关键字

特征对齐
特征融合
连拍处理
超分辨率
去噪
低光照图像增强

I. 引言

随着内置智能手机摄像头的普及，捕捉高质量图像的需求受到了广泛关注。然而，与较大的独立摄像头（例如，DSLR）相比，智能手机摄像头由于需要集成到智能手机的薄型设计中，存在多个限制。最显著的硬件限制是小的摄像头传感器尺寸和相关的镜头光学，这降低了它们的空间分辨率和动态范围[15]，从而使智能手机捕捉过程中的噪声问题更加严重。为了解决这些硬件限制并提高智能手机上的整体图像质量，图像恢复和增强技术变得不可或缺。图像恢复技术用于纠正图像捕获过程中由噪声、模糊或其他伪影引起的图像恶化方面。另一方面，图像增强技术专注于改善图像的视觉效果，以便观看者认为它是令人愉快的。在文献中，已经开发了各种单图像恢复和增强方法来改善图像质量。然而，由于单个图像中的场景信息有限，实现真正高质量的输出可能具有挑战性。一个受到关注的有前景的解决方案是采用连拍摄影，快速连续拍摄一系列照片，而不是依赖于单次拍摄。连拍处理方法捕获多个移位图像，然后将它们集成到一个单独的高质量输出图像中，以检索非冗余的高频细节。设计新颖的连拍处理方法的三个关键因素包括特征对齐、融合和高质量图像恢复。通常，对于任何连拍处理方法来说，对齐过程的准确性是最大的挑战，因为动态移动的对象和摄像头运动的场景运动会在输出中产生模糊效果。因此，设计一个模块以促进准确的对齐至关重要，因为后续的融合和重建模块必须对错位具有鲁棒性，以生成无伪影的图像。我们进一步注意到，现有的连拍处理方法[5]、[6]通过采用后期特征融合机制来提取和显式对齐连拍特征，这可能会阻碍多帧之间的灵活信息交换。为了解决这些问题，我们提出了一种名为BIPNet的新颖连拍图像处理方法，它通过所提出的伪连拍特征融合机制实现帧间通信。具体来说，通过在帧内交换信息形成伪连拍，其中每个特征包含来自所有连拍帧的补充属性。

伪连拍机制在帧间通信中的成功取决于连拍帧之间的对齐。因此，准确对齐输入的连拍帧以在后续阶段聚合适当的像素级线索至关重要，然后才能创建伪连拍。我们观察到，现有的工作DBSR[5]和MFIR[6]通常采用显式运动估计技术（例如，光流）来对齐连拍特征，这些通常是笨重的预训练模块（在额外数据上训练），并且不能完全融合到端到端可学习流程中。然而，这可能导致在流估计阶段的级联错误，并在变形和处理阶段进一步传播，从而对生成的输出产生负面影响。与我们的提议相反，我们提出的BIPNet隐式地使用可变形卷积[67]学习帧对齐，并可以有效地适应给定问题。此外，我们在所提出的特征对齐阶段引入了回投影操作[24]，以保留高频信息，这有助于在连拍帧高度错位时对齐连拍特征，当单独的可变形卷积可能不足以应对时。此外，无论照明条件如何，捕获的图像中总是存在一些噪声。因此，我们的关键目标之一是在网络的早期阶段减少噪声[60]，以减轻后续对齐和融合阶段的难度。为此，我们在BIPNet中采用了残差全局上下文注意力，用于初始特征提取和随后的细化/去噪。有了所提出的构建块，BIPNet可以扩展到多个连拍处理任务。我们的工作证实了其在连拍超分辨率、连拍低光照图像超分辨率、连拍低光照图像增强和连拍去噪方面的有效性。对于超分辨率（SR），上采样在图像重建中扮演着不可或缺的角色。当前的最先进的连拍SR方法[5]、[6]最初聚合连拍特征，然后使用像素洗牌操作[45]重建高分辨率图像。与现有方法[5]、[6]不同，我们自适应地利用连拍帧中可用的亚像素信息，并以可调的和有效的方式逐步执行特征聚合和上采样。特别是，我们通过所提出的自适应组上采样逐步放大连拍特征，同时合并补充特征。我们提出的BIPNet的示意图可以在图1中看到。我们的主要贡献总结如下：

我们提出了一个边缘增强特征对齐模块，用于将连拍特征与参考帧对齐。（第3.1节）
提出了一种新颖的伪连拍特征聚合技术，以实现连拍帧之间的交互。（第3.2节）
为了上采样连拍特征，我们提出了一种自适应组上采样策略。（第3.3节）

这项工作的初步版本已作为会议论文[19]发表，我们在其中验证了所提出的BIPNet在连拍超分辨率、连拍去噪和连拍低光照图像增强方面的应用。在这项工作中，我们额外测试了所提出的BIPNet在新的连拍低光照图像超分辨率问题上的应用。此外，我们验证了所提出方法的两个轻量级变体，命名为BIPNet-16和BIPNet-32，用于连拍SR任务，以减少推理时间。我们进行了更全面的消融研究，并增加了额外的视觉分析，以强调BIPNet中的主要决定因素（第4节和第5节）。详细的实验表明，所提出的BIPNet在真实和合成数据集上对所有讨论的应用都优于当前的最先进方法。

3 连拍处理方法

本节描述了我们的连拍处理方法，该方法适用于不同的图像恢复任务，包括连拍超分辨率、连拍低光照图像增强、连拍低光照图像超分辨率和连拍去噪。目标是通过结合在单个连拍中捕获的多个降级图像的信息来生成高质量的图像。连拍图像通常使用手持设备捕获，通常不可避免地存在帧间空间和颜色错位问题。因此，连拍处理的主要挑战是准确对齐连拍帧，然后结合它们的补充信息，同时保留和增强共享属性。为此，我们提出了BIPNet，其中不同的模块协同工作，共同执行去噪、去马赛克、特征融合和上采样任务，统一模型。总体管道。图1显示了所提出的BIPNet中的三个主要阶段。首先，输入的RAW连拍通过边缘增强特征对齐模块传递以提取特征，减少噪声，并消除连拍特征之间的空间和颜色错位问题（第3.1节）。其次，通过交换信息生成伪连拍，使得伪连拍中的每个特征图现在包含所有实际连拍图像特征的补充属性（第3.2节）。最后，多帧伪连拍特征通过自适应组上采样模块处理，以产生最终的高质量图像（第3.3节）。

3.1 边缘增强特征对齐模块

连拍处理中的一个主要挑战是从通常受到噪声污染、未知空间位移和颜色偏移的多个降级图像中提取特征。这些问题是由于相机和/或场景中的物体运动以及照明条件引起的。为了将连拍中的其他图像与基准帧（通常为了简单起见是第一帧）对齐，我们提出了一个基于调制可变形卷积的对齐模块[67]。然而，现有的可变形卷积并没有专门设计来处理嘈杂的RAW数据。因此，我们提出了一个特征处理模块来减少初始连拍特征中的噪声。我们的边缘增强特征对齐（EBFA）模块（图2（a））在特征处理之后进行连拍特征对齐。

3.1.1 特征处理模块

所提出的特征处理模块（FPM），如图2（b）所示，采用了残差内残差学习，允许丰富的低频信息通过跳跃连接轻松通过[64]。由于捕获长距离像素依赖性，提取全局场景属性对于广泛的图像恢复任务是有益的[59]（例如，图像/视频超分辨率[41]和极低光照图像增强[3]），我们使用了全局上下文注意力（GCA）机制来细化残差块产生的潜在表示，如图2（b）所示。设为连拍初始潜在表示，其中B为连拍图像数量，f为特征通道数，我们的残差全局上下文注意力块（图2（b）中的RGCAB）定义为：

其中且

。这里，表示大小的卷积层，每个对应于具有不同参数的单独层，表示Leaky ReLU激活，表示softmax激活，表示矩阵乘法，是全局上下文注意力。

3.1.2 连拍特征对齐模块

要有效地融合来自多个帧的信息，首先需要对齐这些帧级特征。我们通过对齐当前帧的特征与基准帧的特征来处理和。EBFA通过偏移卷积层处理和，并为预测偏移和调制标量值。计算的对齐特征为：

其中，和分别表示可变形和偏移卷积层。具体来说，每个位置在对齐特征图上的值是：

这里，，的范围在[0, 1]内，对于每个是一个3x3的核心网格。卷积操作将在非均匀位置上执行，其中可以是分数。为了避免分数值，操作使用双线性插值实现。我们提出的EBFA模块的灵感来自可变形对齐模块（DAM）[50]，但有以下不同。我们的方法不对齐模块提供显式的groundtruth监督。相反，它学会执行隐式对齐。此外，为了加强特征对齐并纠正小的对齐误差，我们使用FPM获得精细对齐特征（RAF），并通过将RAF与基准帧特征之间的差异添加到RAF来获得高频残差。将此残差添加到RAF中有效地增强了连拍特征中的边缘内容。我们EBFA模块的总体过程总结如下：

其中表示对齐的连拍特征图，是一个3x3的卷积层。尽管图2（a）中为了简洁只显示了一次可变形卷积，但我们顺序应用了三层这样的层，以提高我们EBFA模块的转换能力。

3.2 伪连拍特征融合模块

现有的连拍图像处理技术[5]、[6]分别提取和对齐连拍图像的特征，并且通常采用后期特征融合机制，这可能会阻碍帧间的灵活信息交换。我们提出一种伪连拍特征融合（PBFF）机制（见图3（a））。这个PBFF模块通过连接所有连拍特征图中的相应通道特征生成特征张量。因此，伪连拍中的每个特征张量都包含了所有连拍图像特征的补充属性。处理连拍特征响应简化了表示学习任务，并通过解耦连拍图像特征通道来合并相关信息。给定对齐的连拍特征集，其中表示连拍大小B和f个通道，伪连拍由下式生成：

其中，表示连接，是第一组对齐连拍特征集的第c个特征图，是具有f个输出通道的卷积层，的大小是的伪连拍。这里，我们使用。即使在生成伪连拍之后，获得它们的深层表示也是必要的。我们使用一个轻量级（3级）U-Net从伪连拍中提取多尺度特征（MSF）。我们在U-Net中使用共享权重，并在常规卷积中使用我们的FPM。

3.3 自适应组上采样模块

上采样是生成超分辨率图像从LR特征映射到HR空间的最后一步关键步骤。现有的连拍SR方法[5]、[6]使用像素洗牌层[45]在单级中执行上采样。然而，在连拍图像处理中，可以有效地利用多个帧中的信息进入HR空间。为此，我们提出自适应地并逐步地在上采样阶段合并多个LR特征。例如，一方面，对于纹理较少的区域，使用统一的融合权重进行帧间去噪是有益的。另一方面，为了防止幽灵伪影，对于任何错位的帧，最好有低融合权重。

图3（b）显示了所提出的自适应组上采样（AGU）模块，该模块处理由伪连拍融合模块产生的特征映射，并通过三级逐步上采样提供HR输出。在AGU中，我们按顺序将伪连拍特征分成4组，而不是遵循任何复杂的选择机制。这些特征组使用图3（c）所示的架构进行上采样，该架构首先计算密集的注意力图（ac）（每个像素的注意力权重）。然后，将密集的注意力图逐元素应用于相应的连拍特征。最后，对于给定的第一组特征

和相关注意力图在第一级上采样的上采样响应被表述为：

其中表示softmax激活函数，是3x3的转置卷积层，表示第g个连拍特征响应组（）的密集注意力图。为了执行缩放因子为的连拍SR，实际上需要的上采样（额外的是由于拼接的RAW LR帧）。因此，在我们的BIPNet中，我们采用了三级上采样。由于我们的BIPNet生成了64个伪连拍，这自然形成了在第一、第二和第三级中分别为16、4和1个特征组。每个级别的上采样器在组之间共享，以避免网络参数的增加。

4 实验

我们评估了所提出的BIPNet和其他方法在真实和合成数据集上的表现，针对(a)连拍超分辨率、(b)连拍低光照图像增强、(c)连拍低光照图像超分辨率和(d)连拍去噪任务。

4.1 实现细节

我们的BIPNet是端到端可训练的，不需要任何模块的预训练。为了网络参数效率，所有连拍帧都使用共享的BIPNet模块（FPM、EBFA、PBFF和AGU）进行处理。总体而言，所提出的网络包含6.67M参数。我们分别针对连拍SR、连拍低光照图像增强、连拍低光照图像SR和连拍去噪任务训练了不同的模型，仅使用L1损失进行训练。对于在真实数据上的连拍SR，我们在SyntheticBurst数据集上使用对齐的L1损失对BIPNet进行微调。模型使用Adam优化器进行训练。采用余弦退火策略[36]在训练过程中将学习率从稳步降低到。我们使用水平和垂直翻转进行数据增强。更多的网络细节和视觉结果在补充材料中提供。

4.2 连拍超分辨率

我们在SyntheticBurst和（现实世界）BurstSR数据集上执行了缩放因子为的SR实验。

4.2.1 数据集

SyntheticBurst数据集包含46,839个RAW连拍用于训练和300个用于验证。每个连拍包含14个LR RAW图像（每个大小为48×48像素），这些图像是从单个sRGB图像合成生成的。每个sRGB图像首先使用逆相机流水线[7]转换为RAW空间。接下来，通过应用随机旋转和平移生成连拍。最后，通过应用双线性下采样、Bayer马赛克、采样和随机噪声添加操作获得LR连拍。
BurstSR数据集包含200个RAW连拍，每个连拍包含14个图像。为了收集这些连拍序列，LR图像和相应的（真实）HR图像分别使用智能手机摄像头和DSLR摄像头捕获。从200个连拍中，裁剪了5,405个用于训练和882个用于验证的补丁。每个输入裁剪的大小为80×80像素。

4.2.2 在合成数据上的SR结果

所提出的BIPNet在训练集上训练了300个周期，同时在SyntheticBurst数据集的验证集上进行评估。我们将我们的BIPNet与几种连拍SR方法进行了比较，例如HighResNet[16]、DBSR[5]、LKR[33]和MFIR[6]，用于上采样。表1显示了我们的方法表现良好。具体来说，我们的BIPNet比之前最好的MFIR[6]提高了0.37 dB的PSNR，比第二好的方法[33]提高了0.48 dB。图5中的视觉结果表明，BIPNet产生的SR图像比其他算法更清晰、更忠实。我们的BIPNet能够重建结构内容和细腻纹理，而不引入伪影和颜色失真。而DBSR、LKR和MFIR的结果包含斑驳纹理，并妥协了图像细节。为了展示我们的方法BIPNet在大尺度因子上的有效性，我们对SyntheticBurst数据集进行了连拍SR的实验。我们按照上述SyntheticBurst数据集的相同程序合成了LR-HR对。图6中的视觉结果表明，我们的BIPNet也能够在如此大的尺度因子上恢复丰富的细节，而没有任何伪影。更多的示例可以在补充材料中找到。

4.2.3 在真实数据上的SR结果

BurstSR数据集中的LR输入连拍和相应的HR真实图像由于使用不同相机捕获而存在轻微错位。为了减轻这个问题，我们使用对齐的L1损失进行训练，并使用对齐的PSNR/SSIM评估我们的模型，如之前的作品[5]、[6]中所述。我们在BurstSR数据集的训练集上微调了15个周期的预训练BIPNet，并在验证集上进行评估。图像质量分数在表1中报告。与之前最好的方法MFIR[6]相比，我们的BIPNet提供了0.16 dB的性能提升。图7中的视觉比较表明，与其他竞争方法相比，我们的BIPNet在再现图像中恢复细节方面更有效。

4.3 轻量级BIPNet用于连拍SR

所提出的BIPNet设计为每个卷积层有64个滤波器。它有6.67M参数和300 GFlops。为了减少GFlops并增加连拍处理速度，我们通过将卷积滤波器从64减少到32和从64减少到16，分别获得两个轻量级版本BIPNet-32和BIPNet-16。与BIPNet（6.67M，300 GFlops）相比，BIPNet-32（1.8 M，54.3 GFlops）的参数减少了73%，GFlops减少了81%。而BIPNet-16（0.5 M，12 GFlops）的参数减少了93%，GFlops减少了96%。在图4中，我们比较了所提出的轻量级BIPNet版本与现有网络在SyntheticBurst[4]数据集上连拍SR任务的PSNR、推理时间（以毫秒为单位）和GFlops。如图4所示，所提出的BIPNet-32的推理时间为45.85 ms，GFlops为54.3，达到了41.12 dB的PSNR，优于最近的DBSR[5]方法（431 ms，118 GFlops，40.76 dB）。而BIPNet-16在准确性上相对较低（达到39.8 dB PSNR），但效率极高，推理时间仅为36.16 ms，参数为503K，GFlops为12，比现有的基线DBSR[5]方法减少了91%的推理时间，参数减少了96%，GFlops减少了89%。

4.4 连拍低光照图像增强

为了进一步证明BIPNet的有效性，我们进行了连拍低光照图像增强实验。给定一个低光照RAW连拍，我们的目标是生成一个照明良好的sRGB图像。由于输入是马赛克RAW连拍，我们使用一级AGU获得输出。

4.4.1 数据集

SID数据集[10]包含在极低室内（0.2-5 lux）或室外（0.03-0.3 lux）场景下用短曝光时间捕获的连拍RAW图像及其相应的真实sRGB图像。连拍RAW图像使用三种不同的曝光时间1/10、1/25和1/30秒捕获，相应的真实图像根据场景使用10秒或30秒的曝光获得。对于每个低光照连拍图像，提供了放大比率（、、）。放大比率是暗输入图像的曝光时间与长曝光真实图像的比率。Sony子集包含161、20和50个不同的连拍序列用于训练、验证和测试。我们从SID的Sony子集的训练集中准备了28k个空间大小为128×128的补丁，连拍大小为八，用于训练网络50个周期。我们遵循SID[10]论文中描述的相同预处理步骤。

4.4.2 增强结果

表2中报告了几个低光照增强方法的结果。我们的BIPNet比现有最好的方法[29]提高了2.83 dB的性能。同样，图8中的视觉示例也证实了我们方法的有效性。

4.5 连拍低光照图像超分辨率

现有的联合低光照图像增强和超分辨率方法在低光照条件下捕获的单个图像上操作。它们没有通过多个帧获得额外的信息。相反，现有的工作[4]、[5]、[6]在正常光照/白天条件下捕获的LR连拍上执行联合去噪和超分辨率。与这些方法不同，我们使用低光照连拍图像并联合去噪、增强和放大其细节。因此，在这项工作中，我们进一步扩展了所提出的BIPNet，用于连拍低光照图像超分辨率（LSR）任务。我们在SID数据集上进行了缩放因子为的LSR实验。

4.5.1 数据集

这里，我们讨论了用于低光照超分辨率任务的SID数据集，称为SID-SR数据集。如第4.4节中讨论的，SID数据集[10]包含在低光照条件下用短相机曝光捕获的RAW连拍和相应的长曝光sRGB图像。我们从SID数据集的训练（161）、验证（20）和测试（50）分割中准备了6440、800和1880个补丁。我们遵循SID[10]中描述的相同预处理步骤。首先，将原始数组转换为通道，减去黑电平，并使用给定的放大比率对曝光进行对齐。预处理后，每个连拍补丁的大小为，而真实sRGB补丁的大小为，其中表示连拍图像的数量，范围从2到8。此外，为了将SID数据集塑造为低光照超分辨率（LSR）任务，我们在预处理后的连拍上应用了的双线性下采样，得到大小为的LR连拍。

4.5.2 LSR结果

我们比较了所提出的BIPNet与现有基础方法在连拍超分辨率：DBSR[5]、MFIR[6]和连拍低光照图像增强：LDCP[61]、LEED[29]上的表现，用于 LSR任务。对于LDCP[61]和LEED[29]方法，我们部署了一个像素洗牌层来上采样连拍特征。我们在SID-SR数据集的训练集上训练了所提出的和现有方法100个周期。表3显示所提出的BIPNet比其他方法有大幅度的性能提升。图9中的视觉结果表明，所提出的BIPNet产生的结果比其他方法更增强。

4.6 连拍去噪

在这里，我们展示了所提出的BIPNet在连拍去噪任务上的有效性。BIPNet处理输入的噪声sRGB连拍，并获得一个无噪声的图像。由于不需要上采样提取的特征，AGU中的转置卷积被一个简单的组卷积替换，而其余的网络架构保持不变。

4.6.1 数据集

我们在[42]和[57]中引入的灰度和彩色连拍去噪数据集上评估了我们的方法。这些数据集包含73和100个连拍图像，分别。在两个数据集中，通过将基础图像应用随机平移来生成连拍。然后，这些平移的图像被加上异方差高斯噪声[26]，方差为。然后，网络在4个不同的噪声增益（1, 2, 4, 8）下进行评估，对应于噪声参数

。注意，最高噪声增益（Gain ∝ 8）的噪声参数在训练期间是未见过的。因此，在这个噪声水平上的表现表明了网络对未见噪声的泛化能力。按照[6]，我们使用了来自Open Images[31]训练集的20k个样本来生成连拍大小为八和空间大小为的合成噪声连拍。我们的BIPNet在灰度和彩色连拍去噪任务上训练了50个周期，并分别在基准数据集[42]和[57]上进行评估。

4.6.2 连拍去噪结果

我们将所提出的BIPNet与几种方法（KPN[42]、MKPN[40]、BPN[57]和MFIR[6]）在灰度和彩色连拍去噪任务上进行了比较。由于所提出的BIPNet是在没有额外数据或监督的情况下训练的，我们考虑了MFIR[6]的一个变体的结果，该变体使用了一个定制的光流子网络（没有在额外数据上进行预训练）。表4表明我们的BIPNet在灰度连拍去噪数据集[42]上显著推进了最新技术水平。具体来说，BIPNet在最高噪声水平（Gain ∝ 8）上比之前最好的方法MFIR[6]提高了0.91 dB，这是在训练阶段未见过的。表5中可以观察到在彩色去噪上彩色连拍数据集[57]的类似性能趋势。特别是，我们的BIPNet在最高噪声水平（Gain ∝ 8）上比之前最好的方法MFIR[6]提高了0.58 dB的PSNR。图10中，BIPNet再现的图像比其他方法更清晰、更锐利。

4.7 消融研究

在这里我们进行消融实验来证明我们方法中每个单独组件的影响。所有消融模型都在SyntheticBurst数据集上针对连拍SR任务训练了100个周期。结果在表6中报告。对于基线模型，我们采用了Resblocks[35]进行特征提取，简单的连接操作进行融合，以及转置卷积进行上采样。基线网络达到了36.38 dB的PSNR。当我们向基线添加所提出的模块时，结果显著且一致地提高。例如，我们通过考虑可变形对齐模块DAM获得了1.85 dB的性能提升。类似地，RAF对模型的改进达到了0.71 dB。通过我们的PBFF机制，网络实现了显著的1.25 dB增益。AGU在上采样阶段带来了1 dB的增量。最后，EBFA通过纠正对齐误差提供了0.30 dB的PSNR改进。总体而言，我们的BIPNet比基线提高了5.17 dB。最后，我们进行了消融实验来证明所提出的EBFA和PBFF模块的重要性，通过用现有的对齐和融合模块替换它们。表7(a)表明，用其他对齐模块替换我们的EBFA对性能有负面影响（PSNR至少下降了1 dB）。与我们的PBFF和AGU相比，其他融合策略的趋势也类似；参见表7(b)和(c)。视觉分析：除了进行定量消融研究外，我们还分析了恢复结果以验证所提出的边缘增强特征对齐（EBFA）模块的有效性。我们使用棋盘格图像以便于理解。我们通过在第4.2.1(1)节中描述的过程获得了一组亚像素移位的棋盘格图像。最后，通过所提出的EBFA模块处理合成的棋盘格连拍，该模块对所有邻近帧与基准帧（第一帧）进行对齐。图11显示了有无EBFA模块的基准和邻近帧的特征表示。这些结果帮助我们深入了解EBFA模块的功能。值得注意的是，在没有特征对齐的情况下，邻近帧与基准帧相比显示出明显的亚像素移位。相反，使用EBFA模块进行特征对齐的结果是邻近帧特征与基准帧的亚像素移位最小，与基准帧相比噪声显著减少。

5 限制和未来方向

所提出的BIPNet的一个固有限制在于其假设第一帧作为基准帧，指导后续帧的对齐。因此，如果基准帧包含显著的失真，它将显著影响最终结果。为了说明这一点，我们在图12中展示了这种限制的一个例子。我们用一个严重失真的基准帧和一个适度失真的基准帧进行了测试。这项分析的发现表明，如果所选基准帧内存在显著失真，可能会降低连拍处理技术的效能，随后反映在最终结果中。因此，一个重要的未来方向是开发一个自适应参考帧选择器，为每个连拍定制参考帧的选择，可能增强算法在多样化场景中的性能。此外，所提出的网络模块可以扩展到特征对齐、融合和重建挑战的应用中，测试模块的鲁棒性和适应性。

6 结论

我们提出了一种新颖的连拍恢复和增强方法，有效地融合了多个连拍帧特征中的互补信息。与现有后期特征融合方法不同，这些方法在流程的后期结合多帧特征信息，我们提出了一种新颖的伪连拍安排概念，通过单独集成每个连拍帧的通道注意力特征。为了避免生成的伪连拍特征之间的不匹配，我们设计了一个边缘增强连拍对齐模块，通过鲁棒性相机场景运动来隐式对齐帧。随后，生成的伪连拍特征通过利用多尺度信息进行细化，然后逐步融合，以生成上采样重建输出。在四个连拍恢复和增强任务（超分辨率、低光照增强、低光照图像超分辨率和去噪）上的广泛实验验证了BIPNet的真实性和有效性。

声明

本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。

#论文推广#

让你的论文工作被更多人看到

你是否有这样的苦恼：自己辛苦的论文工作，几乎没有任何的引用。为什么会这样？主要是自己的工作没有被更多的人了解。

计算机书童为各位推广自己的论文搭建一个平台，让更多的人了解自己的工作，同时促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 计算机书童 鼓励高校实验室或个人，在我们的平台上分享自己论文的介绍、解读等。

稿件基本要求：

• 文章确系个人论文的解读，未曾在公众号平台标记原创发表，

• 稿件建议以 markdown 格式撰写，文中配图要求图片清晰，无版权问题

投稿通道：

• 添加小编微信协商投稿事宜，备注：姓名-投稿

△长按添加 PaperEveryday 小编

http://mp.weixin.qq.com/s?__biz=MzI3NzI0MTk1OQ==&mid=2247502451&idx=2&sn=61c151e10be8956026415018c95baf34

PaperEveryday

为大家分享计算机和机器人领域顶级期刊