RS DL
论文介绍
题目：Binary Lightweight Neural Networks for Arbitrary Scale Super-Resolution of Remote Sensing Images
期刊：IEEE Transactions on Geoscience and Remote Sensing
论文：https://ieeexplore.ieee.org/abstract/document/10841462
创新点
轻量化的二值神经网络（Binary Neural Network, BNN）：提出了一种适用于任意尺度遥感图像超分辨的二值轻量化超分辨（BLiSR）模型，显著减少了参数量和计算复杂度。 自适应二值卷积（ABConv）：改进传统二值卷积，加入可学习参数调整权重和激活的分布，减少量化误差。 二值连续上采样模块（BCUM）：通过频率隐式表示网络增强高频信息，支持任意比例放大的超分辨任务。 多层组融合模块（MGFB）：融合不同深度的特征信息，确保高频和低频信息的完整性。
数据
1. 数据集描述
GeoEye-1：
来源：GeoEye-1卫星。 分辨率：0.41米。 图像数量：130张。 图像大小：512×512像素。 覆盖区域：北京郊区。
Google Earth：
来源：Google Earth卫星地图。 分辨率：1米。 图像数量：239张。 图像大小：512×512像素。
RS-T1 和 RS-T2：
来源：从UCMerced数据集中划分的子集。 分辨率：0.3米。 图像数量：各120张。 图像大小：256×256像素。 场景覆盖：多样化场景（如城市、农业、森林等）。
2. 数据划分
训练集：
GeoEye-1：115张图像。 Google Earth：224张图像。 两个数据集合并为统一训练集，共计339张图像。
测试集：
GeoEye-1：15张图像。 Google Earth：15张图像。 RS-T1 和 RS-T2：使用DIV2K作为训练集，这两个数据集作为测试集。
3. 数据处理
低分辨率（LR）图像生成：
使用双三次插值法生成不同尺度的低分辨率图像。 训练过程中，将图像裁剪为48×48像素的小块。
数据增强：随机水平、垂直和对角翻转。
方法
整体框架
卷积头模块：将输入的低分辨率图像转化为初始特征图。 二值映射网络：使用多个二值卷积单元提取深度特征，减少模型计算复杂度的同时保留高效特征表达。 多层组融合模块（MGFB）：融合不同层级的特征，整合低频细节和高频语义信息。 二值连续上采样模块（BCUM）：利用隐式表示技术生成任意比例的高分辨率图像。
自适应二值卷积（ABConv）
二值化权重和激活值：在二值化过程中，动态调整二值权重的分布中心，以更好地拟合浮点数分布，降低量化误差。 改进反向传播：通过采用改进的近似函数，在训练时增强梯度流动，提升模型学习能力。
多层组融合模块（MGFB）
特征分组：将特征分组，并使用扩张卷积从不同感受野中提取特征。 特征融合：逐步融合浅层特征（低频信息）和深层特征（高频语义），确保特征表达的完整性。
二值连续上采样模块（BCUM）
频域隐式表示：通过提取输入特征的幅值和频率信息，在频域内进行处理，增强高频细节。 相对坐标的利用：结合输入图像中像素点的相对坐标位置，提高重建图像的纹理恢复能力。 高效结构设计：二值多层感知器（MLP）完成高效的上采样运算，同时保证低计算开销。
优化策略
轻量化设计：BLiSR在多数模块中采用二值卷积，仅在关键步骤使用浮点数运算，最大限度减少计算成本。 特征流动优化：在网络各部分增加残差连接，确保信息在特征提取和上采样过程中不会丢失。 通用性训练：通过在训练阶段引入多种比例因子（例如从1到4的连续值），提高模型对不同放大倍数的适应性。
结果与分析
本文通过在多个遥感数据集上进行实验，验证了提出方法在固定和任意尺度超分辨任务中的优越性能。实验结果表明，BLiSR在参数量和计算复杂度显著降低的同时，仍能实现高质量的图像细节恢复和精度表现，优于多种对比方法。
更多图表分析可见原文
公众号欢迎优秀作者投稿！投稿说明请查看：投稿说明
2024-08-15
2024-06-30
2024-07-16
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
