首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

顶刊解读 | 基于自适应四阶偏微分方程的遥感图像超分辨率重建

科技   2024-10-30 10:05   中国香港   

点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
Super-Resolution Reconstruction of Remote Sensing Images Based on an Adaptive Fourth-Order PDE

基于自适应四阶偏微分方程的遥感图像超分辨率重建

作者：Xin Wen, Feng Li, Zhongxuan Mao, Chunpeng Wang, and Yongkui Zou

摘要

遥感图像的超分辨率重建是一个典型的不适定问题，偏微分方程（PDEs）可以有效解决这类问题。由于二阶PDEs主要在捕捉遥感图像中的复杂场景的分段线性结构特征方面表现出色，但这些特征对于复杂场景来说是不够的，因此引入了四阶PDEs来进行这些图像的超分辨率重建。本文提出了一个自适应四阶PDE图像重建模型，该模型整合了PDE理论。该模型有效地利用了四阶项来显著降低噪声，而二阶和三阶项则用于有效保持边缘完整性。自适应调整因子动态调节二阶、三阶和四阶项的权重，实现了噪声降低和边缘保持之间的最佳平衡。在图像均匀区域，四阶项主要有助于降低噪声，而在图像边缘附近，二阶项的慢速扩散和三阶项的反向扩散在保持边缘细节方面发挥了关键作用。Rothe方法和有限差分方法分别用于模型的时间和空间离散化，并对算法的稳定性和收敛性进行了分析。数值实验表明，与传统的超分辨率方法相比有显著改进。与投影到凸集（POCS）方法相比，我们的模型在峰值信噪比（PSNR）上大约提高了7%，在结构相似性指数测量（SSIM）上提高了14%。

Part1问题定义

遥感图像的退化过程可以描述为：
其中 是观测到的第 帧低分辨率图像， 是下采样矩阵， 是表示第 幅图像的错位和几何畸变矩阵， 是表示多模态核函数的矩阵，可能包括由聚焦、运动或光学传递函数引起的模糊， 是理想的高分辨率图像， 是高斯白噪声， 是图像帧的数量。遥感图像的退化过程如图2所示。主要有两种类型的SSR：单帧图像SSR，它从一幅低分辨率图像重建高分辨率图像；多帧图像SSR，它从多个低分辨率图像重建高分辨率图像。在本文中，我们考虑多帧图像SSR。假设 ，其中 是相同的，因为通常在非常短的时间段内由相机捕获的同一场景的多个低分辨率图像。从模型（1）重建高分辨率图像 可以转化为求解一个最小化问题：
其中 表示图像区域，变分问题（2）是一个典型的不适定问题，通常需要引入正则化项来克服病态。Rudin等人提出了一个基于变分PDEs的图像去噪模型，即TV模型：
其中第一项称为保真度项，第二项称为正则化项。。参数 称为正则化参数，上述公式的相应Euler-Lagrange方程使用梯度下降法求解：
TV模型的优势在于它利用泛函分析中的变分方法建立了有界变差（BV）函数空间。这允许在去噪过程中有效保持图像边缘。然而，由于BV空间中的函数是分段光滑的，使用TV方法去噪的图像在平滑区域可能会出现楼梯效应。

Part2提出的框架

在本节中，我们详细描述了所提出的多帧图像超分辨率重建的四阶偏微分方程（PDE）模型。在第三节A部分，我们推导了与变分问题相对应的欧拉-拉格朗日方程，并通过整合梯度下降法得到了四阶PDE及其边界条件。在第三节B部分，我们在第三节A部分建立的四阶PDE基础上，引入了自适应调整因子和三阶逆向扩散项，最终形成了用于多帧图像重建的自适应四阶PDE模型。在第三节C部分，我们详细介绍了多帧图像重建模型的数值实现过程。在第三节D部分，我们分析了数值方案的稳定性和收敛性。

A. 基于变分问题的四阶PDE框架

在图像重建领域，二阶PDEs以其在保持边缘方面的有效性而闻名，然而它们在去噪方面的能力有限，常常导致结果图像中出现楼梯效应。相反，仅包含四阶项的PDEs在去噪性能上表现出色，尽管这可能会以过度平滑和边缘模糊为代价。为了调和这些对比特性，我们结合了二阶和四阶项，构建了一个综合的变分模型：
其中 是一个常数，用于调节二阶和四阶项之间的平衡，。接下来，我们推导出了（7）对应的欧拉-拉格朗日方程[34]。假设测试函数 ，我们有：
然后，
其中 表示边界 的外法向量，，，和 ， 和 分别表示 对 的一阶和二阶偏导数，而 和 分别表示 对 的一阶和二阶偏导数。因此，与（7）对应的欧拉-拉格朗日方程是：
通过使用梯度下降法，可以得到对应变分问题（7）的PDE：
（11）的边界条件为：

B. 提出的四阶PDE图像重建模型

在（11）中，与二阶项对应的二次型系数矩阵如下：
（13）中的两个特征值是： 和 。当 时，对应的特征向量是 ；当 时，对应的特征向量是 。换句话说，二阶项在梯度方向上没有扩散，在梯度垂直方向上正向扩散，扩散速率为 。在理想情况下，我们的目标是在图像的平滑区域以较快的速度促进正向扩散，同时确保边缘区域主要经历反向扩散，最小限度的正向扩散以有效保持边缘。因此，引入了一个自适应调整因子来调整方程项的权重，基于（11）。同时，为了在图像的边缘区域尽可能多地促进反向扩散，引入了一个三阶反向扩散项 ，从而提出了模型：
其中 ，， 是一个自适应调整因子，定义为：
其中 是一个常数，确保 ， 是正常数。模型（14）能够自适应地调整二阶、三阶和四阶项的权重，从而实现去噪和边缘保持之间的良好平衡。在图像的平滑区域， 和 的值相对较小， 变大。 的增加使得四阶项占主导地位，有效地去除了噪声。在图像的边缘区域，由于 和 的值较大， 较小，导致二阶和三阶项占主导地位。这里，由于 ， 经历反向扩散，有效地保持了边缘。

C. 数值离散化

所提出的图像重建模型（14）的数值实现基于Rudin等人为TV模型开发的有限差分方法。时间使用Rothe方法离散，空间使用有限差分方法离散。对于离散数值计算，时间间隔 被等分为：，，，其中 是一个正常数。定义 在 上，其中 是空间步长，通常在图像处理问题中取为1。 的近似表示为 ，并且离散近似定义为：
和
。
因此，多帧图像重建问题的离散格式如下：
其中 ，，，，，。
通过上述步骤，可以从 推导出 ，从 推导出 ，依此类推，直到图像恢复效果满足我们的要求。解决（16）的算法流程图如图所示。

D. 数值方案的稳定性和误差分析

  1. （16）的稳定性分析：图3显示了不同时间步长下，随着迭代次数从0增加到2000，相对误差（17）的变化曲线。相对误差定义为：
结果表明，时间步长 越小，相对误差越小。当时间步长为 时，相对误差（16）随着迭代次数的增加而趋于稳定。然而，当 时，相对误差（16）逐渐增加。这表明选择较小的时间步长 可以确保数值方案的稳定性并减少误差。在数值实验中，，最大迭代次数为500。从图3中可以看出，到第500次迭代时，数值方案（16）的相对误差（17）已经稳定，从而证明了数值方案（16）的误差稳定性。
  1. （16）的误差 分析：为了对（16）进行误差分析，我们计算了其时间和空间的收敛率。首先，我们计算时间收敛率。在次迭代后，第个点的误差定义为：
其中是精确解，是一个常数。设初始时间步长为。对于，计算时间步长为和空间步长为的数值解，迭代次。对于，计算时间步长为和空间步长为的数值解，迭代次。这个过程一直持续到，计算时间步长为和空间步长为的数值解，迭代次。然后计算误差，，……，。对（18）两边取对数得到：
在水平轴上绘制10个点，和垂直轴上的，绘制这十个点的拟合曲线，其中拟合线的斜率表示（16）的时间收敛率，如图4(a)所示。这里，，表明时间收敛率为一阶。类似地，对于空间收敛率，定义在10次迭代后，第个点的误差为：
其中是一个常数。将大小的图像分别下采样到的比例。然后应用数值方案（16），时间步长为。求解后，将图像上采样回，得到数值解，，，……，。然后计算误差，，，……，和。对（20）两边取对数得到：
在水平轴上绘制7个点，和垂直轴上的，绘制这7个点的拟合曲线，拟合线的斜率表示（16）的空间收敛率，如图4(b)所示。这里，，表明空间收敛率为0.8。在差分方程（16）中，误差的主要项是，它表现出一阶收敛率。然而，由于在计算过程中下采样算子、移位旋转算子和模糊算子可能引入额外的误差，实验观察表明（16）的空间收敛率约为0.8。

Part3实验

下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

 http://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247625991&idx=3&sn=60055376d97d8dc4798a203c8eb92ff9
小白学视觉
哈工大在读博士的公众号，《OpenCV 4快速入门》的作者，面向初学者介绍计算机视觉基础知识、OpenCV使用、SLAM技术，深度学习等内容。
 最新文章
招生信息 | 厦门大学人工智能研究院计算机视觉方向博士招生
Python中进行特征重要性分析的9个常用方法
6 年半亏掉 528 亿的某汤，用裁员开启下一个十年。
算法工程师大致是做什么的？
labelGo：基于 YOLOv5 的辅助标注工具
作为审稿人，你什么情况下会选择拒稿？
用不需要手工标注分割的训练数据来进行图像分割
轰动视觉领域｜ChatGPT完成论文写作、科研应用，数据处理，太方便了…
YOLO 系列目标检测大合集
最全深度学习训练过程可视化工具（附github源码）
ResNet到底在解决一个什么问题呢？
最后机会！2024年剩余EI检索学术会议时间表大揭秘！
【魔改UNet系列】ID-UNet: 一种用于红外小目标分割的密集连接UNet架构
ResNet是否只是一个深度学习的trick？
Python图像处理:频域滤波降噪和图像增强
一文读懂模型的可解释性（附代码）
YOLOv11 架构改进 & 常见指令
顶刊解读 | 基于自适应四阶偏微分方程的遥感图像超分辨率重建
AI，正在疯狂污染中文互联网
【魔改UNet系列】Mamba-UNet: 医学图像分割的UNet类纯视觉Mamba
CNN 的一些可视化方法！
遥感顶刊 TRGS'24 | AODet: 基于 Transformers 的前景区域航空目标检测
Linux常用命令大全 | 176个
【魔改UNet系列】LightM-UNet：Mamba与UNet结合实现轻量级图像分割
顶刊解读 TGRS | 用于半监督旋转目标检测的伪孪生教师模型
OpenCV 也可以检测、跟踪移动物体
医学图像数据读取及预处理方法总结
传统图像处理还有前景么？
Pytorch里面多任务Loss是加起来还是分别backward？
Python并行编程？
一种基于计算机视觉和深度学习的番茄外部缺陷检测方法
PyCharm vs VSCode，是时候改变你的 IDE 了！
C++ OpenCV实现图像去阴影
这17 种方法让 PyTorch 训练速度更快！
导师：自己每天科研工作近10小时，都觉得不够。研究生们，每天工作不够5小时，拿什么去竞争？
CNN是不是一种局部self-attention？
一份微调YOLOv11的小指南
Transformer小目标检测
PyTorch可复现/重复实验的相关设置
245个目标检测开源项目合集，建议收藏！
【魔改YOLO系列】YOLO-SLD: 在YOLO中引入注意力机制，实现精准车牌检测
论文解读 | EATFormer：受进化算法启发改进视觉Transformer
直线检测算法汇总
一个小改动，CNN输入固定尺寸图像改为任意尺寸图像
医图顶会 MICCAI'24 | LKM-UNet: 用于医学图像分割的大内核视觉Mamba UNet
总结 | 半监督目标检测
Numpy中数组和矩阵操作的数学函数
完爆YOLO家族？新一代目标检测器又有新突破！
顶刊MIA'24 | 用于图像分割的双坐标交叉注意力Transformer
无需标注海量数据，目标检测新范式OVD让多模态AGI又前进一步
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉