应众多读者的需求和建议，遥感地理视界创建了学习交流群，想加入交流的可扫描下方二维码添加。请进群后按照群公告备注如“学位-学校(或机构)-昵称”格式（详情请查看公众号置顶推文）。![]()
标题：MGPACNet: A Multiscale Geometric Prior Aware Cross-Modal Network for Images Fusion Classification
期刊：《IEEE Transactions on Geoscience and Remote Sensing》(中科院1区，IF=7.5)
作者：Xue Song, et al.
doi：10.1109/TGRS.2024.3452700
随着遥感技术的发展，多源遥感数据融合在地球观测任务中变得日益重要。卷积神经网络（CNN）和自注意力（SA）技术在多源遥感数据融合中发挥着重要作用，但CNN在全面提取上下文信息和表征光谱特征的序列属性方面存在不足，且在信息挖掘过程中常常丢失边缘几何信息，限制了其在遥感领域的应用。为了解决这些问题，本研究提出了一种名为“多尺度几何先验感知的跨模态网络（MGPACNet）”的方法，用于遥感图像融合分类。该方法首先通过几何先验特征增强残差模块（GPFEResM）提取多模态遥感数据的浅层多尺度几何边缘先验特征和详细信息，增强特征边界信息。其次，利用多尺度全局-局部空间-光谱特征提取模块（MG-LS2FEM）进行多尺度空间建模和全局-局部光谱建模，以感知空间-光谱域中的丰富语义信息。最后，设计了双注意力融合模块（DAFM），使用像素级SA和异构数据间的交叉注意力，实现跨模态信息的深度聚合和交叉聚焦，增强异构数据的互补性。本研究在四种不同模态（HS/SAR/LiDAR）的公共遥感数据集上进行了全面测试，证明了该方法的有效性。本研究使用了四个基准多模态数据集（即高光谱和LiDAR/SAR数据）进行比较分类实验，包括HS-SAR Augsburg、HS-SAR Berlin、HS-LiDAR Trento和HS-LiDAR MUUFL。这些数据集包含了不同成像模式的高光谱图像和LiDAR/SAR图像，以及对应的地面真实（GT）地图。研究中，数据被分为大小为p×p的块，输入到网络中进行训练。MGPACNet架构由四个不同的组件构成：浅层几何先验特征学习、深度空间-光谱特征学习、特征融合和分类器。研究中使用了CNN模型生成浅层特征，然后通过GPFEResM和MG-LS2FEM模块提取增强的特征，最后通过DAFM模块进行特征融合。在实验设置中，使用了PyTorch框架和NVIDIA GTX TITAN X GPU进行模型开发和训练，采用Adam优化器和交叉熵损失函数，设置了不同的训练参数，如学习率和输入尺寸。实验结果表明，MGPACNet在所有四个数据集上均取得了优异的性能。在HS-SAR Augsburg数据集上，MGPACNet的总体准确率（OA）、平均准确率（AA）和Kappa系数分别为92.48%、70.09%和89.23%，相较于其他模型有显著提升。在HS-SAR Berlin数据集上，MGPACNet的OA、AA和Kappa系数分别为74.92%、70.73%和63.28%，同样优于其他算法。在HS-LiDAR Trento数据集上，MGPACNet的OA、AA和Kappa系数均超过了99%，显示出极高的分类精度。在HS-LiDAR MUUFL数据集上，MGPACNet的OA、AA和Kappa系数分别为94.43%、84.41%和92.65%，优于其他方法。分类地图的可视化结果显示，MGPACNet在边界划分和类别区分上比其他算法更为清晰和准确。此外，参数调整和模块分析表明，输入空间尺寸和学习率对模型性能有显著影响，而MGPACNet的三个关键模块——GPFEResM、MG-LS2FEM和DAFM——都对提高分类结果做出了积极贡献。特别是MG-LS2FEM在处理具有丰富光谱信息的数据集时表现出色，而GPFEResM在补偿卷积过程中丢失的多尺度几何边缘信息方面表现更好。本研究提出的MGPACNet在多模态遥感图像融合分类任务中表现出色，优于现有的其他模型。通过GPFEResM模块，网络能够从多模态遥感数据中提取多尺度边缘几何先验特征和详细信息，增强特征边界信息。MG-LS2FEM模块通过多尺度空间建模和全局-局部光谱建模，感知空间-光谱域中的丰富语义信息。DAFM模块利用异构数据间的交叉注意力和像素级自注意力，实现跨模态信息的深度聚合和交叉聚焦，增强异构数据的互补性。实验结果证明了MGPACNet在处理不同模态组合的公共遥感数据集时的有效性。尽管MGPACNet在提取多尺度边缘几何信息方面表现出色，但在未来的研究中，我们还将考虑引入多尺度几何（如小波系列）来进一步改善整体几何结构信息的提取。总的来说，MGPACNet为多模态遥感数据融合提供一种有效的解决方案，具有很高的应用前景和研究价值。
文章来源 ：Song, X., Jiao, L., Li, L., Liu, F., Liu, X., Yang, S., & Hou, B. (2024). MGPACNet: A Multi-scale Geometric Prior Aware Cross-modal Network for Images Fusion Classification. IEEE Transactions on Geoscience and Remote Sensing.
免责声明 ：本公众号发布的内容仅供学习交流使用，内容版权归原作者所有。如有侵犯您的权益，请及时与我们联系。
