RS DL
论文介绍
题目：SemStereo: Semantic-Constrained Stereo Matching Network for Remote Sensing
会议：39th Annual AAAI Conference on Artificial Intelligence (CCF-A会议)
论文：https://arxiv.org/abs/2412.12685
AAAI 2025 合集请点击：AAAI 2025
创新点
提出基于语义约束的立体匹配网络，显式建模语义类别与视差disparity的联系。 Semantic-Guided Cascade (SGC)：通过共享深层特征隐式加强语义信息对立体匹配的指导。 Semantic Selective Refinement (SSR)：基于语义预测通过残差学习进一步优化视差。 Left-Right Semantic Consistency (LRSC)：通过跨视图一致性约束明确加强语义和视差的联系。
数据
US3D：
包含约2139对Jacksonville卫星立体图像及2153对Omaha图像。 提供语义标签，用于训练、验证和测试。
WHU：
高分辨率航空数据集，无语义标签。 用于测试模型的泛化能力。
方法
总体结构
1. Semantic-Guided Cascade (SGC)
利用U型网络提取深层共享特征，同时生成语义分割图和初始视差图。 通过共享深层特征，增强语义信息对立体匹配的隐式指导，避免传统并行结构的弱耦合问题。 使用适配的Fast-ACV网络进行视差计算，确保高效性和准确性。
2. Semantic Selective Refinement (SSR)
基于语义预测优化初始视差图，通过学习残差对视差进行细化。 使用通道注意力机制，根据语义类别调整特征对视差优化的贡献，提升同类像素区域的视差一致性。 进一步通过多尺度特征融合，生成高质量的最终视差图。
3. Left-Right Semantic Consistency (LRSC)
利用视差图将左视图的语义标签映射到右视图，确保语义一致性。 即使在缺乏语义标注的情况下，也能通过预测的伪标签实现自监督的跨视图一致性约束。 该模块不仅提升了语义分割的准确性，还强化了视差图在复杂场景下的鲁棒性。
多任务联合优化
同时优化语义分割和立体匹配任务，通过共享深层特征和引入显式约束，实现性能的互相提升。 通过自适应的多阶段训练和损失函数的加权组合，使模型在多个任务间找到最佳平衡点。
实验和精度
通过语义分割和立体匹配的精度指标进行评估，结果显示所提方法在两个任务上均显著优于现有方法，实现了最先进的性能。
精度对比
可视化对比
更多图表分析可见原文
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
