建筑物是城市基础设施的关键部分，从高分辨率遥感图像中实现建筑物的精细提取对人类生产和生活至关重要。在建筑物提取中，缺乏低频特征会导致大型建筑物不连通，忽略高频特征则导致小型建筑物漏检，同时造成分割边界模糊。随着深度学习的发展，已有相关研究证明卷积神经网络（CNN）和自注意力机制（Transformer）分别擅长提取高频和低频特征，但现有的研究往往忽略了不同网络深度对提取不同频率特性的适用性，从而使得高低频特征的提取与融合不够理想。
图1 CICF-Net编码器总体结构图
具体而言，所提出的CICF-Net采用典型的编码-解码结构。在编码阶段（图1），基于深度网络在浅层更关注高频特征、在深层更关注低频特征的特性，设计频率斜坡结构（图2）下的高低频特征聚合块（iConvFormer Block）（图3），集成多尺度特征融合的级联框架，实现多尺度高低频特征的有效融合。
图2 频率斜坡结构示意图
图3 高低频特征聚合块内部结构
同时，引入递归门控卷积优化多尺度上采样解码器（图4），捕获建筑物与建筑物之间、建筑物与复杂背景之间多尺度、多层次的空间交互信息，实现建筑物的精细提取。
图4 集成递归门控卷积的多尺度上采样解码器
在Massachusetts、WHU、Inria三个建筑物数据集上进行验证，结果表明提出的CICF-Net取得了最优的结果，证明了在高低频渐进融合网络作用下，有效提升了多尺度建筑物提取的完整性与边界的准确性。并且在Massachusetts建筑物数据集上逐阶段的特征热力图与傅里叶频谱的可视化（图），也验证了CICF-Net对高低频特征的有效融合。
图5 Massachusetts建筑物数据集上不同建筑物提取方法的结果对比
图6 WHU建筑物数据集上不同建筑物提取方法的结果对比
图7 Inria建筑物数据集上不同建筑物提取方法的结果对比
图8 不同方法在Massachusetts建筑物数据集上逐阶段的特征图和对应的傅里叶频谱
该研究成果近日以“A Cascaded Network with Coupled High-Low Frequency Features for Building Extraction”为题发表于IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing。南京大学地理与海洋科学学院硕士生陈欣扬为论文第一作者，肖鹏峰教授为论文通讯作者，张学良副教授、硕士生地力夏提·木哈塔尔和硕士生王璐涵为论文合作作者。该研究得到国家自然科学基金项目（42071297）资助。
Chen, X., Xiao, P., Zhang, X., & Wang, L. (2024). A Cascaded Network with Coupled High-Low Frequency Features for Building Extraction. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. https://doi.org/10.1109/JSTARS.2024.3403882
点击“阅读原文”即可跳转到论文页面
