在灾害、环境破坏和非法开发的识别、预警和应急管理中，及时且准确的地表异常检测至关重要。卫星遥感具有大范围成像和周期性重访的特性，是应对这一需求的重要手段。尽管现有的遥感地表异常检测方法取得了一定的成效，但仍存在以下不足：（1）针对特定类型的异常进行检测；（2）需要依赖人工参与的高级遥感数据，如几何精校正图像及地表反射率产品；（3）需要消耗大量的计算和存储资源。这些因素不仅限制了所采用方法的普适性，而且也显著降低了它们在轨运行的潜力，进而影响了它们的及时性。
针对上述不足，王桥院士团队提出了一种创新的地表异常检测方法，该方法融合了视觉大模型与轻量化先验知识，旨在增强地表异常检测的普适性及其在轨计算潜力。该方法利用视觉大模型进行图像特征提取，有效提升了方法的泛化性，并减少了对高级数据的依赖。此外，通过采样技术对视觉大模型提取的特征进行压缩，生成轻量、易于传输和存储的先验知识。针对在轨检测，我们采用了一种简易的字典查找式异常检测技术，以适应于有限的计算资源下的方法运行。我们在典型的地表异常场景中对方法的精度进行了验证，并将其与常见的变化检测和异常检测方法进行了比较。结果表明，提出的方法取得了良好的检测精度，同时先验知识压缩比率达到了95.56倍以上。此外，该方法可以处理非配对图像，为缺乏近期配对影像情况下的地表异常检测提供了可能性。总体来讲，提出方法在推动在轨普适性地表异常检测方法的开发和应用方面具有潜在价值。
该研究成果近期以“Toward a Novel Method for General On-Orbit Earth Surface Anomaly Detection Leveraging Large Vision Models and Lightweight Priors”为题发表于国际期刊《IEEE Transactions on Geoscience and Remote Sensing》杂志（IF = 7.5）。本研究得到了国家自然科学基金重大项目（42192580）的资助。
原文信息
名称：Toward a Novel Method for General On-Orbit Earth Surface Anomaly Detection Leveraging Large Vision Models and Lightweight Priors
期刊：IEEE Transactions on Geoscience and Remote Sensing (影响因子7.5)
第一作者：徐健明
通讯作者：闫凯 kaiyan@bnu.edu.cn
发表时间：2024.07
DOI:https://doi.org/10.1109/TGRS.2024.3432749
1
研究背景
地表异常，即偏离当地常态的地理实体，这些异常通常与自然灾害、环境污染等重大事件有关。传统的地表异常检测方法主要依赖现场监测，但由于地表异常的不可预测性和多样性，这些方法面临诸多挑战。基于遥感的地表异常检测因其大规模和实时响应能力受到越来越多的关注，利用卫星进行广域观测和频繁的重访。然而，目前的方法在及时性和通用性方面存在问题。在及时性方面，复杂的计算、存储需求和数据校正过程导致了ESAD结果的延迟。而在通用性方面，现有方法依赖具体特征来检测异常，可能无法检测到所有类型的异常。为了解决这些问题，本研究提出了一种结合地面先验构建和在轨不一致性测量的新型地表异常探测方法。这种方法使用Segment Anything网络的编码器进行特征提取，并使用高斯混合模型（GMM）和贝叶斯信息准则（BIC）进行数据压缩，从而减少存储和传输需求。该方法还采用字典查找风格进行异常检测，利用曼哈顿距离和SAM的表示空间高效识别异常。本研究的主要贡献包括：（1）开发了一种适合在轨操作的新方法，具有良好的特征提取能力且计算负担轻。（2）使用未经训练的大型视觉模型编码器进行特征提取，提高了方法的通用性，并减少了幅射校正的需求。（3）应用采样技术压缩先验基数据，显著降低了在轨ESAD的存储和传输要求。
图1 总体流程
图2 先验构造流程
图3 地表异常检测流程
2
精度对比
在五个典型的地表异常案例中（Paradise Fire, Karymsky Volcano, Mao Landslide, Florence Flood, Collbran Mudslide），传统的变化检测和异常检测方法存在以下缺点：（1）同一个案例中，同类型方法的精度差异较大；（2）同一种方法在不同案例中的精度也存在较大差异。这些结果表明传统方法的鲁棒性较弱，在实际应用中算法选择困难，难以实现普适性的地表异常检测。结合可视化分析，传统方法除了虚警率高之外，还存在异常区域空间上不连续的问题，很难支持对象级检测结果生成。在引入深度学习后（CEMB，EEMB），地表异常检测效果得到提升，这主要表现在异常区域连续性的增加和虚警的减少上。而我们的方法在大幅度压缩先验知识的情况下进一步取得了更好的效果。在典型案例中，不仅提出方法的综合精度（AP）在大多数情况下优于对比方法，而且提出方法的性能上限（F1_opt）也一般优于其他对比方法。从可视化结果来看，提出方法存在两个优点：（1）能更完整、空间上更连续地探测地表异常；（2）误探测更少。更多案例的实验结果与典型案例结果基本一致，进一步验证了我们方法的潜力。
图4 经典地表异常场景下检测效果可视化对比
图5 经典地表异常场景下算法综合精度及性能上限比较
图6 精度对比实验
3
跨波段组合工作能力
图7阐明了利用Optical（R/G/B）、Vegetation（NIR/R/G）以及Fire（SWIR/NIR/R）三种波段组合进行先验知识构建和异常检测的结果。结果表明了本研究提出的方法具有以下两个优点：（1）该方法能够在非RGB影像下取得理想的工作效果。传统上，方法基于的视觉大模型主要应用于日常的RGB影像，对于波段丰富的遥感影像的处理效果存在不确定性。然而，本研究的方法在Optical-Optical、Vegetation-Vegetation、Fire-Fire三种波段组合下的检测效果较高，证明其可有效适应多种波段组合。（2）本研究方法展现出跨波段比较能力。在实验过程中，我们发现一个有意思的现象：即使使用完全不同的波段组合（如Fire-Optical）进行先验知识构建和探测，仍能实现良好的探测结果。这说明本研究方法在不同波段组合之间具有优良的适应性，有望进一步推广到跨卫星、跨传感器的地表异常检测应用中。
图7 不同波段组合下探测精度分析
4
轻量化先验知识潜力
图8对比了五种先验知识构建方法的性能。其中，CEMB和EEMB分别采用ViT提取的特征图作为先验知识，IF方法是利用ViT特征图训练一个孤立森林模型作为先验知识，AC方法通过Agglomerative Cluster对ViT特征图进行采样，而Proposed方法是本研究所提出的采样策略。实验结果表明，本研究提出的方法在这五种方法中压缩率最高，且检测效果最佳。这充分证明了所采用的采样策略的有效性，同时高压缩比也说明了本方法在轨道计算、数据储存和通信方面的潜在应用价值。
图8 先验构建方法对比实验
5
非配对图像下工作能力
图9显示了一个控制变量实验，旨在探究先验影像和异常影像之间空间偏移量对探测精度的影响。结果证实，提出的方法对空间偏移具有较强的鲁棒性。随着空间偏移量的增加，探测精度并没有明显下降。即使在空间偏移量达到50个像素的情况下，提出的方法仍然保持较高的探测精度。这一特性极为重要，意味着所提出的方法可以在缺乏精确几何校正的情况下工作，这对于在轨道计算中具有实用价值。
图9 影像偏移量对方法精度影响分析
图10 空间不配对先验下的地表异常检测实例
供稿：徐健明
审核：闫 凯
点击左下角“阅读原文”可直达原文网页
13.研究成果| ESSD: MODIS叶面积指数产品质量提升数据集（HiQ-LAI: 2000-2022）
遥感模型构建 | 地表参数反演
遥感产品验证与分析 | 植被与气候动态响应
