![]( "undefined")
第一时间获取气象科研资讯
『气象学家』公众号交流群
加入
『气象学家』公众号交流群
全球首发！中山大学携手中科大、武大推出全球首个跨域泛化的遥感大模型！
近日，中山大学研究团队携手中国科学技术大学和武汉大学sigma实验室，共同推出全球首个专注于遥感跨域泛化的语义分割视觉大模型CrossEarth (后续称为基础模型)。
•文章链接：https://arxiv.org/abs/2410.22629v2
•项目主页：https://cuzyoung.github.io/CrossEarth-Homepage/
•项目代码：https://github.com/Cuzyoung/CrossEarth/
CrossEarth模型的问世，标志着遥感跨域泛化研究迈入新纪元，为相关领域的技术进步和应用拓展提供了坚实基础。
研究背景与动机：
跨域泛化（Cross-Domain Generalization）作为机器学习的关键技术之一，要求模型能够无需额外训练，直接在未知场景中应用。在遥感技术中，这一能力尤为重要。例如，在灾后评估中，灾害的不可预测性要求模型具备快速部署的能力，从而节省时间和成本。此外，一个具有高泛化性的模型，理论上能够将基于某一地区数据训练的模型直接应用于全球任何地区的类似任务。
尽管如此，遥感领域的跨域泛化研究仍处于起步阶段，相关研究稀缺。并且遥感数据的多样性，比如分辨率，波段，以及地区等等因素，也导致泛化难以实现。文章认为，深度学习中的基础模型概念——即通过大量数据训练并广泛应用于多种场景——与跨域泛化的目标不谋而合。因此，文章团队提出构建全球首个跨域泛化的视觉基础模型，以语义分割为例，旨在推动遥感跨域泛化发展，并为未来的研究提供坚实的基线模型。
主要贡献：
（1）基准集构建：在遥感领域，跨域泛化技术的发展尚处于起步阶段，缺乏统一的数据集和评估标准。为了填补这一空白，文章团队构建了该领域的首个基准集，为后续研究提供了标准化的测试平台。
（2）CrossEarth模型：文章团队开发了首个跨域泛化语义分割的视觉基础模型CrossEarth，其卓越的泛化能力远超现有模型，能够适应各种现实场景下的语义分割任务。
CrossEarth基准集的构建细节：
（1）文章精选并整合了多个广泛使用的遥感语义分割数据集，包括ISPRS Potsdam和Vaihingen、RescueNet、LoveDA、WHU Building、DeepGlobe、Massachusetts和CASID，确保了基准集的广泛性和适用性。
（2）领域差异设置：该基准测试集合涵盖了70k张遥感影像，28个语义分割任务，涉及5个主要领域差异，包括未见区域、未见光谱带、区域与光谱带的组合、区域与平台的组合以及区域与气候的组合。这些设置旨在解决模型在现实世界中可能遇到的跨领域泛化挑战。
（3）特定应用场景构建：文章针对特定的应用场景，如灾害评估（Potsdam和RescueNet）、建筑提取（WHU Building）和道路检测（DeepGlobe和Massachusetts），构建了专门的基准测试，以评估模型在实际应用中的泛化性能。
CrossEarth模型架构与训练策略设计：
（1）在数据层面，文章创新性地提出来地球风格注入技术，通过高效丰富的数据增强，扩展训练数据的分布，以覆盖更多未知区域。
（2）在模型层面，CrossEarth采用了多任务学习框架，以DINO-V2作为骨干网络，结合语义分割和掩码重建任务进行联合训练，从而提升模型对跨域变化的适应能力。
更多技术细节，敬请查阅CrossEarth的原文。
CrossEarth实际应用效果展示：
所有的GT Label代表真实标签，即标准答案；CrossEarth代表文章模型的预测效果。
（1）道路检测示例：
（2）建筑物提取示例：
（3）灾后地区分割示例：
最后，作者团队总结了一些CrossEarth的应用前景，以供后续研究人员参考：
1.常规的规划分析场景
CrossEarth模型以其出色的跨域泛化能力，能够在无需针对特定区域重新训练的情况下，直接应用于新的地区或场景。这意味着，无论是城市扩张监测、农业土地覆盖变化分析，还是生态保护区的环境评估，CrossEarth都能提供快速、准确的分割结果，极大地提高了遥感数据的分析效率和应用范围。
2.道路提取场景
在城市规划和交通管理中，道路提取是一个关键任务。CrossEarth模型能够适应不同分辨率、不同光谱带的道路图像，提供高精度的道路提取结果。这使得城市规划者和交通管理部门能够快速获得道路网络的详细信息，用于交通流量分析、道路规划和维护决策。此外，CrossEarth的泛化能力也意味着在新开发区域或城市化迅速发展的地区，无需大量标注数据，即可实现道路的快速提取和更新。
3.灾害监测场景
灾害监测是遥感技术的重要应用之一。CrossEarth可以被应用到不同地区、不同气候条件下，快速部署并提供准确的灾害监测结果。例如，在雪灾、洪水、地震或森林火灾等灾害发生后，借助强悍的泛化能力，CrossEarth能够迅速分析遥感图像，识别受灾区域，为救援行动提供关键信息。这种能力不仅提高了灾害响应的速度，还有助于优化资源分配和救援计划的制定。
4.灾后评估场景
灾后评估是救援工作的重要组成部分。CrossEarth模型能够快速分析灾后地区的遥感图像，评估灾害影响，如基础设施、建筑物损毁情况等。这些信息对于救援队伍制定救援路线、确定救援优先级至关重要。CrossEarth的泛化能力确保了在缺乏当地数据的情况下，依然能够提供准确的评估结果，极大地提高了灾后评估的效率和准确性。
结论
CrossEarth模型的跨域泛化能力，不仅推动了遥感技术在语义分割领域的进步，也为道路提取、灾害监测和灾后评估等应用提供了强大的技术支持。随着技术的不断发展和完善，其有望在未来的遥感应用中发挥更大的作用，为全球环境监测和灾害管理提供更加精准和高效的解决方案。
