“
每周一文
”
低秩自适应微调SAM基础大模型用于城市人造目标提取
翁齐浩教授团队开发了一种参数高效微调SAM大模型框架，用于大范围城市人造目标提取, 来缓解深度学习模型泛化能力不足的问题。为全球人造目标提取提供了一个鲁棒的基准，从而促进及时和准确的城市化监测。
摘要
绘制城市人造目标：例如道路，建筑物等对于监测全球城市化至关重要。但是由于不同地区数据分布的不一致性，现有模型的迁移学习能力十分有限。SAM基础大模型的出现，因其具有强大的零样本分割能力，极大地促进了分割领域的发展，但由于高分辨率遥感影像地物分布复杂，直接将SAM大模型应用到高分辨率遥感影像上提取道路，建筑物时，SAM模型的表现不够理想。针对此，本研究提出了一种参数高效的大模型微调框架，基于通用的低秩适配技术，使用多个低秩适配器来微调SAM模型，使其适应于城市人造目标提取任务；其中多个并行低秩自适应矩阵用来逼近高秩自适应矩阵，可以显著降低模型过拟合风险，从而提升模型性能。模型优化方面，采用监督和无监督两步优化策略，第一步使用公开数据集进行监督微调，使SAM模型有效地迁移到城市人造目标提取任务上；第二步基于一致性正则思想，利用目标区域影像进行多低秩适配器的无监督微调，从而使SAM模型更好地迁移到目标区域。在全球五大洲上的实验证明了：相比于传统深度学习分割方法，所提框架在仅需要训练少量模型参数的情况下，跨域性能提升显著，可以为全球人造目标提取提供支持。该研究的代码开源在：https://github.com/xiaoyan07/SAM_MLoRA.
图1：中国武汉道路制图结果示例(18272×15040 像素)
图2：新西兰基督城建筑物制图结果示例(11776×37888像素)
Happy Reading！
https://online.fliphtml5.com/pdnjr/ebgj/
主要作者简介
翁齐浩，欧洲科学院外籍院士、 美国科学促进会（AAAS）会士、电气与电子工程师协会（IEEE）会士、美国地理学会（AAG）会士、美国摄影测量与遥感学会（ASPRS）会士、亚太人工智能学会（AAIA）会士，现任香港理工大学地理信息学和人工智能讲座教授、曾任美国印第安纳州立大学城市与环境变化中心主任和教授和美国航天局高级研究员。现为地球观测组织的全球城市观测和信息系统项目负责人并任《国际摄影测量与遥感学会期刊》（ISPRS JP&RS）主编。翁教授的研究侧重于遥感科学和技术在城市环境与生态系统中的应用、土地利用和土地覆盖的变化和城市化的环境效应等。
卢晓燕，博士，香港理工大学土地测量及地理资讯学系博士后。研究方向为遥感影像的智能解译和应用。
“理·解时空”是地理空间智能研究中心(Research Centre for Artificial Intelligence in Geomatics)的官方微信公众号，除实验室日常动态外，每月还将推送不同主题的科学研究，欢迎各位读者订阅讨论。同时，我们也期待各位读者将感兴趣的科研话题通过后台留言的方式与我们分享，我们将结合各位读者的需求提供更加丰富的推文内容。
实验室主页：https://rcaig.com/
供稿：卢晓燕博士
编辑：夏怡
指导：翁齐浩博士
