近期，张觅副研究员作为第一作者和龚健雅院士作为通讯作者在Science Bulletin （科学通报，IF=18.8）发表题为“Foundation model for generalist remote sensing intelligence: potentials and prospects”的研究成果。论文系统地分析了近5年国内外遥感大模型在场景分类/检索、目标检测、地物分类（语义分割）、变化检测、视频追踪、地学应用等方面的进展，提出遥感大模型的统一计算框架，即领域专用的深度学习框架与样本库、多模态地学领域知识的融合与微调、双向人机反馈机制、质量与可靠性评估、透明的下游应用模型。基于该框架，课题组研发了具备28亿参数的多模态-多任务的遥感大模型LuoJia.SmartSensing（珞珈.灵感）并在山东海阳东方航天港成功部署原型系统。
图1 遥感通用大模型统一计算框架
另一项研究TopoSense: agent driven topological graph extraction from remote sensing image发表于ISPRS Technical Commission III Mid-term Symposium on Remote Sensing，该项成果基于课题组CVPR 2023论文成果TopDiG: Class-agnostic Topological Directional Graph Extraction from Remote Sensing Images，进一步探讨了视觉智能体在遥感影像矢量提取方面的应用。不同于当前语言模型驱动的智能体方法，TopoSense尝试将遥感影像地物目标的“点-线-面“要素作为视觉智能体基元，通过智能体基元自动发现并自动纠正断裂、不连续的基元特征，同时结合基础预训练大模型克服特征泛化性能问题，从而实现矢量地物要素的在线更新与鲁棒提取。
图2 TopoSense视觉智能体矢量提取模型示意图
据悉，LuoJiaNet智能遥感解译团队在龚健雅院士、胡翔云教授指导下，由张觅副研究员负责，系统地解决了遥感智能解译大模型全栈自主可控的卡脖子问题。先后与华为公司合作建立了开源开放的LuoJiaNet深度学习框架与LuoJiaSet样本库；构建了具有28亿参数的LuoJia.SmartSensing遥感多模态-多任务大模型，并与百度公司合作在山东海阳东方航天港部署；构建了面向数智教育的LuoJiaNet遥感AI实习实训平台。相关成果在广东省国土资源技术中心、广州市城市规划勘测设计研究院、浙江省测绘科学研究院等单位落地应用。
上述研究成果的共同作者有张祖勋院士、胡翔云教授、博士生杨炳楠等，获得了国家自然科学基金、教育部集成攻关大平台、湖北省重点研发计划、湖北珞珈实验室基金等项目的支持。
相关论文成果与附件：
Zhang M, Yang B, Hu X, Gong J#, Zhang Z. Foundation model for generalist remote sensing intelligence: potentials and prospects. Science Bulletin. 2024 Sep 19. （Supplementary：https://ars.els-cdn.com/content/image/1-s2.0-S2095927324006510-mmc1.pdf）
Zhang M, Yang B, Gong J, Hu X. TopoSense: agent driven topological graph extraction from remote sensing image. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2024 Nov 4;10:445-52.
Yang B, Zhang M#, Zhang Z, Zhang Z, Hu X. TopDiG: Class-agnostic Topological Directional Graph Extraction from Remote Sensing Images. InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2023 (pp. 1265-1274).
Yang B, Zhang M#, Zhang Z, Zhao Y, Gong J. UniVecMapper: A universal model for thematic and multi-class vector graph extraction. International Journal of Applied Earth Observation and Geoinformation. 2024 Jun 1;130:103915
