RS DL
论文介绍
题目：TorchSpatial: A Location Encoding Framework and Benchmark for Spatial Representation Learning
会议：Conference on Neural Information Processing Systems 2024
论文：http://arxiv.org/abs/2406.15658
代码：https://github.com/seai-lab/TorchSpatial
创新点
本文提出TorchSpatial, 通过统一位置编码框架、数据基准LocBench和全新的地理偏差评分系统，为空间表示学习（SRL）提供了新的标准和基准。
位置编码框架：支持15种常用位置编码器的开发，确保可扩展性和可重复性。 数据基准LocBench：包含7个地理分类和4个回归数据集，用于系统评估位置编码器在多任务上的表现。 地理偏差评估：首次提出一种通用的地理偏差评估框架Geo-Bias Score，量化AI模型在不同地理区域的表现一致性。
背景
空间表示学习（Spatial Representation Learning, SRL）在地理人工智能（GeoAI）研究中具有重要地位，它旨在从各种空间数据（例如点、线、多边形、网络、图像等）中学习适用于多种下游任务的通用神经网络表示。GeoAI应用广泛，包括物种分布建模、天气预测、地理问答等，但SRL的研究目前面临以下几个主要挑战：
缺乏通用框架和基准：虽然计算机视觉、音频处理等领域已有共享的深度学习框架（如Torchvision和TorchAudio）和基准，但GeoAI领域在位置编码、数据预处理和模型评价方面缺乏类似的系统化工具。这使得SRL模型的开发成本高、难以复现和扩展。 位置编码的系统性研究不足：在地理相关任务中，地理位置信息（例如经纬度）通常是重要的特征，但在不同任务和数据规模下，如何系统性地评估位置编码的效果尚未得到充分研究。 地理偏差问题：许多模型在不同地理区域表现不一致，可能会导致地理偏见，从而影响模型的公平性和可靠性。然而，现有研究主要集中于语言模型等领域的地理偏差，缺乏针对GeoAI模型的地理偏差量化方法。
数据
LocBench，本文提出的的数据基准，涵盖7个地理分类和4个回归数据集，目的是系统评估不同位置编码器在多样化任务上的表现。LocBench的任务设计考虑了数据规模、地理分布、任务复杂性等因素，以便综合分析位置编码器的表现。
地理分类数据集
BirdSnap：包含19,576张鸟类图像，涵盖500个北美鸟类种类。 BirdSnap† 和 NABirds†：这两个数据集通过模拟鸟类观察者的位置信息增强，分别包含43,470和23,699张鸟类图像，涵盖多个物种类别。 iNat2017 和 iNat2018：分别包含675,170和461,939张全球范围的生物物种图像，涵盖数千个物种类别。 YFCC：从Flickr图片集提取的图像数据集，包含88,986张图片，涵盖100种日常物品类别，主要覆盖美国地理范围。 fMoW（Functional Map of the World）：一个全球遥感图像数据集，包含约363,000张遥感图片，涵盖62种不同的土地利用类型。
地理回归数据集
人口密度（MOSAIKS）：包含425,637个数据点，通过随机采样，结合遥感图像预测各地的人口密度。 森林覆盖率：包含498,106个数据点，通过高于5米的植被比例估算森林覆盖率。 夜间光照：包含492,226个数据点，测量各地的夜间光照强度。 海拔：包含498,115个数据点，通过卫星数据预测地面海拔。
方法
位置编码框架
TorchSpatial提出了一个统一的框架，支持多种位置编码器的开发。位置编码器的主要功能是将地理位置（例如经纬度坐标）转换为机器学习模型可以理解的嵌入向量，从而将地理信息有效地融入模型中。TorchSpatial框架包括以下几个特性：
灵活性：支持2D和3D位置编码器。2D编码器通常将地理位置投影到平面上，而3D编码器则保留地球的球面结构，以捕捉更丰富的地理信息。
扩展性：框架设计允许新位置编码器的便捷集成。当前版本实现了15种常用位置编码器，包括一些基于网格、径向基函数、球面坐标等方法。这些编码器为GeoAI应用中的分类和回归任务提供了丰富的选择。
兼容性：TorchSpatial将位置编码和图像编码结合，位置编码器和图像编码器的输出被集成到一个神经网络中，以共同实现目标任务的分类或预测。
评估指标
TorchSpatial设计了一套全面的评估指标，用于量化模型的整体性能和地理偏差。这些评估指标根据任务类型进行了调整，确保评估模型在分类和回归任务中的表现。
分类任务：在分类任务中，使用Top-1准确率（Top-1 accuracy）、Top-3准确率（Top-3 accuracy）和平均倒数排名（Mean Reciprocal Rank, MRR）等指标来评估模型的分类精度。Top-1和Top-3准确率衡量模型在目标类别上的预测正确率，而MRR则衡量预测结果中正确答案的平均位置。 回归任务：在回归任务中，使用决定系数（R²）、平均绝对误差（MAE）和均方根误差（RMSE）来量化模型的回归精度。R²反映了模型的拟合程度，而MAE和RMSE则分别表示预测值与实际值的偏差大小。 性能对比：通过这些指标，TorchSpatial可以对比不同位置编码器在多任务、多数据集上的表现，以评估其对任务精度的提升效果。
地理偏差评估
文章创新性地提出Geo-Bias Score，用于评估模型在不同地理区域的表现一致性。这种地理偏差分析有助于理解模型在特定区域是否存在偏见。
地理偏差的定义：地理偏差是指模型在不同地理区域的表现差异，某些地区可能会因数据量或地理特征导致模型精度显著偏低。TorchSpatial的Geo-Bias Score基于空间自信息度量（SSI），量化这些地理差异。 双重Geo-Bias Score：Geo-Bias Score分为基础地理偏差分数（base geo-bias score）和相对地理偏差分数（relative geo-bias score）。基础地理偏差分数衡量数据本身的地理分布偏差，相对地理偏差分数则衡量模型在特定区域的偏差程度。 多尺度分析：Geo-Bias Score考虑了地理空间的多尺度影响，例如在较大地理范围上评估模型是否在全球范围内一致，同时在较小范围上检查是否偏向城市或农村等具体地区。这种多尺度分析有助于全面评估模型的地理公平性。
实验和结果
研究表明引入位置编码能显著提升模型在分类和回归任务上的表现。尤其是在包含地理位置信息的数据集上，位置编码显著提高了模型的预测精度。
地理感知图像分类
地理感知图像回归
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
相关链接：
论文 | ECCV24 | 卫星影像元数据自监督学习, 在下游任务提升分类性能
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
