论文精读 | 使用异质图学习地理空间区域嵌入表示

题目：Learning Geospatial Region Embedding with Heterogeneous Graph

作者：Xingchen Zou（邹星辰）, Jiani Huang, Xixuan Hao, Yuhao Yang, Haomin Wen（温浩珉）, Yibo Yan, Chao Huang（黄超）, Yuxuan Liang（梁宇轩）

机构：香港科技大学（广州），香港理工大学，香港大学，北京交通大学

arXiv网址：https://arxiv.org/abs/2405.14135

Cool Paper：https://papers.cool/arxiv/2405.14135

TL; DR: 本文提出了GeoHG，一种新颖的异质图结构和学习框架，用于生成综合地理空间区域嵌入，以支持各种地理空间应用。

关键词：地理空间嵌入，异质图结构，区域内特征表示，区域间依赖关系，图神经网络，表示学习，多模态学习。

点击文末阅读原文跳转本文arXiv链接。

摘要

学习有效的地理空间嵌入（Geospatial Embedding）对于城市分析和地球监测等一系列地理空间应用至关重要。然而，学习全面的地理空间嵌入面临两个重大挑战：首先，缺乏高效的地理区域内在特征表示方法；其次，难以建模并学习复杂的空间区域间的关联性。在本文中，本文提出了一种有效的地理空间异质图结构（GeoHG），用于学习适用于多种地理空间下游任务的地理空间表征。具体来说，本文通过对卫星地图进行语意分割和区域内兴趣点（POI）整合来表征区域内特征。同时，本文将复杂空间关联性和社会-环境属性整合到一个强大的异质图（Heterogenous Graph）来实现对高阶区域间关系进行显式建模。通过一个model-agnostic学习框架，完成了区域内特征和区域间相关性的高效整合，并适用于多种下游任务。广泛的实验证明了GeoHG在地理预测任务（geo-prediction tasks）中与现有方法相比的有效性，即使在极端数据稀缺的情况下（仅使用5%的训练数据）仍然保持SOTA的预测表现。同时，凭借高效且可解释的区域表示，GeoHG展示了跨区域的强大泛化能力。

使用863个已知的数据点（5%）预测16401平方公里区域的人口分布，GeoHG的预测结果与ground truth高度一致，展现出了强大的few-shot能力

论文动机

地理空间是一个极为复杂的系统。自然法则与人类社会活动的交错，导致地理空间中了区域与实体之间的多元相互作用。最近，人们越来越感兴趣于利用深度学习方法来解决各种地理空间任务，例如区域指标预测、地球监测和地缘政治优化。全球地理空间区域错综复杂且不断变化，而学习高效的地理空间嵌入，捕捉区域的固有特征及其复杂的混合阶关系，为上述这些应用奠定了基础。

在过去的研究中，已经有很多构建更好的地理空间表示的尝试，但是有效且全面地学习地理空间嵌入仍然具有挑战性。这个问题有两个方面的考虑。首先，如何有效地表示地理区域内部特征一直没有被深入研究。现有的研究通常利用全球可用的卫星图像来学习地理空间表示，以生成一个统一的地理区域表征。然而，由于卫星图像与自然图像之间存在显著差异，这些方法往往采用在自然图像上预训练的视觉编码器来从卫星图像中学习语义信息，但是这些编码器在卫星图像上的表现并不好。其次，如何全面地建模地理空间嵌入中复杂的多元区域间关系也是一个具有挑战性的问题。在地理空间中，区域之间的关系不仅限于二阶邻接关系，还包括了三元和更高阶的依赖关系。例如，由于类似地理或社会经济功能，某个特定区域可能会受到许多非相邻区域的影响，尽管它们在空间中距离甚远。

图注：从区域内和区域间的角度对地理区域表征的解释。(a) 区域内特征应当包括环境特征和社会特征。(b) 区域间相关性包括相邻区域之间的二元邻接相关性（second order relation），以及由环境和社会因素导致区域组之间的多元相关性（high order relation）。

这篇论文试图解决以下问题

高效地表示区域内部特征：现有的研究在学习地理空间表示时通常使用卫星图像，但由于卫星图像与自然图像之间存在差异，现有方法的视觉编码器在卫星图像上的表现不佳。因此，论文提出了一种基于语义分割的新的方法，旨在有效地捕捉区域内部特征。

全面建模复杂的高阶区域关系：在地理空间中，区域之间的关系不仅限于二元邻接关系，还包括三元和更高阶的依赖关系。然而，现有的方法只能处理二阶关系，无法全面建模地理空间中的复杂高阶关系。为了解决这个问题，论文提出了一种新的地理空间异质图结构，名为GeoHG，它能够有效地捕捉和建模高阶区域关系。

整合全面的地理空间嵌入：文章引入了一个model agnostic的异质图结构和学习框架，以高效地整合地理空间中的区域内特征和区域间相关性。作者表示，这是第一项在异质图中整合全面的区域内信息与复杂的混合阶区域间关系以进行地理空间表示的工作。

全面超越现有方法的性能：论文通过在多个数据集上进行实验证明，GeoHG相比现有方法在各种下游任务中具有更优越的性能。即使在数据稀缺的情况下，GeoHG仍能取得竞争性的表现。这表明GeoHG在解决地理空间嵌入问题上具有重要的优势。

方法模型

GeoHG方法首先利用卫星图像和环境特征来表示地理空间中的区域内部特征，通过分割方法将区域划分为不同的实体并计算其所占面积比例。然后，利用POI数据集和区域兴趣点来表示地理空间中的社会特征，通过统计不同类型的POI在区域中的比例。这样，GeoHG方法能够全面地捕捉区域内部的环境和社会特征。

接下来，GeoHG方法借助超图（Hyper Graph）理论，利用异质图来建模地理空间中的高阶区域关系。基于超图理论，GeoHG方法能够综合利用区域之间的各种关系，包括二阶邻接关系和高阶关系。这样，GeoHG方法能够更全面地表示区域之间的复杂关系，从而提供更准确和全面的地理空间嵌入。

（a）给定一个具有高阶关系的超图HG，（b）本文通过添加节点作为高阶连接通道将其重构为一个异质图，（c）并在HG中获得最终表示。

面向下游任务，GeoHG提供了两种训练模式，为研究者们进行下游任务部署提供了灵活的选择，以适应不同的应用需求和数据情况。Pre-training + Fine-tuning模式适用于数据稀缺的情况，通过在大规模未标记数据上进行自监督学习，可以提供更丰富的地理空间表示。而End-to-End Training模式则适用于特定下游任务的训练，可以直接优化整个GeoHG模型的参数，并学习到任务特定的区域表示。

Pre-training + Fine-tuning模式：在这种模式下，首先使用预训练的GeoHG-SSL模型进行初始训练。GeoHG-SSL模型是在大规模的未标记数据上进行图自监督学习（Graph SSL）得到的。然后，将GeoHG-SSL模型的权重作为初始权重，继续进行特定下游任务的微调（fine-tuning）。通过微调，模型可以根据特定任务的监督信号来更新权重，从而学习到任务特定的区域表示。

End-to-End Training模式：在这种模式下，直接从头开始对整个GeoHG模型的参数进行优化，使用特定下游任务的监督信号。例如，在区域回归任务中，使用HGNN模型来为给定区域生成嵌入，然后将其输入到一个三层线性层的回归头部。通过在训练数据上最小化均方误差（MSE）损失来更新HGNN模型的参数，并同时学习任务特定的区域表示。

实验

实验设置

在论文中，研究者们进行了广泛的实验，涵盖了多个数据集和多个任务。他们选择了北京、上海、广州等城市作为实验地点，并使用了各种下游任务，如人口预测、GDP预测、夜间光照预测等。通过这些实验，研究者们旨在验证GeoHG方法在不同数据集和任务上的性能表现。

基线模型

为了评估GeoHG方法的性能，研究者们与多个基线模型进行了比较。其中包括传统的地理空间插值方法，如反距离加权（Inverse Distance Weighting，IDW）和通用克里金（Universal Kriging，UK），基于深度学习的多源、多模态的地理空间表征方法（UrbanVLP，GeoStructural）以及其他一些基线模型，包括PG-SimCLR、UrbanCLIP、ResNet-18和AutoEncoder等。

实验结果

通过对比实验结果，研究者们得出了几个重要的发现：

1. GeoHG方法在多个城市和多个任务上均优于其他基线模型。例如，在北京市的实验中，GeoHG在人口、GDP、夜间光照等任务上相比之前的最佳模型，分别取得了**16.7%、14.9%、6.1%、37%和33%**的R2提升。类似的结果也在其他城市的实验中得到了验证，表明GeoHG在地理空间区域嵌入任务中具有稳定的准确性和强大的泛化能力。
2. 在多任务转移方面，GeoHG-SSL模型在某些任务上展现出良好的性能。然而，整体上，经过端到端训练的GeoHG方法在大多数任务中表现更好。这表明GeoHG方法在特定任务下的学习能力和泛化能力更强。
3. GeoHG方法的多源、多模态特征表示为其性能的提升做出了贡献。通过结合卫星图像、POI数据和地理特征，GeoHG能够学习到更丰富的地理空间表示，从而提高了预测准确性。

消融实验

研究者们进行了消融实验（ablation study），以检验GeoHG方法中每个核心组件的有效性。他们提出了三个变体进行比较。第一个变体是“w/o Env”，即排除了卫星图像中的环境信息进行嵌入。第二个变体是“w/o Soc”，即省略了POI实体的嵌入。第三个变体是“w/o Pos”，即不利用区域的位置信息。同时，为了验证高阶关系表示的有效性，研究者们将GeoHG与两个变体进行比较。第一个变体是GeoHG-MLP，它丢弃了图结构，仅依靠区域内特征表示，并使用三层MLP进行回归。第二个变体是GeoHG-Mono，它保留了相邻区域之间的边缘关系，但丢弃了高阶关系的超边。通过四个城市进行五个任务的实验，研究者们得出了R2结果。

Few-shot Learning

作者提出，全球范围内应用地理空间模型通常需要大量标记数据进行监督训练，这一过程耗时、计算成本高，并受到数据稀缺的限制。为了评估GeoHG在有限数据情况下的性能，研究者们使用了不同比例的可用训练样本，包括5%、10%和20%。实验结果显示，在仅使用5%数据的情况下，GeoHG在所有任务上的表现均优于之前的最佳方法。即使只利用20%的数据，GeoHG在人口、GDP、夜间光照、PM2.5和碳排放预测等任务上也只有轻微的性能下降。

可视化分析

研究者们使用了GeoHG方法来研究广州地区碳排放数据集之间的地理空间依赖关系。他们并没有使用任何外部特征（如道路网络、人员流动数据）来构建图中的辅助边。通过GNNExplainer选择在预测过程中重要节点的前N个节点并进行可视化，结果显示GeoHG通过信息传递在异质图结构中有效地捕捉了目标地区和远程地区群体之间的高阶相关性。

此外，文章通过计算不同区域嵌入之间的余弦相似度，可视化展示区域之间的依赖关系分布。其次，将展示具有高度相似嵌入的区域的相关真实世界信息，以验证所提出方法在概括地理空间内信息和相互关系方面的能力。

颜色越深，区域相似性越高

如图所示，研究者们发现对于区域(40,58)，它是位于一个岛上靠近水域的农田区域。根据热力图显示，GeoHG自然地发现了同一岛上的其他区域，比如Jiabaosha Island，并且更接近的区域展示出更高的相似性。有趣的是，本文的模型找到了一些非常遥远但地理环境相似的岛屿，比如大洲尾岛和沙湾，它们具有相似的环境和社会功能。此外，广州市的西部主要是一个多山的工业区，在热力图显示出较低的相似性结果与这个地理事实完全一致。

社会影响与意义

通过全面表示区域内部特征和区域间关系，这篇文章提出的GeoHG框架在各个领域展示了显著的潜力，特别是在智能城市和地球科学领域。GeoHG提供的可解释性和高效性有助于更深入地理解复杂的地理空间和其中固有的多元关系。这种全面表示区域空间区域的能力使利益相关者能够更有效地监测城市和环境，从而做出明智的决策，最终提高个人和社区的生活质量，促进更具韧性和可持续性的环境。

此外，GeoHG的显著数据效率使社区能够在有限资源下研究区域细粒度的气候。例如，在第4.3节中，文章展示了其在仅使用863个监测点的情况下，对大面积（16,401平方公里）进行细粒度（1km×1km）指标预测的强大性能。

随着人类社会的进步和全球环境的变化，城市热岛和局部空气污染等区域极端气候问题持续带来重大的经济、环境和健康挑战。因此，有效的细粒度区域气候监测变得越来越重要。每年因局部极端炎热和空气污染而丧生的数百万人的生命，研究者们相信他们的方法所促进的增强地理空间区域表示和数据效率将支持更有效的人类健康保护措施，并为地缘政治决策提供信息，推动城市和环境管理的改善，以及极端气候的减缓策略。

推荐阅读

AI论文速读 | （吐司）DyToast：具有时间动态的路网语义增强表示学习

AI论文速读 | 2024[WWW]不只路线：联合 GPS 和路线建模的轨迹表示学习

AI论文速读 |2024[IJCAI]TrajCL: 稳健轨迹表示:通过因果学习隔离环境混杂因素

欢迎各位作者投稿近期有关时空数据和时间序列录用的IJCAI、ICML以及KDD的优秀文章解读，我们将竭诚为您宣传,共同学习进步。如有意愿,请通过后台私信与我们联系。