论文解读 |【SIGSPATIAL 2023】基于知识增强扩散模型的城市人流量生成

文摘   其他   2024-01-06 01:01   北京  


基于知识增强扩散模型的城市人流量生成



市人流量(Urban Flow)指的是一段时间内进入或离开某个城市区域的人数,建模城市人流量对于公共安全、交通管理和城市规划等领域均有重要意义。现有研究主要关注城市人流量的预测式建模,即根据已知的历史人流量数据预测未来的人流量。然而,这些方法依赖于高质量的历史数据,不适用于数据稀疏的场景,比如郊区或新区域。

针对该问题,清华大学电子工程系城市科学与计算研究中心近日在 ACM SIGSPATIAL 2023 发表论文《Towards Generative Modeling of Urban Flow through Knowledge-enhanced Denoising Diffusion》,提出知识增强的时空扩散模型KSTDiff,在不依赖历史数据的情况下实现城市人流量生成。该模型在传统扩散模型的基础上设计了区域特异的前向扩散过程,解决了区域之间流量规模大的挑战。进一步地,该论文利用知识图谱建模城市环境和区域之间的关系,设计了知识增强的去噪网络,有效捕捉人流量的时空相关性以及城市环境的影响,以达到更好的生成效果。该论文将生成式建模引入城市人流量的相关研究,探索了生成模型在地理空间数据中的应用。

论文标题:Towards Generative Modeling of Urban Flow through Knowledge-enhanced Denoising Diffusion

会议:SIGSPATIAL 2023

论文链接:https://arxiv.org/abs/2309.10547

代码链接:https://github.com/tsinghua-fib-lab/KSTDiff-Urban-flow-generation



PART/ 01 背景


城市人流量是指一段时间内进入或离开某个城市区域的人数,对于公共安全、交通管理和城市规划等广泛领域有重要意义。例如,对于移入人流大的区域,可以提前采取措施避免交通拥堵;对于移出人流大的区域,可以派遣出租车以满足人们的出行需求。
现有研究主要关注人流量的预测式建模,即根据历史人流量数据预测未来人流量。然而,这些方法依赖历史人流量,因此不适用于数据稀缺的区域,比如郊区或者新规划的区域。在这项工作中,我们研究一个新的人流量生成问题,如图1所示,根据区域特征,为没有历史人流量数据的区域生成动态的人流量数据。
图1. 城市人流量预测任务和生成任务的对比
城市人流量受多种因素影响,如区域特征和城市环境等,因此我们将问题建模为条件生成问题。在生成模型中,扩散模型最近在许多任务上取得了优异表现,其核心思想是逐步向真实数据添加噪声,直到数据变为高斯噪声,并训练一个神经网络来学习逆向过程,将高斯噪声逐步转化为真实的数据分布,从而生成数据。在这一生成过程中,每一步都可以添加额外的条件,因此扩散模型可以很好地根据给定的条件控制生成过程,因此我们采用扩散模型来生成城市人流量。
城市人流量生成面临两大挑战:(1)不同区域人流量的规模差异大。比如在市中心的区域通常人流量很大,而郊区人流量较小。因此,在不依赖历史数据的情况下,很难为流量差异巨大的不同区域准确生成人流量。(2)人流量有复杂的时空相关性,且受城市环境的影响。例如,对于路网密集的商业区,人流量很大程度上会受邻近区域的影响,体现出很强的空间相关性。对于靠近市郊的住宅区域,相邻区域的人流量转移较小,空间相关性较弱,而体现出明显的时间上的特征,例如在工作日早晨移出流量较大,而傍晚的移入流量较大。
接下来介绍我们的模型设计,以及针对这两个挑战的解决方案。


PART/ 02 模型


为了解决这些挑战,我们设计了知识增强的时空扩散模型KSTDiff,在不依赖历史数据的情况下,为每个区域生成人流量数据。模型的整体结构如图2所示。

图2. 模型总体框架 

2.1 区域特异的前向扩散过程

针对区域人流量的规模差异大的挑战,我们设计了区域特异的前向扩散过程,通过一个流量规模估计模块预测区域的流量规模,并据此对不同的区域添加不同的噪声,以区分不同流量规模的区域。具体来说,用表示区域特征,我们采用两层前馈神经网络作为流量规模估计模块,用于预测区域的流量规模,并将扩散过程修改为

在原始的扩散模型中,前向扩散过程最终得到的是均值为0的高斯噪声(相当于在上式中令),而在我们的设计中,不同区域有不同的扩散过程,因此能更好地刻画区域间流量规模的差异。

2.2 知识增强的去噪网络

针对第二个挑战,为了捕捉人流量的时空相关性与城市环境的影响,我们设计了知识增强的去噪网络。首先,我们构建了一个城市知识图谱(Urban Knowledge Graph, UKG)对城市环境建模,其中包含了城市中的区域、POI、POI品类、商圈等元素,以及这些元素之间的多种语义关系,如表1所示。我们采用知识图谱嵌入模型TuckER对UKG预训练得到每个区域的表征向量,包含了UKG中的城市环境信息。
表1. 城市知识图谱中各关系的含义
其次,我们基于Wavenet结构设计去噪网络,结构如图3所示。空间方面,UKG中已经对区域之间的空间关系进行建模,因此我们采用R-GCN模块在UKG上捕捉人流量的空间相关性。时间方面,我们采用Transformer捕捉人流量的时间相关性。最后,我们利用预训练得到的区域表征,通过注意力机制指导时空关系的融合。

图3. 去噪网络结构

2.3模型训练

在训练中,我们首先对流量规模估计模块进行预训练,接着采用交替更新的方式优化流量规模估计模块以及扩散模型去噪网络,具体算法如图4所示。
图4. 模型训练算法


PART/ 03 实验


3.1 数据集

图5. 各数据集上的训练/测试区域划分
我们在纽约、北京、华盛顿、巴尔的摩四个数据集上进行了实验,各个城市的区域划分如图5所示。其中蓝色为训练区域,橙色为测试区域。我们仅采用蓝色区域的流量数据训练模型,并用训练好的模型为橙色区域生成流量。

3.2模型整体性能评估

我们采用MAE、RMSE、SMAPE衡量生成流量和真实流量的平均误差,采用MMD衡量生成流量分布和真实流量分布的差异。从表2可以看出,我们的模型在四个数据集的各个指标上均显著优于基线方法。
表2. 和基线方法的人流量生成效果对比
此外,我们进行了消融实验,结果如图6所示。可以看出去掉区域特异扩散过程或知识增强的去噪模块后,模型的性能均有下降,验证了模型各部分设计的有效性。
图6. 消融实验结果


3.3模型能胜任长期人流量生成

图7. 长期人流量生成效果
我们将生成流量的长度从一天扩展到一周、两周、四周,发现我们的模型效果均优于基线方法(图7),说明模型能胜任长期人流量生成的任务。

3.4生成的数据能有效应用于下游任务

为了检验生成的人流量数据的可用性,我们将生成的流量用于下游任务,预测区域之间的OD流量。从表3可以看出,KSTDiff生成的流量数据在下游任务上的表现优于基线方法,并且与使用真实流量数据的效果接近。这说明在缺少真实流量数据的情况下,我们生成的流量可以作为替代用于下游任务。
3. 生成的人流量数据在下游任务上的效果比较


3.5模型也能用于人流量预测

我们的模型除了用于人流量生成任务外,也可以应用于人流量预测任务。在人流量生成任务中,模型以区域特征作为输入的条件,生成人流量数据。在预测任务中,我们稍微修改模型,以历史流量作为输入的条件,生成未来的人流量,从而实现人流量预测。我们和现有效果最好的几个人流量预测模型进行比较,发现模型能取得与基线接近的预测效果(图8)。这进一步说明了人流量生成式建模的通用性。
图8. 人流量预测效果对比


PART/ 04 参考文献


[1] Liu, Yu, et al. "UrbanKG: An Urban Knowledge Graph System." ACM Transactions on Intelligent Systems and Technology 14.4 (2023): 1-25.
[2] Ho, Jonathan, Ajay Jain, and Pieter Abbeel. "Denoising diffusion probabilistic models." Advances in neural information processing systems 33 (2020): 6840-6851.
[3] Wen, Haomin, et al. "Diffstg: Probabilistic spatio-temporal graph forecasting with denoising diffusion models." Proceedings of the 31st ACM International Conference on Advances in Geographic Information Systems. 2023.
[4] Kong, Zhifeng, et al. "DiffWave: A Versatile Diffusion Model for Audio Synthesis." International Conference on Learning Representations. 2020.
[5] Han, Xizewen, Huangjie Zheng, and Mingyuan Zhou. "Card: Classification and regression diffusion models." Advances in Neural Information Processing Systems 35 (2022): 18100-18115.
[6] Simini, Filippo, et al. "A deep gravity model for mobility flows generation." Nature communications 12.1 (2021): 6576.

数据科学与智能实验室
本公众号为清华大学电子系数据科学与智能实验室的公众账号,主要推送实验室重要通知、日常活动、文章导读、前沿分享等资讯,敬请关注。
 最新文章