记得给 “应用机器学习” 添加星标,收取最新干货
作者:香港城市大学、南方科技大学 朱元绍
今天和大家分享一篇由南方科技大学,香港城市大学和香港科技大学(广州)共同提出的基于条件扩散模型的可控轨迹生成框架 ControlTraj。具体来说, ControlTraj 是一种基于拓扑约束扩散模型的轨迹生成技术。通过结合城市道路的拓扑约束,它不仅能够生成高保真的轨迹数据,还能够根据道路网络的拓扑结构进行智能引导,确保生成的轨迹既真实又符合地理实际。
论文链接:https://arxiv.org/abs/2404.15380
代码链接:https://github.com/Applied-Machine-Learning-Lab/ControlTraj
1 研究背景
在人类流动性分析中,GPS 轨迹数据是支撑其研究的的重要数据源之一。然而获取真实 GPS 轨迹数据常面临隐私、收集成本和数据专有限制等挑战。轨迹生成作为一种具有前景的解决方案,能够有效地应用于解决上述问题(DiffTraj NeurIPS 2023)。然而,现有的轨迹生成方法由于人类活动的固有多样性和不可预测性,仍然处于起步阶段,面临着保真度、灵活性和泛化能力等问题。为了克服这些障碍,本文提出了 ControlTraj,这是一个具有拓扑约束的可控轨迹生成框架。与以往方法不同,ControlTraj 在使用扩散模型生成高保真度轨迹的同时,也整合道路网络拓扑的结构约束来指导地理结果。
2 这篇论文试图解决什么问题?
这篇论文提出了一个新的轨迹表示学习框架,旨在实现以下目标:
保真性:生成的轨迹能够保留了原始真实轨迹的时空特征和分布。 灵活性:提出的模型框架应具有适应性,使用户能够引导轨迹生成模拟特定的移动模式或遵守不同的条件,例如道路网络施加的拓扑约束或一天中不同时间的限制。 通用性:提出的模型应具有超越训练数据的地理背景进行推广的能力,确保模型能够在经探索的地理环境中生成现实和适用的轨迹。
ControlTraj 框架
论文通过提出一个名为 ControlTraj 的新型生成式框架来解决上述问题。其由以下几个关键部分组成,共同构成了一个高效、可控的轨迹生成系统。
1.RoadMAE(道路段自编码器)RoadMAE 是 ControlTraj 的前提,使用自监督学习的方式,无需外部标注即可学习道路段的内在结构和道路段的细粒度嵌入表示。首先需要对轨迹经过的路段信息进行提取,然后按照一定的大小分为Patch。在训练过程中,首先随机mask掉一部分路段的Patch,然后使用基于掩码的的自编码器结构来还原被掩盖的路段。RoadMAE 的应用不仅在于为轨迹生成提供了结构化的指导嵌入表征,还在于其能够显著提高生成轨迹的质量和可信度。
GeoUNet架构 GeoUNet 架构是 ControlTraj 框架中用于轨迹生成的核心网络结构,它是集成了注意力机制的UNet架构,将前面通过 RoadMAE 所学习到的道路嵌入表征与行程属性相结合,通过Cross-attention 将这些属性信息融合到UNet中。此外,ControlTraj 采用了扩散概率模型作为生成方案,通过正向过程(逐步添加噪声)和反向过程(逐步去除噪声),实现了对轨迹数据的高保真生成。模型在生成过程中,能够根据道路网络的拓扑结构进行智能引导,确保轨迹的地理准确性。这意味着 ControlTraj 能够根据给定的条件,如道路网络的拓扑约束或行程属性,精确控制轨迹的生成,也可以定制化生成特定模式或条件下的轨迹数据。
实验结果
本文在成都,西安和波尔图三个真实世界 GPS 轨迹数据集上评估了ControlTraj 的性能。在评估过程中,主要关注5个方面:
1. ConTrolTraj的生成性能表现
从上面展示的结果中,从量化的角度来展示模型的整体生成性能。通过定量分析,并对比多种先进的轨迹生成方法。结果表明,ControlTraj在所有关键性能指标上均优于现有技术。并且,ControlTraj 在行程误差指标显示出显著的改善。这表明,使用详细路段嵌入的 ControlTraj 反映了更一致的真实世界轨迹行为。如果没有道路拓扑约束,模型构建高保真的时空模式的能力就会减弱。同样,与完整的 ControlTraj 设置相比,ControlTraj-AE 的结果略有下降。这表明,虽然基于 CNN 的自动编码器可以捕获道路段信息,但 RoadMAE 结构可以提供更强大的道路拓扑表示。
此外,本文还对 DiffTraj 和ControlTraj生成的结果进行了可视化,以更好地比较实际的生成能力。从可视化中,可以看到两种模型都清楚地展示了城市的地理概览。然而,ControlTraj 展示了更细粒度的细节。特别是,ControlTraj 生成的轨迹与底层道路网络更加一致,并符合城市内复杂或稀疏场景的物理约束(在图中用红框标记)。这些视觉结果进一步证实了定量发现,即 ControlTraj 是现有方法中高保真度轨迹生成的最优越解决方案。
2. 生成数据可用性分析
在这一部分中展示了一天内生成数据和原始数据的轨迹分布热图。图中生动地表示了一天中不同时间段的人类活动模式。具体来说,颜色用来区分时间,条形位置表示城市区域,高度反映了活动频率,这为一天中人类活动的分布提供了直接的可视化。两个热图都显示出明显的活动高峰,这与预期的交通高峰时段一致。例如,上午6点到中午12点和下午6点到午夜12点的活动增加,反映了城市交通流量的典型早晚高峰。此外,不同区域内活动水平的一致性进一步证实了生成轨迹的现实性。总之,生成的轨迹在空间和时间上都紧密地反映了原始分布,表明生成模型已经成功地捕捉了人类活动动态。
3. 可控生成
可控轨迹生成的能力是 ControlTraj 的一个显著特点,它使用户能够直接干预轨迹的地理路径。图中展示了 ControlTraj(中间图像)和 DiffTraj(右侧图像)生成的轨迹与给定路线规划(左侧图像)的对比。每个模型基于 256 条生成的轨迹进行了可视化。可视化图清楚表明,ControlTraj 生成的轨迹紧密贴合预定路线,展示了其整合人类指定指令的能力。另一方面,DiffTraj 在其路线引导能力上存在局限性,因为它仅依赖于起始和结束区域的方向,导致生成的行进路线与预期路径有显著差异。这种与计划路线的偏离突显了 DiffTraj 在适应特定路线偏好方面的不足。相比之下,ControlTraj 不仅准确捕获了物理道路网络,并与人类定义的路线偏好保持一致,因此突出了其在需要定制轨迹规划的应用(如城市规划和导航系统)中的潜力。
4. RoadMAE效果分析
这里进一步探究RoadMAE的效果和处理道路段缺失部分的鲁棒性。本文研究了掩码比例对ControlTraj生成能力的影响。如图所示,测试了不同的掩码比例{0, 0.25, 0.5, 0.75},并为每种情景生成了256个轨迹,同时保持其他设置相同。结果表明,在没有掩码(0比例)的情况下,模型生成的轨迹具有高保真度,紧密跟随预期路径。当掩码比例增加到0.25和0.5时,RoadMAE表现出不确定性,但仍然生成了大体上尊重道路网络拓扑的连贯轨迹。在更高的掩码比例0.75时,轨迹表现出偏离计划路线的情况,减弱了模型推断正确道路结构的能力。尽管如此,上述结果证明了RoadMAE的鲁棒性,即使在缺少一半道路段细节的情况下,也能产生令人满意的拓扑指导轨迹。
5. 零样本学习能力
泛化能力和可转移性是评估轨迹生成框架有效性的关键,特别是当应用于多样化的真实城市场景时。这些属性确保了一个城市数据训练的模型能够无缝适应新的城市环境,无需额外训练——这与零样本学习的概念相似。在这个实验中,首先在一个已知的城市环境下训练ControlTraj模型,然后直接使用另一个城市道路拓扑指导进行轨迹生成,从而评估其零样本学习能力。结果揭示了 ControlTraj 在转移性和泛化性方面优于其他模型。DiffTraj 在应用到新城市时难以保持结构完整性,这从其混乱和不真实的轨迹模式中可以看出。ControlTraj-AE 虽然表现有所改善,但仍然存在与道路布局的一些差异。与此形成鲜明对比的是,ControlTraj 在生成轨迹方面保持了高水平的准确性,紧密反映了新城市的道路网络。这样的表现证明了其泛化能力,并确认了其在未经探索的地理环境中的适应能力。
总结
这篇文章提出了一个名为 ControlTraj 的轨迹生成框架,它通过拓扑约束的扩散模型来解决传统轨迹数据生成中的挑战。ControlTraj 的核心包括 RoadMAE ,一种道路段自编码器,用于提取道路的嵌入,以及 GeoUNet,一种结合地理注意力机制的UNet架构。ControlTraj 在多个真实世界的实验中展现了其在生成高保真度、灵活可控和具有强泛化能力的轨迹方面的卓越性能。这项研究不仅推动了轨迹数据生成技术的发展,还为城市规划、交通管理和智能导航等领域的应用提供了潜在的数据支持。
END