KDD 2024
今年8月25日至29日，KDD 2024(The ACM SIGKDD Conference on Knowledge Discovery and Data Mining 2024)在西班牙巴塞罗那召开。本次会议上，研究中心共有8篇大会论文进行展示。论文的第一作者分别为博士后柴浩野，博士生苑苑、刘畅、陈琳，硕士生王景维、巩佳辉、李瑞堃、黎家豪。
会议介绍
KDD 2024是数据挖掘和知识发现领域的顶级国际会议，汇集了来自学术界和工业界的研究人员、数据科学家和工程师。该会议致力于展示在大数据、数据挖掘、机器学习和人工智能领域的最新研究成果与创新应用。
KDD 2024包括论文报告、主题演讲、教程和研讨会等丰富多彩的活动，覆盖数据分析、预测建模、异常检测、推荐系统、图分析、因果推理等多个前沿主题。会议不仅强调理论研究的创新，还高度重视数据科学在实际问题中的应用，涉及金融、医疗、互联网、零售等行业的实践案例。
作为领域内的重要盛会，KDD 2024为与会者提供了交流思想、展示成果、合作创新的宝贵平台，推动数据科学和人工智能技术的进一步发展。
论文解读
《OpenDiff：基于公开数据与扩散模型的移动网络流量生成》Applied Data Science Track 论文 "Diffusion Model-based Mobile Traffic Generation with Open Data for Network Planning and Optimization" 第一作者：柴浩野（博士后）
随着5G通信技术的快速发展，网络规划和优化变得愈发重要。生成高保真网络流量数据能够提前预测移动用户的网络需求，为网络运营商提升网络性能提供潜力。然而，现有生成方法所需的数据大多不对公众开放，导致模型缺乏可重复性，增加了模型部署成本。本文提出了一种基于开放数据的移动流量生成扩散模型（OpenDiff），通过多正对比学习算法使用完全公开的卫星遥感图像、兴趣点和人口数据构建条件信息。这些条件信息反映了地理区域内的相关人类活动，有效指导网络流量数据生成。我们还设计了一种基于注意力的融合机制，以捕捉网络流量与人类活动特征之间的隐含关联，提高模型的可控生成能力。我们在三个不同规模的城市进行评估，实验结果表明，所提模型在生成保真度和可控性方面均具有性能优越性。
《城市时空通用预测模型》"UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction"第一作者：苑苑（博士生）
城市时空预测对于做出城市决策至关重要，例如交通管理、资源优化和应急响应。尽管预训练的自然语言模型取得了显著突破，使得一个模型可以处理多种任务，但建立一个通用的时空预测解决方案仍然面临很大挑战。现有的预测方法通常针对特定的时空场景进行定制化模型设计，往往需要特殊的模型设计和大量的训练数据。在本研究中，我们提出了UniST，一个通用城市时空预测模型。受大型语言模型的启发，UniST有以下几方面的成功经验：(i) 充分利用不同场景的多样化时空数据，(ii) 通用有效的预训练技术捕捉复杂的时空动态性，(iii) 知识引导的提示学习技术增强模型泛化能力。在超过20个时空场景数据集上的广泛实验表明，UniST不仅取得了最优性能，还涌现出优秀的零样本预测能力。苑苑在Urban Data的session中介绍了UniST，在提问环节与世界各地研究城市计算，时空建模的专家学者进行了广泛交流，在poster环节也受到了很多关注，对UniST进行了充分的讨论。
《拓扑结构与动力学联合建模的复杂网络数据增强与韧性预测》"TDNetGen: Empowering Complex Network Resilience Prediction with Generative Augmentation of Topology and Dynamics" 第一作者：刘畅（博士生）
预测复杂网络的韧性，即在外部扰动或内部故障下维持其基本功能的能力，对于理解和改进现实世界中的复杂系统至关重要。传统的理论方法基于非线性动力系统，需要对网络动力学有先验知识。而数据驱动的方法则往往面临标注数据不足的挑战，这在现实场景中尤为常见。本文提出了一种用于复杂网络韧性预测的新框架，通过生成式模型捕捉未标注网络数据中固有的联合分布，学习网络拓扑与动力学之间的耦合关系，进而通过韧性预测器指导的方式，生成可用于进一步训练韧性预测的有标注网络，从而有效提升韧性预测器的预测性能。实验结果表明，在三个网络数据集上的测试中，我们提出的框架TDNetGen能够实现高达85%-95%的预测精度。此外，该框架在极端低数据环境下仍展现出显著的增强能力，突显了其在提升网络韧性预测中的实用性与鲁棒性。
《ReStruct: LLM驱动的异质图元结构发现》"Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network" 第一作者：陈琳（博士生）
在社交关系、推荐系统和科学引文等领域的研究中，异质信息网络 (HIN) 因其形式的通用性和语义的丰富性而成为重要且热门的研究话题。为从HIN中提取有效信息以助力下游任务，研究者们提出引入元路径和元结构，即一些在异质图中反复出现的子图结构，用于捕捉特定的高维语义关系，且作为调制信息在节点之间沿着不同类型的边传播的“模板”。然而，现有研究或者由于高度依赖领域专家知识而难以扩展，或者仅关注优化下游性能而忽略了所找到结构的可解释性，均未能很好地解决元结构发现的挑战。近年来，大语言模型 (LLM) 迅猛发展，展现出强大的自然语言理解和推理能力，因而具备理解HIN丰富语义的重要潜力。基于此，我们创新地提出了一个将基于语义的LLM推理与性能导向的演化算法相结合的元结构自动搜索框架——ReStruct，其中设计了3个各有分工的LLM智能体，将候选元结构转化到自然语言空间，利用LLM的推理能力来评估语义上可行的元结构，通过演化算法保证下游任务性能的稳步提升，从而共同优化元结构的语义可解释性和经验性能。实验表明，在多个异质图数据集上，ReStruct在节点分类和推荐任务中都达到了SOTA性能；同时用户调查显示，ReStruct生成的元结构和自然语言解释明显更易于理解。
《基于动态参数共享的多智能体强化学习算法解决时空资源分配问题》"Dynamic Parameter Sharing in Multi-Agent Reinforcement Learning for Spatio-Temporal Resource Allocation"第一作者：王景维(硕士生) 郝千越（博士生）
在大规模城市中，根据资源与需求的时空分布，合理高效地分配电力、医疗、交通等资源，以满足市民的生活需求，具有重要意义。此前，研究人员已通过多智能体强化学习方法在该问题上开展了大量研究，多个智能体协同调控和分配资源以满足需求。然而，面对大城市中庞大的智能体数量，现有的方法在智能体之间缺乏有效的参数共享策略，无法有效降低计算复杂度。在高效参数共享方面，主要存在两个挑战：
（1）在强化学习的训练过程中，智能体行为动态变化，基于训练前角色划分的固定参数共享机制限制了模型性能；
（2）智能体角色特征隐含在复杂的行为轨迹里，增加在训练过程中动态调整智能体角色划分的难度。为解决上述问题，本文提出了动态参数共享方法。我们设计了自监督学习任务，从智能体的动作轨迹中提取隐含的行为特征。基于这些行为特征，我们提出了一个分层多智能体强化学习框架，能够在训练过程中动态调整智能体的角色划分，从而在相同角色的智能体之间共享参数，显著降低计算复杂度。此外，该框架可以与多种常见的多智能体算法结合使用，包括IPPO、MAPPO等。我们在四个具有代表性的资源分配场景中进行了七组实验，实验结果表明，我们的方法在性能上显著优于当前最先进的基线方法，最高提升幅度达到31%。
《基于预训练语言模型“群体-个体”微调端测适配的用户意图预测》"A Population-to-individual Tuning Framework for Adapting Pretrained LM to On-device User Intent Prediction" 第一作者：巩佳辉（硕士生）
移动设备，尤其是智能手机，具备丰富的功能，已成为日常生活中不可或缺的工具。随着生成式人工智能服务的兴起，智能手机有望转变为个性化助手，能够预测用户需求并相应提供服务。实现这一愿景的关键步骤之一是预测用户在智能手机上的行为意图，并根据过去的交互和上下文信息推测其可能的行为。然而，现有研究大多集中于特定领域，忽视了在动态上下文中对不同事件序列进行跨领域建模的挑战。利用预训练语言模型（PLMs）是一个颇具前景的方向，但将PLMs应用于设备上的用户意图预测面临巨大挑战。为应对这些挑战，我们提出了PITuning框架，一个从群体到个体的微调方案。PITuning通过动态建模事件到意图的转化，提升了常见模式的提取能力，并采用自适应遗忘策略处理长尾偏好的问题。实验结果表明，PITuning在真实数据集上的意图预测性能优越。
《基于双曲空间网络骨架识别的复杂网络长时动力学预测》"Predicting Long-term Dynamics of Complex Networks via Identifying Skeleton in Hyperbolic Space" 第一作者：李瑞堃（硕士生）
学习复杂网络动力学是理解、建模和控制现实世界复杂系统的基础。尽管人们在预测网络节点的未来状态方面做出了巨大努力，但捕获长时动力学的能力仍然受到很大限制。这是因为他们忽视了这样一个事实：复杂网络中的长期动态主要由其固有的低维流形（即骨架）控制。因此，我们提出了动力学不变骨架神经网络（DiskNet），它基于双曲空间中的重整化群来识别复杂网络的骨架，以保留拓扑和动力学特性。具体来说，我们首先通过物理启发的双曲嵌入将具有各种动力学的复杂网络压缩为低维骨架。此外，我们设计了图神经常微分方程来捕获骨架上的聚合动力学。最后，我们使用基于度的超分辨率模块将骨架网络和动力学恢复到原始状态。跨越三个代表性动力学以及五个现实世界和两个合成网络的广泛实验证明了所提出的 DiskNet 的卓越性能，长时预测准确率平均优于最先进的基线 10.18%。
《用于灾后城市人口流动性恢复预测的知识启发神经常微分方程》"Physics-informed Neural ODE for Post-disaster Mobility Recovery" 第一作者：黎家豪（硕士生）
一个城市的人口流动性会在灾难来临时大幅降低，在灾难过去后再缓慢恢复。因为人口流动性和城市运行状态息息相关，准确预测灾后的人口流动性恢复过程可以帮助我们间接的认识这个城市韧性，并帮助应急管理部门开展更合理的灾后恢复工作，例如识别受灾严重的区域，更公平的灾后资源分配等。但这个恢复过程十分复杂，难以预测，目前建模灾后人口流动恢复过程的工作大多都是model-based的方法，虽然揭示了这种复杂恢复动态的潜在pattern，但其精确性难以得到满足，而传统的多元时间序列预测方法在面对这种突发情况下的数值突变时也会难以做到精准预测。因此，受传统模型中揭示灾后恢复动态方程的启发，我们设计了一种新颖的神经常微分方程，同时考虑了人口流动图中点和边的交互，提出了耦合动态神经常微分方程网络（Coupled Dynamic Graph ODE Net, CDGON）。通过在2019年台风Dorian发生后佛罗里达州、乔治亚州和南卡罗莱纳州的人口流动数据上开展的广泛实验证明，我们所提出的CDGON能够做到更精准的预测，且拥有良好的泛化性能，实现了灾后跨城市场景的知识迁移。
KDD DeepSpatial’24 和 MILETS’24 workshop主旨演讲（keynote）演讲者：丁璟韬（博士后）
丁璟韬博士在 KDD DeepSpatial’24 和 MILETS’24 workshop进行了主旨演讲（keynote），介绍了城市时空知识指导的生成式建模框架：1) 构建城市知识图谱以捕捉空间、时间和城市流量之间的语义关系 ( ICLR'24)；2) 设计物理知识指导的扩散模型以描述时空数据背后的内在机制 (AAAI'24)；3) 开发知识引导的提示学习方法以构建适用于各种场景的通用时空预测模型 (KDD'24)。
Y. Yuan, C. Shao, J. Ding, D. Jin, Y. Li. Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation, ICLR'24.
H. Chen, J. Ding, Y. Li, Y. Wang, X.-P. Zhang. Social physics informed diffusion model for crowd simulation, AAAI'24.
Y. Yuan, J. Ding, J. Feng, D. Jin, Y. Li. UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction, KDD'24.
明年的 KDD 会议将在加拿大多伦多举办，期待再会！
