近期，中国电信集团CTO、首席科学家、中国电信人工智能研究院(TeleAI)院长，中国图象图形学学会高级会员李学龙教授带领TeleAI多媒体认知学习团队（EVOL）联合中国科学技术大学、北京林业大学等单位，提出了一种名为 CaPaint 的因果解码和修补方法，为时空数据稀缺环境下的数据增强给出了全新的范式。据悉该团队负责人为中国电信人工智能研究院资深研究科学家、中国图象图形学学会高级会员赵健研究员。论文被中国计算机学会（CCF）推荐的A类国际学术会议NeurIPS录用。本次会议的录用率为25.80%。神经信息处理系统会议（Conference on Neural Information Processing Systems，简称NeurIPS）是机器学习和计算神经科学领域的国际顶级会议。NeurIPS 2024将于2024年12月9日至12月15日在加拿大温哥华举行。
Part 1 介绍
本论文主要解决在时空数据稀缺环境下如何挖掘并增强数据以提升多模态 AI Agent 基础模型的泛化能力，将大模型引用到时空领域中，发挥其在具体任务中的价值。具体而言，本文提出了一种名为 CaPaint 的因果解码和修补方法，用于时空动态的预测任务。
图 1 CaPaint与当前方法在复杂度上的对比
CaPaint 通过两个阶段提升模型的因果推理能力：首先识别数据中的因果区域，然后使用扩散模型对非因果区域进行干预。该方法使用无条件扩散概率模型作为生成先验，并对非因果区域进行修复，以实现潜在数据分布的可靠外推。实验表明，与主流的时空数据增强方法相比，CaPaint能够提升模型性能达4.3%至77.3%，展示了扩散模型在时空增强中的潜力。
论文链接：https://arxiv.org/abs/2409.19608
代码开源：https://github.com/cpboost/123
Part 2 方法
第一阶段：解析时空数据内部的因果关系。
在将生成模型应用于时空数据时，若直接对整体时空数据进行生成，可能会破坏其原有的时空特性，使生成结果偏离客观规律。
因此，第一阶段从因果视角出发，精确定位时空数据中的因果区域，以确保后续生成过程符合数据的内在因果结构和客观规律。
首先采用基于自监督学习的重构方法，通过 ViT 架构（Vision Transformer）对时空数据进行处理。在这一过程中，利用 ViT 的自注意力机制，能够计算出各个数据块之间的相关性得分，从而识别出重要的因果数据块。
随后，使用多头自注意力机制计算每个数据块的重要性，得出一组重要性得分。通过对这些得分进行排序，将得分较低的数据块定义为环境数据块（非因果部分），而将得分较高的数据块视为因果数据块。
第二阶段：使用扩散模型对非因果区域进行干预。
本阶段的目标是保留时空数据中可能包含更多符合客观规律的因果部分，并对环境数据块（非因果部分）进行生成处理。具体而言是使用扩散模型对环境数据块进行修补，以实现因果干预。
首先，对扩散模型的参数进行微调，使其能够更好地适应时空数据的特定特征；进而，提升对环境部分的生成质量。在此过程中，生成一个包含因果数据块的掩码图像，采用扩散修补方法对环境数据块进行生成。
通过这种方式，能够生成增强的时空数据，不仅保留了因果部分的完整性，还显著提高了模型对稀缺数据场景的适应性，最终确保生成的数据与原始时空特性一致。
Part 3 实验结果
本方法在多种backbone模型和数据集上均表现出一致的性能提升。具体来说，本方法在五个不同的时空数据集（TaxiBJ+、KTH、SEVIR、DRS、FireSys）上，对比了多种骨干模型（如ViT、Earthfarsser、Mmvp、ConvLSTM、PredRNN-V2、MAU、SimVP）的性能，实验结果显示CaPaint在所有数据集上都显著提高了模型的表现。无论是均方误差（MSE）还是平均绝对误差（MAE），与原始模型相比，加入CaPaint后的模型性能有4.3%至77.3%的改善。这表明，CaPaint方法具有良好的通用性和适应性，能够有效增强时空数据预测任务中的泛化能力和准确性。
欢迎扫描二维码加入中国图象图形学学会
（http://membership.csig.org.cn）
