点关注，不迷路，用心整理每一篇算法干货~
今天给大家介绍一篇由剑桥大学发表的时间序列表示学习文章，提出了StatioCL的对比学习建模方法，通过考虑时间序列的非平稳性和时序关系，解决时间序列表示学习中的伪负样本问题，文章被CIKM 2024录用。
论文标题：StatioCL: Contrastive Learning for Time Series via Non-Stationary and Temporal Contrast
下载地址：https://arxiv.org/pdf/2410.10048v1
在时间序列表示学习中，希望通过自监督的方式，训练一个良好的时间序列表征器，进而将表征用于下游预测、分类等任务中提升效果。
表示学习一般采用对比学习的建模方法，人工构造正样本对合负样本对，拉近正样本对表征距离，推远负样本对表征距离，实现表征优化。然而，在时间序列表示学习中，经常存在伪负样本问题，即采样的两个负样本，其实因为某些原因并不是负样本。
针对负样本问题，本文进一步拆解出了两种类型的伪负样本问题。第一种是semantic false negative pairs，指的是相同类别的时间序列随机采样出来的伪负样本对，可能是正样本；第二种是temporal false negative pairs，指的是随机采样不同序列的子序列，可能具有相似的pattern，但是被当成了负样本。
针对第一类semantic false nagative pairs，文中引入了Non-Stationary Contrast Module，基于样本片段是否是non-stationary的，筛选伪负样本。具体的，对时间序列使用Augmented DickeyFuller进行统计检测，根据p-value值判断是平稳性序列还是非平稳性序列。在构建负样本对时，使用不同时间序列随机采样片段，且2个序列的平稳性不同（平稳+非平稳，或非平稳+平稳），构建hard negative sample。
针对第二类temporal false negative pairs，文中引入了Temporal Contrast module。文中假设，时间上相近的时间序列，更有可能是相似的，随着时间的推移，相似性会变低。因此，文中将两个样本对之间的时间距离，使用beta分布生成一个对比学习样本权重，2个样本时间间隔越长，这两个样本越可能是真负样本，权重越大。同时，考虑到一些场景中，时间很长的间隔，2个样本可能也是一致的，这种情况不太容易设定权重，因此通过beta分布将超过一个时间距离的权重逐渐减小。通过这种方式，生成对比学习的soft label。
最终，整体的模型结构如下图所示，同时引入上述的hard negative pairs和weighted negative pairs，构建对比学习样本，进行表征学习。
文中利用表征结果进行时间序列分类，可以看到本文的对比学习方法在时间序列分类上取得了非常显著的效果提升。
此外，文中也进行了不同方法得到的表征的可视化结果，StatioCL可以更好的通过无监督训练的方式进行正负样本的区分。
投稿&加交流群请加微信，备注机构+方向拉群~
