点击名片
关注并星标
#TSer#
【论文标题】
Con4m: Context-aware Consistency Learning Framework for Segmented Time Series Classification
【论文地址】
https://arxiv.org/abs/2408.00041
论文背景
在分段时间序列分类任务中，原始时间序列通常包含多个类别，每个类别的持续时间各不相同，这给分类带来了独特挑战。现有的时序分类模型大多依赖于独立同分布的假设，专注于独立地对每个段落进行建模，忽略了连续段落之间的自然时间依赖性。此外，不同标注者可能会提供不一致的边界标签，导致模型性能不稳定。
图1：分段时间序列分类中的标注不一致性、模型预测连贯性及边界样本挑战
模型方法
图2：Con4m 整体结构
高斯核平滑：编码器使用高斯核来平滑局部时间窗口内的时间片段表示，以促进连续性。这意味着在给定的时间窗口内，相邻时间点的特征表示会被平滑处理，以反映它们在时间上的接近性。
邻居信息聚合：为了增强目标实例的区分能力，编码器通过聚合邻居信息来提升表示的质量。这是基于图神经网络的同质性假设，即同一个类别的邻居信息对于改善目标实例的表示是有帮助的。
自注意力机制：编码器使用自注意力机制来动态地聚合来自其他时间片段的信息。自注意力允许模型学习到不同时间片段之间的依赖关系，并根据它们的相关性来调整权重。
多头部 Con-Attention 层：编码器通过堆叠多个 Con-Attention 层来构建 Con-Transformer，这是 Con4m 的连续编码器的骨干网络。每个 Con-Attention 层都包含多头注意力机制，可以捕捉不同子空间下的时间依赖性。
自适应尺度参数：每个时间片段可以学习自己的尺度参数σ，以便更好地适应边界片段的分类任务，因为边界片段可能属于不同的类别。
残差连接和层归一化：为了促进深层网络的训练，编码器在每个 Con-Attention 层后使用残差连接和层归一化，这有助于避免梯度消失问题，并提高模型的训练效率。
图3：一致性类别预测框架
邻接类别一致性判别：该模块通过训练一个判别器来确定两个连续的时间片段是否属于同一类别。这有助于模型学习到时间片段之间的类别转换和一致性。
上下文类别预测聚合：根据判别器的输出，模型将根据相似时间片段的预测结果进行加权聚合，从而使得模型的预测更加关注于上下文信息。
预测行为约束：该模块通过函数拟合来约束模型的整体预测行为，确保连续时间片段的预测结果在时间轴上是连贯的。例如，使用双曲正切函数（Tanh）来拟合预测结果，以确保预测的单调性。
独立预测与约束预测的融合：在训练阶段，模型生成独立的预测结果和受到上下文标签信息约束的预测结果。在推理阶段，模型将这两类预测结果进行融合，以产生最终的一致性预测。
标签更新策略：在训练过程中，模型会根据预测结果逐渐更新训练标签，以减少不一致标签的影响。这通过动态调整原始标签和模型预测之间的权重来实现。为了模拟真实世界中的标签噪声，该模块能够处理标签扰动，并通过模型的预测来逐步纠正扰动，从而提高模型对噪声标签的鲁棒性。
课程学习技术：该模块采用课程学习技术，先从数据集中标签一致性较高的“核心”部分开始学习，然后逐渐过渡到标签一致性较低的“边界”部分。
多任务学习：在某些实现中，该模块可能同时执行分类任务和邻接类别一致性判别任务，这有助于模型更好地理解时间片段之间的上下文关系。
实验效果
总结
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
260+篇专栏笔记，已有240+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
