点击名片
关注并星标
#TSer#
论文背景
时间序列分类在时间序列分析领域是一个基础和至关重要的方面。然而，在多元时间序列分类（MTSC）的研究中仍然存在许多挑战，尤其是在捕获变量之间的相关性方面。
在过去的几十年里，不少研究者已经引入了各种方法来提高 MTSC 的性能。其中，shapelet（类别特定的时间序列子序列）展示了其有效性。这种成功源于每个 shapelet 包含代表其类别的特定类信息，且 shapelet 与其类别时间序列之间的距离远小于与其他类别时间序列的距离（见图1）。因此，人们越来越关注在 MTSC 领域利用 shapelet 的能力。
图1：心房颤动数据集中的shapelet
显然，在多元时间序列分类（MTSC）中使用的 Transformer 已经展示了最先进的（SOTA）性能。现有方法仅从时间戳或时间序列中的公共子序列中提取通用特征作为 Transformer 模型的输入，以捕获它们之间的相关性。这些特征仅包含时间序列的通用特性，提供了对数据的广泛理解。然而，它们忽略了模型捕获每个类别代表性特征所必需的关键类别特定特征。
因此，模型在以下两种情况下表现不佳：
数据集中的实例在总体模式上非常相似，仅在次要类别特定模式上存在差异，仅使用通用特征无法实现有效分类；
不平衡数据集，其中通用特征仅关注于对大多数类别的分类，而忽略了少数类别。
图2：使用（a）通用特征的分离超平面具有更高的总体准确率，而使用（b）类别特定特征的分离超平面在分类单个类别时表现更好。
模型方法
图3：ShapeFormer的总体架构
01
Shapelet的发现
该方法包含两个主要阶段：shapelet 提取和 shapelet 选择。
在第一阶段，OSD 首先通过识别 PIPs 来提取 shapelet 候选者；在第二阶段，为每个类别选择相同数量的 shapelet。
图4：Offline Shapelet Discovery（离线Shapelet发现）的过程
02
特定类别的Transformer
图5：(a)最佳匹配子序列查找方法；(b)差异特征计算方法
03
通用Transformer
实验分析
表1：在UEA档案的所有数据集上，ShapeFormer方法与12种对比方法的准确率
对于使用 Shapelets 的有效性方面，研究者比较了使用随机子序列、如通用子序列和本文方法中的 shapelets 时的性能。结果表明，在所有五个数据集上，shapelets 在准确性方面都优于其他两种方法。这突出了高区分度的 shapelet 特征在提高基于Transformer 的模型性能方面的优势。
图6：使用shapelets和其他两种类型子序列的准确率
图7：ShapeFormer的三种变体与基线（SVP-T[50]——当前基于Transformer的SOTA方法）的平均排名
图8：使用最佳拟合子序列位置和shapelets位置的准确率
图9：不同差异特征计算方法的平均准确率排名
图10：不同类别标记设计的平均准确率排名
为了说明结合类别特定和通用特征 Transformer 模块对不平衡数据进行分类的有效性，研究者在 LSST 数据集上进行了实验。LSST 数据集包含16个类别，实验随机选择了 4 个类别，分别用蓝色、橙色、绿色和红色表示。显然，蓝色和红色类别的样本数量与绿色和橙色类别相比显著较少。图11(a)显示，通用 Transformer 优先考虑了多数类（绿色和橙色），但忽略了少数类（蓝色和红色）。然而，在图11(b)中，类别特定 Transformer 和通用 Transformer 的结合有效地区分了所有四个类别。
图11：LSST数据集4个类别在使用（a）通用Transformer和（b）类别特定与通用Transformer结合时的t-SNE可视化
为了解释 ShapeFormer 的结果，研究者使用了来自 UEA 存档的 BasicMotions 数据集，重点关注具有4个类别（打羽毛球、站立、行走和跑步）的人类活动识别。图12(a)突出了 ShapeFormer 在时间序列的不同位置和变量中识别关键子序列的能力。此外，属于同一“行走”类别的 shapelets 往往与最佳拟合子序列的相似性更高，而不是来自其他类别的 shapelets。在图12(b)揭示了同一类别内的 shapelets 通常获得更高的注意力分数。这种增强的注意力使模型能够更多地关注同一类别内 shapelets 之间的相关性，从而提高整体性能。
图12：(a) 绿色框描绘了排名前三的shapelets，橙色框展示了从BasicMotions数据集中“行走”类别的一个随机输入时间序列中提取的来自其他类别的三个随机shapelets。(b) 所有shapelets的注意力热图。
在未来的工作中，研究者计划利用 shapelets 在许多不同的时间序列分析任务（如预测或异常检测）中的强大功能。
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
220+篇专栏笔记，已有210+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
