时序+大模型开始火了,大家最近关注了吗?
在ICLR'24、WWW'24、AAAI'24、IJCAI'24等今年的顶会上,都有多篇时序+大模型的研究入选。
时序+LLM的潜力非常大。首先时序的应用面就很广,现在结合LLM处理非结构化数据、转移知识,结合多模态信息提高预测准确性。能解决很多传统方法的局限性。是一个非常容易发论文的方向!
我最近也研究了一下时序+LLM,并整理了近几年67篇代表性研究工作。按照直接提示、时间序列量化、对齐、视觉、工具5个方向归纳,并且凡是有开源代码的也一并整理。
67篇时序+LLM的创新思路,分享给大家研究学习。欢迎扫码下载。
扫码下载67篇时序+LLM创新思路
67篇合集按照直接提示、时间序列量化、对齐、视觉、工具5个方向归纳。
直接提示
这是将时间序列数据视为原始文本,直接用时间序列提示LLM的方法。是一种简单易行的方法。
例如NeurIPS'23的《Large Language Models Are Zero-Shot Time Series Forecasters》,就提出了LLMTIME ,通过将时间序列数据编码为数字字符串,并将时间序列预测视为文本中的下一个 token 预测问题,从而利用预训练的 LLMs 进行连续时间序列预测。
扫码下载67篇时序+LLM创新思路
时间序列量化
这是将时间序列数据转换为离散表示的方法。包括使用向量量化自编码器或K-均值聚类来创建时间序列的离散索引,从而让LLM可以处理。
扫码下载67篇时序+LLM创新思路
对 齐
这种方法是为时间序列训练单独的编码器,将编码的时间序列与语言模型的语义空间对齐。分为通过对比损失进行相似度匹配,与通过其他损失进行相似性匹配。
扫码下载67篇时序+LLM创新思路
此外,还可以利用视觉表示作为时间序列和文本数据之间的桥梁。将时间序列数据转换为图像,然后使用视觉语言模型进行分析。
还可以将LLM用于生成间接工具,例如代码和 API 调用,以辅助时间序列分析任务
一共67篇时序+LLM的创新思路,分享给大家研究学习。欢迎扫码下载。
扫码下载67篇时序+LLM创新思路