在当今以数据为驱动的时代，时序预测已成为众多领域不可或缺的核心组成。然而，构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外，高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。 近日，由来自普林斯顿大学, 松鼠AI, 格里菲斯大学等全球多地的华人国际科研团队携手通力合作，创新性地提出了一种基于混合专家架构（Mixture of Experts, MoE）的时间序列基础模型——Time-MoE。该模型首次将时间序列预训练大模型的参数规模推向十亿级别，在时序预测领域实现了里程碑式的突破。Time-MoE模型通过MoE架构的独特优势，将模型参数成功扩展至24亿，不仅显著提升了预测精度，还在降低计算成本的同时超越了众多现有模型，全面达到了SOTA（State of the Art）水平。 与此同时，团队精心整理了预训练数据集Time-300B，这是目前时序领域最大的公开数据集，为各类时序任务提供了前所未有的通用解决方案。这是首次在时序领域中采用如此大规模的预训练模型，标志着时序预测技术迈入了一个全新的时代。
与此同时，团队精心整理了预训练数据集Time-300B，这是目前时序领域最大的公开数据集，为各类时序任务提供了前所未有的通用解决方案。这是首次在时序领域中采用如此大规模的预训练模型，标志着时序预测技术迈入了一个全新的时代。
论文题目：
Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts
论文链接：
https://arxiv.org/pdf/2409.16040
代码链接：
https://github.com/Time-MoE/Time-MoE
一、关键技术突破
强大的混合专家架构：Time-MoE采用稀疏激活机制，在预测任务中仅激活部分网络节点，这不仅确保了高预测精度，还显著降低了计算负担，完美解决了时序大模型在推理阶段的计算瓶颈。
灵活的预测范围：Time-MoE支持任意长度的输入和输出范围，能够处理从短期到长期的各种时序预测任务，实现了真正的全域时序预测。
全球最大规模的开源时序数据集：团队开发了Time-300B数据集，涵盖9个领域的超过3000亿个时间点，为模型提供了丰富的多领域训练数据，确保其在多种任务中的卓越泛化能力。
二、模型框架
输入Token Embedding
MoE Transformer模块
多分辨率预测
三、实验效果
零样本 zero-shot预测
全样本 full-shot预测
消融实验
文中进一步提供了一系列消融实验来验证模型框架设计的合理性。实验表明，Time-MoE的设计在提升模型精度上是有效的。特别地，在不使用混合专家的情况下，模型的MSE会有明显的退化。
Scalability 分析
此外，作者还分析了训练精度的影响。如下表所示，与使用float32精度进行训练相比，使用bfloat16精度能得到相似的预测性能，但是bfloat16模型能在训练速度上获得12%的提升，内存占用上有 20%的减少。此外，bfloat16还可以与flash-attention（表中简称为FA）无缝结合，从而进一步在训练和推理速度上带来23%和19%的提升。
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
