点击名片
关注并星标
#TSer#
金融市场预测利用历史数据来预测未来股票价格和市场趋势。传统上，这些预测主要集中在定量分析因素（如股票价格、交易量、通货膨胀率和工业生产变化）的统计分析上。最近，大型语言模型的进步推动了将情感数据（特别是市场新闻）和数值因素相结合的综合性财务分析。然而，由于缺乏将定量和定性情感分析相结合的广泛数据集，这种方法经常受到限制。
本文介绍一篇来自 KDD 2024 的论文，研究者针对上述挑战，推出了一个大规模金融数据集——金融新闻与股票价格整合数据集（FNSPID）。研究者认为：（1）数据集的大小和质量显著提高了市场预测的准确性；（2）在基于 Transformer 的模型中，添加情感评分可以适度提高性能；（3）一种可以更新数据集的可重复程序。实验证明，FNSPID 在规模和多样性方面优于现有的股票市场数据集，并独特地融入了情感信息。
论文背景
几十年来，时间序列回归模型一直是开发金融估值方法的基石。这种方法不仅在传统的金融模型中至关重要，而且在金融市场预测的人工智能领域也至关重要，该领域的特点是市场模式的复杂性和不可预测性。
传统的金融市场分析采用 Fama-French 三因子模型（FFM）和套利定价理论（APT），这两者都是资产定价的关键。这些模型使用线性回归来分析收益，但不关注特定的市场高点和低点。这两个模型对历史数据的依赖限制了它们在预测未来市场变化或金融危机等前所未有的事件方面的有效性。新兴的机器学习（ML）技术已显示出解决这些局限性的潜力。先前的研究证明了它们相对于传统模型的有效性。此外，国外也有研究强调将股票价格和新闻情绪整合到深度学习（DL）技术中进行股票市场预测的优越性。这些新兴方法利用长短期记忆（LSTM）、循环神经网络（RNN）和强化学习（RL）等模型，在把握市场走势的时机方面取得了显著改进，这是传统模型所缺乏的关键方面。
最近的研究强调了包括新闻、博客和社交媒体在内的情绪信息与股票市场趋势之间存在强烈的正相关关系。随着 OpenAI 开发的 ChatGPT 和 GPT-4 等先进大型语言模型（LLMs）的出现，这一背景下的情绪分析准确性得到了显著提高。
除了 GPT-4 的情绪分析外，LLMs 在金融领域还扮演着多种角色，包括强化学习（RL）和专门的金融 LLMs，如 FinGPT 和 FinRL。将数值数据整合到语言模型中是一个挑战，但嵌入股票价格和新闻数据的多模态模型提高了准确性。然而，这种方法可能无法优化通用的预训练 LLMs，因为仅使用情绪分数可能会导致信息丢失。同时，缺乏全面且综合的数据集极大地限制了研究进展，特别是在实施基于 Transformer 技术等更复杂模型方面，这些模型可以显著增强金融分析。
表1：时间序列金融分析现有数据集的比较
为了解决这些问题，研究者引入了金融新闻与股票价格整合数据集（FNSPID）。该数据集独特地将时间序列新闻和股票价格相结合，为金融市场分析提供了一个开创性的资源。
FNSPID属性与构建
FNSPID 是一个全面且多样化的数据集，包含了超过 30GB 的数据。如表2所示，展示了包含在该数据集中的时间序列股票价格数据的样本。
表2：股票数值数据
图1提供了对情绪数据的概览，包括URL、新闻标题、新闻文本、情感分数，以及通过四种不同方法总结的文章，这些多样化的数据点凸显了数据集的深度和广度。除了总结之外，研究者还扩大了分析范围，纳入了从 2024 年标普 500 指数中影响力最大的 50 只股票中精选的 50 个股票样本。这些样本被纳入情感标注批次中，共产生了 402,546 条带有情感分数的新闻条目。
图1：情感数据
总体来看，FNSPID 是一个精心策划的数值和情绪数据集合。研究者件将 FNSPID 主要部分的构建过程分为三大任务：描述所有情绪和数值信息（任务 1）、描述如何构建汇总情绪数据集（任务 2）、讨论如何构建量化情绪数据集（任务 3）。
实验分析
01
数量测试
表3：通过50个训练周期的实验评估
实验结果：在所有6个模型中，从5只股票的训练到25只股票的训练，平均R²值提高了 6.29%。这些实验证明了 FNSPID 数据集的实际应用和鲁棒性，强调了其在金融建模和情感分析研究中的价值。一般来说，在趋势分析中，较大的训练数据集可以带来更好的金融股票预测性能，这是小数据集的一个局限性。
02
质量测试
使用与定量实验实验中相同的样本模型参数，基于 FNSPID 任务3中的情感和从 FNSPID 中解析出的实验数据集（使用TextBlob标注信息）来比较不同模型的训练性能。FNSPID 数据集任务2是 ChatGPT 标注的信息。Textblob 情感信息代表了情感评分标注中数学算法和小型 NLP 模型的结合。
从实验来看，表3部分A中的 FNSPID 数据集任务2对准确性的提升有正面影响。而表3部分B中的 Textblob 情感信息则对模型训练产生了负面影响。
从表3中发现，只有 Transformer 模型在包含情感信息的情况下对性能提升有正面影响，而 TimesNet 偶尔也有正面影响。可得出结论，其他模型在将情感信息整合到模型中时，并未很好地理解这些信息，而是将情感信息视为噪声。值得注意的是，在小数据集训练（仅5条新闻）时，LSTM 在训练中的表现优于 Transformer，但随着数据集规模的扩大，Transformer 在预测准确性上有了显著提高。
情感标注方法可能导致段落中的部分信息丢失，从而导致情感信息在股票价格预测中的表现不佳。先前的研究已经表明，财经新闻对股票价格有显著影响。然而，这里的实验仅揭示了模型性能的微小提升，这主要归因于两个主要因素：首先，模型本身已经具有较高的预测准确性，使得进一步改进变得具有挑战性；其次，新闻传播的潜在延迟可能推迟了其对股票价格的影响。
综上所述，基于 FNSPID 实验可以总结出以下三点：
数据集的质量和数量都极大地影响了股票价格的预测。 高质量的情感信息对基于 Transformer 的训练有正面影响。
在股票价格预测中，基于 Transformer 的模型超越了传统的时间序列模型以及像 TimesNet 这样的新方法。
关于FNSPID的应用
多模态模型训练
开发一个融合文本和数值输入的数据集对于创建多模态模型至关重要，特别是在时间序列股票市场预测中。这样的数据集可以通过利用不同类型数据之间的协同作用来提高模型的鲁棒性。此外，目前强化学习（RL）对顺序数据的依赖可以通过集成相关数据集来增强。这种方法可以显著增强RL算法，特别是在预测股票市场趋势方面。对于无法理解自然语言的小型且快速部署的模型，FNSPID任务3可以进行训练。
市场预测中的情感数据
评估情感数据对市场价格的影响可以从现代投资组合理论中得出见解。并行处理多只股票的新闻可以提炼市场预测并加强RL算法。
相关性分析
该数据集在分析情绪信息与股票价格之间的相关性方面起着关键作用，从而加深了我们对市场动态的理解。FNSPID提供了对齐的情绪-数值数据，这使得情绪标注更加准确，这在投资银行领域的量化分析中非常重要。除此之外，FNSPID还可以通过识别大衰退前新闻的模式来用于异常检测，从而有助于金融风险管理和异常走势预测。
金融生成式AI
鉴于FNSPID在数量上的优势，该数据集可以帮助优化大型语言模型（LLMs），以提高金融咨询性能，从而推动先进AI金融助理的开发。
总结
总体而言，FNSPID 是一个强大的工具，可以推动金融领域的研究和实践。它的创新之处在于将股票价格数据与新闻情感数据相结合，为理解和预测金融市场提供了新的视角。但 FNSPID 也存在一些局限性。比如网站政策的动态性可能带来潜在的约束，因为未来的变化可能也会影响数据集的可用性。
扫下方二维码，加入时序人学术星球
星球专注于时间序列领域的知识整理，前沿追踪
提供论文合集、视频课程、问答服务等资源
230+篇专栏笔记，已有220+小伙伴加入
价格随着内容丰富而上涨，早入早享优惠哦~
时间序列学术前沿系列持续更新中 ⛳️
后台回复"讨论"，加入讨论组一起交流学习 🏃
往期推荐阅读
觉得不错，那就点个在看和赞吧
