WXRedian | 大于研究 | 文献阅读荟-No.295-从人VS机器到人+机器：股票分析的艺术和人工智能

文献阅读荟-No.295-从人VS机器到人+机器：股票分析的艺术和人工智能

2024-11-09 10:00 河南

论文：从人VS机器到人+机器：股票分析的艺术和人工智能

Cao S, Jiang W, Wang J, et al. From man vs. machine to man+ machine: The art and AI of stock analyses[J]. Journal of Financial Economics, 2024, 160: 103910.

下载地址：

https://doi.org/10.1016/j.jfineco.2024.103910

01 摘要

本文探讨了人工智能（AI）在股票价格预测中的应用，尤其是如何将AI与人类分析师的能力结合起来以提高预测准确性。研究表明，对于股票回报预测，经过训练的AI分析师在处理公司披露、行业趋势和宏观经济指标时，能够超越大多数人类分析师。然而，在涉及无形资产和财务困境等需要深厚行业知识的情况下，人类分析师仍然占据优势。文章提出了“人+机器”的概念，强调人类和AI的协同作用可以显著减少极端预测错误，并在使用“替代数据”（alternative data）时，人类分析师的表现能够赶上AI。通过构建AI模型并与分析师的预测进行比较，研究揭示了人类和机器之间的协同效应，以及如何利用这种优势更好地适应日益增长的AI能力。

02 引言

人工智能（AI）的发展引发了人们对自身角色的重新思考。尽管AI旨在增强人类智能，但人们担心它可能会取代高技能工作，导致工作流失。现有文献主要关注AI对工作的影响和人类如何适应，但较少研究如何利用AI提升人类潜能。本研究旨在探讨“人+机器”的合作模式，以国际象棋大师卡斯帕罗夫与IBM深蓝的对决为例，展示了人类与AI合作（“半人马”）的优势。

03 数据和变量

我们将分析师的12个月股价预测作为我们分析的主要目标，分析师预测数据来自汤森路透数据库、CRSP和Compustat，合并后，最终数据样本包括来自861家经纪公司的11,890名分析师对6315家公司的12个月目标价预测1,153,565份，以及来自926家经纪公司的14,363名分析师对8062家公司的1-4季度收益预测5,885,063份。

此外，我们还定义了AI分析师可用的信息集，理论上，这包括截止在预测期前的所有公开信息。我们用行业变量、宏观变量、公司信息披露、新闻，社交媒体、专利等来模拟AI所能取得的所有公开信息，其中，基于已有的方法，文本信息被处理成几种情绪变量作为输入数据。我们的行业和公司信息来自CRSP和Compustat数据库，文本信息来自公司向美国证券交易委员会（SEC）提交的文件。

为了实现时间自适应，我们采用了滚动窗口（rolling window）方法，在每一个新的预测时间点 t，都会用过去三年的数据来训练机器学习模型。

我们进一步纳入了一些表征分析师信息环境和资源的变量：如表1所示。

04 研究方法和实证结果

4.1 AI股票预测模型构建

随机森林、梯度增强和长短期记忆神经网络是最先进的非线性模型，因此，我们的主要AI模型是作为这三个模型的集合来构建的，即采用这三个模型的中值预测。

我们将预测模型设定为：

在这里，是所有股票在时刻的预测函数，代表股票i在时间t到时间T期间的实际回报。代表由AI模型预测的股票 i 在时间t的回报。这个预测是基于时间t之前可用的信息做出的。代表预测误差项，即实际回报与AI预测回报之间的差异。这个误差项捕捉了AI模型未能预测到的股票回报的变动部分。

我们将beat定义为人类分析师战胜AI的指标变量。也就是当人类分析师的预测误差项小于AI的预测误差项时。

上图绘制了击败比率（beat ratio），即每年人类分析师的价格预测比相应的AI价格预测更准确的比例。中间的蓝线表示年击败率，周围的蓝点线表示击败率的95%置信区间。红线给出了击败率时间序列趋势的最佳线性近似值。

上图显示，在2001年至2018年的预测中，人类分析师在45.5%的时间里击败了AI，表明AI在预测股票回报方面优于人类分析师。

此外，为了探究AI预测的能力来源，减少机器学习的不透明性，我们构建了一个“排除一组”（drop-one-set）模型（具体见原文），来确定各特征组对预测结果的重要性，具体结果见下图。

上图显示，每组特征对AI的能力都有实质性的贡献。宏观变量和公司收益贡献最大（分别为27.6%和24.4%），其次是公司特征变量（22.0%）。9.3%的文本信息贡献强调了定性信息的重要性。或许不出所料，收益信息的贡献最低（2.0%），因为这些信息可能已经反映在过去的收益和其他公司特征变量中。

4.2 讨论分析师偏见对于预测的影响

有充分的证据表明，人类分析师会在预测中表现出偏见, 可能的原因包括为分析师关联经纪公司的企业客户提供更有利预测的动机、人类的心理特征等。那么，在股票预测中人类的劣势是否可以通过简单地用机器学习模型“除偏”（“Machine–debiased Man”，MDM）来解决？换句话说，我们是否可以认为机器的这种优势只是因为机器是客观的，而非源于机器的其他能力。

我们将MDM预测与AI预测进行比较，将揭示人类分析师在过滤掉可预测的偏差后，其天生预测能力的细微差别。

MDM预测的产生过程如下：

如公式（2）：

代表人类分析师的预测偏差，是一组分析师和经纪公司特征变量，包括：分析师过去预测偏差的平均值和标准误差、分析师的经验（覆盖公司、行业或任何上市公司的年数）、分析师的努力（分析师是否提供销售或现金流等附加信息的预测）以及由分析师数量代理的经纪公司规模等。

我们使用相同的过程来训练相同的机器学习模型，通过(2)式预测出分析师在下一时期的预测误差，减去这一预测误差就得到了MDM。

上图显示，MDM在46.5%的情况下击败了AI分析师，仍不敌AI。由于此前人类分析师在45.5%的情况下优于AI，因此MDM将人机差距缩小了22.2%。即人类分析师存在的偏见仅可解释一部分人机差距。

4.3 比较AI预测和高技能分析师的表现

为评估AI分析师相对于高技能分析师的表现，我们设计了两个测试。第一，根据过去1-5年的平均预测误差，将分析师分为高技能组（top）和低技能组（bottom），并跟踪这些分析师在每个时间段内击败AI分析师的比例。第二，要求分析师在过去1-5年内的每一年都位于高技能组或低技能组，以筛选出具有持续性技能的分析师。需要说明的是，仅有约7.3%的分析师能够在五年间连续保持在高技能组。测试结果见表2。

表2的结果显示，AI分析师能够轻松超过低技能（Analyst bottom）的人类分析师，与高技能分析师不相上下。尤其是对于过去五年中每年均表现卓越的人类分析师（其击败率在49.3%至50.3%之间），AI与他们的表现非常接近，而能够持续保持这一水平的分析师比例不足十分之一。

4.4 AI预测实际回报的量化

基于AI的建议，我们构建了一个投资组合，每个月，我们收集所有分析师的所有预测，以及相应的AI预测。

对于每一对预测，如果AI的预测大于前一个月AI预测的中位数，并且人类分析师的预测小于前一个月人类分析师预测的中位数，我们将其定义为买入信号。当两个条件都被否定时，我们将其定义为卖出信号。在给定的时间范围内，如果买入信号多于卖出信号，投资组合将做多该股票，否则将做空。由此产生的投资组合收益如表3。

表3给出了多空组合（Long-short）、Long-leg（仅带有买入信号的股票）和Short-leg（仅带有空头信号的股票）的表现。Ret是投资的月度回报率。结果表明，AI模型能够在每月50到72个基点的范围内产生优越的回报，这在几乎所有情况下在1%的水平上也具有统计学意义。值得注意的是，多头（交易成本较低）的回报更显著。这种不对称可能是由人类分析师预测中有充分证据的积极偏见所驱动的。也就是说，当人类分析师的信号比AI更乐观时，信息往往更少，因为后者不具有积极偏见。

4.5 讨论人类分析师的优势

虽然AI表现优异，但我们更感兴趣于哪些情境下人类分析师仍保有优势，如果人类分析师掌握了AI无法获取的信息，那么即使AI在预测准确性上超越了分析师，AI的预测也不足以完全取代分析师的预测，反而，结合两者智慧的投资者可能获得更好的业绩。

为了评估综合分析能力的性能，我们考虑将人类分析师预测添加到机器学习模型的信息集中。也就是说，信息集It现在包含了分析师在日期t结束的90天窗口内对同一公司的预测。特别地，我们获得分析师和经纪公司的特征，并使用集成模型构建“人+机器”联合分析师。结果如下图所示，我们发现，联合分析师在57.8%的时间里优于人类分析师，在54.8%的时间里优于AI单独预测。

上图蓝线是人机联合分析师每年击败AI的比率，实际上，在18年中有15年，人机联合的表现超过了单独的AI。这为人类分析师提供了希望，证明他们可以通过AI增强而非被取代。

4.6 人与机器的比较优势

接下来，我们通过多种变量检验了相对表现优劣的决定因素。

对于每个目标价格预测，我们定义了两个变量来衡量人类与AI相对表现的结果。首先，如果人类分析师的预测误差绝对值小于AI的预测误差绝对值，则指示变量“分析师优于AI”（Analyst Beats AI）取值为1，否则为0。其次，连续测量值“预测误差差异”（ Forecast Error Difference）是AI与人类分析师预测误差绝对值之差，并以这两个预测误差中的最大值为基准进行缩放。预测误差差异为正且数值较大时，说明分析师的预测准确性较高。

我们在公司i、分析师j和日期t的面板数据上估计以下回归模型，以理解人类和AI相对优势的决定因素。

因变量Relative Performance指Analyst Beats AI或Forecast Error Difference

表4显示，在控制年份和公司固定效应后，人类分析师在流动性差、规模小和无形资产较高的公司中更容易战胜AI，表明这些公司存在较高的信息不对称和需要深入知识理解的特点。每增加一个标准差的无形资产，Analyst Beats AI概率增加3.0%。相比之下，AI在信息披露较多的公司表现更好，每年信息事件数量增加一个标准差，Analyst Beats AI概率降低1.8%。

当目标公司面临较高的财务困境风险时（通过违约距离和行业衰退测量），人类分析师的表现优于AI，表明AI在处理高度不确定性情境时面临挑战。此外，分析师在机构持股比例较高的公司中表现更好，可能是由于他们能够深度接触和利用机构投资者（包括证券公司）生成和处理的信息。值得注意的是，剔除年份固定效应后，我们观察到人类分析师的相对表现随时间有所提升，这或许反映了他们逐步受益于AI和大数据技术的辅助。令人意外的是，明星分析师的表现并未明显优于AI，表明其相对优势在一定程度上能够被机器复制。

4.7 衡量人类分析师的增值作用

尽管人机结合（Man + Machine）优于单独使用人类或机器，但理解各自的增量价值仍具有重要启发意义。类似于前节，我们定义了人机混合分析师与AI的相对表现指标即Analyst +AI Beats AI、Forecast Error Difference，以衡量人类的增量价值。结果见表6。

‍

与先前的发现一致，我们发现当分析师覆盖流动性较低、无形资产较多或收益波动较大的公司时，其预测价值更为显著。此外，在公司面临较高财务困境风险时，分析师的预测增值效应也更为突出。机构持股比例较高的公司同样有助于提升混合模型相较于单一AI分析师的表现。值得注意的是，随着信息量的增加，人类分析师的增值效应并未显著下降。这一发现支持了AI在增强专业分析师能力方面的作用，并突显了人机协同效应。

人机协同效应不仅与分析师预测相较于AI预测的增量信息价值相关，而且远超于此。为了更好地衡量这种协同效应，我们通过回归人+机器（Man+Machine）模型的预测误差的平方（或绝对值）与单独的人类和机器模型预测误差，得到的残差项即代表了人机结合相较于单独依赖人类或机器的增量价值。接着，我们将残差作为因变量，回归到各类公司和分析师的特征上，以探讨是什么因素驱动了这种协同效应。在这个回归中，我们取残差的负值，使得正系数代表更高的协同效应，即与更高的人机协同效应相关。

表7展示了回归结果，结果表明，人机协同效应可能与那些能够带来人类优势的特征相关（如交易流动性差和接近违约的公司），同时也与那些有利于机器优势的特征相关（如频繁的公司事件和大市值公司）。此外，经济衰退时期，数据相对稀缺且形势快速变化时，人机协同效应更强。这种组合表明，驱动人机协同效应的因素与人类和机器的比较优势是不同的。

4.8 分析人机协同抵御极端错误的效果

我们将极端错误（extreme error，EE）基准设定为同一年份所有分析师对同一公司的预测误差平方的第90个（或第75个（作为灵敏度检查））百分位数。检验会有4种结果：

（1）分析师和AI模型都犯下极端错误（“两者都”）；

（2）分析师犯错；

（3）AI犯错；

（4）两者都没有犯下极端错误（“都没有”）

如表8，研究发现，分析师和AI犯极端错误的几率大致相同（分别为9.3%和7.8%）。此外，有3.5%的可能性两者都犯极端错误。人机联合模型能够避免90.7%的分析师极端错误和43.6%的AI极端错误。即使在两者都犯极端错误的情况下，结合模式仍能有效将4.6%的错误避免。此外，人类+机器在“都没有”情况下自己创造极端错误的概率仅为0.1%。整体结果显示了结合人类和AI能力的显著互补效益。

4.9 探讨人机协同的影响

本节通过事件研究（event study）探讨了人机协同在股票分析中的影响，重点关注替代数据（alternative data）的作用。近年来，“大数据”提供了关于公司的新型、及时的信息，如零售停车场的卫星图像，这些数据通过AI模型处理，能为市场需求和股价预测提供有价值的增量信息。研究表明，更频繁使用替代数据的分析师往往拥有更精确的预测。

本研究使用DID（difference-in-differences）方法，比较替代数据引入前后分析师表现的变化。关键变量包括：

Alt Data Covered：如果某家公司在我们的样本期内的任何时间点有卫星成像数据可用，并且该公司所在的行业属于具有零售足迹的行业（即涉及到零售业务），那么这个变量的值为1；如果不符合这两个条件，则该变量值为0。

Post：如果卫星数据当前可用（根据Katona等人2024年表A1中的覆盖开始日期），或者如果某公司不在该表中列出但数据日期在2014年之后，则该变量为1；否则为0。

只有当某公司是“Alt Data Covered”且时间点是“Post”之后，该公司才被视为“受替代数据处理”的公司（即“treated”公司）。

然而，要使这些数据对股票分析有用，还需要进行额外的分析。分析师能否利用这些新型信息源，取决于他们工作环境中的AI资源。我们通过AI Hiring变量来衡量分析师能访问的AI资源，具体是通过Burning Glass美国职位发布数据计算AI职位占总职位发布数的比率，

该研究旨在评估，在具备AI资源的经纪公司工作的分析师，是否能利用这些资源缩小与AI模型的差距，甚至超越AI模型的表现。

具体来说，我们估计以下DID模型：

表9的第(1)到第(3)列显示，在引入替代数据后，覆盖受影响公司的分析师相较于AI模型，预测表现有所提升，但这种提升只有在与AI Hiring（AI职位招聘）变量相互作用时才显著。换句话说，分析师的预测表现提升主要集中在那些与拥有强大AI能力的经纪公司相关联的分析师身上。

05 结论

在本文中，我们构建了一个AI分析师，能够处理公司披露的财务信息及其他信息（包括定性和定量数据），并执行与股票分析师相似的预测任务。我们的AI分析师在股票回报预测上能够超越大多数人类分析师。在 “人类 vs 机器”的比较中，我们发现，当信息更加透明和丰富时，AI分析师的相对优势更强。而在人类分析师依赖行业知识（如无形资产的性质和与财务困境相关的条件）进行分析时，AI的表现则略显逊色。将AI与人类专家的技能结合，能够在两者技能互补的情境下，产生最高的预测潜力，尤其是在极端错误的预测方面，这种结合能够显著减少人类或机器单独使用时可能发生的极端错误。

讨论时刻：

本研究中记录的人机协同效应为人类如何利用其优势适应AI日益强大的未来提供了指导。尽管我们构建的AI分析师已集成了大量数据输入，并采用了最先进的机器学习技术，但从本质上讲，一个模型不可能涵盖所有公开的数据和所有先进的学习算法。因此，在机器能力和人机智能的结合方面，仍然有很大的研究空间。

如果有好的建议，请留言给我们。

"大于研究"是华南理工大学经济与金融学院、金融工程研究中心于老师和学生对外分享研究成果和学习的心得的公众号。

对我们的研究感兴趣的可以联系fofscut@163.com

大于研究

大于研究是华南理工大学金融工程研究中心的老师和学生对外分享研究成果和学习的心得的公众号。对我们的研究感兴趣的可以联系fofscut@scut.edu.cn。