WXRedian | 大于研究 | 文献阅读荟-No.256-机器学习如何推动量化资产管理

文献阅读荟-No.256-机器学习如何推动量化资产管理

2024-06-22 10:00 广东

论文：机器学习如何推动量化资产管理？

Blitz D, Hoogteijling T, Lohre H, et al. How Can Machine Learning Advance Quantitative Asset Management?[J]. Journal of Portfolio Management, 2023, 49(9).

下载地址：

https://dx.doi.org/10.2139/ssrn.4321398

01 摘要

大量文献表明，机器学习（ML）在许多资产定价应用中是有益的，因为它能够检测和利用非线性与交互效应，而这些效应在更简单的建模方法中往往会被忽视。在本文中，我们通过从审慎的从业者的角度回顾现有的机器学习文献，讨论了将机器学习应用于资产管理的前景和缺陷。重点是可以对预测结果产生重大影响的方法设计选择，以及对宣称机器学习能带来显著性能提升的说法进行评估。

02 引言

机器学习（ML）已经在许多研究领域中取得了进展，特别是那些涉及大量数据的研究，通常非常适合应用ML方法。尽管金融和投资最终是围绕人类行为的社会科学，但定量分析方法的地位已经被牢固地确立。

传统上，在没有强大的计算能力和大量数据的情况下，人们通常会依赖经济模型来描述理性个体的最佳决策。在经济学中，理论规定了模型，数据决定了模型参数的估计。这样的计量经济模型旨在建立特征和目标变量之间的关系，同时还考虑这些关系是否有意义；换句话说，人们通常在寻找因果关系，而不仅仅是相关性。在聚焦于预测时，ML相对于经典的计量经济学方法具有优势，尤其是在缺乏理论模型的情况下。ML擅长处理大规模和复杂的数据集，特别适合捕捉非线性和交互效应。

本文描述了ML方法在量化资产管理中的具体挑战和机遇，并从机构资产管理者的角度展望了未来发展。随后的部分将解释ML相对于传统计量经济学的优势和缺陷，并讨论在量化资产管理中应用ML模型的不同实践设计选择。接下来的部分将聚焦于ML在股票市场中产生alpha的能力，并讨论其他应用，如预测资产风险、构建最优投资组合或优化交易执行。

03 机器学习与经典计量经济学

机器学习模型和经典计量经济模型之间的区别往往不够明确。本文将机器学习模型定义为那些能够“自我学习”并随后对未见过的数据（样本外数据）进行预测的模型。经典计量经济模型通常是在整个数据集上进行拟合的，没有明确的“学习”元素。它们往往相对简单，通常是线性的，例如普通最小二乘（OLS）回归。在本节中，我们对比了机器学习和计量经济学方法，并讨论了采用机器学习方法所带来的好处和缺陷。

1. 机器学习的好处

ML模型的优势大致可以分为三类。首先，ML方法是数据驱动的，这意味着模型是根据数据的性质来塑造的。机器学习能够很好地处理大量特征，并“学习”为最相关的变量赋予最大的权重。相比之下，简单的线性回归在面对大量解释变量时可能会遇到问题，例如多重共线性等。其次，机器学习技术是所谓的“无模型”方法，不受特定函数形式的限制，特别是，数据中的非线性或交互效应可以被识别并相应建模。

为说明这一点，图1和图2展示了在股票收益预测背景下，使用机器学习模型可以识别的非线性和交互效应的示例。具体而言，图1探讨了基于股息收益率的收益预测。在拟合所有观察值时，普通最小二乘回归得到一条平坦的直线，表明不存在预测关系。然而，许多公司根本不支付股息。只关注支付股息的公司，揭示了股息收益率和收益之间的正相关关系，这一模式可以被机器学习模型轻松识别，而普通最小二乘回归则无法察觉。

图2说明了价格比率与收益之间的正相关关系。但是，如果挑出财报公布月份的观察结果，我们会观察到价格比率和财报公布月份的交互效应，这可以通过ML模型发现。在这个例子中，价格比率与回报之间的正相关关系在收益公布月份更强，而在其他月份则弱得多。

尽管非线性和交互效应也可以在回归设置中建模，但研究人员需要提供一个精确的规范，这通常并不简单，并且很快会导致回归变量池膨胀。相比之下，机器学习方法具有更大的灵活性。例如，神经网络可以处理非常高程度的复杂性，但它们也可以嵌套简单模型，如线性回归。

最后，机器学习算法通常是前瞻性的，而传统方法则根据样本内拟合选择模型。使用相同的数据集进行拟合和评估模型会加剧p值操纵的风险。结果模型虽然可以利用完整的信息集，但样本内的性能估计往往会向上偏移。相反，机器学习根据样本外预测能力选择模型，因此不太容易出现这种前瞻性偏差。尽管一个适当校准的机器学习信号在样本内回测中很难与设计得非常好的“简单”模型竞争，但机器学习模型的回测能更现实地评估其样本外预测能力。

2. 机器学习的缺陷

尽管如此，使用机器学习也存在一些缺陷。例如，ML模型在数据量大且信噪比高的应用中特别有用。然而，在金融市场研究中，数据集相对较小，信噪比往往较低。此外，许多数据点在时间序列和横截面上都是相关的，这进一步减少了有效观察值的数量。重要的是，金融市场在不断演变，我们可能会看到检测到的异常随着时间的推移被套利掉。过去数据点的相关性并不是恒定的，因为数据生成过程可能会随时间变化。因此，金融市场以极低的信噪比为特征也不足为奇了。

机器学习的主要问题之一是过拟合风险。一方面，机器学习模型比简单的线性模型有更多的自由度，因此更容易出现过拟合。另一方面，对样本外可预测性的关注降低了过度拟合的风险。此外，还有许多工具可以对抗过拟合，如训练-验证分离、正则化等。因此，我们可以说，与传统的线性回归模型相比，正则化 Ridge 和 Lasso 回归等基本 ML 算法实际上不易出现过拟合。

03 资产管理中机器学习的建模选择

尽管ML模型是数据驱动的，但用户仍然需要做出各种重要的选择。这些设计选择可能会对模型预测的质量产生重大影响。一般来说，只要有足够的数据，其中许多问题都可以凭经验回答。然而，数据是量化资产管理中最大的障碍之一，这使得这些设计选择变得更加重要。此外，开源软件可用于所有常见的ML应用，采用免费编程语言，如R或Python。然而，这种可用性可以被认为是一种喜忧参半。虽然人们可以快速提出朴素的ML驱动的预测，但它需要领域知识和专业知识来做出有意义的设计选择，以指导给定的ML算法。在本节中，我们将讨论这些设计选择中最重要的。

1. 方法选择

机器学习研究通常在训练和验证数据（以校准模型）以及样本外数据（以评估其预测）之间严格分离。训练期可以利用扩展窗口或移动窗口。随着窗口的扩大，模型将趋向于选择总体上最有效的因子和因子交互作用。移动窗口方法更具适应性，并且能够更好地处理仅在样本中稍后才可用的变量，但它减少了观测值的数量，并且还可能导致更顺周期的模型。

研究人员还可以选择是对整个投资范围拟合一个模型，或者是让机器学习算法针对不同区域或行业拟合不同的模型。最终，这一选择反映了一种权衡。一方面，在子样本上训练模型将会找出对特定子集最相关的模式。另一方面，模式在一般情况下可能或多或少成立，而专注于子集则会导致大量有信息的训练数据的损失。

这个选择也可以留给ML算法来决定，例如，通过将区域或行业信息作为输入变量。但是，仅将此类信息作为特征与所有其他变量一起包含并不一定是最佳方法。例如，基于树的方法会根据变量是高于还是低于某个阈值来迭代搜索以解释目标变量中的大多数变异。如果某些特征和目标之间的关系因行业而异，则如果两个行业的目标值相差不大，则可能不会反映在决策树中。

请注意，当特征集中包含国家或地区等信息时，并且来自给定国家/地区（例如美国）的公司恰好在训练数据中的回报率高于其他国家/地区的公司，则模型可能会了解到，仅仅是一只美国股票本身就是一个有利的特征。如果认为这种结果不受欢迎，最好根据股票回报率相对于同一国家或地区其他股票的回报率来训练模型。

2. 目标选择

与经典的资产定价文献一致，机器学习研究通常侧重于预测未来1个月的股票回报。因此，这些模型倾向于选择具有较强短期预测能力的变量。这并不是说机器学习模型本身不太适合长期回报预测，但一个潜在的问题是，对于相同数量的独立观测，长期回报预测需要更多的训练数据。例如，10年的训练数据转化为120个独立的月度观测值，但只有10个独立的年度观测值。对于任何估计方法，仅包含10个观测值的时间序列可能过于有限。虽然可以使用重叠观测值来增加样本量，但这些观测值不是独立的。

因此，鉴于金融领域的可用数据历史有限，将机器学习应用于具有足够长的训练和测试样本，对于长期回报的预测比短期回报预测更具挑战性。从短期回报预测到长期回报预测的转变反映在特征对机器学习预测的重要性上。长期股票回报预测往往与缓慢变化的因素更密切相关，例如低波动性和贝塔系数。与其考虑超过1个月的预测范围，还可以朝着相反的方向前进。Ait-Sahalia等(2022)研究了超高频股票回报，发现ML模型在短期内产生了显著、系统和一致的可预测性。

如果希望生成与“传统”因素相关性较低的预测，则应相应地调整目标。一种选择是将目标横截面正交化为众所周知的因子。MSCI （2021）是这一研究方向的一个例子，他们发现捕获非线性的孤立、正交化ML组件是最强的回报预测因子之一。这种横截面正交化在实现横截面不相关方面是有效的，但随着时间的推移，它不一定转化为不相关。此外，这种方法在正交化中可能会受到估计误差的影响，并忽略因子动态随时间推移的可能变化。

考虑到目标回报的选择，大多数机器学习研究都侧重于最小化损失函数，例如预测回报和已实现回报之间的均方误差。Wang等人提出了替代ML方法，试图直接最大化投资组合风险调整后的回报，并发现这些方法提供了优越的夏普比率。标准损失函数可能导致从夏普比率的角度来看，上下五分位数的投资组合不一定是最优的。因此，在波动率为6%(夏普比率 = 0.5)时提供3%alpha的变量可能比在波动率仅为2%(夏普比率 = 1.0)时 alpha为2%的变量更受欢迎。然而，当从整个横截面的观察转移到仅一个观察到的投资组合回报时，项目组合层面的预测会受到训练观测值数量的巨大损失。关注夏普比率或信息比率会进一步减少观测值的数量，因为多个时间段仅转换为一个SR或IR观测值。

3. 输入特征选择

ML模型倾向于使用广泛而多样的输入变量集生成最佳结果。在下一节中，本文将讨论大量遵循这种方法的研究，这些研究通常声称与传统的线性模型相比，在预测股票回报方面有显着改进。

然而，也有一些研究使用更窄的输入变量集，例如只关注过去的回报。Moritz等(2016)使用基于树的方法从过去的股票回报中预测未来的股票回报，而 Murray等(2020)则从经典的技术分析中汲取灵感，并从过去的价格图中得出信号。这两项研究都报告了显著的结果，但这些结果在一定程度上是由众所周知的基于回报的因素驱动的，例如季节性影响等。但是，作者声称，他们的ML方法除了对这些经典的基于回报的信号的隐式暴露之外，还提供了附加值。与此相关的是，Fisher和Krauss （2018）使用对过去价格的深度学习进行统计套利，但得出的结论是，“截至 2010 年，超额回报似乎已被套利，LSTM（长短期记忆）盈利能力在交易成本后波动为零”。

04 在资产管理中应用机器学习

在本节中，本文将回顾和讨论机器学习（ML）在资产管理中的应用。重要的是，投资者希望对由ML驱动的投资组合进行合理化，因此本节的第一部分将涉及ML模型中的可解释性概念。接下来，我们讨论ML在资产管理中的应用案例，这里只介绍预期股票收益，其他的用例读者可自行翻看原文。最后，我们讨论建立和遵循严格协议的必要性，以避免在资产管理中应用ML的常见陷阱。

1. 可解释性的优点

模型及其结果的可解释性具有重要意义，因为它增加了ML模型在资产管理应用中的可信度。在这方面，Shapley值是解释机器学习模型的重要工具(Shapley，1953）。粗略地说，它们表示每个观测值的每个特征对预测的贡献程度。Shapley 值具有严格的数学基础，可以证明它们是唯一满足公平四公理的归因方法：效率、对称性、虚拟性和可加性（Molnar，2022年）。因此，在不涉及数学细节的情况下，Shapley值允许做出以下类型的陈述：“我们预测这只股票的跑赢大盘为3.5%，其中2%是由于价值，1%是由于低波动性，0.5%是由于动量。

为了说明Shapley值的使用和解释，本文创建了一个提升回归树模型，该模型可以预测未来一个月的相对回报。我们在很大程度上遵循 Leung(2021)的设置，使用市值、盈利能力、投资、动量等特征。图表3显示了一个Shapley力图，该力图将平均目标值和特定预测之间的差异归因于模型中的各种特征。在此示例中，平均目标的标准化值为0.194，具体预测略高于平均值(0.20)。正的标准化动量得分(0.83) 推高了预测值，而负的账面价格比得分(-0.86)推低了预测值。

在图4中，我们展示了如何使用Shapley值可视化机器学习回报预测模型中的非线性和交互效应。Shapley值显示在y轴上，Shapley值高于0表示某个特征对模型预测有正面影响。左侧的图表表明，动量和回报预测之间通常存在正相关关系，这与众所周知的价格动量效应一致。然而，这种关系是非线性的。右侧的图表显示了投资和动量之间的交互效应。总体而言，Shapley图表明，高投资往往伴随着未来回报率的降低。然而，这种效应对于动量较差的股票（蓝点）比动量较强的股票（红点）更为显著。

Shapley值的另一个优点是对数据集中所有特征的公平归因,然而，Shapley值需要相当长的时间来计算，这导致需要近似值。Shapley值与其他基于抽样的归因方法共享的另一个重要技术问题是对特征相关性的忽略，这可能导致高估或低估特征重要性。这个问题可以通过条件抽样来应对，而条件抽样又取决于对相关性的准确估计。

Li等(2022)采取了不同的路线，他们提出了一种称为“模型指纹”的技术，将复杂模型的结果分解为子组件。这种指纹方法独立于所采用的模型，旨在深入了解全局和局部预测变量的贡献，分离每个特征的线性和非线性效应以及每组特征的交互效应。然而，这种方法与部分依赖性分析密切相关，因此侧重于估计特征的平均边际效应，保持其他特征不变。这种方法忽略了特征的相关性和效果的异质性（如果变量的影响有时是负的，有时是正的，则平均而言，它可能会抵消）。Jensen(2022)引入了一种用于解释 ML 模型的新度量，称为“经济特征重要性”，它是基于损失函数中包含的经济原理对常规特征重要性的改进。

在这种背景下，有一些研究提倡将经济合理性也纳入损失函数，因为这有助于大大提高模型和结果的可解释性。例如，Cong(2022)使用机器学习根据股票特征直接确定投资组合权重，这降低了技术预测变量的重要性。增加经济结构有两个关键优势。首先，它降低了复杂性。经济结构可以指导机器学习模型，因此需要更少的数据来预测。其次，机器学习模型经常检测出在实践中难以获得的回报的可预测性，即可预测性并不能保证盈利能力。明确考虑周转率或使用非对称损失函数，以不同的方式权衡观察值以限制做空，这些都是整合经济结构的简单例子。事实证明，这种经济见解与ML模型的技术规范同样重要。

当然，复杂和计算密集型方法并不是解释机器学习预测的必要条件。最终，任何模型都会产生alpha信号，可以使用经典工具包对其进行表征。也就是说，可以求助于与现有因素的信号相关性，包括回归、回报相关性或条件性能分析。尽管如此，可解释性和性能归因是使用更简单（线性）模型的优点之一。虽然在ML模型的可解释性方面取得了进展，但更复杂的模型更难理解。当投资者想要超越简单的基于因子的模型时，他们将不得不接受解释将变得更加复杂。当然，如果投资者有良好的实时记录，他们可以逐渐获得对机器学习模型的信任。

最后，对ML模型进行透视不仅能够增强对其运用及合理性的信心，还能够加深我们对那些线性模型难以检测到的复杂市场动态的理解。因此，即使不完全依赖ML模型的决策，我们仍然可以通过学习这些重要的多样化特征或有意义的交互作用，来丰富传统简单的框架。

2. 机器学习在资产管理中的应用案例-预测股票收益

各种研究报告了使用机器学习预测股票回报时的较为理想的结果，并有大量传统的预测变量作为输入特征，例如过去的回报信号、估值比率、质量指标或风险指标。包含的输入要素数量通常超过 50 个。该领域被引用最多的三篇论文是Gu等(2020)、Freyberger等(2020),以及Light等(2017），他们都发现ML策略的表现大大优于可比的线性策略，产生的夏普比率约为 2 或更高。其他最近的ML研究报告了基于广泛输入特征的股票选择结果，包括 Rasekhschaffe等(2019）、Messmer(2017）、Chen等(2022)以及 Bryzgalova等(2019）。

如前文所述，向ML模型添加经济结构具有关键优势。例如，Chen等(2022)使用无套利条件作为神经网络的一部分来预测资产价格。因此，他们可以通过识别推动资产价格的因素来提取经济状况，这优于所有竞争性的样本外基准方法。Kozak等(2020）以及 Lettau 和 Pelge(2020)利用了经济学见解，即股票回报的一阶矩和二阶矩应该是相关的。这种经济和实证动机的先验用于构建新的随机贴现因子，从而获得更好的样本外结果。Jensen 等人（2022年）结合了文献中关于如何使 ML方法适应金融市场经济现实的几个想法。他们认为，整合交易成本的投资组合优化比首先拟合ML股票回报预测，然后在投资组合中实施这些预测效果更好。

3. 研究治理与协议

要成功运用上述有前景的ML模型，并避免相关的风险，需要严格的研究治理和协议。Arnott等(2019）提出了量化投资经理健康研究协议的基础，具体包括七个支柱。首先，他们强调研究的动机应该始终基于合理的理论依据。其次，测试的策略越多，假阳性的风险就越高，因此研究人员应确保跟踪已尝试的方法，并应用适当的统计方法，特别是关于多重测试偏差的问题。第三，数据质量和样本选择是评估给定方法的重要因素。这也涉及到第四个支柱，即倡导使用交叉验证。在这方面，机器学习研究通常比经典的实证金融工作更严格，因为它使用训练和验证样本来校准模型，然后在样本外进行评估。第五和第六个支柱涉及给定模型应包含的动态和复杂性。作者明确建议避免过度拟合模型动态，追求简洁和正则化。最后，资产管理公司需要建立一种研究文化，奖励符合上述质量标准的研究，而不是隐含地鼓励生成过度拟合的投资策略和信号，这样的策略和信号在样本外必然会失败。

05 结论

现有证据表明，机器学习可以通过揭示数据中可利用的非线性和交互效应来提升量化投资。然而，机器学习并不是万能药，因为用户需要做出重要的方法选择，模型可能会过拟合数据，并且基于过去关系将在未来继续保持的前提。

许多报告ML模型取得理想结果的研究，都集中于基于大量传统因子特征作为输入特征来预测下一个月的回报率。尽管这些模型依赖于传统的短期回报预测因子，它们能够利用额外的非线性阿尔法机会。挑战在于如何将所得的阿尔法信号在扣除成本和其他现实摩擦后转化为有利可图的投资策略。相关文献很稀少，少数的研究表明，由于机器学习模型依赖高换手率信号，导致其相对于传统模型的优势常常减弱。基于此，最近有努力将经济结构整合到损失函数中，以使机器学习模型更关注更可交易的股票。这些努力预计将增加实现机器学习模型预测能力的可能性。

除了预测回报率之外，机器学习还有其他有前途的应用，例如增强传统因子，从非结构化数据中创建新变量，以及预测回报率以外的指标，如风险或可持续性。因此，到目前为止，资产管理中的ML方法更多的是一种演进而非革命。可以预见，不采用机器学习进展的资产管理者，其业绩将相对于那些采用机器学习的管理者逐渐衰退。显然，由于实际运行这种操作的高成本，主要是大机构投资者能在这场竞争中享受规模经济。自动化传统分析师任务的能力，例如阅读、观察或听取，最终有望显著提高生产力——前提是资产管理者拥有必要的基础设施，并能够大规模研究不同的大数据集和信号。

总而言之，研究人员刚刚触及了机器学习提供的无限可能性的表面，未来几年可以期待许多令人兴奋的新发现。然而，由于金融数据中的信噪比较低，过拟合的风险很高，因此人类专业领域知识可能仍然很重要。

讨论时刻：

ML擅长于检测和利用非线性和交互效应，这些效应在传统建模方法中往往被忽视。尽管ML在预测能力上显示出优势，但实际应用中的优势可能会因为多种实际考虑而减少。ML模型在数据量较大且信噪比较高的应用中特别有用，但在金融市场研究中，数据集相对较小且信噪比较低。文献还讨论了构建最优投资组合或执行交易等不同实际设计选择中的应用。此外，本文还强调了ML模型的解释性对于增加资产管理中的信任度至关重要。最后，文献强调了在应用ML进行资产管理时，需要建立和遵循严格的研究协议，以避免常见的陷阱。

如果有好的建议，请留言给我们。

"大于研究"是华南理工大学经济与金融学院、金融工程研究中心于老师和学生对外分享研究成果和学习的心得的公众号。

对我们的研究感兴趣的可以联系fofscut@scut.edu.cn

大于研究

大于研究是华南理工大学金融工程研究中心的老师和学生对外分享研究成果和学习的心得的公众号。对我们的研究感兴趣的可以联系fofscut@scut.edu.cn。