丛林 | 金融领域的可解释人工智能:基于面板树的目标导向搜索优化

文摘   2024-08-22 21:00   北京  



2024年7月3日至5日,2024数字金融暑期学术研讨会(2024 Summer Institute in Digital Finance,SIDF2024)在北京成功举办。


此次会议由清华大学孵化的学说平台主办,康奈尔大学商学院金融科技中心提供学术支持。研讨会联席组委由康奈尔大学约翰逊商学院Rudd家族管理学讲席教授、金融学教授及《Management Science》金融主编叢林(丛林),与清华大学五道口金融学院副院长、金融学讲席教授张晓燕组成。


本次会议共收到超过300位国内外的老师、学生以及业界人士的热情申请,最终共有约200位来自103所高校的师生和数位业界人士同时在线上和线下参会,并有18篇论文在本次会议上进行展示。


演讲者:叢林(Lin William Cong)教授,康奈尔大学约翰逊商学院Rudd家族管理学讲席教授及金融学教授美国国家经济研究局研究学


线上&线下参会人员扫描下方二维码

即可观看演讲视频回放











金融领域的可解释人工智能:

基于面板树的目标导向搜索优化


叢教授为与会者带来了一场关于金融领域可解释人工智能的深度演讲,重点探讨了基于面板树的目标导向搜索优化框架。这场演讲不仅介绍了创新的技术方法,还深入探讨了这些方法在解决传统资产定价问题中的应用。


叢教授首先强调了可解释人工智能在金融领域的重要性。他指出,金融AI不同于通用AI,它需要专有、垂直、准确、有知识且可解释。这种强调可解释性的方法使得模型的决策过程更加透明,有助于金融专业人士理解和信任AI的结果。这一观点为整个演讲奠定了基调,突出了在金融领域应用AI时需要特别考虑的因素和不太大模型的潜力。


演讲的核心内容围绕三个主要部分展开:基于面板树构建有效前沿、分组异质性下的稀疏建模、以及预测性拼花。叢教授详细解释了每个部分的核心概念、方法论和实证结果。


01

第基于面板树构建有效前沿


在这部分,叢教授介绍了由“Growing the Efficient Frontier on Panel Trees”(Cong, Feng, He, & He, 2021)这篇文章引入的面板树(Panel Trees)的概念。面板树是一种结合了决策树和面板数据分析的方法。传统的决策树方法假设数据是独立同分布的,这在金融时间序列数据中往往不成立。面板树的目的就是克服这一限制。


叢教授解释道,面板树可以看作是一种"智能化"的资产分类方法。它不仅考虑了资产的特征,还考虑了时间维度,能够捕捉到资产收益率随时间变化的模式。这种方法特别适合处理金融数据,因为它能够适应低信噪比环境,并捕捉非线性、深层和不对称的交互作用。


叢教授展示了如何使用面板树方法构建有效前沿。与传统的CART(分类与回归树)不同,面板树考虑了定价核的时变性,不假设收益是独立同分布的,并允许时间序列分割。面板树的分割标准是经济指标导向并用到全样本,这使得模型能够全局优化而非统计导向的局部递归,提供可解读性的同时避免了过度拟合。


为了验证面板树方法的有效性,叢教授展示了在美国股票市场40年数据上的应用结果。研究发现,面板树模型在资产定价和投资表现方面都优于传统因子模型,并提供了系统化的资产分类和测试资产生成的方法。这一结果不仅证明了面板树方法的有效性,还为资产定价研究提供了新的工具。



02

分组异质性下的稀疏建模


在第二部分中,叢教授介绍了“Sparse Modeling Under Grouped Heterogeneity with an Application to Asset Pricing”(Cong, Feng, He & Li, 2022), 改研究引入了贝叶斯聚类模型(Bayesian Clustering Model, BCM)和分组异质性(Grouped Heterogeneity)的概念。


贝叶斯聚类模型是一种同时进行观察聚类和变量选择的模型。叢教授解释道,在金融市场中,不同的资产可能遵循不同的定价模型。BCM旨在用面板树识别这种异质性,并为不同的资产群体建立专门的模型。他将BCM比喻为一个能够自动分类的专家系统,它不仅能够将相似的资产归为一组,还能为每组选择最相关的定价因子。分组异质性则指的是不同组的资产可能遵循不同的定价模型或表现出不同的特征。叢教授强调,这个概念挑战了传统"一刀切"资产定价模型的局限性。


BCM使用尖峰和平板(Spike-and-Slab)先验进行贝叶斯变量选择,并采用联合边际似然准则来指导树的生长。叢教授解释,这种方法能够处理模型和参数不确定性,同时保持模型的可解释性。叢教授通过实证研究展示了BCM的强大功能。研究结果显示,BCM能够识别出共同因子(如市场因子)和不常见因子,解释了为什么某些因子在某些资产组中更为重要。这种方法在解释"因子动物园"和金融异常现象方面表现出色,并在定价和投资表现上优于传统方法。


03

预测性拼花


在最后一部分,叢教授引入了"预测性拼花"(Mosaics of Predictability)的概念。这个概念描述了资产收益的可预测性在时间和横截面上的异质性。


叢教授解释道,传统方法往往假设所有资产的可预测性是相似的,或者只关注全局的可预测性。预测性拼花的概念旨在捕捉更细致的可预测性模式。他将其比喻为一幅马赛克画,每块瓷砖代表一个资产在特定时间的可预测性。有些区域(资产或时期)的颜色可能更深(更可预测),而有些则较浅(less可预测)。


为了识别这些预测性拼花,“Mosaics of Predictability” (Cong, Feng, He, & Wang, 2024) 提出了一种新的方法。这种方法使用面板树技术,以最大化R²差异为目标进行分割,从而识别高度可预测的观察群体。


研究结果令人振奋。文章作者发现,高可预测性群体在样本外仍保持较高的预测能力。更有趣的是,研究还发现高预测能力与高风险调整后的投资表现之间存在联系。这一发现为投资策略设计提供了新的思路。


贯穿整个演讲的是目标导向搜索(Goal-Oriented Search)的理念。叢教授将其定义为一种介于监督学习和无监督学习之间的方法,由经济学理论和目标引导。他解释道,纯粹的机器学习方法可能会忽视重要的经济学直觉,而传统的经济学方法可能无法处理大规模复杂数据。目标导向搜索旨在结合两者的优势。


叢教授将目标导向搜索比喻为一个由经济学知识"编程"的AI探索者,它在复杂的数据空间中搜索,但其搜索方向和目标是由经济学理论预先定义的。这种方法不仅提高了模型的预测能力,还保持了结果的可解释性,这对于金融决策和风险管理至关重要。


在演讲的结尾,叢教授强调,他的研究为金融AI提供了一个新的方向。这种方法既不是完全监督的,也不是完全无监督的,而是经济学指导下的目标导向搜索。它结合了"分而治之"的策略和经济学指导,实现了广义证券分类、异质因子建模和预测性拼花的稀疏和可解释建模。


叢教授的研究不仅展示了机器学习在金融研究中的创新应用,也为解决长期存在的资产定价问题提供了新的视角。他强调了经济学直觉和机器学习技术相结合的重要性,为金融领域的可解释AI开辟了新的研究方向。


这场演讲不仅深入浅出地解释了复杂的技术概念,还通过实证研究展示了这些方法的实际应用价值,为金融AI的未来发展指明了方向。它展示了如何将机器学习的强大功能与金融经济学的深刻洞察相结合,为金融研究和实践提供了新的思路和工具。


相关论文:

Cong, L. W., Feng, G., He, J., & He, X. (2022). Growing the efficient frontier on panel trees. NBER Working Paper, (w30805).

Cong, L. W., Feng, G., He, J., & Li, J. (2023). Sparse Modeling Under Grouped Heterogeneity with an Application to Asset Pricing (No. w31424).  National Bureau of Economic Research.

Cong, L. W., Feng, G., He, J., & Wang, Y. (2024). Mosaics of Predictability. Available at SSRN 4853767.




金科丛林
聚焦国际前沿研究,经济思想应用,行业发展动态,政策法规洞察,学研信息共享,学者领袖沟通。共推数字化,大数据,人工智能,Web3等在数字经济,科技金融,普惠可续领域的知识积累和创新应用。(康奈尔大学丛林教授数济金科实验室)
 最新文章