TOP刊最新: ChatGPT用于文本分析的指南, 如何在经管商科研究中使用生成式大语言模型？

接着“24年全球访问量最高的50个AI工具, 看样子学术研究必须主动融入AI, 否则被淘汰.”，

读完最新TOP刊MS会计版块上的文章《ChatGPT for Textual Analysis? How to Use Generative LLMs in Accounting Research, ChatGPT用于文本分析？如何在会计研究中使用生成式大语言模型》后觉得非常有启发。该文真正意义上做到了通过提供介绍GLLMs、实用框架、案例研究以及深入讨论，助力中青年学者有效采用并评估GLLMs在文本分析研究中的应用。

Ties de Kok , 2025, ChatGPT for Textual Analysis? How to Use Generative LLMs in Accounting Research, Management Science.

概览：

生成式大语言模型（GLLMs），如OpenAI旗下的ChatGPT和GPT-4，正逐步成为会计研究领域中极具潜力的文本分析工具。GLLMs不仅能解决所有可通过非生成式方法（nongenerative methods ）处理的文本分析任务，还能攻克一些过去只能依赖人工编码来解决的问题。尽管GLLMs具有新颖性和强大的功能，但它们也存在一定的局限性，并带来了新的挑战，这就要求研究人员在使用时必须格外谨慎。

本文重点研究了GLLMs在会计研究中的应用，并与现有方法进行了深入细致的对比分析。此外，本文还提供了一个实用的框架，帮助研究人员高效地运用GLLMs，该框架全面涵盖了模型选择、提示词设计以及确保构建效度等关键要素。

在一项案例研究中，本文充分展现了GLLMs的强大能力，通过检测财报电话会议中的“非回答（nonanswer）”内容，而这一任务一直以来都是自动化的难点所在。新的GPT方法实现了96%的高准确率，与Gow等2021年提出的方法相比，非回答错误率显著降低了70%。最后，本文还深入探讨了在使用GLLMs时需要重点关注的偏差、可复现性以及数据共享等关键问题。总体而言，本文为研究人员、审稿人以及编辑提供了有效运用和评估GLLMs开展学术研究的丰富知识和实用工具。

简要介绍：

自然语言处理与机器学习的飞速发展，孕育出了生成式大语言模型（GLLMs），其中OpenAI旗下的ChatGPT和GPT-4堪称典范。这些新兴模型在会计研究领域大放异彩，展现出分析文本数据的巨大潜力。GLLMs在处理文本分析任务时，堪比人工编码，不仅具备强大、灵活、易用等诸多优点，还兼具机器学习方法在可扩展性、速度以及成本等方面的诸多优势。

例如，经过精心指令训练的GLLM，能够精准地从环境、社会与治理（ESG）报告中提取排放目标，识别出在财报电话会议中尝试幽默的CEO，对比不同公司间风险因素的一致性，对员工评论中的话题进行聚类分析，以及从职位发布中提取企业文化信息等。尽管GLLMs功能强大且充满创新，但它们也存在一些局限性，并带来了诸多新的挑战，研究人员在使用时需要格外谨慎。本文的目的在于为研究人员、审稿人以及编辑提供如何有效运用和评估GLLMs在学术研究中的相关知识和实用工具。

GLLMs是一种能够读取并生成文本的模型，类似于功能强大的自动补全工具。GPT模型是GLLMs中最常见的类型。由于GLLMs基于自然语言，因此它们能够更便捷地应用于多种文本分析任务。GLLMs所具备的通用能力，使其在几乎没有或仅有少量训练数据的情况下，便能完成众多任务，从而节省大量时间和资源。例如，Hassan等在2019年通过对海量政治文本数据集进行算法训练，来识别财报电话会议中的政治风险讨论。若没有GLLMs，这项任务将变得极具挑战性且耗时费力。

像GPT-4这样的最先进GLLM，仅需提供电话会议片段并询问是否涉及政治风险，便能直接解决这一问题，实现“零样本”分析。像GPT-3或Llama2这类较小的模型，在经过恰当的指令引导或训练后，也能达到类似的出色表现。此外，GLLMs庞大的体量赋予了它们一定程度的推理能力和对世界的理解能力，这有助于它们解决一些难以自动化的复杂问题。例如，Gow等在2021年发现，由于任务存在细微差别和异质性，现有的机器学习方法很难识别财报电话会议中的非回答内容。而GLLM方法却能够攻克这类复杂任务，本文在案例研究中对此进行了展示。总体而言，GLLMs能够助力研究人员更轻松地分析文本数据，进而探索新的研究问题。

尽管GLLMs功能强大，但它们也存在局限性，并带来了新的挑战。GLLMs的自然语言特性使得在使用过程中，仿佛是在与一位具备能力的人工智能进行合作。然而，即便是最先进的GPT模型，也可能会犯错误，无法保证始终给出有意义的回答（尤其是在直接使用时）。研究人员在运用GLLMs时需谨慎行事，同时也要像使用其他机器学习（ML）方法一样，仔细评估其构建效度。

此外，GLLMs庞大的规模可能会导致它们运行缓慢、成本高昂且难以控制。要克服这些局限性，充分释放GLLMs的潜力，就需要研究人员以全新的方式开展工作和思考问题。然而，尽管GLLMs迅速普及，学术研究中关于如何使用这些模型的指导却相对匮乏。例如，在Bochkay等2022年对会计领域文本分析方法的概述中，并未提及GLLMs。本文旨在通过提供介绍、实用框架、案例研究以及深入讨论，助力研究人员有效采用并评估GLLMs在研究中的应用。

本文首先对GLLM方法进行了介绍，涵盖了其基本工作原理，并将其与现有的语言模型（如BERT）进行了对比分析。接着，本文深入探讨了GLLMs相较于现有的文本分析技术和人工编码的优缺点。结论显示，GLLMs能够解决所有可借助非生成式方法解决的文本分析任务。然而，对于一些较为简单、无需运用GLLMs强大能力的问题，非生成式技术在成本和速度方面可能更具优势。GLLMs的适用场景主要是那些原本需要借助复杂的机器学习技术或人工编码来解决的问题。与人工编码相比，GLLMs在成本和速度上具有显著优势，并且能够高效完成众多文本分析任务，达到等效的工作效果。不过，人工编码人员通常更易于指导，并且在处理小样本的复杂任务时更具适用性。

接下来，本文提出了一个四步框架，目的是帮助研究人员在其研究项目中高效地运用GLLMs。该框架在Anand等2020年以及Bochkay等2022年提出的指导基础上进行了拓展，重点阐述了GLLMs特有的实施细节和挑战。框架首先包括了定义研究任务以及确定执行任务所需信息的步骤。如果GLLMs缺少必要的信息或上下文，它们就容易通过猜测或编造信息来“臆造”答案。为了解决这一问题，框架紧接着提供了关于如何选择合适的GLLM方法和设计提示的指导，并且包含了图1中的流程图。最后一步则是提供确保构建效度的指导，设计评估方法来评估模型性能并及时发现潜在问题。最终，在线附录和配套网站提供了更多的实用技巧和代码示例，供研究人员参考和应用。

为了充分展现GLLMs的强大能力，本文开展了一项案例研究，专注于识别财报电话会议中的“非回答”内容。传统上，检测非回答内容一直是个难题，因为它涉及到诸多细微差别以及对上下文的深度依赖。研究结果显示，GLLMs能够以多种不同的方式来解决这一任务，且每种方法都较Gow等在2021年提出的方法更为精准。通过将GLLMs与现有方法有机结合，本文成功实现了96%的准确率以及87%的非回答F1分数，同时成本也保持在合理范围内。这表明，相较于Gow等2021年的方法，非回答错误率大幅降低了70%。为了进一步凸显GLLMs的灵活性与能力，本文还对ChatGPT 3.5模型进行了微调。借助GPT-4生成的训练数据集，本文成功提取了额外的非回答维度，例如其理由、问题类型以及情感等。

最后，本文深入探讨了在学术研究中运用GLLMs时需重点考量的几个关键因素。GLLMs的训练数据引发了一系列问题，例如偏差、来源材料的可靠性以及对近期事件缺乏了解等。此外，使用GLLMs还带来了新的可复现性挑战。研究人员需格外小心，因为不同模型并非可以随意互换，且第三方提供商有可能随时删除或修改模型。研究人员应始终妥善保存其原始提示和完成内容，以防失去对源模型的访问权限。同时，研究人员在将研究数据发送给第三方服务时也应谨慎行事，因为此类数据共享可能会受到禁止或并不希望发生。另外，GLLMs目前越来越多地被用作写作和编程助手。尽管这些工具能够在一定程度上提高生产力，但研究人员在开展研究工作时，切不可盲目依赖GLLM的输出结果，而应始终在使用之前仔细审查和验证输出内容的准确性和可靠性。

本文主要作出了四项贡献。首先，本文通过展示如何将生成式大语言模型（GLLMs）作为一种强大且新颖的文本分析方法，拓展了Bochkay等2022年的研究成果。其次，本文引发了人们对GLLMs相关挑战和局限性的关注，并提供了全方位的指导，涵盖了确保构建效度、应对偏差和知识局限性，以及缓解可复现性和数据共享问题等多个方面。第三，本文提供了实用的资源和指导，助力研究人员开启运用GLLMs开展自己项目的征程，包括一个详细的框架、技术指导、代码示例等，这些内容均可通过在线附录和配套网站获取。最后，本文通过深入研究财报电话会议中非回答内容的普遍性及其不同维度，为沟通与信息披露领域的文献做出了有益的贡献。通过配套网站，本文提供了非回答数据集及其维度，供未来研究使用。总地来说，本文为研究人员、审稿人以及编辑提供了有效运用和评估GLLMs在学术研究中的相关知识和工具。

*群友可在社群直接下载全文PDF参看。

关于机器学习，参看：1.机器学习之KNN分类算法介绍: Stata和R同步实现（附数据和代码），2.机器学习对经济学研究的影响研究进展综述，3.回顾与展望经济学研究中的机器学习，4.最新: 运用机器学习和合成控制法研究武汉封城对空气污染和健康的影响! 5.Top, 机器学习是一种应用的计量经济学方法, 不懂将来面临淘汰危险！6.Top前沿: 农业和应用经济学中的机器学习, 其与计量经济学的比较, 不读不懂你就out了！7.前沿: 机器学习在金融和能源经济领域的应用分类总结，8.机器学习方法出现在AER, JPE, QJE等顶刊上了！9.机器学习第一书, 数据挖掘, 推理和预测，10.从线性回归到机器学习, 一张图帮你文献综述，11.11种与机器学习相关的多元变量分析方法汇总，12.机器学习和大数据计量经济学, 你必须阅读一下这篇，13.机器学习与Econometrics的书籍推荐, 值得拥有的经典，14.机器学习在微观计量的应用最新趋势: 大数据和因果推断，15.R语言函数最全总结, 机器学习从这里出发，16.机器学习在微观计量的应用最新趋势: 回归模型，17.机器学习对计量经济学的影响, AEA年会独家报道，18.回归、分类与聚类：三大方向剖解机器学习算法的优缺点（附Python和R实现），19.关于机器学习的领悟与反思，

20.机器学习，可异于数理统计，21.前沿: 比特币, 多少罪恶假汝之手? 机器学习测算加密货币资助的非法活动金额! 22.利用机器学习进行实证资产定价, 金融投资的前沿科学技术! 23.全面比较和概述运用机器学习模型进行时间序列预测的方法优劣！24.用合成控制法, 机器学习和面板数据模型开展政策评估的论文！25.更精确的因果效应识别: 基于机器学习的视角，26.一本最新因果推断书籍, 包括了机器学习因果推断方法, 学习主流和前沿方法，27.如何用机器学习在中国股市赚钱呢? 顶刊文章告诉你方法！28.机器学习和经济学, 技术革命正在改变经济社会和学术研究，29.世界计量经济学院士新作“大数据和机器学习对计量建模与统计推断的挑战与机遇”，30.机器学习已经与政策评估方法, 例如事件研究法结合起来识别政策因果效应了！31.重磅! 汉森教授又修订了风靡世界的“计量经济学”教材, 为博士生们增加了DID, RDD, 机器学习等全新内容！32.几张有趣的图片, 各种类型的经济学, 机器学习, 科学论文像什么样子？33.机器学习已经用于微观数据调查和构建指标了, 比较前沿！34.两诺奖得主谈计量经济学发展进化, 机器学习的影响, 如何合作推动新想法！35.前沿, 双重机器学习方法DML用于因果推断, 实现它的code是什么？

下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。