我是@扣子Bolt，关注【AI工具｜科研学术 | 博士生活 | 网络创业｜自我提升】，利用AI工具提升科研效率和自我成长，这是我在公众号发布的第【119】篇原创内容。
论文探讨了ChatGPT是否能够执行扎根理论（Grounded Theory, GT）方法来进行风险分析，并通过实证研究验证了这一假设。
研究背景
- 研究问题
探讨了聊天机器人ChatGPT是否能够执行扎根理论（Grounded Theory, GT）方法进行风险分析。扎根理论是一种从定性数据分析中生成理论的科学方法，但其耗时且需要专业培训。 - 研究难点
如何有效地指导ChatGPT执行扎根理论方法，如何设计评估其性能的严格指标，以及如何在实际应用中验证其有效性。 - 相关工作
经典的扎根理论研究方法、ChatGPT在信息提取和因果推理中的应用、以及风险分析中的扎根理论应用。
研究方法
论文提出了一种新的方法，指导ChatGPT使用扎根理论方法进行定性数据分析，并设计了严格的指标来评估其性能。具体来说，ChatGPT执行扎根理论方法包括五个步骤（框架如下图所示）：信息提取、开放编码、轴向编码、选择性编码和数据饱和测试。每个步骤都设计了提示模式来指导ChatGPT完成任务。
信息提取：提示模式要求ChatGPT从黑匣子报告中提取因果对，并将其分解为原因和效果。
开放编码：提示模式要求ChatGPT对提取的原因和效果进行概念化，并将其总结为子类别。
轴向编码：提示模式要求ChatGPT将开放编码生成的子类别聚类为主类别。
选择性编码：提示模式要求ChatGPT围绕一个核心类别生成所有类别，并解释其关系。
数据饱和测试：提示模式要求ChatGPT使用测试数据生成测试子类别，并确定是否出现新子类别。
实验设计
- 数据收集
收集了194起全球黑匣子事件的文本数据，来源包括调查报告、技术报告、新闻报道、学术文献和维基百科。 - 实验设置
选择了150起黑匣子事件的文本作为编码数据，44起黑匣子事件的文本作为测试数据。实验使用了ChatGPT-4模型，并邀请了三位领域专家进行手动扎根理论分析以提供基准结果。 - 实验设计
设计了两种比较实验：不同数量的黑匣子事件处理和不同数量的示例提供。实验场景包括一次处理一个黑匣子事件、处理多个黑匣子事件（如3个、5个、10个、15个），以及零样本和一样本场景。
结果与分析
- 信息提取
ChatGPT在信息提取步骤中的一致性最高（99.36%），精度和召回率均为100%。这表明ChatGPT能够与人类分析师在提取因果对方面达到一致。 - 开放编码
在所有场景中，ChatGPT在开放编码步骤中的一致性、精度和召回率均为100%。这表明ChatGPT能够与人类分析师在生成子类别方面达到一致。 - 轴向编码
ChatGPT在轴向编码步骤中的一致性为90%，精度为100%，召回率为90%。这表明ChatGPT在生成主类别方面表现出色，但倾向于生成更广泛的主类别。 - 选择性编码
ChatGPT生成了八个核心类别，所有类别均正确反映了实验数据的主题。尽管有些核心类别没有明确提到黑匣子或电力系统，但其解释支持了ChatGPT正确把握数据主题的能力。 - 数据饱和测试
ChatGPT在数据饱和测试中表现出色，所有测试子类别均能被现有主类别标记，未出现新子类别。
总体结论
这篇论文提出了一种利用ChatGPT执行扎根理论方法进行风险分析的新方法，并通过实验验证了其有效性。结果表明，ChatGPT在信息提取、开放编码、轴向编码、选择性编码和数据饱和测试等步骤中均表现出与人类分析师相当的性能。通过将ChatGPT作为研究助理引入扎根理论研究，可以显著提高研究的效率和成果质量。未来的研究可以进一步优化提示模式和评估指标，并探索ChatGPT在其他领域的应用潜力。
Grounded theory is a widely used scientific method for generating theories from qualitative data analysis. However, it is often timeconsuming and requires professional training. Generative artificial intelligence, such as ChatGPT, excels in understanding and analyzing text, making it a valuable tool for qualitative research. This research proposes a novel approach to guide ChatGPT using the grounded theory method for qualitative data analysis and to design rigorous metrics for evaluating its performance. Using risk analysis as a case study, we compare ChatGPT’s results with those obtained through manual methods. Our findings show that, with expert guidance, ChatGPT can effectively perform the grounded theory method, achieving results comparable to those of human analysts. To maximize its potential, researchers should properly guide ChatGPT in performing required tasks, rigorously evaluate its outputs, and ensure high-quality results. This approach can significantly enhance the efficiency and quality of qualitative data analysis.
Zhou, Y., Yuan, Y., Huang, K., & Hu, X. (2024). Can ChatGPT perform a grounded theory approach to do risk analysis? An empirical study. Journal of Management Information Systems, 41(4), 982–1015. https://doi.org/10.1080/07421222.2024.2415772
●大学生可持续创业意向：创业恐惧与AI在教学中应用的调节作用
●生成式人工智能使用如何以及何时影响员工增量和激进创造力：来自中国的实证研究
●人工智能意识和变革导向的领导力对员工与人工智能协作的交互影响：接近动机和回避动机的作用
●了解类人社交机器人的拟人化特征对用户满意度的影响：基于刺激-有机体-反应理论
●强迫性 ChatGPT 使用、焦虑、倦怠和睡眠障碍：基于刺激-有机体-反应视角的串行中介模型
●对高等教育评估中 GenAI 政策的批判性回顾：呼吁重新考虑学生作业的“原创性”
●人工智能生成内容（AIGC）信息回避影响机制研究：AI身份威胁的调节作用
●调查 OTA 员工对 ChatGPT 的双刃剑认知：组织支持的调节作用
欢迎关注我的视频号
