【学术分享】生成式人工智能在政策研究设计中的作用：平衡效度、严格性与创新性

吴逊

香港科技大学（广州）社会枢纽创新创业与公共政策学域教授

Dale Whittington

北卡罗来纳大学教堂山分校环境科学与工程系、城市与区域规划系教授

陈劼

上海科技大学创业与管理学院副教授

左容

亚利桑那州立大学公共事务学院博士研究生

本研究系统地探讨了生成式人工智能（AI）如何通过分析方法论权衡来辅助政策研究设计。利用Claude Pro，我们评估了来自164篇公共政策领域顶尖期刊的文章在六个维度上的研究设计：内部有效性、外部有效性、构念有效性、预测有效性、方法论严谨性和概念新颖性。分析表明，AI可以有效地识别方法论权衡，并在资源限制内提出设计改进建议，尽管其效用因研究类型而异。研究结果推进了我们对AI作为研究设计辅助工具的理解，同时强调了在方法论决策中人类专业知识的重要性。

This study systematically examines how generative AI can assist in policy research design by analysing methodological trade-offs. Using Claude Pro, we evaluated research designs in 164 articles from leading policy journals across six dimensions: internal, external, construct, and predictive validity, methodological rigour, and conceptual novelty. The analysis demonstrates that AI can effectively identify methodological trade-offs and suggest design improvements within resource constraints, though its utility varies by research type. The findings advance our understanding of AI’s role as a complementary tool in research design while highlighting the critical importance of human expertise in methodological decisions.

      近年来，公共政策研究领域越来越强调方法论的严谨性，实验设计被越来越多的学者所关注。虽然这种追求增强了研究结果的可信度和可靠性，但也凸显了研究人员在追求严谨性时必须面对的其他关键问题。例如，优先考虑内部有效性可能会以牺牲外部有效性为代价。此外，过度关注方法论的严谨性有时会导致“严格的陈词滥调”——技术上无懈可击但缺乏原创性的研究。生成式人工智能（AI）的快速发展，也许可以提供了一种有前景的工具，帮助研究人员应对这些两难选择：通过快速分析和识别大量文献中的模式，生成式AI可以协助研究人员系统评估不同的研究设计，并在不增加资源投入的条件下提出改进建议。

本文主要探讨以下三个问题：

（1）生成式AI工具在多大程度上可以有效评估政策研究中不同维度的质量？

（2）不同研究类型和方法论方法之间的质量维度存在哪些关系和权衡？

（3）在现有资源约束下，AI建议的具体研究设计改进有哪些？

      本文基于McGrath（1981）提出的“研究选择和困境”框架以及Cook和Campbell（1979）的有效性框架，解释了为什么单一研究设计无法同时最大化所有期望的质量，并强调了研究人员必须仔细平衡竞争性优先事项。生成式AI的贡献源于其高级自然语言处理能力，能够分析大量研究论文中的复杂方法论信息（Jordan & Mitchell, 2015），从而系统评估研究设计选择及其影响。此外，AI的模式识别能力和情境理解使得它可以生成针对特定研究约束的改进建议（Hartford et al., 2016）。

      通过对164篇来自三本政策领域顶尖期刊（JPAM, Policy Sciences and Policy & Society）的文章进行深入分析，本研究揭示了生成式人工智能（AI）在辅助政策研究设计中的显著潜力。

      研究结果表明，AI不仅能够有效评估不同维度的研究质量，还能识别方法论权衡并提出改进建议，所有这些都在现有资源约束下完成。

      进一步的分析揭示了不同期刊之间的差异，这些差异主要由它们各自的方法论倾向所驱动。例如，《Journal of Policy Analysis and Management》（JPAM）因其定量研究的主导地位，在内部有效性、方法论严谨性和预测有效性方面得分较高。相比之下，定性研究在《Policy Sciences》和《Policy and Society》中占据较大比例，这些期刊在概念新颖性方面表现出色，这与定性研究传统上强调理论发展和概念创新的特点相符。下表展示了各期刊在不同维度上的质量评分，凸显了其独特的方法论特征。

      相关性分析提供了关于内在方法论权衡的重要见解。内部有效性与方法论严格性之间存在强正相关（r=0.79, p<0.01），表明严谨的方法有助于因果推断。然而，内部有效性与外部有效性之间的相关性较弱（r=0.31, p<0.01），说明高内部有效性可能限制了普遍性。此外，构念有效性与内部有效性及预测有效性之间的强相关性（分别为r=0.50, p<0.01 和 r=0.63, p<0.01）表明准确测量概念有助于建立清晰的因果联系和预测结果。这些发现强调了在研究设计中平衡多个质量维度的重要性，特别是在追求因果推断和广泛适用性之间的微妙平衡。

     引用分析揭示了外部有效性（r=0.20, p<0.01）和构念有效性（r=0.15, p=0.05）与引用次数之间存在显著但适度的正相关，这意味着具有更高普遍性和概念测量准确性的研究往往获得更多的引用。这一发现挑战了仅依赖方法论严谨性和理论创新来衡量研究影响的传统观点，提示研究人员应更加关注研究的实际相关性和可传播性。

      潜在改进分析揭示了各维度研究质量提升的巨大空间。内部有效性有中等改进潜力，（平均改进量为1.18，标准差为0.61）；而外部有效性显示出更高的改进潜力，（平均改进量为1.74，标准差为0.76）。这表明，通过增加样本多样性或使用更多样化的数据来源，可以显著增强研究的普遍性和适用性。构念有效性虽然改进潜力较低（平均改进量为1.10，标准差为0.46），但在某些情况下仍有改进的空间。预测有效性的改进潜力最大，（平均改进量为2.10，标准差为0.93），这突显了在提高研究预测准确性方面的重大机会。方法论严谨性和概念新颖性也显示出中等改进潜力，（分别平均为1.46和1.35，标准差为0.69和0.58）。

      最后，综合改进策略展示了生成式AI在优化研究设计方面的巨大潜力。例如，通过结合实验方法的优势以建立因果关系，并利用定性数据理解情境细微差别，可以同时优化内部和外部有效性。下图展示了AI如何通过优化采样策略和数据收集方法，使研究既具代表性又多样化，从而同时增强外部有效性和方法论严谨性。这些发现不仅证明了生成式AI在导航复杂方法论权衡中的价值，还为未来政策研究的设计提供了宝贵的指导。

      一是生成式AI通过模式识别与优化建议，进一步深化了传统研究设计理论中关于内部效度与外部效度、方法严格性与概念创新性之间张力的理解，为权衡复杂性提供了动态优化的新视角。二是生成式AI的引入使研究设计从静态优化走向动态调整，特别是在资源有限条件下提供创新性解决方案，推动研究设计理论朝着更具适应性和创新性的方向发展。