会计期刊论文的结果可重现吗?

文摘   教育   2024-11-22 22:01   山西  

👇 连享会 · 推文导航 | www.lianxh.cn

汪蕾 (山东大学经济学院)
Email: 17862909559@163.com

编者按:

这篇推文分为两个部分。
第一部分 介绍了 2020 年发表于 JAR 的一篇论文,该文通过问卷调查的方式讨论了会计领域学术论文的可重现问题。原文篇幅较长,我们进行了只提炼了文中的核心观点。
第二部分 列举了一些听过论文重现数据和程序的网址,以便各位学习之用。

温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码,直达原文:


目录

  • 简介

    • Q1:论文可重现重要吗?

    • Q2:论文不可重现的问题常见吗?

    • Q3:曾经遇到过难以重现某篇论文的问题吗?

    • Q4:论文不可重现会降低论文可信度吗?

    • Q5:为什么论文无法被重现?

    • Q6:如何能减轻论文的不可重现性?

    • Q7:当论文无法重现他人研究时,论文会被发表或拒稿吗?

    • Q8:重现他人研究时面临着什么阻碍?

  • 附录:提供论文重现资料的网站链接



简介

论文能否被重现关系着论文的严谨性和可信度,然而在很多领域,论文不可重现的问题都广泛存在。

《Nature》曾经在2016年面向1576名人员调查,询问他们对论文重现问题的看法。超过70%的受访者声明自己曾经尝试过重现他人的研究,但以失败告终。

本文推送的是2020年5月发表在JAR的论文《Reproducibility in Accounting Research: Views of the Research Community》,作者围绕会计领域的论文可重现问题进行了调查研究。

Hail, L., M. Lang, C. Leuz, 2020, Reproducibility in accounting research: Views of the research community, Journal of Accounting Research, 58 (2): 519-543. [Link], [PDF]

温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」

作者在开篇引用了两位学界大牛的话作为引子:

由于我们对会计领域的不可重现问题很难进行全面了解,因此对领域内的学者进行调查是最好的选择。作者对2019年JAR会议的167名参会者开展了调查,了解他们对已发表会计文献中不可重现问题的频率、原因和影响有着怎样的认识。

基于问卷调查,作者有8个主要发现:

Q1:论文可重现重要吗?

Panel A展示的调查结果是,56%的受访者认为论文可重现问题没有受到足够的重视。

Panel B展示的调查结果是,52%的受访者认为论文不可重现是一个严重的问题(回答“Strongly agree” 和“agree”)。与《Nature》的调查结果(90%的人认为是严重的问题)相比,会计领域的研究者们态度相对乐观。

如果与商科其他领域的论文可重现程度相比,41%的受访者认为会计领域与其他的水平相当,13%的受访者认为会计领域中的论文可重现度更高(认为会计研究更多基于大样本数据库,而有的领域研究是基于较难重现的试验或调查数据),16%的受访者认为会计领域中的论文可重现度较低(认为经济和金融领域的研究在文献分析有更高的标准)。

Q2:论文不可重现的问题常见吗?

与《Nature》调查结果相近,本调查中受访者们的认识也并不统一。有24%的受访者认为能被完全重现的论文很少(20%-39%),也有20%的受访者认为大多数论文(80-100%)都能够被完全重现,还有13%的受访者表示无法回答。

Q3:曾经遇到过难以重现某篇论文的问题吗?

69%的受访者的回答是肯定的,这一结果与《Nature》的结果也较为相近(72%受访者表示有过这种经历)。调查中6%的受访者承认曾经遇到过无法重现自己论文的情况,这一结果与《Nature》的结果差距较大,《Nature》的受访者中有56%的人曾经无法重现自己的论文。

Q4:论文不可重现会降低论文可信度吗?

FIG.4展示了“是否同意‘论文不可重现不会影响可信度’这一观点”的调查结果,55%的受访者认为论文不可重现会降低论文可信度(回答“Strongly disagree” 和“disagree”),21%的受访者认为论文不可重现对可信度影响不大(回答“Strongly agree ”和“agree”)。

Q5:为什么论文无法被重现?

作者针对这个问题提出了11个可能的原因,根据同意人数从多到少依次是:选择性汇报结果(74%)、论文发表压力(55%)、统计分析不充分(42%)、数据权限问题(38%)、代码未公开(37%)、合作者的监督较少(36%)、实验设计不足(33%)、同行审议不严格(17%)、试验方法的技术性较高(14%)、运气不好(8%)、学术造假(4%)。

Q6:如何能减轻论文的不可重现性?

收获受访者较多同意的两条措施是提升学界对重现论文的认识(84%)、论文写作时采取措施保证可重现性(84%)。

Q7:当论文无法重现他人研究时,论文会被发表或拒稿吗?

当被问到“无法重现他人结论的论文是否得到过发表?”,有7%的受访者对这个问题进行了肯定的回答。然而当被问到“无法重现他人结论的论文是否被拒稿”,有6%的受访者表示被拒稿过。这两个问题的答案表明,重现他人研究的论文发表率低,并不是期刊的主要责任。

Q8:重现他人研究时面临着什么阻碍?

本文没有调查这一问题,但Dewald et al.(1986)曾经讨论过可能存在的阻碍:一是重现论文的创新价值相对较低,相比而言,学界更青睐创新价值更高的新研究;二是被重现论文的作者也许是未来的论文评审人、编辑,质疑他们的研究或多或少可能会影响学者未来的发展。

论文能否被重现是一个很重要的问题,这关系到研究结论可信度,影响着研究建议对于政策制定、标准制定、管理决策的可参考性。但重现论文是成本高、收益低的工作,这可能使某些论文浑水摸鱼,影响学术风气。目前国内要求公开数据和代码的经济学期刊只有《中国工业经济》,未来也许会成为越来越多学术期刊的共识。

附录:提供论文重现资料的网站链接

1.专业平台

  • Mendeley 平台: Discover Mendeley Data

  • 密歇根大学的 ICPSR: ICPSR Data

  • 哈佛大学的 IQSS: Harvard Dataverse

  • Sebastian Kranz(Ulm University): Find Economic Articles with Data

2.期刊网页

  • 中国工业经济: 数据

  • 上海大学《社会》: 数据源代码

  • American Economic Association: AEA Data and Code Repository(含AER) & Data-related Publication at ICPSR(AER)

  • Econometrica: Data & Programs

  • Energy Economics: Latest Mendeley Data Datasets

  • The Journal of Finance: Supporting Information

  • Journal of Financial Economics: Data & Programs

  • Journal of Economics and Statistics: Data & Programs

  • Journal of Labor Economics: Supplemental Material

  • Journal of Political Economy: Supplemental Material

  • Journal of Statistics Software: Data & Programs

  • PLOS ONE: Data-availability

  • Review of Financial Studies: Supplementary data

3.学者主页

  • Angrist 主页: Data and Programs

  • Esther Duflo 主页: Published Papers

  • ITAY SAPORTA-EKSTEN主页:Research Papers

  • Daniel Taylor 主页:Code

  • ......


尊敬的老师 / 亲爱的同学们:

连享会致力于不断优化和丰富课程内容,以确保每位学员都能获得最有价值的学习体验。为了更精准地满足您的学习需求,我们诚挚地邀请您参与到我们的课程规划中来。请您在下面的问卷中,分享您 感兴趣的学习主题或您希望深入了解的知识领域 。您的每一条建议都是我们宝贵的资源,将直接影响到我们课程的改进和创新。我们期待您的反馈,因为您的参与和支持是我们不断前进的动力。感谢您抽出宝贵时间,与我们共同塑造更加精彩的学习旅程!https://www.wjx.cn/vm/YgPfdsJ.aspx# 再次感谢大家宝贵的意见!

New! Stata 搜索神器:lianxh 和 songbl  GIF 动图介绍
搜: 推文、数据分享、期刊论文、重现代码 ……
👉 安装:
  . ssc install lianxh
  . ssc install songbl
👉  使用:
  . lianxh DID 倍分法
  . songbl all

🍏 关于我们

  • 连享会 ( www.lianxh.cn,推文列表) 由中山大学连玉君老师团队创办,定期分享实证分析经验。
  • 直通车: 👉【百度一下: 连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。


连享会
连玉君老师团队分享,主页:lianxh.cn。白话计量,代码实操;学术路上,与君同行。
 最新文章