👇 连享会 · 推文导航 | www.lianxh.cn
🍎 Stata:Stata基础 | Stata绘图 | Stata程序 | Stata新命令 📘 论文:数据处理 | 结果输出 | 论文写作 | 数据分享 💹 计量:回归分析 | 交乘项-调节 | IV-GMM | 时间序列 | 面板数据 | 空间计量 | Probit-Logit | 分位数回归 ⛳ 专题:SFA-DEA | 生存分析 | 爬虫 | 机器学习 | 文本分析 🔃 因果:DID | RDD | 因果推断 | 合成控制法 | PSM-Matching 🔨 工具:工具软件 | Markdown | Python-R-Stata 🎧 课程:最新专题 | 计量专题 | 关于连享会
汪蕾 (山东大学经济学院)
Email: 17862909559@163.com
编者按:
这篇推文分为两个部分。
第一部分 介绍了 2020 年发表于 JAR 的一篇论文,该文通过问卷调查的方式讨论了会计领域学术论文的可重现问题。原文篇幅较长,我们进行了只提炼了文中的核心观点。
第二部分 列举了一些听过论文重现数据和程序的网址,以便各位学习之用。
温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码,直达原文:
目录
简介
Q1:论文可重现重要吗?
Q2:论文不可重现的问题常见吗?
Q3:曾经遇到过难以重现某篇论文的问题吗?
Q4:论文不可重现会降低论文可信度吗?
Q5:为什么论文无法被重现?
Q6:如何能减轻论文的不可重现性?
Q7:当论文无法重现他人研究时,论文会被发表或拒稿吗?
Q8:重现他人研究时面临着什么阻碍?
附录:提供论文重现资料的网站链接
简介
论文能否被重现关系着论文的严谨性和可信度,然而在很多领域,论文不可重现的问题都广泛存在。
《Nature》曾经在2016年面向1576名人员调查,询问他们对论文重现问题的看法。超过70%的受访者声明自己曾经尝试过重现他人的研究,但以失败告终。
本文推送的是2020年5月发表在JAR的论文《Reproducibility in Accounting Research: Views of the Research Community》,作者围绕会计领域的论文可重现问题进行了调查研究。
Hail, L., M. Lang, C. Leuz, 2020, Reproducibility in accounting research: Views of the research community, Journal of Accounting Research, 58 (2): 519-543. [Link], [PDF]
温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」。
作者在开篇引用了两位学界大牛的话作为引子:
由于我们对会计领域的不可重现问题很难进行全面了解,因此对领域内的学者进行调查是最好的选择。作者对2019年JAR会议的167名参会者开展了调查,了解他们对已发表会计文献中不可重现问题的频率、原因和影响有着怎样的认识。
基于问卷调查,作者有8个主要发现:
Q1:论文可重现重要吗?
Panel A展示的调查结果是,56%的受访者认为论文可重现问题没有受到足够的重视。
Panel B展示的调查结果是,52%的受访者认为论文不可重现是一个严重的问题(回答“Strongly agree” 和“agree”)。与《Nature》的调查结果(90%的人认为是严重的问题)相比,会计领域的研究者们态度相对乐观。
如果与商科其他领域的论文可重现程度相比,41%的受访者认为会计领域与其他的水平相当,13%的受访者认为会计领域中的论文可重现度更高(认为会计研究更多基于大样本数据库,而有的领域研究是基于较难重现的试验或调查数据),16%的受访者认为会计领域中的论文可重现度较低(认为经济和金融领域的研究在文献分析有更高的标准)。
Q2:论文不可重现的问题常见吗?
与《Nature》调查结果相近,本调查中受访者们的认识也并不统一。有24%的受访者认为能被完全重现的论文很少(20%-39%),也有20%的受访者认为大多数论文(80-100%)都能够被完全重现,还有13%的受访者表示无法回答。
Q3:曾经遇到过难以重现某篇论文的问题吗?
69%的受访者的回答是肯定的,这一结果与《Nature》的结果也较为相近(72%受访者表示有过这种经历)。调查中6%的受访者承认曾经遇到过无法重现自己论文的情况,这一结果与《Nature》的结果差距较大,《Nature》的受访者中有56%的人曾经无法重现自己的论文。
Q4:论文不可重现会降低论文可信度吗?
FIG.4展示了“是否同意‘论文不可重现不会影响可信度’这一观点”的调查结果,55%的受访者认为论文不可重现会降低论文可信度(回答“Strongly disagree” 和“disagree”),21%的受访者认为论文不可重现对可信度影响不大(回答“Strongly agree ”和“agree”)。
Q5:为什么论文无法被重现?
作者针对这个问题提出了11个可能的原因,根据同意人数从多到少依次是:选择性汇报结果(74%)、论文发表压力(55%)、统计分析不充分(42%)、数据权限问题(38%)、代码未公开(37%)、合作者的监督较少(36%)、实验设计不足(33%)、同行审议不严格(17%)、试验方法的技术性较高(14%)、运气不好(8%)、学术造假(4%)。
Q6:如何能减轻论文的不可重现性?
收获受访者较多同意的两条措施是提升学界对重现论文的认识(84%)、论文写作时采取措施保证可重现性(84%)。
Q7:当论文无法重现他人研究时,论文会被发表或拒稿吗?
当被问到“无法重现他人结论的论文是否得到过发表?”,有7%的受访者对这个问题进行了肯定的回答。然而当被问到“无法重现他人结论的论文是否被拒稿”,有6%的受访者表示被拒稿过。这两个问题的答案表明,重现他人研究的论文发表率低,并不是期刊的主要责任。
Q8:重现他人研究时面临着什么阻碍?
本文没有调查这一问题,但Dewald et al.(1986)曾经讨论过可能存在的阻碍:一是重现论文的创新价值相对较低,相比而言,学界更青睐创新价值更高的新研究;二是被重现论文的作者也许是未来的论文评审人、编辑,质疑他们的研究或多或少可能会影响学者未来的发展。
论文能否被重现是一个很重要的问题,这关系到研究结论可信度,影响着研究建议对于政策制定、标准制定、管理决策的可参考性。但重现论文是成本高、收益低的工作,这可能使某些论文浑水摸鱼,影响学术风气。目前国内要求公开数据和代码的经济学期刊只有《中国工业经济》,未来也许会成为越来越多学术期刊的共识。
附录:提供论文重现资料的网站链接
1.专业平台
Mendeley 平台: Discover Mendeley Data
密歇根大学的 ICPSR: ICPSR Data
哈佛大学的 IQSS: Harvard Dataverse
Sebastian Kranz(Ulm University): Find Economic Articles with Data
2.期刊网页
中国工业经济: 数据
上海大学《社会》: 数据源代码
American Economic Association: AEA Data and Code Repository(含AER) & Data-related Publication at ICPSR(AER)
Econometrica: Data & Programs
Energy Economics: Latest Mendeley Data Datasets
The Journal of Finance: Supporting Information
Journal of Financial Economics: Data & Programs
Journal of Economics and Statistics: Data & Programs
Journal of Labor Economics: Supplemental Material
Journal of Political Economy: Supplemental Material
Journal of Statistics Software: Data & Programs
PLOS ONE: Data-availability
Review of Financial Studies: Supplementary data
3.学者主页
Angrist 主页: Data and Programs
Esther Duflo 主页: Published Papers
ITAY SAPORTA-EKSTEN主页:Research Papers
Daniel Taylor 主页:Code
......
尊敬的老师 / 亲爱的同学们:
连享会致力于不断优化和丰富课程内容,以确保每位学员都能获得最有价值的学习体验。为了更精准地满足您的学习需求,我们诚挚地邀请您参与到我们的课程规划中来。请您在下面的问卷中,分享您 感兴趣的学习主题或您希望深入了解的知识领域 。您的每一条建议都是我们宝贵的资源,将直接影响到我们课程的改进和创新。我们期待您的反馈,因为您的参与和支持是我们不断前进的动力。感谢您抽出宝贵时间,与我们共同塑造更加精彩的学习旅程!https://www.wjx.cn/vm/YgPfdsJ.aspx# 再次感谢大家宝贵的意见!
New! Stata 搜索神器:
lianxh
和songbl
GIF 动图介绍
搜: 推文、数据分享、期刊论文、重现代码 ……
👉 安装:
. ssc install lianxh
. ssc install songbl
👉 使用:
. lianxh DID 倍分法
. songbl all
🍏 关于我们
连享会 ( www.lianxh.cn,推文列表) 由中山大学连玉君老师团队创办,定期分享实证分析经验。 直通车: 👉【百度一下: 连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。