Publishing Registered Reports in Management and Applied Psychology: Common Beliefs and Best Practices
这篇文章的核心内容是探讨在管理和应用心理学领域中注册报告（Registered Reports, RRs）的出版现状、常见误区和最佳实践。文章指出管理和应用心理学领域面临着研究结果可信度的危机，注册报告（RRs）作为一种解决方案，可以帮助提高研究的可信度。
Citation（APA）：Briker, R., & Gerpott, F. H. (2023). Publishing registered reports in management and applied psychology: Common beliefs and best practices. Organizational Research Methods, 10944281231210309.
主要内容包括
注册报告（RRs）是什么？如何能帮助管理和应用心理学领域研究提高研究可信度？ 管理和应用心理学领域对RRs的疑虑：尽管RRs在提高研究透明度和可信度方面具有潜力，但在的采用仍然较少。一些学者可能对RRs持有疑虑，担心其风险较高，或者可能导致引用次数减少； 管理和应用心理学领域的现有RRs实践案例：文章提出了一系列最佳实践，以帮助作者成功撰写和管理RRs。这些实践包括设定现实的数据收集目标、上传预注册和第一阶段提案、勤勉执行第一阶段提案以及注明与第一阶段提案的偏差； RRs在管理与应用心理领域的未来与局限性：文章讨论了RRs未来的发展方向，包括采用更多方法论、建立RRs目录、进行比较RRs与传统提交的元分析，以及发展Peer-Community in Registered Reports (PCI-RR)倡议。尽管RRs有许多优点，但它们并不能完全解决所有研究问题，例如无法提高公众对有争议发现的信任度，也无法防止故意的科学欺诈行为。
Intro：RRs是什么？
如何帮助管理和应用心理学领域研究解决可信度危机
RRs是什么
注册报告（Registered Reports, RRs）是一种出版格式，它通过在数据收集之前对研究提案进行同行评审来提高研究的可信度。
RRs 提交和审查流程
研究者在收集数据之前提交论文的前端部分（包括理论、假设、方法和计划分析）进行同行评审。如果前端部分通过评审，作者会收到原则上的接受（In-Principle Acceptance, IPA），这意味着只要论文作者严格按照接受的协议执行，无论最终结果如何，论文都将被发表。
使用RRs的目的和相关性
RRs当前的应用趋势
目前各个科学领域的300多种期刊已经实施了这种提交方式 (Chambers & Tzavella，2022)。管理和应用心理学领域的期刊和学者也对这种出版格式表现出了兴趣（Figure 1），但与其他领域相比使用率还是刚起步（Briker & Gerpott，2023）。
当前管理和应用心理学领域面临研究结果可信性危机
论文作者指出管理和应用心理学领域面临着研究结果可信度的危机：
可重复危机（Replication Crisis）：在社会科学领域，包括管理和应用心理学，存在大量的研究结果难以被复制，这削弱了这些研究结果的可信度； 可疑研究实践（Questionable Research Practices）：一些研究者在数据处理和分析上采取了灵活处理的方式，以有意产生统计上显著的结果。这种做法导致了大量几乎一致支持假设的已发表研究结果，而这些结果可能并不可靠； 出版偏见（Publication Bias）：大多数期刊倾向于不发表结果不显著或为阴性的研究，这导致了已发表的研究结果存在偏见。研究透明度不足：研究者在研究设计、数据收集和分析过程中的不透明做法，使得其他研究者难以复制或验证这些研究； 研究质量参差不齐：由于缺乏严格的研究设计和方法论，研究质量参差不齐，影响了整个领域研究结果的可信度。
而注册报告（RRs）作为一种解决方案，作者认为可以帮助提高管理和应用心理学领域研究的可信度。
RRs与其他研究类型的比较优势
与预注册（Pre-registration）的区别：RRs在数据收集之前需要经过同行评审。预注册的研究计划虽然详细，但不需要同行评审，因此RRs提供了额外的质量保证； 与复现研究（Replication study）的区别：RRs不一定旨在直接复制已有的研究结果，尽管它们可以用于复制研究。RRs更多的是测试新的假设或现象，而复制研究专注于验证已有的研究发现。
RRs研究的独特优势
消除传统出版方式的偏见。RRs模式下，期刊决定是否接受发表文章是基于研究的构想、方法和计划分析，即使研究结果不支持预先注册的假设，文章仍然可以发表。这减少了研究者为了得到显著结果而可能采取的不当行为，如p-hacking或HARKing（在知道结果后提出假设）； 提高整体研究透明度。RRs要求研究者在研究开始之前就明确他们的研究问题、方法和分析计划，并且这些信息将被公开，是开放科学运动的一种实践，也增加了研究的透明度； 确保研究质量与可信度。在RRs中，研究者必须在数据收集之前提交详细的研究计划，并且这个计划需要通过同行评审。这确保了只有那些设计严谨、方法合理的研究才能进入数据收集阶段。
因此，论文的目标是为有兴趣撰写RRs的作者提供事实核查和指导方针，并为评审团队提供评估RRs质量的参考。
\ | /
★
Part 1
评估管理和应用心理学领域RRs的方法论
纳
入
标
准
Inclusion Criteria
类型：研究包括了第一阶段接受（stage-1 accepted）和完全接受（fully accepted）的RRs。这些RRs被视为已经获得了编辑和审稿人的初步批准，可以进行发表（假设作者按照接受的提案执行）； 领域：RRs必须属于管理和/或应用心理学领域。为了确保RRs符合这一标准，两位受过培训的评估者独立对所有识别的RRs进行了评估，并且在有分歧的情况下，第三位评估者会做出最终决定； 经典RRs：研究只包括“经典”RRs，而不是例如预注册研究（pre-registered studies）或被错误标记为RR的研究。作者通过与作者的沟通来验证他们识别的RRs是否确实是RR。
样
本
解
析
Sample Analysis
样本1（有经验的RR作者）：这部分的目的是收集那些能够基于自身经验评估常见信仰和潜在最佳实践的受访者群体的看法，即RR论文的作者。作者联系了50篇已识别的RRs的作者，以及另外4篇在管理和应用心理学期刊中被接受或发表但未包含在总体审查中的RRs的作者；
样本2a（管理和应用心理学受众）：这部分包括了知道RR是什么但自己没有成功RR经验的管理和应用心理学学者； 样本2b（审稿人/编辑）：这部分包括了有处理RRs经验的审稿人和编辑。
通过结合样本2a和样本2b的数据，研究能够综合考虑不同利益相关者的观点，从而更全面地评估RRs在管理和应用心理学领域的现状和潜力。
此外，作者还通过社交媒体和专业网络平台发布了请求，以收集更多的RRs。这种多角度的分析方法有助于揭示关于RRs的常见信念和最佳实践，同时也能够识别和解决可能影响RRs广泛采用的问题。
按照纳入标准，最终纳入的RRs数量为50篇。在线补充材料中的S1表显示了本综述中每本期刊纳入的（第一阶段）已接受RRs数量。这些RRs涉及各种管理和应用心理学主题，包括领导力（36%）、多样性和跨文化差异（24%）、人员选拔（12%）以及工作压力和幸福感（10%）。最早出版日期为2016年。
Part 2
关于RRs的常见想法和误解
论文"Common Beliefs About Registered Reports"部分探讨了对注册报告（RRs）的常见想法和误解，以及它们的真实性（结论源自对管理和应用心理学领域学者、有经验的RRs作者、以及处理过RRs的审稿人和编辑的调查）：
“RRs会获得更少的引用”。这一信念被认为是一个“脑补”（Myth）。实证数据表明，RRs在Web of Science和Altmetric上的引用次数与常规提交的论文相似，甚至在Google Scholar上稍微更多；
“RRs包含的想法不够新颖”。也是一个“脑补”（Myth）。研究表明，RRs在新颖性上与非RRs没有显著差异，甚至在某些情况下，RRs的新颖性评价稍高；
“RRs降低了发现意外结果的机会”被认为是错误的。RRs鼓励透明地报告无论是预期内还是意外的发现，并且不会因为结果的非显著性而受到惩罚；
“RRs只适合实验研究”，误解。实际上，RRs适用于多种研究方法，包括调查研究、档案数据和定性研究；
“RRs需要更多的资源（时间和金钱）”的观点被认为是模棱两可的。虽然RRs可能需要更大的样本量和更长的评审过程，但这种资源的投入可能会带来更高质量的研究；
“RRs需要更多的努力”的信念也是模棱两可的。一些作者认为RRs在数据收集之前需要更多的工作，但一旦数据收集完成，后续的工作量可能会减少；
“RRs风险更高”，误解。RRs实际上降低了风险，因为它们不会因为结果的非显著性而被拒绝；
“RRs不适合职业早期研究者”，误解。实际上，许多职业早期研究者成功地进行了RRs，并且这种实践可能对他们的职业生涯有益；
“RRs的模式使研究者的想法更有可能被窃取”，误解。RRs的过程使得研究想法和时间戳公开记录，减少了被窃取的风险；
“RRs给审稿团队太多的权利”，误解。RRs的评审过程通常更加合作和支持性，而不是限制性的；
“RRs带来的快乐较少”，误解。许多被调查作者和编辑报告说，他们发现RRs的过程令人愉快，甚至比传统的投稿过程更令人满意。
缺乏知识和误解：许多学者可能对RRs的提交机会和相关流程感到不安全或不确定，这可能导致他们对这种提交格式持保留态度； 常见信仰和误解：一些学者可能持有关于RRs的常见信仰和误解，例如担心提交RRs可能对他们的职业生涯不利，或者担心RRs会导致引用次数减少； 对风险的担忧：一些学者可能认为RRs的风险更高，因为这种格式被认为更冒险，编辑和学者担心RRs的发表可能导致引用次数少于传统提交的论文； 职业发展顾虑：研究人员可能担心RRs会影响他们的职业发展，尤其是在晋升和获得资助方面； 对RRs的混淆：学者们可能对RRs与其他开放科学方法（如预注册）之间的区别感到困惑，这可能阻碍了他们采用这种出版格式；
缺乏具体的最佳实践和指导：学者们可能缺乏关于如何在管理和应用心理学领域成功撰写和提交RRs的具体指导和最佳实践。
但也一一解决这些担忧和误解。
Part 3
RRs建议和最佳实践
为了解决上述的担忧和误解，论文提供基于证据的最佳实践和指导，鼓励更多的学者采用RRs，从而提高研究的质量和可信度。在文章的"Registered Reports: Recommendations and Best Practices"部分，论文提出了一系列最佳实践指南，旨在帮助作者在管理和应用心理学领域成功撰写和提交注册报告（RRs）：
设定现实的数据收集目标：建议作者在撰写RR时设定现实可行的数据收集目标，考虑资源限制，并在数据收集前与审稿团队达成共识。这包括制定详细的时间线和应对意外障碍的应急计划； 上传预注册和第一阶段提案：一旦第一阶段提案被批准，作者应将预注册和第一阶段提案上传到在线存储库，如Open Science Framework。这有助于公开透明地展示研究计划，并为其他研究者提供参考； 勤勉执行第一阶段提案：作者应严格遵守第一阶段提案中的计划，包括样本量、测量方法、排除标准和分析方法。这有助于确保研究的严谨性，并增加研究被接受的可能性； 注明与第一阶段提案的偏差：如果研究过程中出现了与第一阶段提案的偏差，作者应在最终提交的稿件中明确指出这些偏差，并解释原因。这有助于保持研究的透明度，并减少在第二阶段评审中被拒绝的风险；
这些最佳实践旨在帮助作者更有效地导航RRs提交过程，并提高他们的研究被接受和发表的可能性。论文作者还鼓励研究者在准备RRs时，与有经验的编辑或作者联系，以获得更具体的建议和指导。
Part 4
Discussion
RRs的局限性：被调查的作者们也承认，尽管RRs有许多优点，但它们并不能完全解决科学研究中的所有问题。例如，RRs可能不会增加公众对有争议发现的信任，也可能无法防止故意的科学欺诈行为； RRs的未来发展方向：论文也提出了RRs未来可能的发展方向，包括更多地采用不同的研究方法（如元分析、现场研究和定性研究），以及发展新的RRs变体，如Peer-Community in Registered Reports (PCI-RR)； 论文还提到RRs的评审过程需要编辑和审稿人采取不同的方法和心态，与传统的投稿过程相比，RRs的评审过程更加注重研究设计的合作和改进，而不仅仅是指出研究的不足。
