翻译 | 如何让零结果的研究获得应有的关注

研究人员已经尝试了各种策略，以增加文献对阴性结果的收录。《Nature》对此进行了调查，探讨这些策略是否真正奏效。

进化生物学家Natalie Pilakouta提出了一个她认为应当很容易被验证的假设：生活在冰岛地热温泉中的鱼类，应该比生活在附近较冷湖泊中的同类鱼更倾向于温暖的水。然而，经过两年的研究，她却依然没有得到明确的结论——当提供两种水温的选择时，这两个鱼群都显示出对凉水的偏好。

她感到非常失望，因为她明白，发表这样的研究结果将面临巨大的困难。此外，她迫切希望分享这个反直觉的发现，因为它挑战了一个广为接受的假设：即水生生物在面对全球变暖时，可能会进化出对高温环境的偏好。

Pilakouta目前在英国圣安德鲁斯大学任职，她算是少数的幸运儿之一。她的研究历经了六年的时间，向七家期刊投稿，终于在2023年1月得以发表。然而，她的故事揭示了学术界长期存在的“文件抽屉问题”（file-drawer problem）——那些未能发现变量间关系，或得出与既有假设相悖的零结果和阴性结果的研究，往往被搁置；而具有显著结果的研究更容易被发表。2022年，一项在法国进行的科学家调查显示，75%的受访者愿意发表他们的零结果研究，但只有12.5%的人成功发表。随着时间的推移，这种发表偏倚（publication bias）扭曲了科学记录，对显著结果的过度关注甚至促使研究人员选择性地报告数据或夸大统计显著性。这不仅浪费了时间和资金，还导致研究人员可能重复进行那些已经被研究但未发表的实验。有证据表明，这一问题正变得更加严重，阴性结果的发表数量正在减少。资助方、出版商和研究人员对此并非无所作为。如今，许多期刊鼓励研究团队在实验开始前提交研究计划和方案，期刊则会提前对其进行审查，并承诺无论结果如何，都会发表。至今，已有数百家期刊采用这种“注册报告”（registered report）的模式，自2018年以来，采用这种方式的期刊数量已翻了一倍。

位于弗吉尼亚州夏洛茨维尔的开放科学中心执行董事Brian Nosek提到：“集中关注阳性结果并不是唯一的科学研究方式”。Nosek与全球各地的研究人员一起，致力于重塑科研的运作方式，挑战研究成功的定义。这不仅包括打击诸如抄袭等恶劣的科研不端行为，还呼吁遏制一些“较轻”的违规行为，比如选择性报告，旨在促使更多阴性结果的发表。这些变化已经开始在出版行业逐渐显现，随着预印本服务器的增多，出版商们采用新的手稿格式，推出专门发表零结果的期刊，并呼吁专题刊物。

隐藏的结果

研究人员对“文件抽屉问题”已经关注了数十年。然而，直到2010年代初，这一问题所引发的更大困境才逐渐浮出水面。当时，研究人员尝试重复多个心理学和医学领域的基础实验，却未能取得成功。这促使科学家们开始探讨这一“可重复危机”的范围以及发表偏倚的问题。

研究人员的研究揭示了阴性结果被埋没的频率。他们对超过30万份科学会议报告的分析显示，科学家们通常会尝试将这些报告转化为论文，但其中只有不到40%被发表在同行评审的期刊上，而阴性或零结果的研究往往比阳性结果更少被公布。

发表偏倚的程度因学科和国家而异，但这一问题似乎随着时间的推移愈加严重。一项对1990年至2007年间4600篇论文的分析发现，这段时间内发表偏倚增加了22%。

发表偏倚可能会对现实世界产生影响。例如，在74项评估抗抑郁药物的注册临床试验中，近三分之一的试验结果未被公开，这些试验很可能显示阴性结果而非阳性结果。仅从已发表的结果来看，94%的试验似乎得出了积极的结论，而药物审批委员会认为只有51%的试验结果为阳性。

选择性报告导致了对药物疗效的夸大认识，这种情况在主要包含阳性结果的文献综述中尤为严重。尽管美国的法律要求临床试验的研究人员无论结果如何都必须报告他们的结果，但实际情况仍然受到经济利益和试验参与者的期望影响，Nosek表示，这些结果反映了“我们还有很长的路要走”。

此外，斯坦福大学医学院的Steven Goodman表示，阴性或零结果的研究通常比阳性结果的研究受到更严格的审查，尤其是在阳性结果“验证了我们认为是正确的东西”时，这种严格审查显得尤为突出。

印第安纳大学南本德分校的认知神经科学家Jessica Payne指出，人们仍然持有这样的观点：如果研究结果为阴性或零结果，科学家的研究设计必然存在缺陷。

事实上，根据对480名经济学家的调查，零结果的研究被认为比具有显著结果的研究更难发表，即使样本量等因素保持不变，也会被认为质量较差且重要性较低——这种现象被称为“零结果惩罚”。Goodman表示，得到大效应量的研究应比零结果的研究受到更多的审查。

文化偏倚  

可重复危机清楚地表明：学术界的激励机制并不总是与研究的诚信和可重复性保持一致。荷兰乌特勒支大学的元科学家Anne Scheel表示，这在很大程度上解释了为什么如此少的阴性结果能够被发表。

Scheel认为，学术不端行为和发表偏倚的根源在于人们对“发表或灭亡”文化的共识和认同，这种文化由学术机构、研究资助方、学术期刊和科学家自身共同维持，奖励那些在著名期刊上发表研究成果的研究人员。

但一些批评者指出，这些学术守门人存在偏见，他们认为资助方和顶尖期刊往往追求新颖且引人注目的发现。澳大利亚墨尔本大学的心理学家、《Psychological Science》的编辑Simine Vazire表示，期刊编辑们会担心充满零结果的刊物会吸引更少的读者。

Nosek指出，这在研究人员和期刊之间形成了一个紧密的反馈循环。为了用看起来新颖且值得注意的发现吸引期刊，一些科学家可能会在看到结果后更改假设，或只公布部分数据，甚至使用统计手段来美化结果。

积极的解决方案

为了鼓励更多研究人员报告零结果，期刊和资助方正在尝试几种方案。其中最重要的变化之一是“预注册”（pre-registration）的推广（见图1），即研究人员必须在研究开始时在公共数据库中声明他们的假设和打算测量的结果（这一做法在临床试验中已成为常规）。

Nosek 说，预注册模型促使研究人员忠实于研究的初衷，但它并未解决研究人员在提交研究结果到期刊时的偏倚问题，也未能消除期刊编辑和审稿人在决定是否发表时的偏见。

相反，Nosek和同事们专注于推广和评估“注册报告”模型——这一模型类似于“预注册”报告，但其初步计划由期刊发布，并承诺进行同行评审和对结果的发表。

初步数据显现出注册报告的良好前景：Scheel 和她的同事比较了 71 个注册报告与 152 个标准心理学手稿的结果，发现注册报告中有 44% 显示出阳性结果，而标准出版物中则有 96% 显示阳性结果（见图2）。Nosek 和他的团队发现，审稿人对心理学和神经科学领域中的注册报告在研究严谨性和质量指标上的评分普遍高于标准模式下发表的论文。自 2012 年这一格式推出以来，尽管最初只有少数期刊采纳了注册报告，但现在已有超过 300 个期刊提供这种形式，包括 《PLoS ONE》 和由 Springer Nature 出版的《Nature》（Nature 新闻团队与期刊团队的编辑流程相互独立）。虽然 Nature 从 2023 年 2 月起提供注册报告的形式，但尚未发表任何注册报告，其姊妹期刊《Nature Human Behaviour》 已有相关发表。

尽管这种形式（注册报告）日益受到欢迎，但研究人员表示仍存在一些问题需要解决。今年早些时候，瑞士巴塞尔大学的睡眠研究员Christine Blume发表了她的第一篇注册报告，研究光线如何影响人体生物节律，刊登在《Nature Human Behaviour》 期刊上。她表示，尽管她很喜欢在数据收集之前就能收到关于研究设计的反馈——“这让我觉得，我拥有了最佳的研究设计来回答我想解决的问题”——但她发现反馈过程可能持续数月，特别是当研究经费有时间限制时，这可能让人感到沮丧。

Nosek指出，这些实际问题至关重要。他坦承，自己关于注册报告质量的那篇论文本身，并不是一篇注册报告，这是因为资助资金即将到期，团队没有时间经历冗长的审批程序来完成分析。他说，“我们不能忽视实用性，但可以思考如何降低门槛，以便处理更多此类情况”。

提供注册报告的期刊在各个学科之间分布不均；大多数期刊集中在心理学领域，最近也开始出现在神经科学领域。很少有物理科学期刊采用这种形式——尽管零结果，如瑞士日内瓦附近的大强子对撞机自希格斯玻色子以来未能发现新的亚原子粒子，依然是科学进展的重要组成部分。来自英国爱丁堡大学的转化医学研究员和元科学家Emily Sena指出，特别是在预临床领域，几乎没有学者愿意尝试这种形式，尤其是在研究人员在开始实验之前就面临诸多繁琐程序时。

Vazire表示，这种形式在研究人员中推广得很慢，“我们并没有收到许多注册报告的提交”。

Sena和她的同事一直在宣传注册报告，并帮助期刊编辑增强审阅提交的信心。她表示，一些资助机构提供现金奖励：在2022年，开放科学中心向愿意为其研究发布注册报告的意识研究人员提供最高50,000美元的资金。

Sena表示，追踪这些干预措施对学术界边缘群体的影响非常重要。她表示，少数族裔学者更有可能签订一份固定的合同，所以他们没有多少回旋余地去接受可能对整体科学更好、但对个别科学家没有多大帮助的形式。

开放科学中心计划进行试验，随机分配研究人员使用标准出版模型或注册报告，以评估所产生出版物的严谨性、接受率和时间线。预计结果将在2027年公布。

并非所有减少出版偏见的努力都取得了成效。Nosek表示，其中一个很少奏效的尝试是设立专门发布零结果的期刊。这些努力本是出于良好意图，但往往未能奏效，因为这些期刊可能被视为未能在其他地方发表的研究。“它无法提供研究人员所需的激励，”他说道。

Payne曾是这些期刊之一《Experimental Results》的共同编辑，该期刊由剑桥大学出版社出版。她说，尽管得到了“剑桥的认可”，该期刊在仅三年后于2023年停刊。

还有一种越来越流行的自助出版零结果的方法：在预印本服务器上发布手稿。发布预印本可以提供在没有期刊提交压力下展示研究的机会。Pilakouta表示，这一选择对早期职业研究人员尤为有利。Goodman说，尽管如此，无论在哪里发布，撰写结果都需要时间，而在预印本服务器上发布不太可能为研究人员提供足够的激励，以证明花费时间的合理性。

零结果

倡导者承认，并非所有返回零结果的研究都值得发表。Goodman 表示，他鼓励研究人员发布那些“具有信息性”的零和阴性结果，即那些设计严谨、挑战了先前结果并开辟了新研究方向的研究。

例如，长期以来有一种观点认为子宫是无菌的——即子宫和胎儿中不存在微生物。然而，自2010年以来，一系列研究发现胎盘中可能存在微生物污染，这一发现挑战了这一假设，并提出一些妊娠并发症可能与细菌有关。直到2019年，一项对537名女性胎盘样本的研究——迄今为止此类分析中样本数量最多的一项——才严格地显示了没有细菌信号的存在。这项研究为调查微生物群体稀少的组织提供了基准，这些组织因此可能导致假阳性结果，并表明细菌感染并不是妊娠问题的常见原因。

Blume 表示，即使数据结果不确定，也应当从中提取有价值的见解。例如，在2022年，她发现尽管人工光抑制了激素褪黑素，但这并不等同于睡眠质量的变化。她指出，褪黑素不一定能作为睡眠质量的替代指标，这一发现可能为该研究的发表提供了重要依据。

Goodman预测，只要研究人员仍然渴望在顶级期刊上发表文章，出版偏倚就不会消失。然而，他对过去十年的进展感到惊讶：即便在五或十年前，顶级期刊承诺接受所有严格的研究，无论结果如何，这在当时都是“闻所未闻”的。

Pilakouta 目前领导一个实验室，致力于为本科生和研究生树立榜样。然而，她也亲眼见证了对阳性结果的渴望是多么根深蒂固。她表示：“这让我担心这种情况从这么早就开始。”她希望下次遇到零结果时，不会再花费七年时间来发表它。

参考文献

（略，见原文）