NEJM统计学编辑:敏感性分析,必须严管

学术   2024-09-23 17:03   上海  
敏感性分析在临床研究中用于评估不同分析和假设对研究结果的影响,从而判断其稳健性。然而,关于敏感性分析的概念仍存在一些常见误区,例如试图通过符合方案分析来评估意向性治疗分析的稳健性,或将亚组分析视为敏感性分析此外,研究者如果在未预先制定分析计划的情况下进行事后敏感性分析,可能会引入多种潜在偏倚

2024年9月14日,《新英格兰医学杂志》(NEJM)在线发表由布朗大学公共卫生学院统计学系系主任、NEJM统计学编辑Joseph Hogan教授和波士顿大学公共卫生学院统计学系Debbie Cheng教授共同撰写的观点文章,深入探讨这些误区与注意事项。

作者指出"预先计划并将其纳入统计学分析计划至关重要"并呼吁作者"避免使用敏感性分析取代预先设定的主要分析",也要"避免根据敏感性分析得出确定性结论"。

我们在此发布中文翻译,阅读英文原文,请点击文末“阅读原文”。

                                          


敏感性分析:理性感性

The Sense and Sensibility of Sensitivity Analyses

Cheng DM, and Hogan JW

DOI: 10.1056/NEJMp2403318


临床医师和公共卫生官员工作中会做出影响患者和人群健康的循证决策,而现在比以往任何时候都更需要一种有清晰指导原则的方法,用于评估和解读科学研究结果的稳健性。随机临床试验常进行敏感性分析,美国食品药品管理局(FDA)和其他机构也为此制定了指南,但人们对敏感性分析的目的及如何正确报告分析结果仍存在误解。由于敏感性分析有可能影响试验结论、试验表述方式,以及政策和临床实践,因此有必要对其做出进一步阐明。


敏感性分析评价的是分析决策和假设可以在多大程度上影响试验结果,从而评估试验结果稳健性。敏感性分析应预先制定计划并纳入统计学分析计划(SAP)。敏感性分析旨在评价选择的分析方法或面临的挑战(如数据缺失)是否影响关于治疗效应的推断。有时可能需要进行事后敏感性分析,但应充分说明使用这些分析的理由(例如违反主模型的基本假设),并尽可能少使用这些分析,因为这些分析会引入多种潜在的偏倚来源(如数据挖掘、选择性报告和第一类错误率膨胀),因此可信度低于预先计划的分析。


试验SAP要求预先设定分析方法,包括对其中的各个要素做出选择。例如使用特定统计学模型,提出可检验的假设(如两个变量之间呈线性关系),以及提出不可检验的假设(如缺失或删失数据的分布)。敏感性分析用于研究对分析中的这些要素做出合理替代选择时所产生的影响。通常情况下,有关模型设定和结局分布的假设可通过观察数据进行检验,而有关缺失数据和删失数据的假设则不可检验。敏感性分析应分别处理以上两类假设。


例如,在采用二元终点的整群随机试验中,可选择的分析方法包括:包含正态分布随机截距的混合效应逻辑斯谛回归模型和包含群组固定效应的逻辑斯谛回归模型。对建模假设所做的选择将导致对于治疗效应的不同推断。常用的缺失数据模型需依赖随机缺失(MAR)假设,即缺失概率仅取决于观察数据,而不取决于缺失值本身。虽然仅凭观察数据无法评估这一假设,但敏感性分析可以量化有关治疗效应的推断在多大程度上依赖缺失数据假设。为达到这一目的,可以根据一系列不同假设对缺失数据进行填补,然后比较不同场景下所得出的关于治疗效应的推断。使用模式混合模型(pattern-mixture model)进行多重填补为上述分析提供了一种结构化方法。


另一种方法是临界点分析。该方法在一系列与主要分析不同的缺失数据假设下对数据进行再分析,以确定主要分析得出的定性结论被推翻的临界值。如果临界点在临床上不合理,则提示对于缺失数据假设,主要分析得出的定性结论是稳健的。在不同的缺失数据假设下生成一系列可能的结果,可以说明由于缺乏有关缺失数据的信息,推论具有不确定性;如果在一系列合理假设下,关于治疗效应的定性结论没有变化,则可以认为主要分析是稳健的。


关于敏感性分析,目前存在一些常见误区。某些类型的分析看似在评估稳健性,但实际上并非如此。例如,使用最大似然法拟合参数随机效应模型,并分析不完整纵向数据的做法很常见(该方法隐含了MAR假设,无需对缺失数据进行填补)。使用相同模型进行第二次分析,但通过多重填补法填补MAR的数据,预计会得出相同的治疗效应推论,因此一般不构成敏感性分析。与之类似,在样本量较大的情况下,使用具有弱信息先验分布(weakly informative prior distributions)的贝叶斯分析与使用相同模型的频数分析预计将得出明显不同的结论。将此类比较作为敏感性分析进行报告,会给人一种虚假的稳健感。


对探讨不同研究问题或估算不同模型参数的分析进行比较也不构成敏感性分析。例如,符合方案分析不能评估意向性治疗分析的稳健性,因为它只适用于依从所分配治疗方案的参与者。亚组分析不是敏感性分析,因为它们评估的是治疗效应的异质性,而不是对所选择分析方法和假设的敏感性。当敏感性分析所估算的参数与主要分析所估算的参数相同时,敏感性分析的效用最大,结果解读也最清晰。


当关于治疗效应的推断依赖于使用模型时,预先设定敏感性分析的必要性尤为明显。如果没有预先设定,就很有可能出现偏倚,因为是否开展进一步分析的决策可能取决于研究者对主要研究结果的看法:如果研究结果看似良好,研究者可能会希望避免结果受到质疑;如果研究结果看似不太好,他们可能会希望寻找“更好的”结果。我们告诫大家不要采用上述两种做法,并再次强调敏感性分析的目的是系统性评估主要分析的稳健性;报告结果时也应以此为目的,必须透明地报告预先设定的主要分析,无论敏感性分析的结果如何。


根据前文介绍的原则,我们对敏感性分析结果的报告提出几项建议。


首先,应将对关键选择和假设所做的敏感性评估汇总到一个表格中,在表格中比较主要分析和每项敏感性分析的结果。表格应包括治疗效应估计值、置信区间及每项分析所依据的假设。


其次,治疗效应的比较应包括统计学不确定性;仅比较点估计值既不合适,也没有科学意义。为了评估主要分析和敏感性分析的实质结论是否存在差异,研究者应同时考虑点估计值和置信区间,或以标准误差单位表示治疗效应差异。虽然这两种方法都不是比较不同分析结果的正式检验,但都是纳入不确定性指标的实用方法。关于如何确定稳健性,并没有固定规则,但上述方法都考虑了不确定性指标。


第三,研究者应解释每种方法做出的假设,以及数据是否支持可检验的假设。当主要分析和敏感性分析的结论大相径庭时,这种背景分析尤为重要。对于可检验的假设,如果两个模型得出的结论存在质的不同,可行做法是根据经验评估哪个模型更合适。提出的假设较少,因而也更灵活的模型可能更受青睐,但仍必须报告预先设定的主要分析。对于无法检验的假设,如有关缺失数据的假设,当敏感性分析显示的治疗效应可能不同于主要分析显示的治疗效应时,作者应报告在一系列合理假设下的结果范围,而且可能应包括临界点分析。我们无法确定在几个无法检验的假设中哪个“更好”;但是,敏感性分析提供了有关主要分析稳健性的重要信息。FDA发布了关于存在可检验和不可检验假设的情况下,采用结构化方法进行敏感性分析的指南。


第四,研究者应根据主要分析得出关键结论,并使用敏感性分析说明因建模选项和无法检验的假设而带来的不确定性大小。如果认为主要分析所依据的可检验假设不适当,则应报告这一评估结果。但是,作者应避免使用敏感性分析取代预先设定的主要分析,也应避免根据敏感性分析得出确定性新结论。对于所有分析都应透明报告、明确说明(如主要分析 vs. 敏感性分析,预先计划的分析 vs. 事后分析)。


敏感性分析有助于评估试验结论的效度。由于试验数据会直接影响患者医疗、资源分配和公共卫生政策,因此需要仔细思考,预先计划并正确报告试验数据。采用有清晰指导原则的方法,确保负责地实施、报告和解读敏感性分析,将提高试验的科学信度,并改进医学知识和患者医疗质量。



版权信息

本文由《NEJM医学前沿》编辑部负责翻译、编写或约稿。对于源自NEJM集团旗下英文产品的翻译和编写文章,内容请以英文原版为准。中译全文以及所含图表等,由马萨诸塞州医学会NEJM集团独家授权。如需转载,请联系nejmqianyan@nejmqianyan.cn。未经授权的翻译是侵权行为,版权方保留追究法律责任的权利。


点击下方名片,关注《NEJM医学前沿》


嘉议肿瘤
“嘉议肿瘤”由J-Med打造,汇聚全球知名肿瘤期刊内容,致力于传播高水平肿瘤及出版知识,为中国医生传递真实、权威肿瘤医学信息及研究成果。
 最新文章