【文献速递】一种分配稀缺COVID-19单克隆抗体的机器学习方法:因果推断结合政策学习树

文摘   2024-10-17 08:01   江苏  

作者


Xiao mengli 博士,目前是科罗拉多公共卫生学院生物统计学与信息学系助理教授,也是创新设计与分析中心(CIDA)教员,她的研究领域主要集中于方法学研究,Meta 分析,数据集成,因果推断,观察性研究,贝叶斯推断。


下面两篇文章同样也是Xiao mengli参与并发表的文章,也是比较好的文章。



这是有关NMV-r在Omicron变异株BQ.1/BQ.1.1/XBB.1.5占主导时期对COVID-19门诊患者的有效性,文章主要采用Firth逻辑回归处理低事件率完全分离的问题,分段线性时间模型比较不同Omicron变异株占主导时期的NMV-r治疗效果。



这篇文章主要关注系统评价和meta分析中使用基于手臂(arm-based)模型的稳健性,主要是为了解决同一主题的不同meta分析可能会得出不同的结论的问题。研究的主要目的是开发一种新的基于“临界点”(tipping point)的方法,用于在贝叶斯框架内评估meta分析结果的稳健性。采用了贝叶斯广义线性混合效应模型(BGLMM)马尔可夫链蒙特卡洛(MCMC)算法临界点分析等,大家有兴趣可以进行参考。

背景



新冠疫情时新冠病毒对现代医疗系统造成的前所未有的压力,导致关键药物、医院床位和其他资源的短缺。面对这些稀缺,政策制定者在信息不足的情况下,努力优化公平和效率的伦理价值,制定药物分配政策。中和单克隆抗体(mAbs)成为早期可用于减少轻中度COVID-19进展到重症的治疗方法,但由于人力和资源的短缺,mAb的分配受到限制。传统的分配政策如专家共识,简单回归模型,先到先得,抽签,加权抽签等方法,未能充分考虑影响重症进展的复杂因素。因此,研究者们提出了政策学习(PL)这一机器学习方法,以利用观察数据制定优化的治疗分配规则。该方法结合患者的多种因素,旨在最小化住院率并改善健康公平。研究的目标是开发一个基于PL的点分配评分系统,以优化mAb的分配,并与其他分配方法进行比较,以寻找未来应对治疗短缺的最佳方案。



研究使用电子健康记录(EHR)数据合并全州疫苗接种和死亡率数据,队列纳入所有SARS-CoV-2检测阳性的患者,这些患者的单克隆抗体符合FDA 紧急使用授权条件(EUA),并排出了除了在SARS-CoV-2检测结果呈阳性时已经入院的个体。然后将患者队列分成训练集和测试集,本研究的数据划分不同于以往整体数据随机分割,而是取2021.10.01 - 2021.11.11  的数据作为训练集,这个时间段是科罗拉多州由于医疗保健压力而实施危机护理标准的时间,并且面临比2021年夏季更多的住院和患者就诊数量,因此样本量很大。另外有41%的人群接受了治疗,因此PLT模型中有大量接受治疗的患者,可以对治疗分配和患者协变量之间的关系进行建模。取2021.06.01 - 2021.10.01数据作为测试集,因为6月至10月期间经历了最严重的单抗短缺,这使我们能够在资源短缺的情况下评估所提出的方法(测试队列21%的人接受了治疗,而培训队列接受了41%的治疗)。另外作者也对模型进行了随机分裂来进行敏感性分析,会在结果部分进行展示。


方法





文章整体采用潜在结果模型(RCM)因果推断框架结合政策学习树进行分析,具有一定的创新型。潜在结果模型和结构因果模型(SCM)是因果推断的常用框架,SCM是Judea Pearl提出,主要用来解决因果关系发现问题,即变量两两之间是否有因果关系?如果有,谁是因谁是果?优点便是以因果图(Causal Diagram)的形式展现,推导变量之间的因果关系,更加直观。在一个有向无环图中引入了 do 操作,这个图便有了因果的含义。但缺点也是很明显,在变量较多,关系复杂时,构建困难。因此适用于变量较少场景,SCM可以更好地描述变量关系,结果置信度高。RCM由Donald Rubintichu ,主要关注因果效应评估(Causal Effect Estimatation),即研究“因”的改变能带来多少“果”的变化。因此他淡化了因果关系,无法系统的论证变量是否存在因果关系,更加关注因果效应的评估,变量较多时,RCM可降低分析复杂度,使效应评估变得可行。


文章整体进行了两阶段的分析,第一阶段是双重稳健的条件平均处理效应的估计(DR-CATE),这是因果推断的重要组成部分,对揭示研究处理(如治疗、干预或政策)对结果的影响或者说理效果的异质性提供估计,可以帮助政策制定者在资源有限的情况下优化决策。第二阶段则是用DR-CATE来优化政策学习树(PLTs)模型,然后根据提取的变量构建线性回归模型,建立基于政策学习树的评分系统,根据实际可治疗病人比例c,计算所有病人分数的(1-c)分位数便是分数阈值,则大于等于分数阈值的便可以获得分配。具体如下:


Stage 1i :随机森林模型获取治疗倾向估计边缘结果估计,采用观察分配模型和结果模型,其中W表示处理,X是包含一个患者所有的协变量的向量,Y是治疗效果。在R语言中则使用“grf”包中的causal_forest函数。模型采用的袋装样本训练,而评估采用的袋外样本,在构建模型时,从原始数据集中随机抽取一部分数据用于训练,这部分数据称为袋内样本。未被选入袋内样本的数据称为袋外样本。通常,约三分之一的数据会被留作袋外样本。可以提供无偏的模型评估,避免过拟合,因此在训练模型时不需要单独划分验证集。体现在模型中就是设置里面的参数sample.fraction为62~64%。然后根据结果计算调整的治疗倾向以及残差,通过Robinson 估计量,即通过最小损失函数,计算残差与条件处理效应乘调整后的处理倾向的最小值,通过增加一个正则项简化模型,避免过拟合,这样就可以获得使估计的结果与真实结果之间差异最小的条件平均处理效应,减少未被模型捕捉的部分,减少偏倚。接着进行增强的逆概率加权双重稳健估计。公式由两个部分组成,一个是前面的处理效应模型,即接受处理和不接受处理的潜在结果之间的差异。另一部分是逆概率加权,当W=1时,系数便简化为治疗倾向得分的倒数,即1/e(x),当W=0时,便简化为1-治疗倾向得分的倒数,即1/1-e(x)这是容易理解的。如果处理效应模型正确,即使 IPW 部分有偏差,整体估计仍然无偏。如果逆概率加权(IPW)正确:那么即使处理效应模型有偏差,通过加权可以校正选择偏差,使得整体估计无偏。R语言中函数double_robust_scores可采用CAIPWL (交叉拟合增强逆倾向加权学习)的矩阵计算,公式如下,



关于政策学习树目前已知的方法就只有R语言中policytree包,可以用policy_tree这个函数,里面参数文章设置如下:depth = 4,split.step = 3, min.node.size = 50。


变量的重要性文章定义为PLTs集合中所有树的每个深度上分割协变量的加权频率和来计算变量的重要性。其中父节点的权重高于子节点,即用深度的平方作为分割协变量频率的权重。公式如上图。基于上面的结果,我们就可以建立基于政策学习树的评分系统。采用线性回归模型,协变量则采用基于政策学习树集合获得的前五个重要的协变量和性能最好的政策学习树所包含的变量之间的2,3,4向交互,通过向前选择阈值为p=0.05选择变量。因变量则是双重稳健条件平均治疗效应,然后选择的协变量的回归系数除以绝对值最小的回归系数,取整,便可得到每个协变量的评分。为了能够让公众理解使用基于PLTs评分来进行分配的合理性,绘制个体患者获益图。横坐标为基于PLTS单个患者治疗分配分数,纵坐标则是绝对风险降低,即治疗组和对照组之间的事件发生率差异。或者说1/NNT,NNT是治疗所需人数,它表示为使一位患者受益所需治疗的患者人数。NNT越小,治疗效果越好,也是流行病学常用的一个指标。住院率可以借助反事实结果计算,然后对不同的分数分组,分别计算治疗组和对照组的绝对风险差异(RD),便可以进行线性回归。这样便将评分与条件平均治疗效应关联在一起。



整体实时分配流程示意图。在刚开始时使用专家共识或者小样本的简单回归。当样本量达到最低的阈值时,便可以使用实时的数据进行政策学习,便可以获得对应的评分系统。计算评分并且计算分位数。然后通过临床的输入,治疗容量即预期的符合条件的病人比例为c,则计算所有病人(1-c)分位数就是阈值。分数大于等于这个阈值的病人就可以获得分配。

结果



基线特征部分:可观察到训练集中接受治疗的病人比例多,利于训练模型,这便是之前说明的数据这样划分的原因之一。另外可以看出训练集和测试集接受治疗的病人的合并症比例都很大,这说明当时分配治疗也有一定合理性。同时接受治疗的病人28天住院率都比未接受治疗的低,这也说明单克隆抗体治疗新冠的有效性。



文章通过将全部数据随机分成60%训练队列和40%测试队列,进行敏感性分析。可以观察到,在PLTs中前五个最重要的变量与主要发现相似,最后,通过从随机分割后的数据中开发基于PLTs的点系统,发现在随机测试队列和临床分割后的测试队列中,通过两种数据分割方法训练后的分数在2511名重叠测试患者中具有相似的分布。



与观察到的治疗分配相比,基于PLTs的治疗分配导致总体预期住院率估计减少1.6%,NNT=(1/1.6%)=63,也就是每治疗相同条件的患者63例,PLTs就能比观察到的分配少一例住院。



最佳的政策学习树来看,当将单抗分配给未完全接种疫苗、患有心血管疾病、未免疫抑制和肥胖的患者时,表现出最大预期减少的住院,NNT=5。

作者通过对观察到的分配,政策学习,结局风险模型三个模型的协变量的重要性都进行的计算,整理提取的协变量如下。



观察到的和PLT分配方法都确定65岁及以上是减少住院治疗分配的潜在高度影响因素。通过基于PLTs的治疗分配发现,完全接种疫苗、年龄在45至65岁之间、肥胖的人群可能会影响治疗减少住院治疗的方式; 然而,这些因素并没有通过观察到的治疗分配来确定。在基于plt的分配中,种族和民族被排除在外,这是因为美国对种族问题比较敏感,所以用种族民族做为分配的协变量是不恰当的。然而,在基于PLTs的分配中纳入种族和民族变量的敏感性分析中,预测治疗效果的前5个重要变量保持不变(如下图所示)。



PLTs可以解决使用结果风险模型的标准评分方法的一个根本缺陷:缺乏治疗信息。仅依赖结果风险模型的方法可能会忽略那些从治疗中获益最多但不接受治疗而住院的患者,例如65岁及以上的个体住院的风险并不高(因为65岁及以上这个因素并不在结果风险模型前五个重要的协变量),但会观察到治疗对住院的巨大影响(年龄65岁及以上这个因素在PLTs模型中协变量重要性是排名第一)。



表2显示了最终基于PLTs的积分系统,与之对比的是单克隆抗体筛选评分MASS,在各种治疗阈值中,基于PLTs的积分系统比MASS减少了28天住院率(最大总住院率差异,- 1.0% [95% CI, - 1.3%至- 0.7%]),另外可以看到基于PLTs的分配也具有更低的NNT。当单抗较少时,基于PLTs的积分系统比MASS观察到更大的益处(在单抗分配的比例在55%之前,PLTs益处都更大)。


此外,在超过55%的人群可获得治疗后,MASS的分数阈值都为0,也就是MASS将治疗分配给整个测试队列,而在分配治疗在0.65之前,PLT都还具有分配稀缺资源的能力。



这个补充结果给出了不同训练样本下的模型的训练性能,蓝色虚线是如果在测试数据中应用真实且最佳政策所获得的最优风险降低/政策价值,第一个贴合这个蓝线的,说明达到了实现最低风险降低的最低样本,文章模拟出的结果说明建立的模型的样本阈值是250,说明要使用PLT模型,必须使样本量达到250以上。右边这个图是个体患者获益图,即基于PLT的个体患者分配分数与风险差异RD的线性关系图,可以看到分数越高,风险差异越高,获益越大,这样就可以理解当可分配的比例为c,要计算患者整体基于PLT评分的(1-c)分位数作为分数阈值。

讨论



关于阶段1相关的假设如下,独立性: 在考虑了协变量后,治疗应与潜在结果独立,即没有未被测量的混杂因素。另外个体的潜在结果(例如,住院)仅依赖于他们接受的治疗,这样才可以从依赖推理到因果,第三,正性假设: 每种治疗的接受概率为0到1,开区间,第四便是独立同分布,患者数据应来自同一分布,并且是独立的。研究使用因果森林的优势如下,可以处理处理缺失协变量数据,第二是提供双重稳健估计器,确保CATE的估计一致性。第三框架灵活,能够处理患者协变量与结果之间的非线性效应和交互作用。尤其是和简单线性回归相比。第四可以估计各种结果类型的条件平均处理效应(CATE),如连续性,二元分类,有限二阶矩的结果,本文的住院结局是二分类,因此可以使用CATE。


政策学习树(PLTs)的优势:

PLTs增强了传统 PLT 的功能,可以分析重要的患者协变量并构建评分系统。

采用重抽样和袋外(OOB)样本来减少变异性和过拟合,相较于单一 PLT 更加有效。

方法学的局限性,PLT 可能需要较大的样本量才能有效确定最佳政策值,使用因果森林估计 CATE 也需要较大的样本量,特别是在稀疏的二元结果情况下。可以通过模拟确定样本量的最低阈值。树集成方法在计算上可能比较耗时,尤其是样本量、协变量数量和树的复杂性增加时。因果森林在处理高维协变量交互作用时可能存在困难,并且在复杂数据集中可能违反正性假设。

总结


文章整体利用了因果推断的方法计算平均因果效应,借助平均因果效应来建立优化政策学习模型,接着再通过政策学习筛选的协变量建立评分系统。

因果推断实际应用包括因果发现、因果量识别、因果效应估计、反事实推断和政策学习。因果推断方法的分类,包括基于设计的因果推断方法、基于潜在结果框架的因果推断方法和基于结构因果模型的因果推断方法。文章借助潜在结果框架因果推断方法,计算DR-CATE,并且巧妙的结合PLTs,这是比较少见的,对于决策进行具有重要意义。



撰写丨赵黎明

审核丨周吉芳

药物流行病学学会学生分会
一群药物流行病学研究者。
 最新文章