eClinicalMedicine (IF=9.6)：模型可视化-15年数据构建预测模型评估女性CSEP术中出血的风险

本次解读的是发表在LANCET子刊eClinicalMedicine（IF=9.6）上的一篇文章《Risk of intraoperative hemorrhage during cesarean scar ectopic pregnancy surgery: development and validation of an interpretable machine learning prediction model》，本研究旨在目标是使用机器学习(ML)技术开发一个可解释的预测模型，以评估女性CSEP术中出血的风险，随后进行外部验证和临床应用。

     剖宫产疤痕异位妊娠(CSEP)是剖宫产术后妊娠的并发症，其特征是早期植入前次剖宫产的疤痕组织。1随着孕周的进展，未能通过手术发现并及时处理这种情况可能导致晚期子宫破裂、术中出血和对母亲生命的潜在危险。无论CSEP患者采用何种手术方法，术中出血的程度都会显著影响手术的成功。虽然最近的研究已经探索了CSEP患者术中出血的影响因素，使用基于单因素的多变量分析的逻辑回归，这种方法往往忽略了变量之间潜在的协方差或非线性关系，从而降低了其处理非线性问题的效率。

     近年来，源于电子病历的机器学习方法得到了临床医生的关注和认可。电子病历在医疗机构中的广泛使用使得能够更精确和方便地收集患者的临床数据。类似地，近年来，ML应用经历了指数增长和加速创新。与传统的统计方法相比，最大似然算法对数据表现出较少的约束，并且具有有效地模拟复杂数据集的能力，导致它们越来越多地被医学领域采用。例如，研究人员设计了一种急性肾损伤(AKI)预测模型，能够在发病前48小时准确预测中度至重度AKI。同样，你赢了李等人。开发了六个机器学习模型，并成功应用于使用患者信息预测疟疾。然而，由于ML模型的复杂性，特别是所谓“黑箱”的存在，直接解释是具有挑战性的。因此，模型解释工具起着至关重要的作用。我们利用模型解释工具(ibreakdown)构建了一个模型解释器，直观简洁地展示了每个变量的贡献。此外，这项研究还利用闪亮的基于网络的工具将模型部署到网络应用程序，便于临床医生直接利用程序预测，而不需要R安装或编程背景知识。

     01 研究参与者

     这是一项多中心回顾性研究，主要包括来自四个三级医疗机构的电子病历数据。模型开发数据包括2008年1月1日至2023年12月31日在山东大学齐鲁医院治疗的1118例CSEP患者；同期在重庆市妇幼保健院接受治疗的CSEP患者189例，在德州市妇幼保健院接受治疗的CSEP患者373例。从聊城市常东富区妇幼保健院获得2021年1月1日至2023年12月31日期间的外部验证数据。医院的入选标准是一致的，要求患者年龄在25-40岁之间，有剖宫产史。此外，首次诊断为CSEP的患者必须通过经阴道超声检查证实为单胎妊娠，没有子宫破裂且血流动力学稳定。此外，没有手术禁忌症的患者需要终止妊娠并参与随访。最后，这项研究排除了不能忍受手术或患有其他恶性肿瘤的人。模型开发的主要结果指标是术中出血，定义为在CSEP手术过程中失血300或更多。

     02 模型预测

     最初，通过系统回顾、荟萃分析，和专家临床意见。这些因素包括人口统计学特征、生育史、医学背景、临床症状和超声检查特征。此外，根据变量缩减原则对候选变量进行了额外筛选，以确定它们是否包含在模型中。采用RF、Lasso、Boruta和XGBoost对20个影响因素变量进行建模。随后，我们根据对结果变量的影响对非零系数的变量进行了排序，并通过取所有四种方法选择的变量的交集来确定共同变量。

     03 模型开发和比较

     在tidymodels框架内，建模数据被随机分成80%用于训练，20%用于测试(内部验证)。随后，数据经过预处理，分类变量被视为哑变量，近零方差变量被消除，数值变量被标准化以减轻过度拟合。最后，使用上述9个预测变量构建预测模型。mice和vim软件包用于缺失数据的处理。在1680例患者中，有19例出现部分变量数据缺失，总缺失率为1.13%。丢失的数据完全是随机的。在RF算法的帮助下，研究对原始缺失数据进行了5次插补和50次迭代，并完成了敏感性分析。利用八种机器学习模型来预测CSEP期间的大出血:朴素贝叶斯(bayes)、多层感知(MLP)、决策树(DT)、K-最近邻算法(KNN)、逻辑回归(LR)、RF、支持向量机(SVM)和XGBoost。此外，使用准确度、受试者工作特征曲线下面积(AUC)和决策曲线分析(DCA)对八个模型进行了评估和比较。使用敏感性、特异性、Matthews相关系数和F1评分对最佳模型进行内部和外部验证。

     04 模型解释和网页应用

     可解释性表示阐明ML模型如何产生结果。ML模型固有的不透明性经常阻碍它们在临床环境中的有效应用，促使人们对提高它们的可解释性进行广泛的研究。在这里，研究设计了一个利用iBreakDown包功能的直观模型解释器；它不仅阐述了预测因素，而且解释了预期的病人结果。该工具独立于任何特定模型运行，并利用输入预测变量进行结果解释，同时支持对单个病例进行预测，并生成部分相关图(PDP)以可视化变量显著性。此外，使用闪亮的软件包功能有助于将9个选择的预测变量和最佳建模集成到一个交互式web应用程序中。

     01 人口特征

     回顾性研究利用了1680例剖宫产瘢痕处异位妊娠患者的样本量来建立预测模型。1680名患者以8:2的比例随机分为单独的训练集和测试集(内部验证集)。此外，使用295名患者的队列进行了外部验证。在1680例CSEP患者中，197例(11.73%)发生术中出血。对于组间比较，孕龄、术前阴道出血持续时间、孕囊或包块的平均直径、前子宫肌层厚度、血清血红蛋白(HGB)水平、血清β-人绒毛膜促性腺激素(β-hCG)水平、孕囊或包块、入院前阴道出血或腹痛、子宫动静脉瘘、妊娠早期胎盘植入谱系障碍和超声成像血流分级(Adler分级)的p值均小于0.05，表明具有统计学意义的差异。

     02 特征筛选

     Boruta迭代地去除统计上不相关的特征，并识别出所有与输出变量表现出强或弱相关性的特征。算法迭代400次后，确认了12个重要变量。XGBoost更快的计算速度是有利的，这导致了准确的训练结果和宽松的数据要求。该模型具有很强的泛化能力和可扩展性，最终确定了19个预测变量。RF、Lasso、Boruta和XGBoost确定的预测变量被选为开发预测模型的公共元素。包括9个预测变量:孕龄、术前阴道出血持续时间、孕囊或包块的平均直径、前子宫肌层厚度、血清HGB水平、血清β-hCG水平、子宫动静脉瘘、妊娠早期胎盘植入谱系障碍和超声显像血流分级。请参考补充图S11韦恩图解。

      03 模型开发和性能比较

     在训练集中，贝叶斯模型表现出最高的准确性，为0.879(95% CI:0.857–0.901)，其次是Logistic模型，为0.818(95% CI:0.798–0.838)。在AUC值比较方面，Bayes模型获得的值为0.882(95% CI:0.860–0.904)，略低于RF模型的最大值0.888(95% CI:0.866–0.910)。当考虑净回报率时，贝叶斯模型显示最大阈值概率为0.41，相应的最大回报率为7.86%，在这方面超过了所有其他模型。在训练集中，当截断值设置为0.968时，灵敏度和特异性分别为0.769和0.868。

       04 模型内外部验证

     在内部验证中，贝叶斯模型对测试集的准确性为0.869(95% CI:0.847–0.891)，AUC为0.822(95% CI:0.801–0.843)，敏感性为0.938，特异性为0.422，Matthews相关系数为0.392，F1评分为0.925。在外部验证中，贝叶斯模型的准确性为0.936(95% CI:0.913–0.959)，AUC为0.853(95% CI:0.832–0.874)，敏感性为0.954，特异性为0.5，Matthews相关系数为0.365，F1值为0.966。这表明，在外部验证中，该模型具有识别CSEP患者术中出血的优异能力。

     05 模型可解释性

     iBreakDown包可以帮助临床医生进行预测。首先，PDP被用来阐明个体预测变量对主要结果测量的影响。如所示补充图S21和S22在CSEP手术期间，孕囊或质量的平均直径与术中出血的预测之间存在正相关；具体来说，较大的数值对应于手术期间CSEP患者术中出血的较高风险。然而，虽然当前部子宫肌层厚度低于0.7 cm时，CSEP手术中术中出血的预测存在波动，但通常表现出负相关——表明较薄的子宫肌层与手术中CSEP患者术中出血风险增加相关。这一发现符合临床实践。此外，患者预测结果主要用于预测术中出血的个体概率。通过随机选择有和无术中重大不良事件风险的个体作为主要结果指标，并计算其预测概率(分别为0和0.863)。

     06 开发方便的应用程序

     研究开发的预测模型可以在本地执行，也可以通过Shiny部署在互联网上，无需R-code软件就可以共享应用程序。输入模型所需的9个预测变量的实际值后，应用程序将自动计算CSEP患者术中出血的概率。网络应用可在线访问(https://cnsdql.shinyapps.io/csep-prediction-model/，测试账号:SuperManagerr，密码:QiLuhospitall)。新用户也可以使用他们的个人邮箱免费注册。

小编说明：

     本研究在中国进行，研究对象的选择主要基于当地人群，治疗策略根据实际临床类型进行匹配。因此，在将结果外推至全球人口时可能存在潜在偏差，这是此类预测模型的常见问题。其次，目前没有计算基于最大似然的预测模型的样本大小的标准，因此，我们采用了多种验证方法来增强模型预测接受CSEP手术患者术中出血的能力。第三，发展模型选择的9个预测变量在入院时已经存在；然而，在现实的临床环境中，手术时间和医生经验等术中因素也会影响术中大出血的风险。此外，在过去15年中，当我们的研究对象接受治疗时，随着诊断和治疗技术的进步，理论上这可以减少CSEP手术中的术中出血。

     这项研究基于来自多个中心医院的EMR数据开发了一个ML模型，在预测CSEP患者术中出血风险方面显示了很强的区分能力和临床实用性。该模型的性能已经在另一家医疗机构进行了外部验证。与之前发布的模型相比，这种新型模型通过严格的变量选择、开发、验证、解释和网络部署实现了卓越的预测准确性。其特点是方便实用，为临床医生指导快速决策提供了重要的临床价值。这可以促进有针对性的术前准备，例如确保输血单位的充足供应或选择有经验的手术团队。最终，这些措施有可能显著减少术中并发症，提高手术成功率，同时告知术后护理的重点。

临床研究的根本使命是发现并解决生命科学领域亟待解决的临床问题，同时，为即将发生的临床难题提供备选解决方案。

打开极智分析—智能医学统计分析平台 https://www.xsmartanalysis.com/ 进行实操吧！