European Respiratory Review(IF=9.0),如何预测儿童哮喘的恶化?机器学习模型给出解决方法。

文摘   2024-11-30 20:00   中国  

点击蓝字 关注我们

本次解读的是发表在European Respiratory Review(IF=9.0)上的一篇文章《Predicting paediatric asthma exacerbations with machine learning: a systematic review with meta-analysis》本研究旨在系统评估和量化机器学习(ML)算法在预测儿童急性哮喘发作住院和急诊科(ED)入院风险方面的性能。

01背景介绍

数字信息呈指数级增长,产生了大量的电子数据或“大数据”。大数据是指大量电子数据,这些数据数量过多,无法以传统方式可视化和存储。大数据有四个主要特征,即1)信息量大,2)数据传播速度快,3)数据类型多样(文本、视频、音频和图像)和 4)真实性可变(数据源并不总是可靠的)。医学是大数据显著增长的主要领域之一。在这一领域,配备传感器的日益智能的技术可以收集大量临床数据并将其传输到网络。现代统计和预测分析软件方法已经实现并引入医学领域,用于分析数据、生成新知识和预测疾病的自然史。人工智能(AI) 是一个总称,包括执行通常需要人类智能的任务的所有计算机系统。机器学习(ML)是基于数学算法的AI的一个分支学科,它通过从临床信息中学习并生成预测模型来模拟归纳推理。在这种情况下,ML越来越多地为表征儿科哮喘异质性和预测其结果提供了新的视角。

哮喘是一种慢性异质性疾病,影响全球约1-18%的儿童。尽管进行了治疗,但仍有高达30%的哮喘儿童患有未控制的哮喘和哮喘发作。哮喘急性发作的特点是哮喘相关症状和肺功能进行性恶化,导致生活质量差、旷课、心理问题和医疗保健系统的高成本。严重的哮喘发作也是导致急诊科(ED)入院、住院甚至死亡的原因。哮喘急性发作与社会经济因素、地理变异性以及烟雾和空气污染物暴露有关。因此,识别哮喘发作风险较高的儿童对于有针对性的干预和改善临床结果至关重要。虽然可以使用传统的风险评估工具,但AI提供了增强预测模型的潜力。

研究进行了系统评价和荟萃分析,以评估该领域AI应用的现状。这里的研究特别关注ML方法在预测儿科人群急性哮喘发作或急性发作的住院和急诊入院风险方面的适用性和准确性。

02方法

01检索策略

设计了一种高度敏感和广泛的检索策略,从主要电子书目数据库(PubMed、Cochrane Library 和 Web of Science)中检索使用组合词“machine learning”和“asthma”和“children”的所有文章。检索策略使用通用词以避免排除可能符合条件的文章。文献综述,包括所有出版年份,于 2023 年 7 月进行。

检索结果使用引文管理软件Refworks进行编译。根据观察性研究报告荟萃分析的质量标准,两位研究人员(M. Votto 和 M. De Filippo)独立筛选了合格文章的参考文献列表。检索合格记录的全文并由相同的研究者独立评估以纳入。任何差异都通过与第三位研究人员(A. Licari)的讨论和共识来解决。通过电子邮件联系了报告数据不明确、有多种解释的出版物的作者,要求澄清或要求提供补充信息。

02纳入和排除标准

研究纳入了过去10年(2013-2023年)实现的回顾性(横断面、病例对照研究)和纵向研究,应用ML算法预测哮喘发作的住院和急诊入院,并招募了诊断为哮喘的儿童和青少年(0-18 岁)。研究排除了评估健康或高危儿童哮喘发展风险的研究。这里的分析排除了临床指南、病例报告、共识文件、临床试验和综述。由于数据有限和潜在的偏倚风险,研究还排除了会议和会议摘要。纳入和排除标准。

03偏倚风险评估

两名研究人员(M. Votto 和 M. De Filippo)独立为每项符合条件的研究分配了总体偏倚风险,如果他们不同意,则咨询第三名评价员(A. Licari)。根据预测模型研究偏倚风险评估工具(PROBAST)评估合格研究的偏倚风险和适用性,该工具评估预测模型研究的偏倚风险和适用性。偏倚风险评估评估工具包含来自四个领域的20个信号问题,如下:1) 参与者,2) 预测因子,3) 结果和 4) 分析。带有评论问题的前三个域也用于适用性判断(低、高或不明确的关注)。总体偏倚风险和适用性问题分为低、不明确或高。

04数据提取

两名评价员使用标准化数据提取表独立从每项符合条件的研究中提取信息,然后继续交叉检查结果。这里提取了以下信息:第一作者姓名、出版日期、国家、设计类型、研究目的、受试者人数、年龄和男性百分比)、入组患者、ML方法、每个模型的曲线下面积(AUC)和 95%置信区间以及最终结果。还评估了所有纳入研究的偏倚风险评估。通过与第三位研究人员(A. Licari)的讨论和共识,解决了评价员之间关于数据提取的分歧。

05数据综合和统计分析

研究检索了AUC及其相应的95%置信区间。用固定效应或随机效应模型总结AUC的估计,并根据DerSimonian和Laird的方法对方差进行加权。采用χ2 检验评价研究间的异质性,并采用I2统计量进行量化。I2是衡量异质性水平的指标,根据低、中、高I2值(分别为25%、50%和75%)分为三类。这里使用的统计软件包为MedCalc statistical software version 22.013 (MedCalc software Ltd, Ostend, Belgium)

03结果

01研究特征

共找到 341 篇文章。在删除 199 篇重复文章后,对 142 篇文章的标题和摘要进行了审查,116 篇文章被排除在该组中。筛选了 26 篇全文,根据人群 (成人研究) 和 ML 应用领域 (哮喘诊断) 排除了 9 篇。对 17 篇文章进行了合格性评估。只有7篇文章符合纳入标准,6篇文章被纳入最终meta分析(图1)

超过一半的研究(4/7)是在过去5年内发表的。6项研究在美国进行,1项在加拿大进行(表 1)。只有一项研究具有前瞻性设计。预测模型开发纳入的最小和最大参与者数分别为291和29 392。3项研究涉及应用AI模型预测急性哮喘发作或哮喘恶化的住院风险,而其他4项研究研究了急诊入院的风险。纳入的研究共开发了17个基于ML的预测模型。最流行的ML算法是逻辑回归(LR)。仅一项研究对泛化测试使用了外部验证。

02 AI模型预测急性哮喘发作或哮喘发作的急诊风险

Gorham等人。回顾性收集了26008名2-18岁哮喘患者的数据。他们开发了一个LASSO(最小绝对收缩和选择运算符)正则化LR模型,预测初级保健就诊后1年内哮喘发作的急诊就诊,称为哮喘紧急风险(AER)评分。对 8634 名患者进行了内部验证,而 AER 评分的外部验证是使用来自第二个站点的 1313 名儿童进行的。在第一个站点(俄亥俄州哥伦布市全国儿童医院),AER 评分在模型训练期间的受试者工作特征曲线下交叉验证面积 (AUROC) 为 0.768 (95% CI 0.745-0.790)。当应用于第二个地点(东卡罗来纳大学)时,AER 评分的 AUROC 为 0.684 (95% CI 0.624–0.742)。AER 评分证明了内部的可靠效度,但外部效度取决于重新加权模型组件以反映外部站点的局部数据特征。

在哮喘儿童中,既往频繁使用ED和保险状态强烈预测未来ED入院。Das 等人。确定了几个与未来因哮喘恶化而入院ED显着相关的临床、人口统计学和医疗保健利用因素。他们实现了一个准确的预测模型,可以根据之前的急诊就诊历史和保险状态来识别未来频繁入院的高风险儿童。他们发现,一年内ED就诊超过4次的公共保险患者和一年内ED就诊超过6次的私人保险患者在下一年频繁使用 ED 的可能性为 ≥50%。ML模型的AUC高(0.86)但敏感性低(23%)和阳性预测值(PPV)(56%)。

Toti 等人。开发了一种算法来预测与室外空气质量相关的哮喘发作风险。他们发现,接触臭氧和化学混合物的危害更大,并且与哮喘恶化有关。

Farion 等人。使用 ML 技术构建了五个预测模型来预测哮喘恶化。他们招募了 240 名患有哮喘的儿童和青少年(1-17 岁),并收集了有关患者病史和当前哮喘恶化发作的数据。然后,他们将最有效的模型与儿科呼吸评估测量 (PRAM)评分和急诊医生做出的预测进行了比较。朴素贝叶斯 (NB) 模型表现出最佳性能。NB 模型的预测不如 PRAM 评分和医生准确(准确率分别为 70.7% 、 73.2% 和 78.0%),尽管预测之间的差异没有统计学意义。

03用于预测急性哮喘发作或哮喘发作住院风险的 AI 模型

Hurst 等人。探索了开发临床决策支持工具的潜力,以识别在30天、 60天和180天内哮喘发作风险高的儿童。他们使用电子健康记录(EHR)系统中通常捕获的数据。它们包括空间(邻里)和时间环境(每日气候、花粉和季节性流感)数据,这些数据是公开可用的,而不是在EHR中常规捕获的。该模型(包括所有预测变量)性能中等(AUC ∼0.76),PPV 在180天内最显著。

Hogan 等人。将传统模型 (Cox 比例风险和 LR) 与人工神经网络 (ANN) 模型在预测180天内哮喘再入院方面进行了比较。他们回顾性地招募了患有哮喘的儿童,并收集了几个社会人口学变量和医院特征。在ANN建模中,9个因素与再入院率显著相关。4例与Cox模型重叠(住院时间、主要支付者、季节和县规模),而5例是唯一的(年龄、医院床位号、教学医院状况、周末指数入院和复杂的慢性病),表明ANN模型在识别关键的再入院危险因素方面更准确 。

Patel 等人。比较了四种ML方法在预测儿童哮喘住院方面的性能。他们回顾性收集了分诊期间可用的临床数据,包括有关天气、社区特征和社区病毒载量的信息。每个模型的AUC为决策树 0.72 (95% CI 0.66-0.77)、LR 0.83 (95% CI 0.82-0.83)、随机森林 (RF) 0.82 (95% CI 0.81-0.83) 和梯度提升 (GB) 机器 0.84 (95% CI 0.83-0.85)。生命体征、敏锐度、年龄和体重是预测住院的最重要变量,其次是社会经济地位和天气相关特征。他们开发了一个模型,仅使用分诊期间可用的数据来预测儿科哮喘住院率。GB机器模型是最准确的。

04ML 算法的准确性

基于ML的模型的判别能力是可变的。AUC在6项研究和16个模型中报道。总体而言,哮喘恶化模型的最佳预测性能在0.56到0.86之间。研究纳入了6项研究(16个模型),这些研究具有足够的数据,并在随机效应meta分析中汇总了这些研究的绩效指标。预测哮喘发作ED入院的汇总AUC为0.67 (95% CI 0.61-0.73;我2=99%;p<0.0001 表示异质性),表明鉴别能力较弱(表 2 和图 2a)。相比之下,预测儿童哮喘发作住院的汇总AUC为0.79 (95% CI 0.76–0.82;我2=95%;p<0.0001 的异质性),表明更好的鉴别能力(表 3 和图 2b)。

05偏倚风险和适用性评估

使用 PROBAST,5项研究的总体偏倚风险被评为高,2项研究的总体偏倚风险不明确。 所有研究都对受试者的适用性有很高的担忧,主要是由于回顾性设计、基于国际疾病分类(ICD)-9 和 ICD-10 代码的哮喘定义或哮喘治疗。纳入的文章均未使用全球哮喘倡议(GINA)或欧洲呼吸学会/美国胸科学会(ERS/ATS)对哮喘发作的定义来选择人群。预测因子的偏差主要来自当地条件的特定因素,包括气候变量、当地污染暴露和呼吸道病毒的传播。分析中不明确的偏倚风险主要是由于需要完整的信息和数据。

06发表偏倚

采用Egger和Begg检验来检验发表偏倚。评估ML模型预测哮喘发作或恶化ED入院的研究未发现发表偏倚(分别为p=0.21和p=0.14)。然而,在评估ML模型预测哮喘住院率的研究中发现了发表偏倚(分别p=0.02和p=0.04)。

04结论

研究对基于ML的预测模型进行了系统评价,这些模型旨在评估儿科人群因哮喘发作或发作而入院或住院的风险。这里的分析确定了6项研究,共涉及16个预测模型。这些研究表明,他们的设计(前瞻性与回顾性、样本量和模型验证方法)、数据来源、参与者人口统计学、哮喘的定义和相关结局以及所采用的特定ML算法具有高度异质性。 重要的是,这些研究中的大多数都是最近发表的,这反映了人们对医疗保健领域AI驱动方法的兴趣日益浓厚。LR和RF是预测哮喘发作最常用的模型。

早期识别因哮喘发作而入院或住院的ED高风险儿童可能有助于儿科医生更密切地管理他们并及时干预。这里的研究结果表明,ML模型可以准确预测哮喘恶化,突出了它们作为有价值的决策工具的潜力。然而,未来的研究应侧重于通过外部验证提高其通用性,以及它们的实用性和临床工作流程集成,以成功地将ML模型转化为临床实践。通过应对这些挑战,最终可以利用ML的力量来改善哮喘儿童的生活,减轻医疗保健系统恶化的负担,并最终提高儿科哮喘护理的质量。

结语

临床研究的根本使命是发现并解决生命科学领域亟待解决的临床问题,同时,为即将发生的临床难题提供备选解决方案。

打开极智分析—智能医学统计分析平台 https://www.xsmartanalysis.com/ 进行实操吧!


往期精彩回顾

【1】LANCET(IF=90+):机器学习+SHAP+风险分层=非ST段抬高急性冠状动脉综合征患者GRACE评分的性别特异性评估

【2】《Molecular Therapy-Nucleic Acids》(IF=8.8): 组学分析+机器学习 =子宫内膜癌分型系统

【3】《CARDIOVASC DIABETOL》(IF=8.5),糖尿病前期和肝脂肪变性对年轻人心脏代谢结局的综合影响

【4】《CARDIOVASC DIABETOL》(IF=8.5),估计葡萄糖处理率和心血管疾病发病率的变化

【5】LANCET子刊(IF = 9.6):深度学习使用磁共振血管造影数据构建烟雾病自动诊断模型

扫二维码

关注我们

公众号|极智分析

知乎|极致分析

B站|极智分析



极智分析
为临床、科研人员提供一站式临床研究在线分析建模平台;提供医学统计咨询服务;提供临床数据分析服务;提供医疗大数据建模服务;分享研究进展、临床研究设计方案、询证医学案例。
 最新文章