IF-12.4 | 可解释机器学习模型在减重成功早期预测中的应用:基于体重动态特征的优化与跨数据集验证

文摘   2024-11-30 19:06   美国  

医学科研新动向

A machine-learned model for predicting weight loss success using weight change features early in treatment

npj digital medicine

<2024年11月29日>

肥胖作为全球主要的公共健康问题,带来了严重的医疗和社会负担。当前的“黄金标准”减重干预,如高强度行为治疗,虽然效果显著,但由于成本高、执行复杂,难以广泛推广。分步式治疗模型提供了一种可扩展的解决方案,即通过起步阶段的低强度干预识别非响应者,并为其逐步增加更高强度的治疗。然而,这种模式面临两大核心挑战一是缺乏准确、快速的预测模型,二是治疗调整时间滞后(通常需2-3个月)。 随着技术进步,智能体重秤等移动健康工具可以高频监测体重变化,提供更细化的动态特征,如体重波动和趋势。这为建立高效的预测模型提供了可能。同时,利用机器学习模型结合可解释性分析工具(如SHAP)提高了预测透明性,增加了临床决策的信任度。基于此,本研究旨在通过机器学习模型,结合初期体重动态特征与基线静态特征,开发一种精准、通用且可解释的预测工具,以优化肥胖分步式治疗效果

研究设计

1. 数据来源与模型开发

  • 数据来自三个研究:SMART、Opt-IN、ENGAGED,总计1058名参与者。

  • SMART(开发数据集,n=281):采用智能体重秤进行客观测量。

  • Opt-IN与ENGAGED(验证数据集,n=472):主要基于自我报告。

2. 模型开发流程

数据清洗与特征提取:

  • 动态特征:如两周内体重变化的均值、范围、斜率、波动性。

  • 静态特征:如年龄、性别、身高、心理自我效能。

3. 机器学习方法:

  • 比较多种模型(随机森林、逻辑回归等),最终选择随机森林。

  • 模型评估:训练集占60%,验证集占20%,测试集占20%。外部验证采用Opt-IN和ENGAGED数据集。

4. 主要工具

  • SHAP解释模型特征贡献。

  • 性能指标:AUROC、AUPRC、F1加权得分。


核心结果

1. 基线特征

1)SMART数据集:

  • 训练集:169人(60.1%),验证集:55人(19.6%),测试集:57人(20.3%)。

  • 性别比例:女性占比在训练集、验证集和测试集中分别为72.8%、72.7%、75.4%。男性占比相对较低(约25%)。

  • 种族构成:非西班牙裔白人占主要比例(约60%-62%),其次为非西班牙裔黑人(18%-22%)。

  • 减重成功率:平均成功率为39.0%,其中训练集为38.5%,验证集为38.2%,测试集为40.4%。

2)Opt-IN 数据集:

  • 女性占80.8%,男性为19.2%。

  • 减重成功率略高,为52.7%。

3)ENGAGED 数据集:


  • 样本量较少(30人),女性比例为90%,减重成功率为36.7%。


2. 不同预测模型的性能比较

随机森林模型、传统临床决策规则和逻辑回归模型的表现进行了详细比较,分别评估灵敏度、特异性、F1加权得分、AUROC、AUPRC等指标。

1)传统临床决策规则:

  • 基于>0.5磅/周的减重标准。

  • 灵敏度: 5.5%,大多数减重成功者被错误分类。

  • 特异性: 81.4%,表明预测减重失败者的准确性高。

  • F1加权得分: 44.4%,预测性能有限。

2)逻辑回归模型:

  • 静态特征:AUROC:68.4%,特异性较高,但灵敏度较低(31.8%)。

  • 动态特征(第14天体重变化):灵敏度提升至40.9%,AUROC达到76.1%,但预测性能仍不如随机森林。

3)随机森林模型:综合动态和静态特征。

  • 灵敏度:82.2%,显著提高了对减重成功者的捕捉率。

  • 特异性:71.1%,能平衡预测成功与失败的准确性。

  • AUROC:84.5%,AUPRC:86.3%,均显著高于其他方法。

  • Brier评分损失:0.173,表明模型校准效果良好。


3. SHAP解释性分析图
SHAP分析图提供了随机森林模型中每个特征对预测的重要性排序,以及特征方向性对预测成功的影响。

1)关键特征重要性(按SHAP值排序):

  • 第14天减重量:对预测成功的贡献最大,SHAP值接近0.08,减重越多,成功可能性越高。

  • 最大体重值和75分位数:反映体重波动范围,与减重失败相关。

  • 斜率:体重变化趋势越稳定(斜率越平缓),减重成功率越高。

  • 基线特征(如年龄和身高):虽然重要性较低,但在综合预测中具有一定作用。

2)方向性分析:

  • SHAP图揭示了体重波动越大(如较高的变异范围和最大值),减重失败的可能性越高。

  • 动态特征的解释性强于静态特征

4. 外部数据集泛化性评估的ROC曲线

ROC曲线比较了随机森林模型在Opt-IN和ENGAGED数据集上的泛化性能,展示了模型的灵敏度与特异性平衡。

1)Opt-IN数据集:

  • AUROC:72.6%,模型能较好地区分减重成功者与失败者。

  • 曲线接近45度参考线,说明数据集的挑战性较大。

2)ENGAGED数据集:

  • AUROC:84.4%,模型表现更为出色。

  • 灵敏度提升至90.9%,表明对成功者的识别率显著提高。

3)泛化性总结:


  • SMART模型在外部数据集上的性能仅略低于开发数据集(AUROC为84.5%),表明模型具有较好的跨数据集稳定性。


5. 随机森林与逻辑回归模型的预测对比

对比随机森林和逻辑回归在两周体重变化预测中的表现,展示不同方法对减重成功和失败的识别差异。

1)随机森林模型:

  • 综合动态特征(如斜率、第14天减重量)和静态特征(如年龄),准确捕捉个体的减重趋势。

  • 在两周内表现更平滑的减重者预测准确性较高。

2)逻辑回归模型:

  • 仅依赖第14天减重量,导致对高波动性参与者预测不准确。

  • 灵敏度低,存在较高的误分类风险。。


本研究通过开发随机森林机器学习模型,结合体重变化的动态特征(如第14天减重量、体重波动范围和斜率)与基线静态特征(如年龄和性别),实现了减重成功的早期精准预测。模型在开发数据集(AUROC 84.5%)和泛化数据集(Opt-IN AUROC 72.6%,ENGAGED AUROC 84.4%)上均表现出色,显示了良好的预测能力和跨数据集的稳定性。SHAP解释性分析揭示了动态特征在区分减重成功与失败中的关键作用,为优化肥胖分步式干预提供了可靠依据,同时为临床实践中的个性化治疗和资源分配提供了重要指导。

-END-

文字丨本人点滴积累,如有补充,下方留言即可

(点击左下角阅读原文”即可获取全文

医学科研新动向
每日分享-相关领域包括:MIMIC、NHANES、SEER、GEO、TCGA、CHARLS等公共数据库最新研究成果解读。深入剖析机器学习、生信分析与临床流行病学研究方法。
 最新文章