✦
医学科研新动向
✦
A machine-learned model for predicting weight loss success using weight change features early in treatment
npj digital medicine
<2024年11月29日>
研
究
背
景
研究设计
1. 数据来源与模型开发
数据来自三个研究:SMART、Opt-IN、ENGAGED,总计1058名参与者。
SMART(开发数据集,n=281):采用智能体重秤进行客观测量。
Opt-IN与ENGAGED(验证数据集,n=472):主要基于自我报告。
2. 模型开发流程
数据清洗与特征提取:
动态特征:如两周内体重变化的均值、范围、斜率、波动性。
静态特征:如年龄、性别、身高、心理自我效能。
3. 机器学习方法:
比较多种模型(随机森林、逻辑回归等),最终选择随机森林。
模型评估:训练集占60%,验证集占20%,测试集占20%。外部验证采用Opt-IN和ENGAGED数据集。
4. 主要工具
SHAP解释模型特征贡献。
性能指标:AUROC、AUPRC、F1加权得分。
核心结果
1)SMART数据集:
训练集:169人(60.1%),验证集:55人(19.6%),测试集:57人(20.3%)。
性别比例:女性占比在训练集、验证集和测试集中分别为72.8%、72.7%、75.4%。男性占比相对较低(约25%)。
种族构成:非西班牙裔白人占主要比例(约60%-62%),其次为非西班牙裔黑人(18%-22%)。
减重成功率:平均成功率为39.0%,其中训练集为38.5%,验证集为38.2%,测试集为40.4%。
2)Opt-IN 数据集:
女性占80.8%,男性为19.2%。
减重成功率略高,为52.7%。
3)ENGAGED 数据集:
样本量较少(30人),女性比例为90%,减重成功率为36.7%。
2. 不同预测模型的性能比较
随机森林模型、传统临床决策规则和逻辑回归模型的表现进行了详细比较,分别评估灵敏度、特异性、F1加权得分、AUROC、AUPRC等指标。
1)传统临床决策规则:
基于>0.5磅/周的减重标准。
灵敏度: 5.5%,大多数减重成功者被错误分类。
特异性: 81.4%,表明预测减重失败者的准确性高。
F1加权得分: 44.4%,预测性能有限。
2)逻辑回归模型:
静态特征:AUROC:68.4%,特异性较高,但灵敏度较低(31.8%)。
动态特征(第14天体重变化):灵敏度提升至40.9%,AUROC达到76.1%,但预测性能仍不如随机森林。
3)随机森林模型:综合动态和静态特征。
灵敏度:82.2%,显著提高了对减重成功者的捕捉率。
特异性:71.1%,能平衡预测成功与失败的准确性。
AUROC:84.5%,AUPRC:86.3%,均显著高于其他方法。
Brier评分损失:0.173,表明模型校准效果良好。
1)关键特征重要性(按SHAP值排序):
第14天减重量:对预测成功的贡献最大,SHAP值接近0.08,减重越多,成功可能性越高。
最大体重值和75分位数:反映体重波动范围,与减重失败相关。
斜率:体重变化趋势越稳定(斜率越平缓),减重成功率越高。
基线特征(如年龄和身高):虽然重要性较低,但在综合预测中具有一定作用。
2)方向性分析:
SHAP图揭示了体重波动越大(如较高的变异范围和最大值),减重失败的可能性越高。
动态特征的解释性强于静态特征。
ROC曲线比较了随机森林模型在Opt-IN和ENGAGED数据集上的泛化性能,展示了模型的灵敏度与特异性平衡。
1)Opt-IN数据集:
AUROC:72.6%,模型能较好地区分减重成功者与失败者。
曲线接近45度参考线,说明数据集的挑战性较大。
2)ENGAGED数据集:
AUROC:84.4%,模型表现更为出色。
灵敏度提升至90.9%,表明对成功者的识别率显著提高。
3)泛化性总结:
SMART模型在外部数据集上的性能仅略低于开发数据集(AUROC为84.5%),表明模型具有较好的跨数据集稳定性。
对比随机森林和逻辑回归在两周体重变化预测中的表现,展示不同方法对减重成功和失败的识别差异。
1)随机森林模型:
综合动态特征(如斜率、第14天减重量)和静态特征(如年龄),准确捕捉个体的减重趋势。
在两周内表现更平滑的减重者预测准确性较高。
2)逻辑回归模型:
仅依赖第14天减重量,导致对高波动性参与者预测不准确。
灵敏度低,存在较高的误分类风险。。
小
结
本研究通过开发随机森林机器学习模型,结合体重变化的动态特征(如第14天减重量、体重波动范围和斜率)与基线静态特征(如年龄和性别),实现了减重成功的早期精准预测。模型在开发数据集(AUROC 84.5%)和泛化数据集(Opt-IN AUROC 72.6%,ENGAGED AUROC 84.4%)上均表现出色,显示了良好的预测能力和跨数据集的稳定性。SHAP解释性分析揭示了动态特征在区分减重成功与失败中的关键作用,为优化肥胖分步式干预提供了可靠依据,同时为临床实践中的个性化治疗和资源分配提供了重要指导。
-END-
文字丨本人点滴积累,如有补充,下方留言即可
(点击左下角“阅读原文”即可获取全文)