风险预测模型：开发七个步骤和用于验证的 ABCD
文摘
科学
2024-06-18 21:16
湖南
为照顾广大零基础或弱基础的科研初学者，在某985高校硕士生导师及其团队的指导下，我们策划了小白系列推文，力求内容浅显易懂、实用、涉及面广，欢迎各位学习和推广。
2015 年 ，BMJ 发表了经典的临床预测模型报告规范—— 《Transparent reporting of a multivariable prediction
model for individual prognosis or diagnosis（TRIPOD）：the TRIPOD statement》，不过现在TRIPOD已进行了更新（TRIPOD-AI），给出了机器学习框架下的预测模型相关研究的报告规范，这点我们会在后续介绍。但，大家应该注意到的是，TRIPOD只是一份报告学规范文件，至于到底如何去开发和验证我们的预测模型，并没有很清晰地呈现。另一种可供参考的方法是由Ewout W. Steyerberg, Yvonne Vergouwe提出的开发临床预测模型的7个步骤，见下面的文献。![]()
确切的研究问题是什么？关于预测变量，已经知道什么？如何选择患者？如何处理预后分析中的任何治疗效果？测变量是否可靠且完整地测量？是否对终点感兴趣？可以遵循各种策略来选择预测变量以包含在预测模型中。逐步选择方法最常用（笔者补充：现已不推荐，原因大家可以看看郑老师的推文）对于建立好的模型，需要评价其质量，通常使用几种性能度量，包括模型校准（校准度）和判别度量（区分度）。区分内部有效性和外部有效性很重要。预测模型的内部有效性是指数据来源的基础总体的声明的有效性（“可重复性”）。内部验证可能特别涉及预测变量选择的稳定性和预测的质量。更好的方法是交叉验证和bootstrap重采样（小样本比较合适）。就是指预测模型的呈现：公式、评分系统、评分图、列线图、在线工具。三、用于模型验证的 ABCD
![]()
①校准：包括大型校准（Alpha）和校准斜率（Beta）。校准是指观测到的终点与预测之间的一致性，截距 A 与一般校准有关，它将所有预测风险的平均值与观察到的平均值进行比较。如果模型是在相对较小的数据集中开发的，则校准斜率 B 通常小于 1。这样的发现反映出预测过于极端：低预测太低，高预测太高。②一致性统计：区分度（最主要的指标是C统计量，或AUC）四、个人看法及一点补充
这篇文献是2014年发表的，距离现在已经有整整10年了， 预测模型相关研究也有了很大的发展，所以大家在做预测模型相关研究时，可以参考这篇文献，但不要仅仅参考此文献。更建议的做法是结合新出的报告规范（TRIPOD-AI）或BMJ杂志上发表的一些权威文献，然后去完成预测模型研究。下面是聂博士（见参考文献2）总结的预测模型相关评价指标，可以看到与前文介绍的ABCD指标要多很多。
![]()
![]()
当然了，这些其实也不是全部，预测模型发展日新月异，更多新鲜指标被提出，有兴趣的同学可以多多关注国际研究进展。此外，基于机器学习方法的预测模型越来越常见了，大有赶超logistics、cox等传统统计模型的趋势，因此有很多同学在我们的社群里咨询此类模型如何去做ROC\校准曲线\DCA曲线，当然是有方法的，而且也不难，考虑在后面某个时间点分享这类做法，敬请关注护理统计随笔平台（公众号、视频号、bilibili、小红书、抖音），前面四个名称均为护理统计随笔，大家可以关注哦。本期的分享到此结束，如果你有很好的建议，或想要了解和学习什么知识，可以在文末留言版处留言，我们充分尊重大家的意见，会根据团队自己的进度安排，适时更新相关内容。
[1]Ewout W. Steyerberg, Yvonne Vergouwe, Towards better clinical prediction models: seven steps for development and an ABCD for validation, European Heart Journal, Volume 35, Issue 29, 1 August 2014, Pages 1925–1931, https://doi.org/10.1093/eurheartj/ehu207[2]聂志强.基于多中心队列构建与验证造影剂急性肾损伤的风险预测模型研究[D].华中科技大学,2022.DOI:10.27157/d.cnki.ghzku.2022.006428.封面来自参考文献[1]，本文仅供感兴趣者学习和分享使用，如有侵权，请联系我们删除，谢谢。由于微信推送机制的变化，建议大家将公众号标记为星标，如此才能及时收到我们的更新，同时也希望大家能帮忙点点赞和转发，你们的支持是我们前进的重要动力来源，谢谢！此外，护理统计随笔平台的内容现在已经非常丰富，很多方面都有涉及到，如果你觉得你没有看到往期的相关文章，不妨打开公众号的菜单页，在各级目录中查找你想要的内容。如果你在科研学习中遇到了疑问，恰好也想跟网友们交流，可以加入我们建立的“护理科研交流群”。这是一个完全自由、开放、没有套路的纯交流群。入群方式：私信发送关键词“加群”。
