目前发现一批中国人的 nomogram 论文,在验证集中的 ROC 曲线下面积,和训练集相当,或大于训练集,经过集中调查发现,是在网络平台进行统计分析用错了统计方法
近期出现了一些传统预测研究的论文,批量发现预测效果很好,在外部验证集上的预测效果,例如 AUC、校准曲线、DCA 曲线的表现都比训练集还好,也得到了迅速发表,但最终发现,是用错了统计方法,造成了悲剧。中国人发表的居多。
究其原因,也是受到一些公众号和教材的误导。很多网上的示例代码,都是讲解如何在一个数据集上Logistic建模,如何绘制ROC,calibration, DCA曲线等,没有介绍如果是训练集和验证集,该如何操作。
很多研究者不假思索的照猫画虎,用训练集和验证集分别拿这套代码,或者在网上的分析平台,跑了两遍,得到两套结果,就拿去发表了,却不知道犯了大错。在训练集和验证集上都各自建立了Logsitic回归并各自评价,完全失去了验证集的意义。
我们应该在训练集上建模,并拿训练集上的模型,在验证集上预测并跑这些曲线。通常来说,在验证集上的结果可能会比训练集上差一点。
但是很多研究者并不知道如何在训练集上建模,拿训练集的模型去验证集跑曲线和计算AUC,导致大量中国人的文献中,验证集的效果贼好。当然,验证集的结果比训练集好也是可能的,但前提是方法正确。
如果不知道如何进行正确统计的研究者,可以登录 www.mstata.com ,点击网站左上角的MSTATA医学统计机器人,选以研究类型分类-传统预测研究- Logistic - nomogram 预测研究(一键生成 SCI 论文)。上面已经设置了正确的方法,可以自动在训练集上建模,在验证集上跑曲线,只需要鼠标点一点就能完成所有过程,直到生成一篇完整的 3000 字左右的 SCI 论文。