AUC这个指标,对IVD产品来说有什么价值?

文摘   2024-11-03 08:01   广东  

对于体外诊断试剂来说,检测效能是指什么?

它可能是灵敏度,是特异性,是精密度,是准确性,是检测限,是定量检测限,或者是前面这些参数的合集。

当然,在更多的时候,当我们说到检测效能的时候,指的是ROC曲线下面积,也就是AUC。

AUC可以用来评估定性体外诊断试剂这样二分类模型的性能,它的值在0.5到1之间,其中,0.5表示试剂的性能等同于随机猜测,而1表示试剂具有完美的分类性能。

所以,如果AUC值越大,说明试剂的分类能力越强,也就是越能有效地区分阳性样本和阴性样本。

在实际应用当中,AUC值是可以帮助我们理解试剂在不同临界值设置下的表现。

一个高AUC值意味着,当我们随机选择一个阳性样本和一个阴性样本的时候,试剂对阳性样本的检测结果,更有可能大于阴性样本的检测结果。

当然,如果是负相关的话,这也是成立的,只不过要做一些数学上的处理,比如取绝对值之类的。

所以啊,我们可以这么去理解AUC值,那就是,如果你各挑选一个阳性样本和阴性样本,那么,你的试剂对阳性样本的检测结果,应该会大于阴性样本的检测结果。

AUC就是这么一个指标,它并不依赖于你为你的诊断试剂确定的临界值,当然更不包括参考区间,所以呢,反而可以更全面的来评估试剂的性能。

对于AUC研究来说,一般情况下是120例左右的样本,阴阳性样本各半就可以了。

但要注意一点,现在很多朋友谈到试验的时候,就直接文,多少例样本合适?其实这是很不对的。

因为光谈样本量没有价值,样本组成是同样需要注意的问题,这一点,我之前在《五分钟弄懂样本量》当中做过详细的阐述。

如果只是为了通过药监的审评,那么只谈样本数量也没有用,基本上现在的指导原则当中,都会增加对不同样本的需求;而如果你的目标是为了真正评价自己的产品是否满足市场需求,那就更需要对样本组成进行精心设计了。

那么,我们能不能通过AUC这个指标,来指导产品开发呢?

答案是不能,因为当你需要做ROC的研究的时候,也就意味着你的试剂盒,已经定型了。


为什么?

原因就是我上面谈到的,用于ROC研究的这套参考品,它不仅样本量不算少,而且可能还要包括很多不同类型的样本,这也就意味着,这套参考品的成本不低

同时,至少120例样本的实验做下来,人力、时间、设备、试剂、耗材的成本都不会太少,这样的实验只能用来对你已经定型的产品进行评估,而不能用来作为你开发思路的验证指导,毕竟,地主家也没有余粮啊

最后,我说一个最近遇到的很有趣的问题,“能不能用AUC对定量试剂的一致性进行评估?”

答案当然是不能

原因就是我前面说到的,AUC只能用于定性试剂这样的二分类模型性能评估,而定量试剂本身就不是二分类模型。

而且,就算是对于定性试剂而言,也不能将AUC用于定性试剂的临床一致性评价当中,因为AUC评估是不考虑试剂的临界值设定的,但是,临床一致性评价,是需要把试剂的临界值纳入的

所以,定性试剂的临床一致性评估还是应该用2x2格表,定量试剂还是得用B-A法。

关注我,降低产品上市认知门槛。

*个人观点,仅供参考。




品牌推广 培训合作 | 商业咨询 | 资料商店 | 转载开白

请在公众号后台回复  合作 

诊断科学
诊断科学,产品和合规咨询顾问,打造了《IVD上市课》等系列课程,曾为多家国内外诊断公司提供战略咨询服务,提倡“从概念到市场”的理念,为诊断厂家提供产品和合规规划的参考方向,一起更早看到未来。使命:降低产品上市认知门槛。
 最新文章