基于风险的医学实验室质量控制实践:Parvin模型是否尽善尽美?

健康   2024-12-24 17:56   天津  


控制限是质量控制系统成本和安全性的重要决定因素。Parvin模型是用于基于风险的质量控制限分析的最常用模型。Parvin模型基于几个假设,这些假设会导致自相矛盾的结果并低估风险。不准确的估计可能会影响成本和患者安全。



为什么要对Parvin模型进行探讨

实验室投入了大量资源进行质量控制(QC),以确保结果可靠。设计QC程序涉及实验室成本和患者处置之间的权衡。例如,较窄的质控限提高了检出错误的能力,但会导致假阳性结果,从而给实验室带来成本的增加(包括时间和试剂、仪器成本)。另一方面,较宽的质控限会增加实验室无法检测到错误(假阴性)的可能性,这有可能对患者处置产生不利影响。目前通行的医学实验室质量控制方法侧重于风险分析,它试图平衡假阴性风险(FNR)和假阳性风险(FPR)之间的权衡。


风险定义为预期损失:




其中E表示事件,fL(E)表示与事件相关的损失(或成本),P(E)表示事件发生的概率。在质量控制的背景下,需要注意的事件是QC值的均值偏移。QC结果Xn由随时间演变的过程确定,由下式给出:



其中μn是批次n期间QC测量的平均值(系统误差),ε是随机误差。假设随机误差呈正态分布,平均值为 0,SD为 1:ε∼N(0,1)。如果没有系统误差(即μn=0),则称系统处于受控状态(IC),如果存在系统误差(μn≠0),则称该系统处于失控状态(OOC)。使用一组QC规则对系统进行监控。QC规则旨在当系统处于失控状态时提供阳性结果;然而,这个过程仍可能存在风险。通常,如果系统处于在控状态,则会发生假阳性事件,即QC规则提供了阳性结果。如果系统处于失控状态,但QC规则提供阴性结果,则会出现假阴性结果。


最常采用的风险模型是由著名的医学实验室质量管理专家Parvin开发的,即Parvin模型,其需要计算医学实验室不可接受的最终结果的预期数量(E[Nuf])。不可接受的最终结果定义为超过总允许误差(TEA)且未被检测到并因此被报告的结果。Parvin 模型在偏倚事件(均值变化)之后计算 E[Nuf],这会导致结果具有系统误差。Parvin 模型的假阴性事件的损失函数为:



因此,Parvin模型仅对超过TEA的未检测到的失控进行统计。Parvin 模型的动态行为由 P(μn)描述,基于2个假设:


1.不允许失控的过渡(NOOCTA)。在发生从在控状态到失控状态的转换后,系统不会再发生转换,并保持在失控状态,直到检测到失控。我们称之为不允许失控转换(NOOCTA)假设。

2.批次大小均匀分布。


NOOCTA假设是有问题的。没有理由相信检测系统可以经历从在控状态到失控状态的转换,但在转换为失控状态后就不能进行进一步的转换。这意味着失控状态在某种程度上是唯一的。根据NOOCTA假设,在检测到系统误差之前,系统可能会长时间处于低风险“失控”状态(即系统误差程度较小的状态)。如果NOOCTA假设不成立,则基于Parvin方法的QC限建议可能是不正确的。这将导致医学实验室更高的质控成本。


研究思路

我们比较了与Parvin风险模型密切相关的2个模型。两个模型都计算E[Nuf]。不可接受的最终结果是误差超过TEA但未被检测到并因此报告的结果。最初的Parvin模型在引入系统误差的均值偏倚后计算E[Nuf]。该模型假定批次大小的概率是均匀分布的。系统保持OOC状态,直到检测到偏倚(图1,上)。Parvin模型计算转换事件之后的条件期望,但不指定转换事件的概率。我们引入了一个偏倚频率p,并假设一旦检测到偏倚,系统就会恢复到在控状态,这个过程会重新开始。因此,我们对系统在多个批次和检测周期的长期分析性能进行了建模。


图 1.


用于质量控制的过渡状态图。系统从在控(μ= 0)开始。在某个时候,均值发生偏移(μ≠0),因此系统处于OOC状态。偏倚发生在概率p上。在上图中,系统保持OOC状态,直到检测到它。不允许在输出OOC状态之间进行转换。这是NOOCTA假设。在下图中,允许在OOC状态之间进行转换。检测到后,系统将恢复到在控状态。字母D表示检测事件。例如,P(D|μ)是在系统误差μ的情况下检测到的概率。


第二个模型,允许OOC转换(OOCTA),放宽了关于OOC状态之间转换的假设。如果从在控状态转移到OOC状态,那么似乎可以合理地假设系统也可以在OOC状态之间进行转换(图 1,下图)。NOOCTA和OOCTA模型仅在系统进入OOC时的转换行为方面有所不同。在OOCTA模型中,我们假设均值经历周期性转换(即偏倚),概率为p。设δn是一个随机变量,表示批次事件的发生。我们假设δ具有伯努利分布:δn∼Ber(p)。我们将p称为偏倚概率。我们有时会提到偏倚频率1/p。当发生偏倚事件时,新的均值由以下因素确定:



其中Δn是与批次n关联的偏倚大小。因此,系统误差可以被设想为一次随机偏离,其长度为Δn,频率为1/p。该系统随着时间的推移而发展,以随机间隔进行批次转换,批次大小是从均匀分布中随机选择的(与Parvin模型相同)。偏倚可以发生在任何方向。例如,可能的状态序列可能是{0,0,0,0,0,1,1,1,1,−0.5,−0.5,−0.5,2,2,detected}。


我们假设一个简单的Shewhart类型控制计划,每批有一个观测值。控制计划用于设置将观测值分类为正值或负值的规则。阳性结果表明该过程已失控。选择控制限k,并将观测结果Xn与控制限进行比较。如果|Xn|>k则结果为正,否则为负数。最常见的是,控制限设置为k=2。


我们将E[Nuf]称为FNR,因为这种风险是由于未能检测到错误而引起的。E[Nuf]基于一个特定的损失函数,代表了FNR的许多可能度量中的一种。在本文中,我们使用E[Nuf]进行FNR估算。我们将使用FNR来描述更通用的概念。当系统质控在控但出现事件(观察到的结果大于控制限)时,会出现假阳性结果。我们创建了一个仿真模型,用于计算各种场景的E[Nuf]和FPR。场景包括TEA、控制限(k)和偏倚概率(p)的选择:


TEA∊{2,2.5 ....5}(以SD单位缩放)

K∊{1.5,2,2.5,...4}(以SD单位缩放)

p∊{0.001,0.01,0.015,0.02 ....0.1}


使用Microsoft Excel进行模拟。我们为每个场景收集了100,000个观察结果。


结果

对于OOCTA模型,E[Nuf]随控制限k单调增加(图 2)。对于NOOCTA模型,E[Nuf]随k增加,达到最大值,然后减少。在两个模型中,E[Nuf]都随着偏倚概率p的增加而增加。在两种模式下,E[Nuf]都随着TEA的增加而降低。一般来说,OOCTA模型预测的E[Nuf]比NOOCTA 模型预测的E[Nuf]大约大一个数量级。例如,对于P=0.06和TEA= 2,E[Nuf]在OOCTA假设下约为0.1,但在NOOCTA假设下约为0.006(图 2)。风险权衡曲线显示,在OOCTA模型下,E[Nuf]随着FPR的增加而单调下降(图 3);然而,在NOOCTA模型下,随着FPR的增加,E[Nuf]达到最大值(图3)。


图 2.


控制限TEA和偏倚概率(p)对不可接受的最终结果的预期数E[Nuf]的影响。左上图中的图例指示曲线的顺序。顶部曲线对应于P= 0.06,中间曲线为P= 0.04,底部曲线为P= 0.02。此顺序将保留在所有图中。请注意,上图纵轴上的刻度与下图中的不同。


图 3.


FNR和FPR的权衡曲线。每个点都给出了控制限值k的特定值的FNR和FPR。控制限从1.5到4SD不等。标记旁边的标签表示控制限p=偏倚概率。


权衡曲线E[Nuf]与FPR显示OOCTA 模型中的单调下降(图 3)。NOOCTA模型中的权衡曲线达到最大值,然后下降。NOOCTA模型在大多数情况下都显示了这种模式。


讨论

我们调查了Parvin风险模型中关于OOC转换的关键假设的影响。发现NOOCTA假设导致了自相矛盾的处置。由于控制限值的大小不同,人们通常会期望在FNR和FPR之间进行权衡。较窄的控制限与高FPR和低E[Nuf]相关。较宽的控制限与低FPR和高E[Nuf]相关。我们还发现OOCTA模型产生的E[Nuf]预测值比NOOCTA模型高约10倍。


我们认为NOOCTA假设会导致错误的低E[Nuf]预测,因为系统会“卡”在稳态误差较低的状态中。例如,假设系统的系统误差为0.1SD。假设3个SD控制限,则大约需要500个批次才能检测到此偏倚。因此,该系统将在低风险的状态中运行很长时间。在OOCTA模型中,系统有机会切换到另一个OOC状态,这会产生不可接受的错误。根据偏倚频率,系统在检测到系统误差较小的状态之前可能会经历另一次偏倚。例如,假设偏倚频率为1/100(P= 0.01),系统误差为0.1,具有3个SD控制限。系统更有可能在检测之前经历另一次偏倚(P= 0.01) (P=0.002)。


控制限对风险的影响在NOOCTA和OOCTA模型中有所不同(图2)。在OOCTA模型中,风险随着控制限的增加而增加。这种影响与我们的期望和直觉一致,即:检测到OOC状态的概率应随着控制限值的增加而降低。因此,E[Nuf]应随着k的增加而增加。相反,NOOCTA模型在k变化时达到最大值。此模式表明2个相反的效果。我们认为这可以通过低风险场景和高风险场景(μ> TEA的场景)的影响之间的竞争来解释。对于高风险状态,假阴性结果的概率会随着控制限的增加而增加。但是,在每次试验中,系统都有机会转变为低风险状态。如果控制限值较高,则在检测到OOC状态之前,系统将在多个批次中保持低风险状态。低风险场景不会对FNR做出贡献。因此,随着控制限值的增加,系统将在低风险状态下运行更长时间。因此,在NOOCTA模型下,其对于低风险状态提供的保护作用与在高风险状态下的不利影响相竞争。


哪种模型更好?NOOCTA假设将失控状态视为唯一状态:系统在失控状态下可能会发生偏倚,但在另一种状态下不能发生偏倚。我们认为这种假设是不现实的,并且我们假设在一些常见情况下,人们会预期OOC状态内会发生转变。例如,在试剂挥发、降解或受污染的情况下,我们可能会预期检测系统状态会发生动态和频繁的变化。磨损或故障的机械部件(如泵、移液器或电极)也可能导致类似的情况。间歇性失控因素(如堵塞的仪器管路)可能导致OOC内部的偏倚,甚至回到在控状态。坦率地说,我们不希望这样的场景在OOC状态中是静态的。在我们看来,NOOCTA假设是不现实的,正如我们所展示的,它会导致自相矛盾的决策。此外,我们的分析表明NOOCTA模型低估了假阴性风险。这将扭曲假阴性风险和假阳性风险之间的权衡,并导致控制限范围不适当地变宽。这会使患者面临错误的结果,可能会影响患者处置并增加医疗成本。


在我们的模型中,TEA以SD单位表示,因此TEA等同于sigma值(检测系统分析性能)。TEA为2对应于临界状态下的分析性能,而TEA水平为4对应于相对较好的分析性能。我们已经表明,NOOCTA模型提供了较低的E[Nuf]估计值;然而,在两种模式下,E[Nuf]值都随着 TEA的增加而降低。这些差异在2<tea<4的范围内最为明显。出于这个原因,我们在分析中展示了这些tea值(即2和4)的结果。


OOCTA模型在FNR和FPR之间建立了连结,从而允许创建权衡曲线。此类曲线可以指导控制限值的设置。例如,可以使用这样的曲线来确定可接受的FPR以降低FNR。


我们的模型仍然是受限的,因为它依赖于对偏倚概率p的估计。系统的行为在一定程度上受偏倚频率的影响,但目前尚不清楚如何估计这个数值。我们正在探索根据QC观察值的属性(例如,检出率、极值和SD)和QC策略(控制限)来预测偏倚概率的方法。我们目前正在运行仿真模型来测试是否可以估计p。我们还使用模拟来确定估计p所需的精度。例如,事实证明,E[Nuf]的估计对p相对不敏感,并且可能只需要在一个数量级内估计p。这是当前研究的一个方向。


Parvin模型仍然有进一步研究的必要。例如,Parvin模型假定批次大小分布是均匀的。为了与Parvin保持一致,我们在OOCTA模型中使用了这个假设;然而,目前尚不清楚这种假设是否正确。例如,小偏倚的可能性可能比大偏倚更大,并且偏倚大小分布更像是正态分布。或者由于不同的故障模式,某些批次可能会更频繁地发生。关于批次大小分布的假设是有问题的,因为不清楚是否可以估计批次大小分布。我们目前正在进行模拟研究,以确定E[Nuf] 是否对有关形状、偏倚大小分布的假设敏感,并探索QC观察是否提供了有关偏倚大小分布的任何信息。


Parvin模型还假设风险应相对于TEA进行衡量。仅当错误超过TEA并且TEA以上的所有级别都具有相同的影响时,才会假定错误事件具有影响。同样,假设TEA以下的误差没有影响。这个简单的模型有明显的缺陷。例如,大小为TEA–0.001SD的误差不计算在内,但大小为 TEA+0.001SD的误差被计算在内。这些误差差异很小,但处理方式不同。E[Nuf]的优点是易于解释,但它是衡量风险的众多可能方法之一,目前尚不清楚它是否是最好的方法。这是未来研究的另一个方向。


我们相信,基于风险的QC分析具有巨大的潜力。Parvin模型为风险分析提供了一个很好的起点,但正如我们所表明的,有可能在Parvin的基础上建立并开发更好的风险模型。这促使我们更广泛地思考风险模型,并开发了一个框架来一般性地描述QC风险模型,该框架允许对转换概率(例如,OOCTA与NOOCTA)、检测结果(QC监测策略)和评分结果(例如,E[Nuf]与替代方案)进行广泛的假设。我们希望这样的框架将帮助研究人员探索改进基于风险的QC分析的方法。


这篇文章是三篇研究文章中的第一篇。本研究检验了Parvin模型背后的假设之一的影响。我们发现NOOCTA假设导致低风险场景的过度代表,并可能导致与预期不一致的结果。第二篇文章重新研究了风险分析,并为医学实验室质控行为开发了一个动态模型(编者注:我们后续将为读者编译推送这两篇文章)。第二篇论文从理论角度出发,描述了必须为风险分析指定的输入,展示了如何通过分析方式解决此类问题。第三篇论文展示了第二篇论文中提出的理论的实际应用。


结论

经典的Parvin模型可能低估了与QC策略相关的FNR(E[Nuf])。需要开发更好的基于风险的QC分析方法。

编译自The Journal of Applied Laboratory Medicine, Volume 8, Issue 1, January 2023, Pages 14–22,

文章内容由“MIR医学仪器与试剂”编辑整理,转载请注明来源。



如果您觉得我们发布的信息对您及您的朋友有帮助,请点击右上角···按钮分享到朋友圈。

获取更多检验资讯请浏览“医学仪器与试剂官方网站”www.mir168.com
欢迎向我们投稿或推荐优秀文章,将优秀文章与更多的同行分享、交流。
投稿邮箱:28675637@qq.com

MIR医学仪器与试剂
与中国检验行业同行~
 最新文章