ROC分析方法概要.doc

第二章ROC曲线分析概要本文先介绍了ROC理论的一些基础知识如特异度和灵敏度等，然后简要介绍了非参数ROC分析方法，并建立了ROC模型。最后介绍了ROC曲线及在R软件中的绘制。2.1 ROC分析的基本要素ROC分析的基本要素包括真阳性和假阳性也称灵敏度和特异度，以及“金标准”“金标准”划分被测试者的真实状态为对照组和病例组两类。常见的金标准有跟踪随访、活组织检查、尸体解剖、手术探查等。虽然“金标准”没有必要是十全十美的，但“金标准”应与评价的诊断系统无关，而且比要评价的诊断系统更可靠。“金标准”不够完美时，可用采用Bayesian、模糊金标准、EM估计等方法解决。对按照“金标准”确定的二分类总体，对照组和病例组分别用阴性和阳性表示诊断试验结果。假定总体样本量是N，诊断试验的可能结果总共有四种：被测试者患病且被正确诊断为患病者，被测试者无病且被错误诊断为患病者，被测试者无病且被正确诊断为无病者，被测试者无病且被错误诊断为患病者。我们可以用一个22的列联表来表示它们之间的关系。诊断结果“金标准”合 计患病者健康者阳性a(真阳性)b(假阳性)a+b阴性c(假阴性)d(真阴性)c+d合计a+cb+da+b+c+d=N在医学研究中，诊断试验准确度指标最常用的是灵敏度与特异度。灵敏度（sensitivity），也叫真阳率（true positive rate，即TPR）是被测试者患病且被正确诊断为患病者的样本量在阳性总体中占的比例。灵敏度值越大，假阴率越小。据表2-1 其计算公式是：灵敏度(sensitivity) = 真阳率(TPR) = 1 假阴率(FNR)= 标准误为：特异度（specificity），也叫真阴率（true non-positive rate，即TNPR），是受试者无病且被正确诊断为无病者的样本量占阴性总体的比例。假阳率（false positive rate，即FPR） = 1特异度特异度值越大，假阳率越小。据表2-1 其计算公式是：特异度(specificity) =真阴率(TNPR) = 1假阳率(FPR) = 标准误为：假设二分类总体均服从正态分布， TPR、FPR、TNPR 和FNPR之间的关系可以用图2-1来描述。图中 x = c 为截断点（诊断阈值），为假阳率（FPR），为假阴率（FNPR）。2.2 ROC准确性评价指标的优越性 诊断试验的准确性评价指标有正确率、灵敏度和特异度等。它们虽然都可以反映诊断的准确性，但评价的效果不是很理想。正确率是被测试者被正确诊断的例数和所占总体的百分数。其计算公式是：标准误是：正确百分率的不足之处：1很大程度上依赖患病率。例如，虽然患病率是5%，如果判定所有样本为健康者，也有可能有95%的正确百分率；2受诊断阈值的限制；3没有表示出假阳性和假阴性错误诊断所占的比例，没有唯一性表示，即使有相同的正确百分率的两个总体，也可能有十分不同的假阳性和假阴性。基于此，单独计算灵敏度和特异度，以弥补正确率的不足，如果两个指标的值越高，诊断评价效果也就越好，其实不然。在对诊断系统做出比较时，如果单独使用灵敏度与特异度，就会存在很大的不足：这两个指标依赖于诊断阈值（或截断点），改变诊断阈值可以增加诊断的灵敏度，但同时也减少了特异度；反之，如果增加诊断的特异度，则需要以减少灵敏度为代价。另外，有人提出的Youden 指数、阳性似然比、：真阳率与假阳率之比）和阴性似然比等等。Youden指数是指真阳性率与假阳性率之差，计算公式为：Youden指数=灵敏度+特异度-1=真阳性率-假阳性率=其标准误为：阳性似然比（positive likelihood ratio 简写为：LR+）是真阳性率与假阳性率之比，即灵敏度与（1-特异度）的比值，它是ROC曲线某工作点对应的斜率。阴性似然比（negative likelihood ratio 简写为：LR-）是假阴性率与真阴性率之比，即（1-敏感度）与 特异度的比值。这些诊断指标综合考虑了灵敏度和特异度，但一个指标只对应于一个诊断阈值。当诊断阈值改变时，会得到不同的指标值，给诊断准确度的比较带来不便。所以一般选择阳性似然比或Youden指数最大者为最佳工作点。在评价整个诊断方法的准确性时用 ROC 分析，当改变诊断阈值时，可同时获得灵敏度和特异度，也就可以获得 TPR 和 FPR 值。ROC 曲线是以 FPR 为横坐标和以 TPR 为纵坐标绘制而成，并且ROC 曲线下的面积大小衡量了诊断系统的判别能力。2.3 ROC曲线的构建以假阳性率（FPR）为横坐标、真阳性率（TRP）为纵坐标，形成正方形，在图上将ROC工作点标出，并用线条将这些低昂依序连接起来构建不光滑的ROC曲线。构建光滑的曲线需要交涉对照组和病例组服从于某一分布（如正态分布、Gamma分布等），用曲线拟合技术估计其参数，直接用参数产生曲线。无论资料类型如何，曲线一定通过（0,0）和（1,1）两点，这两个点对应着灵敏度=0，特异度=1和灵敏度=1，特异度=0.理论上诊断实验都有TPR=1，FPR=0。完全无价值的诊断为TPR=FPR,这条线条称为几率线（guessing line 或 chance line），也称为无信息线（line of no information）；ROC曲线对诊断的准确性采用同一尺度直观地体现出来，描述了诊断实验对正反两种状态的判别能力。曲线上每一个点通过改变其诊断阀值（截断点）而得，是灵敏度和特异度的折衷结果。提高诊断标准则产生较低的灵敏度和较高的特异度；降低诊断标准则产生较高的灵敏度和较低的特异度。如果比较两个诊断方法的效果，则较高的ROC曲线具有较好的诊断性能，如果曲线交叉，则通过计算曲线下面积进行进一步比较。用ROC曲线下面积（记为AZ）反映诊断试验的准确度，它可以被看成是正确决策的概率。该面积的取值范围为（0.5,1），完全无价值的诊断AZ=0.5；完美的诊断AZ=1。习惯上认为ROC曲线下面积为0.500.70，表示诊断的准确度较低；在0.700.90之间表示诊断的准确度中等；面积达到0.90以上则表示诊断的准确度较高。2.4 ROC曲线的拟合方法ROC曲线的获得是通过两个不同的总体（正常组和异常组），它的横轴和纵轴（假阳性率和真阳性率）存在相关关系，因此不能假定它们来自单一的总体，不能用一般非线性模型拟合。ROC曲线拟合方法主要有双正态模型参数法和非参数法。除了主要的ROC分析方法外，有序回归模型（包括位置尺度模型、比例优势模型、GEE法）、COX比例风险模型等也可以拟合ROC曲线、计算ROC曲线下面积以及标准误。这些模型还考虑了协变量的混杂效应。2.4.1双正态模型参数法双正态模型假定正常组和异常组都服从正态分布。当前该模型在ROC分析上比较完善，可以处理不同的ROC资料，获得光滑的ROC曲线。当样本量较大时，有序分类数大于5时，该模型获得的结果是比较可靠的。但是当样本量较少时，双正态模型拟合会产生退化资料，ML估计会迭代不收敛。按“金标准”将实验对象划分为正常组和异常组，假设它们分别服从总体均值为，方差为的正态分布，对任意诊断阀值（截断点）t,假阳性率为：真阳性率为：其中、分别表示正常组和异常组的实验测量值或有序分类之；t为截断点，实验测量值xt,诊断为阳性，xt诊断为阴性；为标准正态累积分布函数。令,则有：令,则上式可写为：其中为标准正态离差值。整个ROC曲线下面积为：参数a、b通过极大似然法（maximum likelihood ，ML）估计。2.4.2 非参数ROC拟合方法非参数法主要有：Hanley和McNeil法、Delong和Clarke-Pearson法。非参数法对正常组和异常组的分布没有要求，它们可以充分利用所有的截断点，对连续性样本量没有大小的显著，不会出现计算结果不收敛的情况。当截断点（或有序分类）大于5时，结果比较理想，当截断点不断增加时，ROC曲线将逐渐向光滑参数曲线靠拢。Hanley和McNeil非参数法假设正常组的观察值个数为n0,记作；异常组的观察值个数为n1,记作。异常组的观察值更大，根据Wilcoxon Mann-Whitney统计量，ROX曲线下面积（）等于异常组每个观测值大于正常组每个观测值的概率。即的标准误为：其中是两个随机随着的异常组观测值比一个随机选择的正常组观察值都更大可能分类为异常的概率。是一个随机随着的异常组观测值比两个随机选择的正常组观察值都更大可能分类为异常的概率。2.5 基于非参数法的ROC分析基于本文实证分析采用的是非参数方法的ROC模型，因此将在本小结着重介绍下非参数法的ROC分析。2.51等级变量的非参数ROC分析通常情况下，诊断系统获得的原始资料的记录有离散型和连续型两种形式。许多生物医学诊断试验的测量工具是连续型的，如血清抗原和酶浓度；医学影像诊断试验的诊断结果是离散型的。对于不同的形式，ROC曲线估计方法是相同的，我们以离散型诊断结果为例。如果将诊断指标以有序分类的方式分成k类，k = 1, , K。其中1类别表示完全没患病，K类别表示肯定患病。假设对于每一个分类类别Y，有一个隐藏的连续决策变量X，将结果划分到第k类中，如果决策变量X在区间() 中，k = 1, , K; , ；即当，则Y=k。第k类中，Nk0表示第k类中的正常个体数，Nk1表示第k类中的异常个体数，N0为正常总个体数，N1表示异常总个体数，N表示总个体数。一般可划分为5（或6）等级，即肯定不正常、可能不正常、异常可疑、可能正常、肯定正常，分别以1、2、3、4、5 标记。如表表示：诊断结果诊断分类合计12345正常N10N20N30N40N50N0异常N11N21N31N41N51N1合计N每个分类可以作为诊断阈值（通常从第二个分类开始，因为若以第一个分类为阈值，其实是没有什么意义的），阳性和阴性的判断标准是：该类及以上类别的样本为阳性；该类以下样本为阴性，对于每一个诊断阈值，都可以整理出类似于表2-1 的2 2的列联表。例如，以表2-2 中的分类3 为诊断阈值时，正常组阳性个体数为 N30+N40+N50 ，其假阳率为异常组阳性个体数为N31+N41+N51，其真阳率为同样可以以表中的分类5、4、2为诊断阈值来计算的 ROC 的坐标点，并得到相应的FPR 和TPR。图描述了不同诊断阈值下的分类：此时，我们假设正常组和异常组的总体都满足正态分布。图中采用4 个诊断阈值将正常组和异常组分为5 类。2.5.2 实例分析在放射学诊断试验中，有109 份CT 影像，正常影像为58 份，异常影像为51 份，有位影像工作者将这些CT 影像分类为如表2-3 所示：诊断结果诊断分类合计12345正常336611558异常322113351合计109根据2.5.1节的结论，我们可以得到以类别2、3、4、5 为诊断阈值的22的列联表，从而得到相应的ROC工作点。以类别2为诊断阈值：诊断结果金标准合计患者健康者阳性482573阴性33336合计5158109TPR=FPR=正常组阳性个体数为25 ，其假阳性率为FPR=0.4310异常组阳性个体数为48 ，其真阳性率为TPR=0.9420同理可得到分类3、4、5 这四个诊断阈值所对应的ROC工作点。故FPR，TPR=(0.4310,0.9420), (0.3296,0.9020), (0.2241,0.8627), (0.0345,0.6471)。从图可以看出，诊断阈值越严格（分类类别越高），将试验结果决策为阳性的可信度越高；诊断阈值越宽松（分类类别越低），将试验结果决策为阳性的可信度也相应地越低。2.5.3连续变量的非参数ROC分析若诊断结果为连续型变量，则处理方法与上面等级变量类似，设定阈值c，当yc时为阳性，当yc时为阴性。那么，若设“金标准”为K，则对于每一个阈值c，我们就能推断出相应的真阳率TPR（灵敏度）和假阳率FPR（1-特异度），设灵敏度为Sen(c)，特异度为Spe(c)，则有：其中，n0为金标准K=0时的样本量，同理，n1为金标准K=1时的样本量。 如上述所示，当变量为连续型时，每个c都有对应的灵敏度和特异度，把c取遍此连续型变量在样本中的所有互异的观测值，把这些点对FPR(c)，TPR(c)连成曲线便构成ROC曲线。2.6 ROC曲线间差异的显著性检验ROC曲线提供了直观比较两个诊断方法准确性的方法，较高的ROC曲线具有较好的诊断性能，但是如果曲线交叉，则无法直观地看出来，同时，直观上看两条曲线有差异，但是不一定是统计显著的，所以需要通过统计检验的方法进一步检验两种诊断方法的准确性是否有显著差别。采用参数法非参数法拟合ROC曲线有不同的检验方法。对于双正态模型方法拟合的ROC曲线，可以采用双变量参数卡方检验（bivariate Chi-square test）、真阳性率z检验（TPR Z-score test）、面积z检验（area z-score test）。2.6.1双变量参数卡方检验检验两诊断实验的双正态参数间有无差异。假设两个ROC曲线的参数分别是、。原假设：两条双正态ROC曲线相同，即。如果原假设成立，且参数估计值为联合正态分布。则检验统计量为：服从自由度为2的卡方分布，其中为行向量，是22协方差矩阵，矩阵元素：2.6.2真阳性z检验有时候想要研究的是在特定的假阳性率条件下，两条ROC曲线上的真阳性率是否相同。此时并不关心两诊断实验是否产生完全相同的ROC曲线。此时，原假设为：在特定的FPR0下，两条ROC曲线的TPR相等，即TPR1=TPR2=TPR0。当原假设成立，且为多变量正态，则服从均值为0，标准差的随机正态分布。其中t=。2.6.2面积z检验该方法对ROC曲线下面积间的差值做z检验来判断两个诊断实验方法的准确性。原假设为：两条ROC曲线下面积相等，即Az1= Az2。，如果原假设成立，且样本量较大，则两诊断ROC曲线下面积的差值：近似服从均值为0，方差为：的正态分布，其中,为ROC曲线的四个参数。当两个比较的诊断实验相互独立时，对应的所有交叉曲线协方差项等于0.Metz等的研究表明，当正常组和异常组的样本量都超过50时，以上检验的结果都是可靠的。2.6.3非参数拟合ROC曲线时，曲线下面积的比较利用Hanley和McNeil非参数法拟合ROC曲线时，比较两个ROC曲线下面积间是否有显著差异时，可用检验统计量z是标准正态的离差值，是两个实验的标准误，分别有上文计算公式得到。r是两个ROC曲线下面积间的相关系数，计算正常组的两诊断实验间的相关系数和异常组的两诊断实验间的相关系数，得到两诊断实验的平均相关系数，以及平均面积，查表可得r值。2.7 ROC曲线的统计软件实现本文中涉及编程的内容全部由统计软件R 完成，因此现在介绍在R 中的ROC 曲线的绘制。与 ROC 曲线有关的应用统计软件包pROC，它使得 ROC 曲线直观可视化、平滑化和易比较。ROC 函数是这个包中最基本的单元。它可以建立ROC 曲线，如果需要将曲线平滑化，就将选项 smooth = TRUE ；如果需要计算去曲线下方的面积即AUC ，就将选项 auc = TRUE ；如果需要计算置信区间，就将选项 ci = TRUE ；如果需要画出ROC 曲线，就将选项 plot = TRUE 。R 语句如下： roc(response, predictor, controls, cases, density. controls,density, case, level = base levels(as. factor(response), percent = FALSE,auc = TURE, ci = FALSE, plot = FALSE, smooth. method = binormal,ci. method = NULL, density = NULL, )它以每组的观测值，也可称为有序分类值，为解释变量，分类的“金标准”为因变量，就可以对应地在每个截断点，获得灵敏度和特异度（1假阳率）等指标，并可获得非参数方法估计的曲线下面积。也可以用plot.roc 函数直接画出ROC 曲线：plot. roc(x, add = FALSE, reuse. auc = TRUE, axes = TURE, )其中，x 为由 roc函数的得到的数据结构。除此之外，统计软件SPSS 中也提供了ROC 曲线绘制的程序。