诊疗实验的评价专家讲座.pptx

第七章 诊疗试验评价诊疗实验的评价第1页案 例一位54岁美国高中教师，前往她小区医生处进行年度体检。主诉既往身体健康，无不适。一年前曾有一次短暂发烧史，未经治疗已经缓解。医生对其进行了身体检验，包含乳房触诊、妇科查体等均无异常。提议患者进行乳腺钼钯X线检验，结果提醒异常。于是深入进行细针穿刺抽吸乳腺组织活检（Fine-needle aspiration,FNA）检测，FNA病理结果显示有癌细胞。于是患者被安排1周后手术。手术同时又做了病理切片，结果确诊为乳腺癌。注：FNA检测结果可分为以下三种：一是良性（不存在癌细胞）；二是可疑（有变异细胞还不确定是否为癌细胞）；三是存在癌细胞。诊疗实验的评价第2页问 题1.该患者无不适主诉，乳房触诊等物理诊疗均无异常，为何医生还要对其行乳腺钼钯X线检验？2.既然钼钯X线检验已提醒为异常，为何还要深入行FNA检测，增加患者痛苦、创伤和诊疗费用？3.手术活检是乳腺癌确诊最终依据，假设该患者X线检验为异常，而FNA检验为正常，是否有必要深入行外科手术活检？诊疗实验的评价第3页提 示50岁以上妇女，在乳房触诊正常情况下，患乳腺癌几率为0.3%钼钯X线检测异常则有13%可能患乳腺癌FNA检测结果为阳性，患乳腺癌可能性为64%4.对于乳腺触诊无可疑包块而钼钯X线摄片异常者，若FNA检验为正常，则有99%把握可排除乳腺癌即只有1%可能性是乳腺癌。那么外科手术可考虑暂时不做，提议其定时体检、随访，复查乳腺钼钯X线。诊疗实验的评价第4页筛检与诊疗步骤示意图 定时治疗性干预诊疗实验的评价第5页诊疗（诊疗（diagnosis)不但包含各种试验室检验，也包不但包含各种试验室检验，也包含病史体检所取得临床资料、含病史体检所取得临床资料、X X线、超线、超声等各种公认诊疗标准，而且利用这声等各种公认诊疗标准，而且利用这些资料和技术标准对疾病和健康情况些资料和技术标准对疾病和健康情况做出确切结论。做出确切结论。诊疗试验诊疗试验（diagnostic test）：）：泛指在泛指在诊疗过程中进行各种以诊疗为目标检诊疗过程中进行各种以诊疗为目标检验伎俩。是把病人与可疑有病但实际验伎俩。是把病人与可疑有病但实际无病人区分开来。无病人区分开来。诊疗实验的评价第6页案 例Bibbo等人选择114例乳腺触诊无可疑包块而钼钯X线检验异常女性病例，先行FNA检测，随即在同侧乳腺做了手术活检，结果见表1。表1 FNA检测与手术活检诊疗乳腺癌比较 手术活检FNA检测 乳腺癌 非乳腺癌 累计 阳性 14 8 22 阴性 1 91 92 累计 15 99 114问题4：对FNA检测乳腺癌真实性怎样进行评价？诊疗实验的评价第7页目标人群目标人群阳性阳性阴性阴性阳性阳性阴性阴性病人病人非病人非病人待评待评价试价试验验abcd筛检试验评价程序筛检试验评价程序金标准金标准第二节 筛检试验评价诊疗实验的评价第8页试 验 金 标 准 合 计 病例 非病例 阳 性 真阳性（a）假阳性（b）总阳性人数（a+b，r1）阴 性 假阴性（c）真阴性（d）总阴性人数（c+d，r2）合 计 患者总数 非患者总数 受检验人数 （a+c，c1）（b+d，c2）（a+b+c+d，n）评价：真实性、可靠性、实用性第二节 筛检试验评价诊疗实验的评价第9页一、真实性（validity)P86真实性真实性：指测量值与实际值（金标准金标准测量值）符合程度。灵敏度（sensitivity，Se）和假阴性率（漏和假阴性率（漏诊率诊率,fasle negative rate,FN）特异度（specificity，Sp）和假阳性率（误和假阳性率（误诊率诊率,fasle positive rate,FP）约登指数（正确指数，约登指数（正确指数，r）符合率（符合率（agreement rate)预测值预测值似然比（似然比（likelihood ratio，LR)诊疗实验的评价第10页评价试验真实性试 验 金标准 累计 病例 非病例 阳 性 a b a+b阴 性 c d c+d合 计 a+c b+d a+b+c+d假阴性率 c/a+c特异度 d/b+d灵敏度 a/a+c假阳性率 b/b+d诊疗实验的评价第11页 r r（灵敏度特异度）（灵敏度特异度）1 1 1 1（假阳性率假阴性率）（假阳性率假阴性率）r值范围在值范围在01之间之间 r越大，准确性越高，与实际越符合越大，准确性越高，与实际越符合正确诊疗指数（正确诊疗指数（Youdens index，r）诊疗实验的评价第12页真实性指标预测值：指真阳（阴）性人数占试验结果阳（阴）性人数百分比，又称验后概率（PV）。试 验 金标准 累计 病例 非病例 阳 性 a b a+b阴 性 c d c+d合 计 a+c b+d a+b+c+d阴性预测值 d/c+d阳性预测值 a/a+b患病率a+c/a+b+c+d（验前概率）诊疗实验的评价第13页似然比似然比 (likelihood ratio,LR)即病人中出现某种试验结果概率与非即病人中出现某种试验结果概率与非病人中出现对应结果概率之比，说明病人中出现对应结果概率之比，说明病人出现该结果机会是非病人多少倍。病人出现该结果机会是非病人多少倍。是一个相对稳定综合性评价指标，不是一个相对稳定综合性评价指标，不受患病率影响。受患病率影响。诊疗实验的评价第14页u 阳性似然比阳性似然比 筛检试验结果真阳性率与假阳性率筛检试验结果真阳性率与假阳性率之比。比值越大诊疗价值越高。之比。比值越大诊疗价值越高。诊疗实验的评价第15页u 阴性似然比阴性似然比 筛检试验结果假阴性率与真阴性率筛检试验结果假阴性率与真阴性率之比。比值越小诊疗价值越高。之比。比值越小诊疗价值越高。诊疗实验的评价第16页评价结果灵敏度=93.33%假阴性率=6.67%特异度=91.91%假阳性率=8.09%约登指数=0.8524阳性似然比=11.54阴性似然比=0.07阳性预测值=63.6%阴性预测值=98.9%诊疗实验的评价第17页A人数测量值正常人 病人诊疗点正常人与病人测量值呈独立分布正常人与病人测量值呈独立分布 评价指标相互关系及其应用诊疗实验的评价第18页诊疗点正常人 病人B人数测量值正常人与病人测量值呈连续分布正常人与病人测量值呈连续分布评价指标相互关系及其应用诊疗实验的评价第19页C人数测量值重合正常人 病人正常人与病人测量值呈交叉分布正常人与病人测量值呈交叉分布评价指标相互关系及其应用诊疗实验的评价第20页评价指标相互关系及其应用灵敏度和特异度P88诊疗实验的评价第21页诊疗实验的评价第22页确定截断值（确定截断值（cut-off value)标标准准1遗漏一个可能病例后果遗漏一个可能病例后果 假如该病早期诊疗和早期治疗可取得很好治疗效果，不然后果严重，此时应选择灵敏度高判定标准，尽可能把全部可疑病人都诊疗出来。2.假如早期治疗效果与临床期才开始治疗效果相近，则应选择特异度高判断标准，尽可能降低假阳性。3.假阳性与假阴性主要性相等假阳性与假阴性主要性相等 当出现这种情况时，可选择灵敏度与特异度相等，或使正确指数最大分界值作为判断标准。判断标准左移时，灵敏度增加，特异度下降，假阳性增加，将使诊疗成本增加。判断标准右移时，特异度增加，灵敏度下降，假阴性增加，将使漏诊率增加。诊疗实验的评价第23页预测值影响原因预测值影响原因:特异度、灵敏度、患病率 灵敏度患病率阳性预测值 灵敏度患病率+(1特异度）(1灵敏度）(1患病率)特异度阴性预测值 (1患病率)特异度+患病率(1灵敏度）诊疗实验的评价第24页患病率与预测值关系患病率患病率：患病率越高，阳性预测值越高：患病率越高，阳性预测值越高诊疗实验的评价第25页案例关联分析同年，Smith C等人选择317例乳腺触诊有可疑包块且钼钯X线检验异常女性病例，一样先行FNA检测，随即在同侧乳腺做了手术活检，结果见表2和表3。表2 FNA检测与手术活检诊疗乳腺癌比较（FNA可疑可判为阳性）手术活检FNA检测 乳腺癌 非乳腺癌 累计 阳性 113 15 128 阴性 8 181 189 累计 121 196 317 表3 FNA检测与手术活检诊疗乳腺癌比较（FNA可疑可判为阴性）手术活检FNA检测 乳腺癌 非乳腺癌 累计 阳性 91 0 92 阴性 30 196 226 累计 121 196 317诊疗实验的评价第26页患病率患病率(%)(%)灵敏灵敏度度(%)(%)特异特异度度(%)(%)诊疗结果诊疗 累计 阳性预阳性预测值测值(%)(%)阴性预阴性预测值测值(%)(%)乳腺癌乳腺癌非乳腺癌非乳腺癌13939214 82264 191 9299累计1599114389392113 1512888 818118996累计121196317387510091 0 911003019622687累计121196317灵敏度、特异度和患病率不一样时乳腺癌诊疗结果灵敏度、特异度和患病率不一样时乳腺癌诊疗结果诊疗实验的评价第27页ROC曲线受试者工作特征曲线受试者工作特征曲线诊疗性试验用计量资料表示结果时，将测量值按大小次序排列，可用任意测量值作为正常与异常阈值计算敏感度和特异度。ROC曲线能将每个敏感度/假阳性率(1-特异度)对子，用图形表示出来，直观地表示整个敏感度/特异度变动范围及其特征。ROC曲线下面积应在0.51.0之间。0.5：准确性较低0.7：准确性中等0.9：准确性较高对ROC曲线下面积应作显著性检验显著性检验。诊疗实验的评价第28页ROC曲线：曲线：确定试验最正确诊疗阈值（图中最靠近左上方A点）诊疗实验的评价第29页CPK和EKG诊疗心梗ROC曲线比较假阳性率假阳性率真阳性率（灵敏度）比较两种或两种以上试验价值诊疗实验的评价第30页案例分析 甲乙两位放射科医生阅读相同乳腺癌钼钯X线摄片100张，读片结果列于表4。表4 两位放射科医生对100张乳腺钼钯X线摄片读片结果 甲医生乙医生 正常 异常 累计 正常 40（a）20(b)60(r1)异常 4 (c)36(d)40(r2)累计 44(c1)56(c2)100(N)问题：甲乙两医生用钼钯X线摄片诊疗乳腺癌可靠性怎样？诊疗实验的评价第31页二、可靠性(reliability)可靠性（信度、重复性或精密度）：是指在相同条件下，重复试验取得相同结果稳定程度。影响试验可靠性原因有：（1）受试对象本身生物学变异（2）观察者变异：包含观察者间误差和观察者本身误差。（3）试验方法变异：所使用仪器、药品和试剂变异。诊疗实验的评价第32页诊疗试验可靠性评价指标计量资料：变异系数 CV=s/计数资料：符合率、卡帕（Kappa）值 a+d 符合率 =100%N 诊疗实验的评价第33页Kappa值计算简化公式简化公式 N(a+d)-(r1c1+r2c2)Kappa=N2-(r1c1+r2c2)观察一致率观察一致率(Po)=a+d/N机遇一致率机遇一致率(Pc)=(r1 c1)/N+(r2 c2)/N/N非机遇一致率非机遇一致率=1-Pc实际一致率实际一致率=Po-PcKappa值值=Po-Pc/1-Pc诊疗实验的评价第34页Kappa值判断标准 Kappa值 一致性强度 0.40 差 0.40 中、高度 0.75 极好本案例：符合率=76%Kappa=0.53诊疗实验的评价第35页第三节第三节 提升试验效率方提升试验效率方法法一、选择患病率高人群（增加验前概率）二、联合试验、联合试验并联试验并联试验（parallel test）：只要有一个试验结只要有一个试验结果为阳性者即定为阳性。该法能够提升灵敏度。果为阳性者即定为阳性。该法能够提升灵敏度。平行平行串联试验（串联试验（serial test）：）：只有全部试验结果为只有全部试验结果为阳性才可定为阳性。该法能够提升特异度。阳性才可定为阳性。该法能够提升特异度。系列系列P94诊疗实验的评价第36页试试验验对对象象A方法方法C方法方法B方法方法阴阴性性阳阳性性并联试验模式图并联试验模式图诊疗实验的评价第37页A方法方法试试验验对对象象B方法方法C方法方法阳阳性性阴阴性性串联试验模式图串联试验模式图诊疗实验的评价第38页诊疗实验的评价第39页平行试验：平行试验：总灵敏度灵总灵敏度灵(A)灵灵(B)（1灵灵(A)）总特异度特总特异度特(A)特特(B)系列试验：系列试验：总灵敏度灵总灵敏度灵(A)灵灵(B)总特异度特总特异度特(A)特特(B)（1特特(A)）前提：两个试验相互独立。前提：两个试验相互独立。诊疗实验的评价第40页确定“金标准”选择研究对象确定样本量试验结果与金标准分类结果比较筛检试验研究设计关键点筛检试验研究设计关键点诊疗实验的评价第41页1.确定“金标准”金标准：指可靠、公认、能正确地将有病和无病区分开诊疗方法。q冠心病冠心病:冠状动脉造影冠状动脉造影q肿瘤肿瘤:病理学检验病理学检验q不明原因腹痛不明原因腹痛:手术探查手术探查 金标准含有创伤性，所以探求一些新诊疗方法金标准含有创伤性，所以探求一些新诊疗方法（诊疗试验），并比较其与金标准差异、得失及推（诊疗试验），并比较其与金标准差异、得失及推广价值有现实意义。广价值有现实意义。诊疗实验的评价第42页2.选择研究对象选择研究对象病例代表性：病例代表性：临床各型临床各型(轻、中、重轻、中、重)临床各期临床各期(早、中、晚早、中、晚)有没有并发症有没有并发症对照组对照组*健康人健康人*未患该病而患其它疾病病人未患该病而患其它疾病病人病例组病例组诊疗实验的评价第43页待评价筛检试验灵敏度待评价筛检试验灵敏度待评价筛检试验特异度待评价筛检试验特异度允许误差允许误差：0.050.05或或0.010.013 3、样本含量估算、样本含量估算诊疗实验的评价第44页当灵敏度和特异度均靠近当灵敏度和特异度均靠近50%50%时，可用近时，可用近似以下公式计算样本量。似以下公式计算样本量。当灵敏度或特异度小于当灵敏度或特异度小于20%20%或大于或大于80%80%时，时，因其趋向偏态分布，可用以下公式计算因其趋向偏态分布，可用以下公式计算样本量。样本量。灵敏度用于预计病例组人数，特异度用于预计对照组人数。两组样本量都最少在30例以上，才能确保结果受机会影响程度在可接收范围内。诊疗实验的评价第45页4.确定筛检试验阈值均数加减标准差法：正态分布时 均数2倍标准差百分位数法：偏态分布或分布状态不明时，5%95%为正常。临床判断法ROC曲线法诊疗实验的评价第46页案例总结 1.尽管患者无不适主诉，查体也无异常，但因为50岁以上妇女乳腺癌几率为0.3%，为了防止漏诊，医生提议其做乳腺钼钯X线检验，该方法安全、经济、对患者无创伤，同时含有很好灵敏性，适合对可疑患者进行筛检。2.病史、乳房触诊和钼钯X线检测，只要任一项为阳性（平行试验），则需深入行FNA检测（即再行系列试验，提升特异度，明确诊疗），FNA试验灵敏度为92%、特异度为93%（与前三项平行试验串联后，特异度还会提升）比手术活检经济且创伤小，适宜做诊疗试验。该患者FNA检测结果为阳性，提醒其患乳腺癌可能性为64%（由表1分析可知，对于乳腺癌触诊无可疑包块而钼钯X线摄片异常者，其阳性预测值为64%，而对于乳腺触诊有可疑包块而钼钯X线异常者，则阳性预测值升高到88%）。诊疗实验的评价第47页案例总结3.鉴于患者患乳腺癌几率较大（64%），而乳腺癌早期手术治疗效果很好，于是安排其1周后手术治疗，并在手术同时做病理切片，病理检测结果最终核实了乳腺癌诊疗。4.假设该患者钼钯X线检测为异常，而FNA检验为正常，则有99%把握可排除乳腺癌（由表1分析可知，对于乳腺癌触诊无能够包块而钼钯X线摄片异常者，FNA检测阴性预测值为99%），即只有1%可能性是乳腺癌。那么外科手术可考虑暂时不做，提议其定时体检、随访，复查乳腺钼钯X线。当然更为主动做法是，在患者经济许可且本人同意前提下，仍行外科手术活检和治疗，因为对于乳腺癌而言，即使是1%漏诊率也是很高。诊疗实验的评价第48页诊疗实验的评价第49页