定性测定性能评价卫生行业标准WS_T 505-2017附录B示例错误和纠正.pdf

569检验医学 2023 年 6 月第 38 卷第 6 期 Laboratory Medicine，June 2023，Vol.38，No.6定性测定性能评价卫生行业标准 WS/T 5052017 附录 B示例错误和纠正谭春艳周莹莫志江（广西壮族自治区人民医院，广西 南宁 530021）摘要：定性测定性能评价指南（WS/T5052017，简称WS/T5052017）是国内临床实验室对定性测定项目进行性能验证或方法学比较的权威指南。指南中的示例分析是临床实验室和厂商校验数据分析正确性的重要依据，但在涉及方法学比较的附录B示例中存在一些错误，有可能给使用者带来困扰。文章用关联公式拆解三方比较表，分析并纠正附录B示例中的错误；通过与WS/T5052017和美国临床实验室标准化协会EP12-A2标准相同和等效的公式分析、纠正计算错误，并补充其他的计算方法进行结果验证，以帮助临床实验室正确使用该标准。关键词：定性测定；性能评价；卫生行业标准；临床实验室；错误Errors in Appendix B examples of WS/T 5052017 and correction TAN Chunyan，ZHOU Ying，MO Zhijiang.（The Peoples Hospital of Guangxi Zhuang Autonomous Region，Nanning 530021，Guangxi，China）Abstract：The guideline for evaluation of qualitative test performance（WS/T 5052017）is the authoritative guide for the performance verification or methodological comparison of qualitative determination items in domestic clinical laboratories.The example analysis in the guideline is an important basis for clinical laboratories and vendors to verify the correctness of datum analysis，but there are some errors in the Appendix B examples involving methodological comparisons that may cause confusion to users.This paper analyzes and corrects errors in the Appendix B examples using the association formula disassembled three-way comparison table，analyzes and corrects calculation errors using formulas that are identical and equivalent to WS/T 5052017 and the Clinical and Laboratory Standards Institute EP12-A2，and complements other calculation methods for result validation，with a view to helping clinical laboratories use the guideline correctly.Key words：Qualitative determination；Performance evaluation；Health standard；Clinical laboratory；Error 基金项目：广西壮族自治区自然科学基金项目（2017GXNSFAA198043）作者简介：谭春艳，女，1964年生，主任技师，主要从事临床血液学、分子生物学检验和体外诊断试剂临床试验研究。通信作者：莫志江，E-mail：。引用本文：谭春艳，周莹，莫志江.定性测定性能评价卫生行业标准WS/T 5052017附录B示例错误和纠正J.检验医学，2023，38（6）：569-573.文章编号：1673-8640（2023）06-0569-05 中图分类号：R446.1 文献标志码：A DOI：10.3969/j.issn.1673-8640.2023.06.012定性测定性能评价指南1（WS/T5052017，简称WS/T5052017）是由原国家卫生和计划生育委员会于2017年发布，2018年实施的行业标准，是我国临床实验室对定性测定项目进行性能验证或方法学比较的权威指南。指南中的示例分析是临床实验室和厂商校验数据分析正确性的重要依据，但我们发现，在涉及方法学比较的附录B的示例中存在错误，有可能给使用者带来困扰。本文主要列举和证明附录B示例存在的错误，并予以纠正，以期为使用者进行这类难度较高的运算时提供帮助。1 数据来源和处理筛选WS/T5052017附录B示例中的错误，采用Excel 2013软件辅助计算，列出Excel函数 公式。2 数据分析WS/T5052017附录B示例的结果错误可分为三方比较表（three-way comparison table）570检验医学 2023 年 6 月第 38 卷第 6 期 Laboratory Medicine，June 2023，Vol.38，No.6拆解错误和计算错误（包括代入错误数字）两 大类。2.1 三方比较表的拆解错误和纠正敏感度率差和特异度率差的95%可信区间（confidence interval，CI）只能通过表1计算得到，通常先计算新方法（待评价方法）和旧方法（比较方法）的各项性能指标，以便调用。表1新方法（待评价方法）、旧方法（比较方法）和临床确诊的三方比较试验结果临床确诊合计新方法 老方法+-+80 a（+）3 a（-）83=a（+）+a（-）+-6 b（+）0 b（-）6=b（+）+b（-）-+2 c（+）7 c（-）9=c（+）+c（-）-5 d（+）51 d（-）56=d（+）+d（-）合计93 n（+）61 n（-）154 N可以将表1拆解为新方法和旧方法2个四格表（表2或表3、表4），该过程单向不可逆，即不能通过表2反向构筑表1，只有取得每份样本（或患者）新、旧方法结果及其临床诊断信息后，才可构筑表11-2。根据三方比较表的结构（表1），表1可通过以下关联公式拆解为表2形式的新、旧方法四格表。新方法四格表的关联公式：a1=a（+）+b（+）=80+6=86（新方法真阳性例数）b1=a（-）+b（-）=3+0=3（新方法假阳性例数）c1=c（+）+d（+）=2+5=7（新方法假阴性例数）d1=c（-）+d（-）=7+51=58（新方法真阴性例数）旧方法四格表的关联公式：a2=a（+）+c（+）=80+2=82（旧方法真阳性例数）b2=a（-）+c（-）=3+7=10（旧方法假阳性例数）c2=b（+）+d（+）=6+5=11（旧方法假阴性例数）d2=b（-）+d（-）=0+51=51（旧方法真阴性例数）将关联结果列出，对照表2“指南的拆解结果”，即可显示出错误。在实际工作中，2个四格表和三方比较表是分别生成的，后者较为复杂，易产生不一致或出错，通过以上方法可以发现三方比较表是否正确。根据表1或参考关联公式，可计算出新、旧方法的敏感度率差为：a（+）+b（+）n（+）-a（+）+c（+）n（+）=b（+）-c（+）n（+）=6-293表2WS/T5052017附录B示例的拆解错误和纠正方法指南的拆解结果正确的拆解结果+-+-新方法+86386（a1）3（b1）-6597（c1）58（d1）合计926293 n（+）61 n（-）老方法+811182（a2）10（b2）-115111（c2）51（d2）合计926293 n（+）61 n（-）根据表2，可计算出新、旧方法的敏感度率差为：a1n（+）-a2n（+）=a1-a2n（+）=86-8293这2个方法的结果应该相等，即新、旧方法的敏感度率差应为：6-293=86-8293=493然而，对于指南的拆解结果（表2），新、旧方法的敏感度率差却为：6-293 86-8192可以看到，公式左、右2侧的分子和分母都不相等，提示指南拆解错误；同样，检查特异度率差也可得到相同的结论。n（+）和n（-）由临床确诊决定，因此在表1和表2中应该是一致的，但指南由于拆解错误（表2）同样不吻合，导致公式左、右2侧的分母有差异（9392）。2.2 计算结果的错误和纠正按正确的拆解结果评估新、旧方法的性能，基于表2列出的正确的拆解结果可得到表3和表4的结果。表3新方法（待评价方法）的四格表新方法结果临床确诊结果合计+-+86（a）3（b）89-7（c）58（d）65合计93 n（+）61 n（-）154 N1）新方法敏感度=100%a/n（+）=100%86/93=92.5%。对于测定方法的性能指标（敏感度、特异度等），WS/T50520171和美国临床实验室标准化协会EP12-A2文件2均推荐使用571检验医学 2023 年 6 月第 38 卷第 6 期 Laboratory Medicine，June 2023，Vol.38，No.6确切法（ClopperPearson法）或Wilson计分法计算各种率的95%CI，但确切法是直接列出结果而没有给出计算公式，本文参考文献3的公式：新方法敏感度的确切法95%CI=100%B-1（0.05/2，a，c+1），B-1（1-0.05/2，a+1，c）=100%（BETAINV（0.025，86，7+1），BETAINV（0.975，86+1，7）=（85.1%，96.9%），式中B-1代表逆分布函数，BETAINV为Excel软件的逆分布函数。WS/T5052017和EP12-A2文件均使用Altman的单样本率Wilson计分法公式4，但我们认为按照Newcombe的计算公式5-6更为简便，2个公式的计算结果完全相同。我们将Newcombe的公式略作转换，以避免公式代入单样本率所导致的小数点截断误差，更便于四格表格的计算。依据表3可得下列等式：PSE=an（+），1-PSE=1-an（+）=cn（+），n（+）PSE=a，z1-0.05/2=1.96，z21-0.05/2=3.84式中PSE为敏感度。得到新方法敏感度的计分法95%CI计算公式为：100%（2n（+）PSE+z21-0.05/2 z1-0.05/2z21-0.05/2+4n（+）PSE（1-PSE）2（n（+）+z21-0.05/2）=100%（2a+z21-0.05/2 z1-0.05/2z21-0.05/2+4bd/n（+）2（n（+）+z21-0.05/2）=100%（286+3.84 1.96sqrt（3.84+4867/93）2（93+3.84）=（85.3%，96.3%）2）新 方 法 特 异 度=1 0 0%d/n（-）=100%58/61=95.1%新方法特异度的确切法95%CI=100%B-1（0.05/2，d，b+1），B-1（1-0.05/2，d+1，b）新方法特异度的计分法95%CI计算公式为：100%（2d+z21-0.05/2 z1-0.05/2z21-0.05/2+4ac/n（-）2（n（-）+z21-0.05/2）基于以上公式，得到新方法特异度的确切法95%CI为（86.3%，99.0%），计分法95%CI为（86.5%，98.3%）。3）新方法准确度=100%（a+d）/N=（86+58）/154=93.5%。附录B和EP-12A2文件均建议：如果对照方法不是临床确诊或金标准方法，需计算总符合率1-2。新方法准确度的确切法95%CI=100%B-1（0.05/2，a+d，b+c+1），B-1（1-0.05/2，a+d+1，b+c）新方法准确度的计分法95%CI计算公式为：100%（2（a+d）+z21-0.05/2 z1-0.05/2z21-0.05/2+4（a+d）（b+c）/N2（N+z21-0.05/2）基于以上公式，得到新方法准确度的确切法95%CI为（88.4%，96.8%），计分法95%CI为（88.5%，96.4%）。4）旧方法敏感度=100%a/n（+）=100%82/93=88.2%。5）旧方法特异度=100%d/n（-）=100%51/61=83.6%。根据公式，得到旧方法敏感度的确切法95%CI为（79.8%，93.9%）、计分法95%CI为（80.1%，93.3%），特异度的确切法95%CI为（71.9%，91.8%）、计分法95%CI为（72.4%，90.8%）。此外，新、旧方法样本患病率阳性预测值和阴性预测值也需同步更新，本文仅列出敏感度、特异度和率差的错误（表5），其他错误因计算简单不再赘述，也不列出中间计算值（Q1Q3或Q1Q6）的错误。新、旧方法敏感度率差和特异度率差的95%CI，WS/T5052017和EP12-A2文件的计算公式完全相同1-2，均源自Wilson计分法的率差计算公式4，本文同样采用，为节省篇幅，仅在表5列出结果以供校验。这部分计算过程繁杂，附录B出现了较多计算错误和数字代入错误（包括与其四格表不一致的数字），见表5。表2的新、旧方法拆解结果虽然有错误，但若不考虑与表1的关系，可单独作为范例用于结果校验，但也存在较多计算错误（表5），提示表4旧方法（比较方法）的四格表旧方法结果临床确诊+-+82（a）10（b）-11（c）51（d）合计93 n（+）61 n（-）572检验医学 2023 年 6 月第 38 卷第 6 期 Laboratory Medicine，June 2023，Vol.38，No.6表5附录B示例中的部分错误%指标按表1计算按表2指南的拆解结果计算示例结果正确结果示例结果正确结果新方法92.592.593.593.5 敏感度 确切法下限84.186.3 确切法上限98.297.6 计分法下限（l1）86.285.386.586.5 计分法上限（u1）95.396.397.097.0 新、旧方法率差（D）4.34.35.55.5 率差计分法下限-1.79-2.32 率差计分法上限11.5411.50 特异度95.195.195.295.2 确切法下限86.383.586.5 确切法上限99.099.499.0 计分法下限（l1）86.586.585.786.7 计分法上限（u1）98.398.399.398.3 新、旧方法率差（D）11.511.512.912.9 率差计分法下限4.342.82 率差计分法上限17.7221.80旧方法88.288.288.088.0 敏感度 确切法下限80.779.6 确切法上限94.293.9 计分法下限（l1）80.180.179.879.8 计分法上限（u1）93.293.393.193.2 特异度83.683.682.382.3 确切法下限遗漏70.5 确切法上限遗漏90.8 计分法下限（l1）77.672.471.071.0 计分法上限（u1）85.690.889.889.8注：表示与其四格表不一致，即与对应的正确结果相差绝对值0.1%；表示与指南对应的正确结果相差绝对值0.1%；为计分法95%CI，但与其后的计分法95%CI不同，结合前后文，判断应为确切法结果。这种复杂计算较易出错，因此本文摘录更为简便的计算方法进行计算和验证。需注意的是：表5的错误是单纯计算错误，与表1的拆解错误无关。3 讨论直接进行新、旧方法的对比实验在方法学研究中很常用，但其最大的缺点是无法知道实验结果的准确性，无法计算敏感度和特异度，只能计算各种符合率，属于“较低”水平的比较方法。采用临床确诊或金标准方法作为对照，可以通过计算敏感度和特异度来考察新、旧方法的真实诊断能力，属于“最高”水平的比较方法1-2，也是评估定性测定项目性能的首选方法，因此WS/T5052017和EP12-A2文件都用大篇幅进行介绍。通过计算敏感度率差和特异度率差的95%CI，可判断新、旧方法的结果是否具有可比性和替换性（率差的95%CI包含0），或哪个方法更好（率差的95%CI不包含0），优于仅执行新、旧方法的配对McNemar检验1-2，但计算过程复杂，计算量大，易出错，WS/T5052017附录B示例的大部分错误均因此产生，将编写好的公式用EP12-A2文件范例1c进行校验可避免这类计算错误。理解和熟悉表1和表2的关联关系可避免表格的拆解错误。573检验医学 2023 年 6 月第 38 卷第 6 期 Laboratory Medicine，June 2023，Vol.38，No.6表5中所有敏感度和特异度95%CI的Wilson计分法结果（按表1计算的正确结果列），均采用WS/T5052017和EP12-A2文件中的公式进行计算，并非源自得出表3、表4中结果的公式，对照其中的相同指标，结果完全相同。因此，如果可以找到其他计算公式，建议进行相互验证，以避免计算错误。本文的确切法计算结果，同样经过SPSS 26.0软件或MedCalc 20.0软件的验证，公式（包括表5结果的计算公式）均经过EP12-A2范例的校验，得到完全相同的 结果。公式中的数字代入错误虽然低级，但在这类复杂计算中（尤其是Altman的Wilson计分法）也不少见，附录B示例中存在多处代入错误数字，或代入与其四格表不一致的数字。WS/T5052017附录B的表B.1项下，在计算待评价方法的Q2，SP（计算特异度95%CI的1个中间值）时，将4误代为6，导致中间结果（8.975）和最终结果（85.7%，99.3%）错误。WS/T5052017的附录C在计算总符合率的Q2时也将28误代为29，导致总符合率计分法的95%CI最终结果（93.5%，95.4%）错误，正确结果应为（93.1%，95.8%）。EP12-A2范例1c计算Q6，DSE（计算敏感度率差95%CI的1个中间值）的公式尽管结果（87.14）正确，但应注意的是，这个公式遗漏了乘数2。因此，对计算结果进行多方验证十分必要。鉴于WS/T5052017的权威性，附录示例中的一些错误，有可能影响使用者的校验结果，有必要引起重视。参考文献1 中华人民共和国国家卫生和计划生育委员会.WS/T 5052017 定性测定性能评价指南S.北京：中华人民共和国国家卫生和计划生育委员会，2017.2 Clinical and Laboratory Standards Institute.User protocol for evaluation of qualitative test performanceS.EP12-A2，CLSI，2008.3 KRISHNAMOORTHY K，PENG J.Some properties of the exact and score methods for binomial proportion and sample size calculationJ.Commun Stat Simul Comput，2007，36（6）：1171-1186.4 ALTMAN D，MACHIN D，BRYANT T，et al.Statistics with confidenceM.2nd ed.BMJ Publishing Group，2000.5 NEWCOMBE R G.Two-sided confidence intervals for the single proportion：comparison of seven methodsJ.Stat Med，1998，17（8）：857-872.6 唐欣然，黄耀华，王杨，等.Newcombe-Wilson得分方法在有效率为100%非劣效临床试验中的应用J.中华疾病控制杂志，2015，19（2）：190-192.（收稿日期：2022-08-09；修回日期：2023-02-08）（本文编辑：李 欣）