PRO量表的研制和应用中山大学.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,PRO量表的研制和应用(中山大学),第一章 前言,QOL和 PRO,1970年代，国外开始关注健康相关生存质量（health related quality of life，HRQOL）和健康状况(health status),2000年以来，国内外医学专家在临床实践中越来越多地重视患者报告的结局指标(patient reported outcome,PRO),国内外研制了许多测评量表作为评价工具,。,有的国家还成立了专门的量表专家科学咨询委员会，专门评估量表的质量和应用价值。,2002年，欧洲癌症研究与治疗组织制定了欧洲癌症生存质量量表模块的研究和在临床试验中的应用规范；,2006年,美国食品与药品管理局(Food and Drug Administration,FDA)颁布了PRO量表研制的规范草案。,中国，“十五”科技攻关课题中医临床疗效评价研究的一部分，由方积乾、刘凤斌、郝元涛、刘保延、谢雁鸣等起草和制定医药领域量表研制与应用指南（草案）。,慢性阻塞性肺病量表,Patient Reported Outcomes Measurement Information System(PROMIS),funded by the NIH,is a system of highly reliable,precise measures of patientreported health status for physical,mental,and social wellbeing.PROMIS tools measure what patients are able to do and how they feel by asking questions.PROMIS measures can be used as primary or secondary endpoints in clinical studies of the effectiveness of treatment.,TwitterpromisNIH,1.1 量表的概念与分类,量表是测量“软指标”的工具,Questionnaire,Scale,Instrument,测量某个概念：不可直接测量,-潜变量（latent variable），,用可观测变量来表征潜变量,-量表的条目(item)，或称项目。,测量过程,第一步,，明确概念的定义，必须用尽量简洁和准确的语言定义所研究的,概念,;,第二步,，根据概念的定义确定相关的,领域,(domain)和,方面,(facet)及其操作性定义,-分别对应于一个潜变量;,第三步,，针对各个领域和方面产生相应的可观测变量：问题,条目,(item);,第四步,，构建测量模型(model)：潜变量和可观测变量之间的关系。,医药领域常用的量表,（1）,普适性量表,：适用于所有疾病人群和健康人群，用于了解一般的情况。例如,世界卫生组织生存质量测定量表,WHOQOL-100 和 WHOQOL-BREF,健康状况调查量表 SF-36,（2）,特异性量表,：针对特定疾病的量表。例如,艾滋病人生存质量量表,肺结核病人生存质量量表,儿童生存质量量表,老年人生存质量量表,残疾人生存质量量表,1.2 量表在医学领域的应用与现状,一般人群健康状况测评,健康影响因素与防治重点,-有助于卫生资源配置、计划和决策的制定,临床疾病的评估,-通过PRO量表比较治疗前后的患者的主观感受，从而判断治疗方案对疾病的干预效果和不良反应；,比较不同治疗方案，帮助选择更为优越的个体化治疗方案。,康复医学评估,-较之通常的客观测定更能真实地评价康复对象的功能障碍状况和康复效果。,中医药研究,传统中医的疗效评价以软指标为主？,-描述不确定、判断笼统性，严重阻碍,了中医药的现代化发展。,用西医实验室指标评价中医疗效？,-中医治疗对象不是西医实验室指标，被动，不公平！,PRO？,-符合中医传统，普遍认可，已广泛应用！,量表研制的现状,测评量表琳琅满目，却并不完善,量表研制的规范达成共识,-出现了若干由专门的委员会或机构制定,的量表研制规范或指南。,国际范围资源共享,-国际机构纷纷建立网上资源信息库，信,息共享，推动交流与应用。,国内如火如荼，唯缺量表,第二章 量表的研制,假设概念框架,列出概念,确定人群,综述,概念框架,将,PRO,与主要终点挂钩,问卷研制计划,PRO,问卷研制,v.修改问卷,改变条目词句、人群、反应模式、回想时间段或操作方式,向其他语言翻译和文化调适,评估适宜性,撰写修改文件,ii.调整概念框架和问卷初稿,生成新条目,产生问卷,选择操作方式、回想时间段、反应模式,问卷格式,认知报告,初稿预试验,撰写内容效度文件,iii.确定概念框架和评价其他测量性质,以计分规则确定概念框架,评价计分的信度、效度和区分度,完成问卷内容、格式、计分方法和培训材料,撰写关于测量的文件,iv.收集、分析和解释数据,准备研究计划书和统计分析计划,收集和分析数据,利用累积分布和反应者定义评价疗效,撰写与说明书有关的解释治疗益处的文件,PRO的测量工,具的制定步骤,2.1 基本原理与步骤,确定研究目的,被测概念的确立及操作性定义,文献回顾,条目的形成和筛选,量表的考评及修订,2.1.1 根据研究目的确定量表性质,量表的性质决定于研究目的。,研究一般人群的生存质量或健康状况？,-普适性量表（如WHOQOL100）,研究老年人群的生存质量或健康状况？,-特异性量表（如WHOQOLOLD）,比较多种疾病治疗的成本-效果？,-普适性量表（如SF36）,比较治疗肺癌的两种方法？,-特异性量表（如FACT-L）,评价？,既需要普适性量表，又需要特异性量表,比较？,特异性量表,2.1.2 测定概念的定义及分解,文献检索，形成概念的结构模型：,概念的操作性定义、,几个领域(domain)？,每个领域含哪几个方面(facet)？,中华生存质量量表：形神统一领域、七情领,域、社会领域、自然领域,概念与领域的因果模式：,领域是所测概念的体现或反映（图1）,所测概念是领域测定值的综合（图2）,图1 领域是所测概念的体现,图2 概念是领域的综合,2.1.3 建立条目池,条目的产生,1）核心小组(focus group),成员,：广泛，由能代表目标人群的人员组,成，除专家、医生、护士，必须有被调查者；,互相不认识；,36个核心小组,每组6-8人,核心小组的讨论,:研究者主持,说明,座谈的目的和作用,没有正确或错误,不同的观点对研究都很重要,记录、录音，但资料保密,2)访谈,选择3050位相关患者，主诉既往和现,在的症状；核心小组综合归纳，提出条目；,根据条目的频率、重要性决定取舍,-,来自患者，切合实际,3)推导法,在预想概念结构模型的基础上，根据专业知,识和经验写出与上述概念有关的条目,-,层次分明、内容完善,4）文献法,阅读文献及相关的量表，摘录相关的条目,初步确定条目,整理，使每个条目只表达一个含义,；提请课题组以外的专家，,征求意见,根据语义，条目可分为,：,评价性条目(evaluation)，如 好 差,强度性条目(intensity)，如 重 极重,频度性条目(frequency)，如 很少 经常,能力性条目(capacity)，如 能 完全能,根据条目的内涵，可分为,：,感知的客观性条目(perceived objective item),自己报告的主观性条目(self-reported,subjective item),确定条目的反应尺度(response scale),线性尺度,在具有刻度（如0-10）的线段上划记,等距等级尺度,(Likert 法)在一些等距离的、反映程度的词语间选择答案。如,很差 差 中等 好 很好,Likert(1932)创立，3点法、5点法和7点法，5点法最为常用。,不等距等级尺度,备选词语的程度间不完全等距。,2.1.4 量表的初稿,量表的格式,卷首语,调查的目的、对患者带来的益处、,该量表的设计。,填表说明,填表方法、举例说明。,条目的排列,相类似的条目排在一起？,知情同意书,应说明：,伦理问题、隐私问题、是否会对被调查者造,成不便,应留有空间，供被调查者填写需补充的内容;被调查者签名和填写日期,预调查,从目标人群、一般人群中分别选择4050名个体，进行,现场测试,；,困难度,：条目的通过率，如某个条目很多,人都未回答，则说明条目不适宜或难以理解。,反应度,：被测者如何回答？,集中于特定的选择项？,-天花板效应、地板效应,某个选择项完全没有人问津？,条目涵义,：相关较大的条目，择其主要者,分析、比较、讨论和修改，,整理成量表初稿,。,2.1.5 现场调查,目标人群,根据研究目的确立目标人群，如 健康人、患者？,样本量和构成,性别、年龄、文化层次、,地域等的分配比例？,样本量多大？,抽样方法,在目标人群中做抽样调查；,样本具有代表性，方法不限,样本,样本构成,某些重要混杂因素（如文化程度、地区、城乡、年龄等）的,构成比例与总体接近,；,资料收集完毕后，如果发现样本与总体的构成出入较大，可以进行,校正,(如标准化),样本量,多领域、多条目，多终点，可借鉴多变量分析,中样本含量的估算经验和方法。,Kendall认为作为一个粗糙的工作准则，样本,含量可取变量数的10倍。例如，20个条目，至,少应测定200例。,2.1.6 结果分析和条目筛选,综合多种方法结果,兼顾专家意见,形成最终量表。,常用方法：,专家重要性评分法,从重要性角度筛选条目。,邀请若干名医药专业人员分别、独立对各条目,的重要程度评分；求平均值,离散趋势法,(变异系数法)从敏感性角度筛选条目。,指标的变异小，区别能力就差,-选变异较大的指标。,偏离正态分布,则变量变换，使接近正态。,回归分析法,从与综合评分关系密切的角度筛选,条目。,要求被调查者对其生存质量或健康状况给出,一个综合评分；,以此综合评分为因变量Y，各条目的得分为自,变量，进行多重回归,-筛选出对综合评分影响较大的条目。,克朗巴赫系数法,从内部一致性角度筛选条目。,Cronbach 系数，反映“领域”或“方面”内部条,目间一致性。,-如果某条目去掉后，Cronbach 系数,较大上升，则剔除该条目。,因子分析法,从代表性角度筛选条目。,根据设想的量表结构作因子分析,-挑选因子负荷较大者,聚类分析法,从代表性角度筛选条目。,将相似的条目归并在同一类，类内条目差别,小，类间差别大,-从同一类指标中挑选代表性条目。,判别分析法,从区分性的角度筛选条目。,选择能区分 病人 vs.健康人,或 特殊人群 vs.一般人群,或 A疗法 vs.B疗法,2.2 量表的考核,量表的效度,（validity）,量表能否测得所需测量的东西?,量表的信度,（reliability）,测量结果的可靠性如何？,2.2.1 效度及其考核方法,量表是否真正能测量所要测量的概念?,例如,智商测验是否真正测量了智力的高低？,生存质量量表是否真正测量人们的生存质量？,抑郁量表是否真正测量病人抑郁的程度？,四类效度,：内容效度、,标准效度、,结构效度、,区分效度,内容效度（content validity）,专家评价,:概念的定义 vs.最终的量表,内容效度的局限:对概念定义的依赖性。,许多概念的定义缺乏一致的认同,例如，,-许多测量“亚健康”的量表，彼此差别较大,统计方法,：,若条目与所属“领域”得分的相关强，与其它,“领域”的相关弱；,若条目与所属“方面”得分的相关强，与其它,“方面”的相关弱,-具有较好的内容效度。,标准效度（criteria validity）,又称效标效度：,测量与“标准”测量之间接近的程度,-常采用相关系数来衡量。,效标,：选定一个与之比较的“标准”。,有时不存在公认的“标准”量表：,相关系数大？不好！,相关系数小？不好！,结构效度（construct validity）,因子分析,：,提取一系列公共因子(潜变量)；,高度关联的“条目”分成几群，每群共享一个,公共因子；,“条目-公共因子”、“公共因子-公共因子”：,反映量表的基本结构。,探索性因子分析,(expolratory factor analysis,EFA),证实性因子分析,(confirmatory factor analysis,CFA),借助因子分析考察结构效度,步骤,设计量表时假设理论结构；,实际测量数据；,验证数据是否符合假设的结构？,证实性因子分析,更适合评价量表的结构效,度。,区分效度(discriminant validity),步骤,:,选择两类不同人群（例如,“健康人”和“病人”）;,从两类不同人群分别抽样;,测量两组样本（各领域得分和总得分）；,这两组样本得分的差别有统计学意义吗？,-量表区分不同人群的能力。,2.2.2 信度及其考核方法,测量的一致性,答案的波动越大，信度越低；,回答的一致性越好，信度越高,常用三种方法,：,重复测量法,分半信度法,Cronbachs,信度系数,重复测量法（test-retest method）,假定：,在这段时间内被调查者的情况没有发,生变化。,-两次测定各项得分间的相关与差异分析,信度系数,，一般要求,达到0.7以上,。,困难,：,被调查者可能随时间发生变化；,记忆，第二次测定结果未必反映真实情况。,间隔时间,：不宜太长，也不宜太短，2-4周,为宜,分半信度法（split-half method）,将调查的条目分成两半,计算两半得分的相关系数,r,；,进一步计算分半信度系数(斯皮尔曼-布朗公式),假定,：两半部分中，条目分数的方差相等,优点,：只在一个时间点上进行；,不受记忆效应的影响；,经济和简便。,缺点,：如何分为两半？如果两半条目的方差不相等，分半信度系数往往低估信度。,克朗巴哈,信度系数(Cronbach,coefficient),评分者的信度,多位评分者评分的一致性,由主观性测题构成的测验（如作文题），必须考虑评分者信度,一、两位评分者:相关系数,若有两位评分者，每份测验均有两个分数，则两个分数间的相关系数即为评分者信度。,分数是连续变量，采用Pearson相关系数；若是有序变量，采用Spearmen相关系数,二、多位评分者：系数,第,i,评分者所评分数的方差,多个评分之和在人群中的方差,例 3 位评分者(,K,=3)，7名学生,评分者方差分别为,9.1,6.9,和,5;,评分之和的方差为,34;,评分者信度,=0.58,三、肯德尔(Kandall)和谐系数,学生,(,n,=5),评分者(,K,=4),R,1,2,3,4,1,1,2,1,2,6,2,3,1,2,1,7,3,5,3,3,4,15,4,4,5,4,5,18,5,2,4,5,3,14,合计,秩和,R,的离均差平方和,最大离均差平方和,例,2.2.3 反应度(responsibility to change),反应度：效度的一个侧面，,又称敏感度,。,如果一份量表不能检测出有临床意义的、随时,间推移而出现的变化,不能算是有效的测定,若根据现有知识能确定，不同条件下被测对象,应当有变化；,考察相应的测量结果是否存在差异,。,例如，记录治疗前后的得分，如果治疗有效，,前后得分的差别应该有统计学意义。,-配对,t,检验或秩和检验,2.3 量表的使用手册,（1）前言：背景、目的、应用范围、资助,（2）研制过程：概念的产生、操作化定义、条目的产生、条目的筛选、格式的确定、预试验、现场试验、最终得到的量表,（3）量表的描述：包括量表的格式、填写说明、计分方法。,（4）计量心理学特征：信度、效度、反应度的考核结果。,（5）使用建议：量表的用途、注意事项、版权所有者及其联系方式。,（6）参考文献。,（7）附录：完整的量表、计分方法、统计计算程序、参考数据、研制者名单等。,小 结,量表是一种测量“软指标”的工具，目前广泛应用于生存质量和患者报告结局的测量。,量表的条目是可观察的显变量，人们透过显变量的测定来了解个体的属性（潜变量）。,作为测量工具量表应有较好的信度和效度，效度尤其重要。,量表的效度又称有效性，反映量表能否调查到所要调查的东西。包括内容效度、标准效度、结构效度和区分效度，反应度也属效度。,小 结,量表的信度又称可靠性或精确度,反映测量结果的一致性。评价信度常用重复测量法、分半信度法和克朗巴哈的,系数法，其中，克朗巴哈,系数最常用。,制定量表相当于制造一个测量工具，本身就是一项科学研究工作，需要按部就班，循序渐进，最终的产品不仅是几页纸的量表，而是一整套使用手册。,谢谢,