护理-研究工具性能的测定.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,教学目的和要求,掌握信度的概念和分类,掌握效度的概念和分类,掌握信度与效度的关系,熟悉信度和效度的测量方法,了解国外量表翻译的基本步骤,做任何研究之前，首先要想好选用什么样的研究工具？,这个研究工具到底在不在测量你想要测量的概念？,用什么来测量，准不准确？,凡是通过测量工具得到的结果,无论是通过测定仪器得到的硬数据,(,如物理测定,),还是通过测定量表、问卷得到的软数据,(,如心理测定、考试等,),均需,进行信度和效度分析；,信度与效度评价的对象可以是整个测定量表,(,对整个量表评价,),也可以是各个方面或领域,(,对领域评价,),还可以是具体的条目,(,对条目评价,),【1】,【1】,倪宗瓒,.,医学统计学,M,.,北京：高等教育出版社，,2003.230-239.,二、信度的三个主要特征,稳定性,内在一致性,等同性,稳定性,用,同一,工具,两次或多次,测定,同一,研究对象，所得结果的一致程度。一致程度越高，工具的稳定性越好。,内在一致性,组成研究工具的,各项目之间,的,同质性,和,内在相关性,。内在相关性越大或同质性越好，工具的内在一致性越好，信度越高。,等同性,不同,评定者使用,相同工具,同时测量,相同对象,时，,评定者间,的一致程度；或,大致相同两个,研究工具,同时,被用于研究对象，工具的一致程度。,三、信度的计算方法,稳定性测量 内在一致性测量,等同性测量,重测信度 折半信度 评定者间信度,Cronbach系数,KR-20值 复本信度,三、信度的计算方法,（一）重测信度,(test-retest reliability),（稳定性）,1.定义：是用同一测量工具在不同的时间对同一群受试者前后测量两次，然后计算两次测量分数的相关系数，相关系数越大说明两次测量的一致性越高。,一,致程度越高，重测信度越高，研究工具的稳定性越好。,重测信度(test-retest reliability),重测信度的具体做法是先进行第一次测试，隔一段时间后进行重测，然后计算两次测试结果的相关系数。重测对象一般要达到总研究数目的1/10。,相关系数在0,1之间，越接近1，说明重测信度越高。,一般而言,重测信度系数能达到0.70 以上即可.,不足之处在于计算结果会受多种因素影响。例如时间、受测对象第二次反应、态度和记忆力等,研究对象,第一次测试（X）,第二次测试（Y）,1,23,27,2,44,38,3,35,37,4,53,49,5,44,46,6,26,28,7,32,34,8,28,25,9,38,34,10,39,36,例：,人格问卷重测数值表,3.使用重测信度需考虑的问题,（1）两次测量之间的间隔时间,第一次的测量对第二次的测量不会产生影响；,在客观情况未发生改变时进行；1-2W颇为常用。,（2）研究工具所测量的变量的性质：,评估性质相对稳定问题，如个性、价值观、生活质量等；而诸如,情感、态度、知识不稳定的变量，则不宜使用,（3）测量环境的一致性,相同的测试者，相同的程序，相同的测量时间及相似的周围环境,（二）折半信度、Cronbach 系数与KR值,此三种方法用来反映工具的内在一致性。,当研究工具包含多条项目时，需要对各项目之间的关系进行评定。,内在一致性（,internal consistency,）,指各项目之间的同质性或内在相关性,内在相关性越好，说明组成研究工具的各项目都在一致地测量同一个问题或指标，也就是说明工具的内在一致性越好，信度越高,.,例如：,一个量表，有12个条目，旨在测量乳腺癌放疗术后的疲乏程度。,这些题目之间不仅存在着相关性，更能互相补充。,(1),折半系数：,折半系数是测定内在一致性的最古老方法，具体方法是将项目分成两部分，分别记分，对两个部分进行相关分析，然后采用,Spearman-Brown,公式计算信度,方法,:,前后折半法,奇偶折半法（常用此法）,计算：,只用一个测量工具对同一群受试者实施一次测量，但将奇数题和偶数题分开计分，再计算奇数试题和偶数试题分数之间的相关系数。,缺点:,不同的折半方法会导致不同的结果,折,半,信,度,(2)Cronbach 相关系数与KR-20值：,Cronbach,与,KR20,值所计算的是工具中所有项目的平均相关程度，避免了折半信度计算的缺点。,与,Cronbach,不同的是,KR-20,值适用于二分制的研究工具（包含两种反应，例如回答“是”或“不是”）的一种方法。,Cronbach是描述一个研究工具信度时最常用的一种方法。,系数越大表示条目间相关性越好，一般而言，大于0.8 表示内部一致性极好，在0.7 到0.8 表示较好，而低于0.7表示内部一致性较差。,（三）、评定者间信度和复本信度,评定者间信度测量方法：,不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。,如：为调查ICU护士的压力，观察她们工作的紧张程度。,复本信度测量方法：,将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。相关系数越大说明两个复本构成带来的变异越小。比较少见,研究工具信度的基本要求,通常通过预试验测试研究工具的信度。,在进行预试验时，一般选取,10-20,例样本进行信度测量。,报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。,一般认为，研究工具重测信度和内部一致性信度系数最小应大于,0.7,。而评定者信度和复本信度一般应达到,0.9,以上。,Q：自己制作的问卷里面的一般资料问卷需不需要信度的检测呢？,A：信度是针对概念的，人口统计学内容（如年龄、性别、出生地、教育程度、婚姻状况、收入、家庭成员数量等）一般不必进行信度检验，因为测量这些内容不太可能有测量误差。,第二节效度,效度,（,validity,）,是指某一研究工具能真正反映它所期望研究的概念的程度。反映研究概念的程度越好，效度越高。,效度,(Validity),即有效性，,指此测验测查到所要测查的没有？测查到何种程度？如一个智力测验，若测验结果所表明的确实是受试的智力，而且量准了智力水平，那么这一智力测验的效度好；反之则不好,。,计算效度的方法：,一、表面效度,(face validity),二、内容效度,(content validity),三、效标关联效度,(criterion-related validity),四、结构效度,(construction validity),一、表面效度,定义：由评估人根据自己对所要测量的概念的理解，尽其断断能力之所及来断定工具是否恰当。属于一种直觉判断。,表面效度是最浅层次上的效度，它指的是从表现上看起来，测验题目是否与测验目的一致。,例如，调查护生对护理专业的认识态度,缺点:,1.,对工具的效度用“有或无”反映，未体现程度。,2.,表面效度一般不能作为工具质量的有力证据。,表,面,效,度,二、内容效度,定义：,是根据理论基础及实际经验来对工具是否包括足够的项目而且有恰当的内容比例分配所做出的判断。,有时也称专家效度。,方法：,从内容上检查工具的性质。,二、内容效度,例如：,教师在讲授了一段时间课程之后就要进行考试，而试卷不可能包含所有内容，只能从中选出一个代表性样本来测试，再根据分数来推论学生在该范围内的知识技能的掌握情况。如果测试题目是该范围内容的好样本，推论就有效。,二、内容效度,一个测验要具备较好的内容效度必须满足两个条件。,要确定好内容范围，并使测验的全部项目均在此范围内。所谓内容范围可以是具体知识或技能，也可以是复杂行为。,测验项目应是已界定的内容范围的代表性样本。换句话说，就是选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。,如：老师出试卷，命题蓝图，主任审核等。,实施要求：,1、专家人数3-10人，以5人较合适,2、专家的选择应与研究工具所涉及的领域有关,3、两次评议时间最好间隔10-14天,内,容,效,度,计算方法：,CVR：,内容效度比,三、效标关联效度,定义：,反映研究工作与其他测量标准之间的关系。,分类,:,同时效度,预测效度,同时效度：,测量研究工具与现有标准之间的相关关系。,预测效度：,测量工具作为未来事情预测指标的有效程度。,同时效度和预测效度的主要区别：,时间差异,效,标,效,度,同时效度：,判断腋温是否是测量体温的有效方法,预测效度：,推测病人压疮发生的机率,四、结构效度,定义：,反映工具与其所依据的理论或概念框架的相吻合程度。,重点是了解工具的内在属性，而不是使用工具测得的分数。,它主要回答“该工具到底在测量什么？”，“使用该工具能否测量出被研究的抽象概念？”这类问题，反映工具所依据理论或概念构架的程度。,方法,.,探索性,因素分析,因素分析法,验证性,因素分析,结,构,效,度,评价：,结构效度是目前最为严谨的一种建立和测量研究工具效度的方法，也是最为复杂的效度研究方法。,结,构,效,度,信度与效度,信度和效度都不是“有或无”，而是表示一个程度的问题。,对一个研究工具来说，信度和效度并非是截然孤立的。,信度是效度的必要前提,效度是信度的必然保证,信度与效度的关系,信度是效度的必要条件，但不是充分条件。,一个测量工具要有效度必须有信度，没有信度就没有效度；但是有了信度不一定有效度。,信度低，效度不可能高。,因为如果测量的数据不准确，也并不能有效地说明所研究的对象。,信度高，效度未必高。,例如，量了错误的概念。,有效度必定有信度；效度高，信度也必然高。,高信度、低效度,高信度、高效度,低信度、低效度,第三节 国外量表的翻译和应用过程的性能测定,翻译和应用国外量表的原则：,1、不偏离原文的原意,2、适合中国的文化特点,3、译后的量表具有较好的信度和效度,翻译国外量表的步骤,翻译,回译,检译,翻译,回译,检译,1、翻译,两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；,注意直译与意译结合，使更适合中国文化特点；,多个翻译版本进行集体讨论后形成中文版本的量表。,2、,回译,请语言功底好、对源量表不知情的一位或多位翻译者将翻译成中文的量表再翻译回去；,将原量表与回译后的量表进行细致比较和分析，找出不同的部分，并对中文版的相应内容进行修改；,修改后的中文版进行表面效度检验。,3、检译,寻找一定数量的既懂中文又懂源语言的样本对两种语言版本的量表进行作答，计算不同语言版本的量表得分的相关性。相关程度越高，表示两种版本的等同性越好。,使用中文版本进行预试验，检测中文版量表的内在一致性，并了解量表文字是否易于理解和符合中国人的表达习惯。,教学目的回顾,掌握效度的概念和分类,掌握信度的概念和分类,掌握信度与效度的关系,熟悉信度和效度的测量方法,了解国外量表翻译的基本步骤,谢谢,