信度与效度课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,现代人员测评理论与实务,主讲教师：何甜甜,电 话：13638313589,E-mail：hetiantian2004,第四讲 人员测评技术之测评信度与效度,测评信度及检验,1、测评信度及检验,2、测评效度及检验,本讲内容,5.1测评信度及检验,5.1 测评效度的概念,1、信度概念：测评结果的前后一致性。又称可靠性程度。,2、信度系数：用一样本在两种不同时间、不同情景条件下或两组不同评价材料的评定结果之间的相关系数(,r,xx,),。,信度系数越大，则说明该测量或评定方法的可靠性越强，反之，则可靠性弱。,简单地说信度就是指测量数据和结论的可,靠性程度，也就是说测量工具能否稳定地,测量到它要测量的事项的程度。,我们可以举例说明信度的问题：如果想知道,某人的体重，我们可以叫两个人来估计，一,个人的估计为150镑，另一个人的估计为300,镑，那么我们就可以认为，叫别人来估计体,重是非常不可信的方法。如果用磅秤，连续,测量两次的结果都是相同的，因而我们可以,说，在测量体重方面，用磅秤的方法要比叫,人来估计更可信。我们可以用信度系数来表,示信度的大小。,对信度系数要注意三点：,第一，在不同情况下，对不同样本，采用不同方法会得到不同的信度系数，因此一个测验可能不止一个信度系数；,第二，信度系数只是对测量分数不一致程度的估计，并没有指出不一致的原因；,第三，获得较高的信度系数并不是心理测量追求的最终目的，它只是迈向目标的一步，是使测验有效的一个必要条件。,5.1.2测评信度的分类,(一)重测信度,又称稳定性信度，它用于分析两次间隔一定时间的评定或测定结,果之间的相关关系。这种方法通常是重复同样的测量来检验信度,信度系数可以用相关系数来表示。假如我们第一次测量时的观测,值是X，第二次的观测值是Y,那么重测信度就等于X与Y的相关系,数。,但重复测量时，我们要注意两次测量的时间间隔要恰当。如果时,间间隔太久，可能会发一些变故，影响到被调查者的态度，那么,前后的测量就会有很大的差异。,5.1.2测评信度的分类,（二）折半信度,通常是在无副本且不准备重测的情况下，我们就用折半信度来计,算信度系数。,举例来说，如果有一份问卷，其中有十个问题涉及到女性歧视现,象。利用折半信度时，可将是个问题随机分成两组，每组有五个,问题，然后根据每组的测量结果来计算两组的相关系数，就,是折半信度,Rhh。但整个问卷的信度需要用校正公式来得到：,Rxx=2Rhh/(1+Rhh),5.1.2测评信度的分类,（三）等值信度（复本信度）,等值信度是指以两个,平行型,的测评量表在最短时距内施行两次所的结果的相关系数来评估的。,什么是平行型量表：,内容、形式和长度相同，难度（即有相同的平均数）和差异程度（相同的标准差）也相同。,A型量表,B型量表,最短时距,相关系数为等值信度,5.1.2测评信度的分类,等值信度的实施技巧：为了抵消测评先后顺序效应，一,般要求有一半人先用A型量表进行测定，然后再用B型量,表进行测定；另一半人则先用B型，再用A型。二者间隔,时间要求保持在最短时距内。其范围为几分钟到几小时。,5.1.3影响信度的因素,主体,客体,影响信度的主体的因素,不严格按照规定实施测验、,制造紧张气氛、,给予特别协助、,评分主观,来自客体的影响因素：,被试方面：,身心健康状况、动机、注意力、持久性、求胜,心、作答态度等均随时在变化中,测验内容方面：,试题取样不当、内部一致性较低、题数过少、题,意模糊等,施测环境方面：,施测现场条件，如通风、温度、光线、噪音、桌面好坏、,空间的阔窄等,另外几个重要的影响因素：,一、,分数分布范围,二、,测验长度,三、,测验的难度,四、,间隔时间,误差变异越大，信度越低。除前面谈到的几种误差来源外，还有以下几个因素会影响信度系数的大小：,一、被试样本（分数分布范围）,（一）团体的异质性,信度系数受分数的分布范围（全距）的影响，而分数范围与被试团体的异质程度有关。一个团体越异质，其分数范围越大，信度系数也就越高。相反，相对同质的团体分数则较为均匀。如图所示:,图中大方框显示的是一个较大的异质团体在两次施测中的分数分布,显然有很高的正相关.在小方框中显示的是一个高度同质的亚团体,两次分数几乎呈随机变化,相关接近于零.,（二）团体的平均水平,对于不同的团体，题目具有不同的难度。每个题目在难度上的微小差异积累起来便会影响信度。,例如，同一量表对不同年龄，不同IQ水平的被试，信度则不尽相同。,因此，我们在编制测验量表，抽选被试时，往往要考虑选取不同层次的被试，以使得测验团体呈异质性，从而使得信度提高。反之，当需要同质团体的信度时，就应该尽量选取同一层次的被试。,二、题目的数量,一般说来，在一个测验中增加同质的题目，可以使信度提高。即测验越长，信度越高。这是因为测验加长，加大了分数分布的范围，可能改进项目取样的代表性，从而能更好地反映受测者的真实水平。即测验的项目越多，在每个项目上的随机误差就可以互相抵消。,增加测验长度的效果可以用斯皮尔曼布朗公式来计算：,r,xx,=Kr,xx,/1+(K-1)r,xx,式中，K为改变后的长度与原来长度之比，r,xx,为原测验的信度，r,xx,为测验长度是原来的K倍时的信度估计。一般来说，题目数量对相关系数的影响是递增的。如表所示,题目数量,相关系数,50 100 200 300 400 500,0.50 0.83 0.91 0.95 0.968 0.976 0.980,但是，增加测验长度的效果遵循报酬递减率，测验过长是得不偿失的，可以通过上式确定一个测验究竟要增长多少才能达到理想的信度水平。,注意：只有当新题目是与原题目选自同一总体，增长测验才能改进信度。,随堂练习,1.假设有一份由20题组成的测验，rxx=0.50，若测验增加同质性题目80道，则增长后的测验信度rxx是多少？,按照公式：r,xx,=Kr,xx,/1+(K-1)r,xx,=,=0.8,随堂练习,2.假设有一个包括 10个题目的测验，信度为0.60，若把测验增加到80个题目，其信度将增加到多少？,3.一个包含40个题目的测验信度为0.8，欲将信度提高到0.90，需要增加多少题目？,5.1.4信度检验：计算不同的信度系数,一、重测信度（稳定性系数）,（一）定义与计算,定义,用同一种测验，对同一组受试者，前后施测两次，再根据受试者两次测验分数计算其相关系数，即得重测信度。,即测验,时距（几分几年）,再测验,此种信度能表示两次测验结果有无变动，反映测验分数的稳定程度，故又称稳定性系数。,计算方法,计算使用皮尔逊积差相关公式的变式：,（二）误差来源,1.测验本身：测验所测的特性本身就不稳定，例如情绪。,2.被试方面：成熟、知识的发展并非人人都等量增长，且练习因素、记忆效果也存在个体差异。,3.施测情境：偶发因素的干扰，如计时错误，情绪波动，健康状况，动机变化等。,重测信度高，说明分数受被试状况和测验情境变化影响小。这里题目取样并不影响重测信度。,所测量的特性必须是 稳定的；,遗忘与练习的效果相同；,两次施测期间被试的学习效果没有差别。,（三）计算重测信度的几个假设,（四）使用重测信度的优缺点,优点：,能提供有关测验结果是否随时间而变异的资料，可作为预测受测者将来行为的依据。,缺点：,容易受练习和记忆的影响，前后两次施测间隔的长短必须适度;第一次尝试所发现的错误也可能导致第二次反应的变化而增加误差变异。,（五）注意事项,两次测验的时间间隔要适当。最适宜的时距随测验目的、性质及被试特点而异；,此方法适用于速度测验或人格测验，不适于难度测验；,注意提高被试的积极性。,二、复本信度（等值系数）,（一）定义与计算,1.定义,根据一组被试在两个平行（等值）测验上的得分计算相关系数,。,测验复份A 测验复份B,因为它反映的是两个测验之间的等值程度，故又称等值系数。,最短时距,2.计算方法,A,B,A,B,/N,r,xx,=,N,A,B,式中，,A,、,B,为同一被试在两个测验复份A、B上的分数，,A,、,B,为A、B两型测验的平均分数，,A,、,B,为A、B两型测验的标准差，N为被试人数。,（二）误差来源,1.测验两种形式是否等值：,（1）测题取样是否匹配；,（2）格式是否相同；,（3）内容、题数、难度、平均数、标准差是否一致。,2.被试方面情绪波动、动机变化等。,3.测验情境的变化,偶发因素的干扰。,（三）等值测验应符合的条件,等值测验可避免重测法的缺点，但所使用的必须是真正的复本。复本应符合以下条件：,1.各份测验测量的是同一种心理特性；,2.各份测验具有相同的内容和形式；,3.各份测验的题目不应有重复的地方；,4.各份测验题目数量相等，并且有大体相等的难度、区分度；,5.分数分布（平均数和标准差）大致相等。,（四）注意事项,1.两个测验必须在项目的内容、形式、数量、难易、时限、指导语等方面相同或相似；,2.两次测验的时间间隔要适当，若太短，由于测验太相似被试可能厌倦，若太长可能又会因新的学习而产生干扰。,（五）使用复本信度的局限,1.只能减少但不能完全消除练习和记忆的影响；,2.由于第二个测验只改变了题目的具体内容，已经掌握的解题原则可以很容易地迁移到同类问题。,3.对许多测验来说，建立复本是十分困难的。,三、分半信度,（一）定义和计算,在测验无复本且只能施测一次的情况下，通常用分半法估计信度，即将测题分成对等的两半，根据各人在这两半测验的分数，用皮尔逊积差相关公式计算其相关系数，作为信度指标。,分半信度考察的是两半题目之间的一致性，故这种信度系数也称内部一致性系数。计算分半信度仍然可用积差相关方法。,（二）分半的方法,要计算分半信度，首先是如何将测验分半，以便得到最接近的可比较的两半。通常采用奇偶分半法。使用此方法应注意：,1一组解决同一问题或互相有牵连的题目应尽量安排在同一半内。,2当试卷中有任选题时不宜使用分半法，速度测验也不宜用。,（三）校正公式,分半法求得的相关仅是半个测验分数相关，应使 用“斯皮尔曼布朗”公式加以校正，藉以估计整个测验的信度。,1.斯皮尔曼布朗公式,r,xx,=2r,hh,/（1+r,hh,）,其中，r,hh,为两半分数的相关系数，r,xx,为测验在原长度时的信度估计。,此法假设：两半测验分数的变异性相等，但实际资料未必符合此假设。,当两半不等值时，即上述假设不满足时，可采用下面两公式之一：,例题：,例4：有一个由100题构成的量表施测于10个高三学生。测验一次后，应试者即毕业离校。现在怎样评介测验结果的信度？,解：因不能再次测验，只能求分半信度。,步骤：,（1）计算出每个应试者的奇数题总分（X1）和偶数题总分（X2），见下表,得分,被试,1,2,3,4,5,6,7,8,9,10,X1,38,37,38,41,40,36,38,39,40,35,X2,37,37,36,39,39,34,38,39,39,36,随堂练习,1.假设有一份主观幸福感调查表，先后两次施测于10名学生，时间间隔为半年，结果如表所示，求该测验的重测信度。,测验,X,1,16 15 13 13 11 10 10 9 8 7,X,2,16 16 14 12 11 9 11 8 6 7,被 试,1 2 3 4 5 6 7 8 9 10,解：用计算器算出,S1=2.82，S23.38，,把以上数据代入公式，可得,2.假设用A、B两型创造力复本测验对初中一年级10个学生施测。结果如表所示，X1，X2 分别代表A、B两型测验。求该测验的复本信度。,测验,被 试,1 2 3 4 5 6 7 8 9 10,X,1,20 19 19 18 17 16 14 13 12 10,X,2,20,20 18 16 15 17 12 11 13 9,解：先用计算器计算得出以下值：,，,代入公式可得：,5.2测量的效度及检验,案例一,美国杜克能源公司某蒸气站被12名黑人雇工告上了法庭，缘由是该公司把他们都当勤杂工使用，每天的任务就是扫地和清洁，他们原本指望能被提升到像运煤工这样层次更高的岗位上，但公司说他们的智力测验分数不够，而该公司的14个黑人员工中有13个做勤杂工，诉讼的理由是智力测验有种族歧视。而公司说没有任何歧视，岗位安排完全根据测验结果来定，没有歧视黑人。,法庭要求公司提供测验对职位胜任的预测力,。,案例二,某大学学生期终考试后向校方提出质疑，说教授给出的考试范围是教科书中的110章，但考试内容却都集中于前三章，这样的考试无法检验真实的学习成绩，也就是考试并没有提供一个让我展现所学全部知识的机会。,5.2.1 效度概述,定义:测评实际上能够测得所测评对象的真实程度.也就是测评本身所能达到期望目标的程度有多大。,效度反应了测验的准确性,与目的有关的真分数在实测分数中所占的比例,(在实测分数中有效真分数所占的比率),实测分数=真分数+误差(随机误差),与目的 与目的,有关 无关(系统误差),一个稳定但无效的智力测验,1.你出生在几月份?,2.你母亲姓什么?,3.1+1=?,4.一个星期有几天?,5.下面哪个是三角形?,A.B.C.,信度与效度的关系,信度是效度的必要条件,但不是充分条件.要想一个测验的效度高,其信度必须得高；但信度高,效度未必高.,影响效度的误差来源,1.测验题目不能反应要测量的特征.,2.实施过程偏离了标准化的程序.,3.被试不能如实回答.,5.2.1测验效度的类型,效标效度,内容效度,结构效度,第二节 效标效度(准则关联效度),什么是效标:,是假定的客观标准，反应测验目的的行为参照.它作为测评有效性的指标。,什么是效标效度:,寻求测评结果与某项效标的相关程度来度量的效度。也称经验效度或统计效度。,理想效标的四大条件,有效性,可靠性,可操作性,实用性,预测性和同时性效度,预测性效度：测验分数和以后的某个效标之间的相关,同时性效度：同时获得测验分数和某个效标之间的相关,如何选择效标,上级部门或领导的评估,工作实绩,总结评比的结果,综合标准,效标效度的计算方法,1.,相关法,求取测验分数与效标变量之间的相关程度,即效度系数.,1)积差相关,在两组数据都是连续变量,且两者存在线性关系时使用,公式:,被 试,1,2,3,4,5,6,7,8,9,10,测验(x),20,34,32,47,20,24,27,25,22,16,销售额(y),2.5,3.8,3,4,0.7,1,2.2,3.5,2.8,1.2,2.命中率,测验有效性的指标之一就是作出正确决定的比率,即决策的命中率.,效标成绩,测验预测,失败,成功,成功,(A)失误,(B)命中,失败,(C)命中,(D)失误,例题,某工交公司对240名司机进行了反应速度的测验，用1，8区间的不同数值代表个体反应时的差异。把三年中未发生事故的司机定义为成功，把发生一次以上事故的司机定义为不成功。240人成绩与安全性水平的分布如下表所示,测验成绩,成功（未发生）,失败（发生1次以上）,总人数,8,9,0,9,7,17,0,17,6,37,0,37,5,45,4,49,4,45,7,52,3,27,9,36,2,8,12,20,1,4,16,20,总人数,192,48,240,如果把反应时的测验成绩以5分及以上为标准界限，则该表可以转换为下表,安全水平,反应时,成功,不成功,成功,108,4,不成功,84,44,按照公式可得：,Rct=,第三节 内容效度,定义:,测验题目对所要测量的内容范围的代表性程度，考验题目样本是否代表了内容总体,。,内容效度的两个要点,测题对测量对象的有效性,全部测题对测量对象的涵盖程度,例子,对一个优秀篮球运动员技能的测量,测量目的:一个优秀篮球运动员需要具备的技能,对内容领域的描述:投蓝，运球，抢篮板。,测验A:在各个位置上投蓝40次;,测验B:各种情景下的运球30次.,确定内容效度的方法,专家判断,请某领域里的专家来评判测验的内容是否编排的合理.,缺点:,1)没有量化指标;,2)对内容效度的判断不一致;,3)教育思想或心理学观点不同,所以对内容范围的理解也不同.,内容效度比（CVR）,内容效度比低的题目就应该被淘汰.然后计算全部测题的内容效度比的平均数,作为内容效度的指标.,其他辅助的方法,2.统计分析法,3.再测法,4.经验法,5.内在一致性,内容效度与表面效度的区别,表面效度是指测验看起来所要测量的东西,是被试或外行看来是有效的测验.,表面效度与内容效度并不总是一致的.,表面效度能间接影响测验的效度,所以测验编制时也要适当关注表面效度.,提高内容效度的有效方法：编制命题的双向细目表,记忆,了解,应用,分析,综合,评价,合计,第一章,8,2,10,第二章,12,6,2,10,30,第三章,4,4,2,2,6,18,第四章,2,10,12,8,4,6,42,合计,6,26,28,14,20,6,100,第四节 结构效度,定义:,根据测评所假定的结构予以解释的程度，主要用于人员功能结构的理论概括和探讨。,某一智力理论的四项假设:,1.智力随年龄而增长;,2.智商是稳定的;,3.智力与学业成绩有密切关系;,4.智力受遗传的影响.,某注意力的理论,注意有如下特征:,1.稳定性,2.集中性,3.转移性,4.分配,5.范围,收集结构效度资料的方法,1.,测验内方法,研究测验的内部构造来界定所测量的结构范围.,1)内容效度,2)内在一致性,3)因素分析,2.测验间方法,研究几个同类测验间的相互关系来考察它们是否测量相同的心理结构.,1)相容效度,2)会聚效度和区分效度,谢谢！,