第五章-效度.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第五章 测量效度,内容提要,效度的概念,效度与信度的关系,效度的种类,效度的估计方法,提高测量效度的方法,第一节 效度概述,一、什么是效度,效度,（validity）是指一个测验或量表实际能测出其所要测的心理特质的程度。,（1）效度是一个相对的概念：,每个测量工具都有自己的目的；,内隐特质是通过外显行为间接测得的。,（2）效度是测量的随机误差和系统误差的综合反映。,（3）判断一个测量是否有效要从多方面收集证据,操作定义：,效度=S,V,2,/S,X,2,=r,XY,2,S,V,2,S,I,2,S,E,2,S,X,2,S,T,2,二、效度与信度的关系,信度高是效度高的必要而非充分的条件,一个测验效度高，其信度也必然高；,但一个测验信度高，其效度不一定高。,测验的效度受它的信度制约,r,XY,r,XX,一个测验的信度必然比效度高，至少相等。,第二节 效度的估计,一、内容效度,1含义及应用范围,内容效度,（content validity）：测验题目对有关内容或行为取样的适当程度，即一个测验实际测到的内容与所要测量的内容之间的吻合程度。,因此，一个测验要有内容效度必须具备的条件：,（1）要有定义完好的内容范围,（2）测验题目应是所界定的内容范围的代表性取样,（3）测验题目的难度等指标应很好地反映测验所要考察的能力水平。,内容效度的应用范围：,适用于成就测验，也适合于某些用于选拔和分类的职业测验；,但不适用于能力倾向测验和人格测验。,表面效度,（surface validity）是指外行人对某个测验从表面上看好像是测某种心理特质的程度。并不是一种真正的效度。,注意：最佳的行为测验表面效度高；,人格测验的表面效度不宜过高。,二、验证测验内容效度的一般程序,以教育测验为例,确定所要测量的全部内容范围；,将测验目的具体化为不同层次的测验目标；,确定每一层测验目标在整个测验中的比重；,编制,双向细目表,；,确定每一小格中的测题数量；,按比例随机抽取测验题目；,请专家对测题的代表性、适合性进行分析，并作必要的修改，直到大多数专家满意为止。,返回,双向细目表举例,识记,理解,应用,分析,综合,评价,合计,第一章,8,2,10,第二章,10,6,2,10,28,第三章,3,6,2,4,7,22,第四章,2,9,6,12,5,6,40,合计,13,27,14,18,22,6,100,上页,2.结构效度确立的一般步骤：,（1）提出理论框架；,（2）依据理论框架推演出有关测验成绩的假设；,（3）用逻辑或实证的方法来证明假设。,3结构效度的确定方法,（1）测验内部寻找证据法,分析测验的内容效度,：若内容效度高，,说,明其结构效度 也高。,分析被试对题目反应的特点,：有无社会称许性的题目，如“当事情不顺我意时，我时常动怒。”对该题的回答，也许反映不了要测的性格。,计算测验的同质性信度,：分半信度、系数、KR,20,、KR,21,。,2内容效度的确定方法,（1）,逻辑分析法,：专家根据自己的知识经验对量表的有 效性（逻辑性）作出判断，也称逻辑效度。,为使内容效度的判断过程更客观，一般采用下列步骤：,确定测验内容的总体范围；,编制双向细目表；,编制评定量表，从测验内容所测的技能、题目对所定义的范围的覆盖率、各种题目数量和分数的比例以及题目形式的适当性等方面，对测验作出总的评价。,（2）测验之间寻找证据法,相容效度,：新老测验之间的相关（两测验测的是同一心理特质）。若相关高，则说明新测验可能有较高的效度。,区分效度,：新老测验之间的相关（两测验测的不是同一心理特质），若相关低，则说明新测验可能有较高的效度。,因素分析法,：得出的因素符合理论的构思，说明效度高。,（3）考察测验的实证效度法,根据效标把被试分组，考察其得分差异。,根据测验得分差异把被试分组，考察其所测特质（行为表现）的差异。,（4）多种特质-多种方法矩阵法,方法,：1、2、3,特质,：A、B、C,A1,B1,C1,A2,B2,C2,A3,B3,C3,A1,0.90,B1,0.50,0.89,C1,0.35,0.41,0.81,A2,0.58,0.25,0.10,0.95,B2,0.21,0.59,0.09,0.63,0.91,C2,0.14,0.13,0.50,0.57,0.53,0.85,A3,0.55,0.20,0.13,0.69,0.32,0.30,0.93,B3,0.11,0.60,0.19,0.20,0.68,0.29,0.50,0.96,C3,0.15,0.20,0.70,0.21,0.19,0.67,0.53,0.51,0.92,三、实证效度,1含义、种类及作用,实证效度（,效标关联效度，,criterion-related validity,）,：,一个测验对处于特定情境中的个体的行为进行估计的有效性。,效标,：被估计的行为是检验测验效度的标准，它是独立于测验并可以从实践中直接获得的我们感兴趣的行为。,实证效度的种类,：,划分依据效标资料搜集的时间差异,同时效度,：,测验分数与效标资料是同时收集的。,预测效度,：,先获得测验分数，隔一段时间后，再收集效标资料。,2效标,（1）效标与效标测量,效标,：,效标测量,：,我们感兴趣的行为往往只是一个观念上的东西，称为,观念效标,，,它必须用一个数字或等级来表达，将其进行表达的这一过程就称为,效标测量,。,也就是说，,观念效标是理论定义，如“大学的成功”；效标测量是操作定义，如大学成绩。,（2）常用的效标,学术成就,（智力测验、标准化成就测验的效标）,实际工作表现,（特殊能力测验、部分智力测验和人格测验的效标）,团体差异,（测验分数能将已经知道的团体差异区分开来）,临床诊断,（人格测验的效标）,特殊训练的成绩,（特殊能力测验的效标）,等级评定,（人格测验中其他人的评定）,现有的测验,（3）效标的性质,a.,多样性,：,一个测验可能有不同的观念效标，同一个观念效标又可能有不同的效标测量。,b.,复杂性,：,几乎每一种效标行为都由多种特质构成，包含复杂的成分。,c.,特殊性,：,即使一个普通的效标，在应用时也有特殊性。,d.,时间性,：,近期效标与最后效标。,（4）效标测量的条件,a.,有效性,：,效标测量能真正反映观念效标。,b.,可靠性,：,有较高的信度。,c.,客观性,：,效标测量必须能真正反映观念效标，防止效标污染。,效标污染：,评定者知道被试的测验分数，因而影响到对效标的客观评定。,d.,实用性,：,经济实用。,3.效标关联效度研究的一般步骤,（1）确定一种恰当的准则行为及其测量方法；,（2）确定一个能代表测验最终使用对象的适合的受测者样本；,（3）施测并记录每个受测者的得分；,（4）得到准则资料，对每个受测者在该准则上的操作进行测量；,（5）确定测验分数与准则分数的相关程度。,4实证效度的确定方法,（1）相关法,计算测验分数与效标测量之间的相关系数（如，积差相关、等级相关、二列相关等）。,（2）区分法,测验工作效标测量（工作成绩）,按工作成绩分高低两组，如工作成绩高，测验得分也高；工作成绩低，测验得分也低，说明该测验是有一定效度的。,工 作,表 现,测验成绩,合格,不合格,合格,A,C,不合格,B,D,（3）命中率,总命中率=（A+D）/（A+B+C+D）,正命中率=A/（A+C）,（4）测验使用的功利率比例,对使用测验所需的费用和所得到的收益进行比较，看是否利大于弊。,另外，还要比较用测验和不用测验的效益之差。,一个测验如果简单易行，省时省钱，不经过特殊训练的人也能掌握，又适合于团体施测，那么，即使效度低一些，也会有人使用。反之，只有效度极高，能给人带来很大好处时，才会使用。,5.实证效度的应用,（1）对个人分数的预测,（2）人员的分类与安置,根据被试在效标上的预测结果而做出处理或安排。,选拔（,selection,）：拒绝或接受,安置（,placement,）：根据被试在单一效标上的预测结果而做出处理或安排。,分类（,classification,）：使用两个或两个以上的效标。,预测误差,效度系数的平方表示由测验分数能说明的准则测量方差的比例。,预测误差的标准误,2人员的分类与安置,根据被试在效标上的预测结果而做出处理或安排。,选拔（,selection,）：拒绝或接受,安置（,placement,）：根据被试在单一效标上的预测结果而做出处理或安排。,分类（,classification,）：使用两个或两个以上的效标。,返回,各种效度分析方法的比较,一个算术测验适用于不同目的的效度分析,测验目的,解说性问题,效度的证据,小学算术成就测验,迪克在过去学会了多少？,内容描述,预测中学数学成绩的能力倾向测验,珍妮在将来会学得好吗？,时间效标预测,诊断学习无能的技术,比尔的成绩说明具体的学习无能吗？,同时效标预测,数理推理能力的度量,海伦的分数与她的推理能力其他指标的关系如何？,结构鉴定,Anne Anastasi&Susana Urbina，1998，浙江教育出版社，P177,多高的效度才算高？,最低标准：,效度系数在统计上有显著性；,测验的有效性高于现有的决定工具。,如果两个测验测量的是同一种心理属性或特质，那么效标关联系数应在,0.60以上,。,如果两个测验测量的心理属性或特质不完全一样，只是具有一定的相似性，那么，效标关联系数的要求会低一些，能达到,0.40以上,就算是较好的。如智力测验结果与学业成绩之间的相关。,第三节 提高测量效度的方法,一、影响测量效度的因素,1测验的构成,项目质量，项目数量,2测验的实施过程,指导语不当、出现意外干扰、评分计分出现差错等,3接受测验的被试,常模团体的同质性影响到对被试测验得分的解释，进而影响到测验的效度;被试的应试动机、情绪、态度、身体状况等,测验偏倚,（test bias）是指用不适用于被试的标准来解释被试的测验得分，因而造成解释的偏差。,4所选效标的性质,(1)测量行为与所选效标的相似性越高，效度越高。,(2)测验分数与效标行为之间是否是线性关系，如果不是线性关系，求皮尔逊相关就会低估效度。,(3)效标本身的测量越可靠，效度就可能越高。,5测量的信度,二、提高测量效度的方法,（1）精心编制测验量表，避免出现较大的系统误差,（2）妥善组织测验，控制随机误差,（3）创设标准的应试情境，让每个被试都能发挥正常的水平,（4）选好正确的效标，定好恰当的效标测量，正确地使用有关公式,第六节 效度资料的概化,概化,:,是指在一定条件下得出的结论能否适用于其他情况。测验的效度和信度一样，都与特定情境有关，只有在具体情境下的效度，而没有笼统谈论某一测验的效度。,效度的概化,（,validity generation,）,在某一情境中所作的效度研究推广到其他情境中的过程。,一、效度概化的几个方面,1 预测源的概化,使用同一测验的不同复本是否同样有效？,同一测验对不同分数水平的人的预测是否同样有效？,2 效标的概化,采用不同种类或不同时距的效标，测验是否同样有效？,对于效标的不同分数水平是否预测得一样好？,3 施测情境的概化,不同的施测者、不同的施测条件以及在不同的指导语或心向下做测验是否同样有效？,4 被试团体的概化,测验对于取自同一总体的另一样本是否同样有效？,测验对于不同性别、不同年龄、不同教育水平、不同社会经济地位、不同地区、不同民族、不同学校、不同职业的被试是否同样有效？,5 建立效度方法的概化,用不同方法得到的效度指标是否一致？,不同的效度之间是否有矛盾？,二、交叉效度分析,交叉效度分析,是考察效度概化能力的一种方法，只涉及被试样本的概化。这种方法是对两个独立取自同一总体的样本分别建立预测源-效标关系，看从一个样本中得到的效度资料是否适用于另一样本。,计算测验效度所依据的样本必须与选择项目所依据的被试样本不同。如果使用同一样本，则会使效度系数假性偏高，实质是循环论证。,返回,本 章 小 结,效度指的是测量的正确性，即一个测验或量具能够测量出其所要测量事物的程度。效度所要回答的基本问题是：一个测验测量什么特性？它对所要测量的特性测得有多准？,在测量理论中，效度被定义为：在一列测量中，与测量目的有关的真实变异数（由所要测量的变因引起的有效变异）与总变异数（实得变异数）的比率。,信度是效度的必要而非充分的条件，测验的效度受它的信度制约。,总的来说，测验的效度分为三大类：内容效度、结构效度、实证效度。,内容效度所涉及的问题是，从所感兴趣的行为总体中取样的测验项目，其代表性如何。,确定内容效度的方法：专家判断、统计分析、再测法、经验法。,结构效度是指一个测验对某种心理学所涉及的抽象概念或心理特质测得如何。,确定构想效度的方法：测验间方法、测验内方法、确定测验的效标效度、实验操作法。,实证效度又称效标关联效度，指的是测验对我们所感兴趣的外在行为能够做出多好的预测。这种外在行为是衡量测验是否有效的标准，简称效标。,确定效标效度的方法：相关法、区分法、预期表法、命中率法、功利率法、合成法。,影响效度的因素主要有测验本身的因素，测验实施和计分方面，被试的主观方面，进行效度化所依据的效标及样组方面。,提高效度的方法主要有四种：精心编制测验量表；妥善组织测验；创设标准的应试情境；选好效标，定好恰当的效标测量。,思 考 问 题,效度的定义及其分类。,简述信度和效度的关系。,比较确定内容效度的三种方法。,试述效标效度的估计方法。,如何防止效标污染？,力争有较高的表面效度是测验编制者追求的目标吗？,影响效度的因素有哪些？,提高测量效度的方法有哪些？,目标要明确,有一位父亲带着三个孩子，到沙漠去猎杀骆驼。他们到达了目的地。,父亲问老大：“你看到了什么呢？”,老大回答：“我看到了猎枪、骆驼，还有一望无际的沙漠”。,父亲摇摇头说：“不对。”,父亲以相同的问题问老二。,老二回答：“我看到了爸爸、大哥、弟弟，猎枪、骆驼和沙漠。”,父亲又摇摇头说：“不对。”,父亲又以相同问题问老三。,老三回答：“我只看到了骆驼。”,父亲高兴地点点头说：“答对了。”,这个故事告诉我们：一个人若,想走上成功之路，首先必须有明确的,目标。目标一经确立之后，就要心无旁骛，,集中全部精力，勇住直进。,