第5章效度.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第五章 测量效度,在教育与心理测量学上，有时候会出现这样的情况：考试结果是可靠的（该考试结果确实测出了学生的某种特质），但可能并不准确（该特质并不是命题者想要测试的特质）。所以要评价一个考试的质量，除了信度以外，还需要考察它的效度。,第一节 效度的概念,一、效度的定义,在心理测验中，效度是指,所测量的,与,要测量的,心理特点之间,符合的程度,，或者简单地说是指一个心理测验的准确性或有效性。,表示效度，,表示效度系数,信度与效度的区别举例,打靶,二、效度的性质,（一）效度具有相对性,任何测验的效度是对一定的目标来说的，或者说测验只有用于与测验目标一致的目的和场合才会有效。,没有任何一个测验都能测任何所有心理特质，也没有任何一个测验“放之四海皆准”，因此任何一个测验都有其局限性，都是针对一定目的而言。,（二）效度具有连续性,测验效度通常用相关系数表示，它只有程度上的不同，而没有“全有”或“全无”的区别。只是介于“全有”或“全无”的连续统上中间的某个值，如高效度、中效度和低效度。,（三）效度是针对测验结果的,效度是针对某种测验来说的，更是对测验结果而言的。效度指向一定的结果，是和测验结果相联系的。,信度和效度的关系（重点）,一、信度是效度的必要而非充分条件（重点）,二、效度是受信度制约的,一个测验的效度总是受它的信度所制约；,信度系数的平方根是效度系数的最高限度；,效度系数的最高限度是信度指数。,一、内容效度,（一）什么是内容效度,指的是测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测量的行为领域的代表性取样。,第二单元 效度评估的方法,想要编制较高内容效度的测验需要注意：,第一、明确概念；,第二、内容范围的代表性取样；,第三、并不一定要求同质测验。,（二）内容效度的评估方法,1,、专家判断法,为了确定一个测验是否有内容效度，最常用的方法是请有关专家对测验题目与原定内容的符合性做出判断，看测验题目是否代表规定的内容。,专家判断，逻辑分析，“逻辑效度”。,内容效度的几个步骤：,1,）确定测验内容；,（,2,）编制双向细目表；,（,3,）评定测验内容效度。,2,、统计分析法,（,1,）相关法,（,2,）复本法,（,3,）再测法,3,、经验推测法,这种效度是通过实践来检验效度。如儿童发展量表是否有效，需要经过实践调查。,（三）内容效度的特性,表面效度（重点）,：是由,外行,对测验作表面上的检查确定的，它不反映测验实际测量的东西，只是指测验表面上看来好像是测量所要测的东西。,编制测验时，表面效度需要考虑。,最高行为测验，如智力测验、成就测验，,需要较高的表面效度,。,典型行为测验却要求较低的表面效度，如大多数人格测验，如,UPI,中的,25,题“想轻生”。,（一）什么是构想效度,定义：是指测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何。,二、构想效度,建立构想效度的三步,第一步：提出理论结构（理论）；,第二步：设计和编制测验进行实际测量（实践）；,第三步：验证理论与实践的符合程度（往往采用因素分析或结构方程等模型来进行验证）,（二）构想效度的估计方法,1,、对测验本身的分析,这类方法是通过研究测验内部结构来界定理论构想，从而为构思效度提供证据。,（,1,）内容效度；,（,2,）测验的同质性（单维性）；,（,3,）分析被试者对题目反应过程。,2,、测验间的相互比较,（,1,）相容效度：相关法（与一个“权威的”效度高的求相关）。,（,2,）区分效度：相异测验相关高，则区分低，效度差。,（,3,）因素分析法：如,EPQ,分为四个分量表（四个维度），即,P,、,E,、,N,和,L,。,效标关联效度,多特质多方法（,MTMM,）,3,、效标效度的研究证明,（,1,）普通组与对照照（效标组）得分比较；,（,2,）从发展变化来考察。,4,、实验法和观察法证实,从观察或实验前后来比较差差异。,三、效标效度,（一）什么是效标效度,又称实证效度、统计效度、效标关联效度。主要考虑：测验与效标预测的程度。分,同时效度和预测效度,，如张厚粲修订,SPM,（瑞文标准推理测验）时，既考虑了同时效度又考虑了预测效度。,同时效度例子：飞行员（观察系统和替代性测验）；机械能力测验等招工考试。,预测效度例子：,MBA,考试预测；,TOEFL,考试,。,一个好的效标必须具备以下条件：,（,1,）效标要有效（有效）,（,2,）效标要有信度（可信）,（,3,）效标可用数字或等级表示（操作）,（,4,）效标测量简单、省时、经济。,（二）效标效度的评估方法,1,、相关法：求测验与效标的相关。,2,、区分法：比较测验与效标分数差异。,3,、命中率法：测验与效标成绩比较。,总命中率,正命中率,一、测验本身的因素,二、测验实施中的干扰因素,（一）主试的影响因素,（二）被试的影响因素,三、样本团体的性质,（一）样本团体的异质性,（三）干涉变量,四、效标的性质,第三节 影响效度的因素,一、测验本身的因素,如词汇和句型不能过于太难，如低年级小学生，要用拼音和图形来注解。测验取材、测验长度、试题类型、难度、区分度及编排方式等都会影响效度。,做好以下几点,（,1,）测验材料要有代表性；,（,2,）避免引起误差的题型；,（,3,）难度要适中；,（,4,）测验长度恰当；,（,5,）测验排列顺序。,二、测验实施中的干扰因素,（一）主试的影响因素,（二）被试的影响因素,三、样本团体的性质,（一）样本团体的异质性,（三）干涉变量,四、效标的性质,练习与思考,1,、如果某测验的效度系数是,0.70,，则在测验中无法作出正确预测的比例是（）。,（,A,）,0.30,（,B,）,0.51,（,C,）,0.49,（,D,）,0.70,2,、一个测验所测量的与所要测量的心理特点之间符合的程度，指的就是测验的,(),。,(A),信度,(B),难度,(C),区分度,(D),效度,3,、好的效标应具备的条件包括,(),。,(A),效标测量本身必须有效,(B),效标必须具有较高的信度,(C),效标可以客观地加以测量,(D),效标测量的方法经济实用,4,、一个测验的内容效度主要与（）有关。,(A),测验人数,（,B,）测验时间,(C),测验长度,（,D,）测验题目,5,、内容效度有时也称为（）,A,、逻辑效度,B,、结构效度,C,、实证效度,D,、效标效度,6,、提高测量效度的方法（）,A,、精心编制测验量表，避免出现较大的系统误差,B,、妥善组织测验，控制随机误差,C,、创设标准的应试情境，让每个被试都能发挥正常水平,D,、选好正确的效标，定好恰当的效标测量，正确地使用有关公式,7,、要保证测验具有较高效度，测验本身的因素要做到（）,（,A,）测验材料必须对整个内容具有代表性,（,B,）测验设计时应尽量避免容易引起误差的题型（如是非题）,（,C,）测验难度要适中，具有较高的区分度,（,D,）测验长度要恰当，测题的排列应先易后难,8,、（）是检验测验分数能否有效地区分由效标所定义的团体的一种方法。,（,A,）相关法,（,B,）区分法,（,C,）命中率法,（,D,）失误法,9,、在测验理论中，效度被定义为在一组测量中，与测验目标有关的真实方差与（）的比率。,（,A,）系统误差,（,B,）误差,（,C,）随机误差,（,D,）总方差,10,、构想效度的估计方法包括（）,（,A,）对测验本身的分析,（,B,）测验间的相互比较,（,C,）效标效度的研究证明,（,D,）实验法和观察法证实,谢谢！,