招聘测评理论篇.ppt

-,*,-,组 织 行 为 学,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,（一）误差的含义及来源,测评误差的含义,测量误差是指在测量过程中由哪些与测量目的无关的变化因素所产生的一种不准确或不一致的测量效应。,测评误差的种类,1、随机误差：与测量目的无关，偶然因素引起的、而又不易控制的误差。（既影响准确性又影响稳定性）。,2、系统误差：与测量目的无关的变因引起的一种恒定有规律的效应。（影响准确性，但不影响稳定性）。,（一）误差的含义及来源,测评误差的来源：,常见的误差来源主要有三方面：测验自身、施测过程、受测者。,测验自身引起的误差,测验所要测量的内容是什么，测验的项目能否代表这些内容，是至关重要的。,当测验的项目较少而取样缺乏代表性时，被试的反应很难代表其真实水平。,对于有些类型的项目，例如是非题、选择题，被试可能凭猜测作答，从而降低分数的可靠性。,此外，题目用词模棱两可，或对要求叙述不清等，也都会带来误差。,（一）误差的含义及来源,施测过程引起的误差,1测试环境,：施测现场的温度、光线、桌面高低等对被试都有影响。,2测试时间,:如果时间安排不当或时限不统一，必然会引起测验结果的改变。,3主试因素,:主试的年龄、性别、言谈举止、表情动作、对测验过程的熟悉程度等都能影响测验的结果。,4意外干扰,:停电、有人生病、作弊等等，都会影响测验结果的准确性。,5评分记分,:评分不客观和记分出现错误也是较常见的误差。,（二）真分数及其有关假设,关于测量误差有以下假设,如果对一个人的测量无数次，其平均误差（E）为0。,真分数和测量误差是相对独立的，即r,TE,0。,误差分数与实得分数相关为0，即r,EX,0,（二）真分数及其有关假设,团体足够大，误差会抵消，平均真分数T等于该团体中所有被试实得分数的平均值。,对于一个团体来说,实得分数、真分数和测量误差之间有如下关系：,S,X,2,=S,T,2,+S,E,2,实得分数的变异数真分数的变异数误差变异数。,真分数变异数可分为两部分：与测量有关的变异和无关的变异（系统误差变异）：,S,T,2,=S,V,2,+S,I,2,S,V,2,是与目的有关的变异数；S,I,2,为无关的稳定变异数；,S,X,2,=S,V,2,+S,I,2,+S,E,2,第二节 测评的信度分析,（一）信度与信度系数,（二）信度的种类与估计方法,（一）信度与信度系数,信度：可靠性，指测量结果的一致性、稳定性程度。,信度为一组测量分数的真变异数和总变异数（实得变异数）的比率。即：,r,xx,=S,T,2,/S,X,2,r,xx,信度，S,T,2,真分数变异数，S,X,2,实得分变异数（总变异数）。,r,xx,=（S,X,2,S,E,2,）/S,X,2,1 S,E,2,/S,X,2,（一）信度与信度系数,信度是一个测验X与它的任意一个“平行测验”X的相关系数。即：,r,xx,p,xx,（1）信度指一组测验分数的特性，不是个,人分数特征。,（2）真分数变异数不能直接测量，定义1,只具有理论意义。,（3）定义2具有实际价值。,（一）信度与信度系数,信号噪音比：每组信息包含真正信息（信号）和错误信息（噪音），信噪比反映提供真正信息的程度：信噪比与信度的关系：,信号/噪音 S,T,2,/S,E,2,=r,xx,/(1-r,xx,)(5.3),r,xx,/1-r,xx,=(S,T,2,/（S,T,2,+S,E,2,）)/(1-(S,T,2,/S,T,2,+S,E,2,),(S,T,2,/S,T,2,+S,E,2,)/(S,T,2,+S,E,2,-S,T,2,)/(S,T,2,+S,E,2,),S,T,2,/S,E,2,=信号/噪音,例如信度为0.9，信噪比0.9/(1-0.9)=9,即真正变异数对误差变异数比为9:1。如信度增加为0.91，则信噪提高到10.1:1。,（一）信度与信度系数,信度指数：它是真实分数标准差与实得分数标准差的比率。,信度系数：信度指数的平方，表示实得分数的变异数中有多少比例是由真分数的变异决定的，例如 r,xx,=0.9意指变异的90来自真分数的差异，10来自测量误差。,（一）信度与信度系数,信度系数达到多少才可接受,一般能力和学业测验要到达0.9以上。,兴趣、人格等要达到0.80-0.85。,当r,xx,0.70时，测验不能用于对个人作出评价或预测，而且不能作团体比较；当0.70r,xx,=0 所以 r,xy,2,=r,xx,一个测验的效度总是受它信度的影响,（一）效度及其与信度的关系,效度类型,一般将效度分为三类：内容效度、构想效度和效标效度。内容效度涉及的问题是所感兴趣的行为总体中取样的测验题目其代表性如何。构想效度指一个测验对某种心理学理论所涉及抽象概念或心理特质测得如何。效标效度又称实证效度，指测验对我们感兴趣的外在行为能够做出多好的预测。,第三节 测评的效度分析,（一）效度及其与信度的关系,（二）内容效度及其估计方法,（三）结构效度及其估计方法,（四）实证效度及其估计方法,（二）内容效度及其估计方法,什么是内容效度,内容效度指的是测验题目对有关内容或行为范围取样的适当性,一个测验要有内容效度必须具备两个条件：,（一）要有定义的完好的内容范围,内容范围可以是一个明确而有限的题目的总体，也可以是范围较广界定不十分明确的。,（二）测验题目应该是所界定的内容范围的代表性取样,所谓代表性取样，意味着根据材料与技能的重要性来选择题目，而非随机取样，以便选出的题目能够包含所测内容范围的主要方面，并使各方面的题目比例适当。,（二）内容效度及其估计方法,确定内容效度的方法,（一）专家判断,也叫逻辑效度，因为这是一个逻辑分析的过程。具体的步骤包括：,1、,定义好内容的总体,，描绘出有关知识和,行为的轮廓。,2、,划分好细纲目，并规定各纲目的比例,，,对内容范围作详尽的描述。,3、确定每个题目所测的内容和行为，并与测验编制者所列的双项细目表对照，逐题地将自己的分类和编制者的分类作比较。,4、制定评定量表：从测验内容所测的技能、题目对所定义的内容范围的覆盖率、各种题目数量、分数的比例、题目形式对内容的适当性等方面，对测验作出总的评定。,（二）内容效度及其估计方法,（二）统计分析,一组被试在独立取自同样内容范围的两个测验复本上得分之相关来作数量估计。如果相关低，说明其中至少有一个缺乏内容效度；如果相关高，一般推论测验有内容效度。当然也可能两个测验取样有同样或相似的偏差。,（三）再测法,先将测验施测于某个团体，该团体对测验所包含的内容仅具有最少量的知识因而得分很低。,让这个团体参与有关材料的教学和培训，结束后再进行测验。,如果成绩提高，说明测验测量的是课堂上所教的知识。说明测验具有较高的内容效度。,（四）经验法,检查年龄与题目通过率的情况，比如测验总分和每个题目的通过率都随年级而增高。,（二）内容效度及其估计方法,内容效度的特点,（一）内容效度的特定性和相对性,测验编制者定义了内容的范围，如果只从作者定义的角度来考虑测验对某个目标的测量达到什么程度，那就不受特定情况的影响，不论我们同意不同意作者的界定。,（二）内容效度常与表面效度搞混,表面效度是由外行对测验作表面上的检查所确定的。,内容效度是由够资格的专家详尽地、系统的对测验作评价而建立的。,前者只考虑题目与测量目的之间明显的、直接的关系。,后者则同时考虑题目与测量夺目和内容总体之间的逻辑的微妙关系。最高行为测验要求有较高的表面效度，以使受测验者具有较强的动机，尽最大的努力完成。,典型行为测验却要求较低的表面效度，如果受试者很容易就从题目上看出测题的目的，就可能作出假的反应,第三节 测评的效度分析,（一）效度及其与信度的关系,（二）内容效度及其估计方法,（三）结构效度及其估计方法,（四）实证效度及其估计方法,（三）结构效度及其估计方法,什么是构想效度,这个概念是1954年提出的，指心理学理论所涉及的抽象而属于假设性的概念或特质，如智力、焦虑、内向、动机等，它们往往用某种操作来定义并且用测验来测量。构想效度就是测验对某一理论概念或特质测量的程度。,研究和考察构想效度的宗旨是要回答下面的问题：,一个测验测量了什么心理构想,对构想测得有多好,测验分数中有多少比例的变异是来自测验所欲测之构想,（三）结构效度及其估计方法,先从某一构想的理论出发，推导出各项心理功能或行为的基本假设。,据此设计和编制测验，然后由果求因，以相关、试验和因素分析等方法，审查测验结果是否符合心理上的理论见解。,（三）结构效度及其估计方法,确定构想效度的方法,（一）测验内方法,这类方法主要通过研究测验内部构造来界定所测量的构想范围。,测验的内容,对题目作反应的过程,题目间或分测验间的关系,（三）结构效度及其估计方法,1、确定测验的内容效度,测验内容效度有时可以作为测验的结构效度的证据。,对测验所取样本的内容或行为范围的确定就意味着对构想的概念作了定义。,2、分析被试对题目作反应的过程,通过被试的操作，询问他如何处理题目，通过必要的统计处理分析，发现有些什么样的变量影响反应，因而可确定测验是否测量了所要测的特质。,比如，人格测验上有这样一些题目：,“当事情不顺我意时，我时常动怒。”,“我总是避免批评别人的言行。”,（三）结构效度及其估计方法,3、考察测验的同质性,通过计算被试在每个题目上的反应与测验总分的相关或分测验分数与总分的相关，以及系数、库德理查逊系数等内部一直性的指标，可以推估测验是测单一特质还是测多种特质，从而确定测验的构想效度的高低。,（三）结构效度及其估计方法,（二）测验间方法,通过研究几个测验的相互关系，找出它们的共同性质特点，进而推断出所测的共同特质是什么，便可确定这些测验是否有构想效度。,1、相容效度,计算与另一个效度已知的同类测验的相关。,2、区分效度,一个测验不仅应与其他测量同样构想的测验相关，而且还必须与测量不同构想的测验无相关。测验要有效必须测量与其他变量无关的独立构想。用这种方法确定的效度叫区分度。,（三）结构效度及其估计方法,3、因素效度,建立构想效度的常用方法是因素分析。通过对一组测验进行因素分析，可以找到影响测验分数的共同因素。每个因素在共同因素上的负荷量，即测验与各因素的相关，称作测验的因素效度。而在测验分数的总变异数中来自有关因素的比例，便可称为构想效度的指标。,因素分析基本原理：,一个变量的总变异等于共同因素（与其他变量共有的因素）的变异、特殊因素（为该变数所独有的因素）的变异与误差（随机误差）变异的总和。,（三）结构效度及其估计方法,（三）研究测验的实证效度,如果预测性好，表明测验测量欲要测量的特质。,（四）考察试验变量对测验分数的影响,通过试验操作控制某些条件，观察其对测验分数的影响以及测验分数与某些效标之间的关系，可以获得构想效度的信息。,（三）结构效度及其估计方法,设计1：,比较不同重要性考试时该测验的分数,按照构想，重要考试时焦虑分数高,平时考试中实施此焦虑测验,重要考试之前施该焦虑测验,比较两次分数，如重要考试前的焦虑分数显著提高，就说明这个测验对测量考试焦虑是有效的。,（三）结构效度及其估计方法,设计2：,举行两场考试，使被试相信一场考试关系重大，一场考试无关要紧。,挑选两组被试，高焦虑组和低焦虑组。,比较考试成绩，出现下述情况，说明测验有构想效度：,焦虑分数高组学生，如在第一场考试中成绩比平时有所下降，在第二场考试中却能正常发挥。,焦虑分数低组学生，无论在哪场考试都发挥正常。,（三）结构效度及其估计方法,（六）多种特质多种方法矩阵,D.I.Campbell和D.W.Fiske1959年提出。他们认为任何一个测量都是用所给的方法去测所要的特质。因此，在每个测验上的分数都有三个变异来源：,特质,方法,特质方法（所测特质与所用方法的交互作用）。,（三）结构效度及其估计方法,测验的分数究竟是由特质决定的，还是由方法决定的，只用一种方法测一种特质是达不到的目的的。,只有用多种方法测多种特质并加以分析比较，才能将特质、方法和它们之间的交互作用这三种效果分开。,如果测验分数主要是由所测特质决定的，便说明该测验具有构想效度。,采用这种方法主要是研究会聚与区分效度。,会聚效度：同样的特质用不同方法去测所得之相关，相关高表示效度高。,区分效度为不同特质用相同方法去测所得之相关，相关低表明区分效度高。,（三）结构效度及其估计方法,从理论上看，测验的结果应与其所测的特质有显著相关而与其他不相干的特质无关。,以相同方法测量相同特质所得的分数之间应具有最大的相关,以不同方法测量相同的特质所得的分数之间的相关应较低,以不同方法测量不同特质所得的分数之间的相关应最低,如果合乎上述情况，即表明这套测验同时兼有会聚效度和区分效度。,多种特质多种方法矩阵,方法1 方法2 方法3,特质 A1 B1 C1 A2 B2 C2 A3 B3 C3,方 A1 .90,法 B1 .53 .89,1 C1 .35 .40 .81,方 A2 .57 .25 .10 .94,法 B2 .21 .59 .09 .63 .91,2 C2 .13 .14 .48 .56 .53 .83,方 A3 .52 .23 .11 .68 .48 .33 .94,法 B3 .22 .60 .14 .40 .67 .33 .66 .90,3 C3 .10 .12 .48 .32 .34 .55 .61 .62 .87,（三）结构效度及其估计方法,上表为Campbell和Fiske提出的一个假想的例子。,三种特质（A、B、C）,语文理解（A）,数学推理（B）,常识（C）,三种方法（1、2、3）,言语测验（1）,操作测验（2）,教师评定（3）,（三）结构效度及其估计方法,矩阵中的数字表示三种特质用三种方法去测所得的相关系数,0.9表示用方法1两次测特质A所得的相关系数，也就是复测信度或等值系数。,0.53表示用方法1测特质A和B所得的相关系数。,0.13表示用方法1测的A特质与方法2测的C特质之间的相关系数。,此矩阵中包含四类相关：,1、位于主对角线上的数值，是用同样的方法测相同特质所得之相关，相当于稳定性或等值性系数，因此是信度指标。,（三）结构效度及其估计方法,2、黄色三角形内的数值，是用同样的方法测不同特质所得之相关，此相关高，说明被试的分数主要由方法决定，而与特质关系不大。,3、暗红色三角形内的数值，是用不同方法测不同特质所得之相关，此值一般较低，反映了特质与方法的相互作用对测验分数的影响。,4、在暗红三角形之间的两条对角线上的数值是用不同方法测相同特质所得之相关。此相关高，说明被试的作为主要是有特质决定的，与方法关系不大。因此，这些数值即为测验的效度系数。,第三节 测评的效度分析,（一）效度及其与信度的关系,（二）内容效度及其估计方法,（三）结构效度及其估计方法,（四）实证效度及其估计方法,（四）实证效度及其估计方法,什么是实证效度,指一个测验对处于特定情境中的个体的行为进行预测时的有效性，也就是对我们所感兴趣的行为能够预测得怎样。,例如：,用大学入学成绩预测大学生的学习成绩,用职业测验预测工作能力,用人格测验预测哪种人容易得精神病等,（四）实证效度及其估计方法,效标：被预测的行为是检验测验效度的标准，简称效标。所以实证效度也叫效标效度。,同时效度：效标资料同测验分数同时收集，由此资料计算出的效度就是同时效度。此种效度通常与心理特性的评估及诊断有关。常用的效标包括在校学业成绩、教师评定等级、临床检查等。,预测效度：效标资料的收集需要在测验分数收集之后一段时间才可收集。这种效度对人员的甑别、分类与安置工作甚为重要。常用的效标资料包括专业训练的成绩同实际工作地成果等。,（四）实证效度及其估计方法,“某人成功了吗？”“某人患精神病了吗？”这是具有同时效度的测验要回答的问题。,“某人会成功吗？”“某人会得精神病吗？”这是具有预测效度的测验要回答的问题。,同时效度的效标在测验时就可以得到，那测验的作用就是希望能用测验的分数代替效标资料，也就是作等价替换，目的是用更为简单节省时间、廉价和有效的手段来取代复杂的不可靠的费时费力的效标。,（四）实证效度及其估计方法,效标,（一）效标与效标测量,所谓效标就是衡量测验有效性的参照标准，指的是可以直接而且独立测量的我们所感兴趣的行为。,观念效标：我们所感兴趣的行为就是要预测的行为。,效标测量：将观念上的效标用可操作的测量确定下来。,例如：,对于大学入学测验来说，我们感兴趣的或要预测的行为是“大学的成功”，即入大学后能否学得好。“大学的成功”就是观念效标，我们必须要数量化或操作化，比如大学的成绩常常就用来作为对“大学的成功”的测量，所以，大学成就就是效标测量。,（四）实证效度及其估计方法,（二）效标测量的条件,1、有效性,效标测量必须能够真正反映观念效标。如产品数量主要由工人的技术熟练程度决定，而同工作环境等其他因素关系不大，这样产品数量就是技术熟练的有效测量，技术熟练可以看作是技术考试的观念效标，而产品数量是效标测量。,（四）实证效度及其估计方法,2、可靠性,效标测量必须可靠，就是要有较高的信度。,3、客观性,当效标是等级评定时，可能受评定者主观印象和成见影响发生偏差。因此，采用判断性效标测量，必须控制偏见，评定要有严格程序。,效标污染：指个人的效标成绩由于评定者知道其预测源分数而受到影响的情况。采用盲法，避免评定者知道测验分数。,4、实用性,简单、经济、节省时间和费用,（四）实证效度及其估计方法,（三）常用的效标,效标可以是连续变量也可以是分类变量,可以是自然的现成的指标，也可以是人为设计的指标,可以是主观的判断，也可以是客观的测量,可以是自我评定，也可以是他人评定,1、学业成就：,2、等级评定：对学习成绩、智力、人格、,3、临床诊断：临床观察诊断的结果可以作,为智力、人格等测验的效标。,4、实际工作表现：如医生的治愈率、工人的产量等5、对团体的区分：,（四）实证效度及其估计方法,（四）效标的特性,1、效标多样性,一个测验可能有不同的观念效标,同一个观念效标又可能有不同效标测量,一般同时采取多种效标比较合适。,2、效标的复杂性,几乎每一种效标行为都是由多种特质构成的，包含复杂的成份。,比如学业成就的效标就不但包括对知识记住了多少、对知识理解、应用和评价能力等。同样取得好成绩有人是靠聪明，有人是靠勤奋，有人是靠记忆等。,由于效标比较复杂，对效标成份加以分析，决确定影响成功的因素。,根据每个因素的重要给予不同的权重,（四）实证效度及其估计方法,3、效标的特殊性,效标的特殊性是指它仅针对某种特殊情况而言的，不一定具有普遍适用性。,比如用大学一年级的成绩作为高考的效标，看起来好象具有普遍性，但仔细考虑就会发现存在很多的特殊情况，比如不同学校、不同专业，教师的不同、教材的不同等都会使效标有不同的意义。,4、效标的时间性,近期效标和最终效标,比如医学院校的学习成就可以作为他将来医疗技术能力的近期效标，远期的效标就是他的治愈率。有些在学校学习好的不定将来成为好的医生。,近期和最终效标都是相对的，近期效标更常使用，远期或最终效标受很多因素影响，不大好得到。,（四）实证效度及其估计方法,5、效标的有效性,测验的主要问题是效度问题。一个无效的测验，无论具有其他任何优良特性，都是毫无意义的。,现行各种测验的效度之所以难以确定，难以改进，其主要的原因即在于难以找到一种,理想的效标,。,效标本身的测量也存在有效性的问题。,（四）实证效度及其估计方法,三、确定实证效度的方法,实证效度是通过考察测验分数与效标的经验关系确定的，一般都可以通过统计分析得到一个数量指标，所以也叫统计效度。,（四）实证效度及其估计方法,实证效度的确定方法,（1）相关法,最常用来建立实证效度的方法是求测验分数与效标测量之间的相关，所得到的数量指标称为效度系数。,1、测验成绩或分数同效标都是连续变量时，使用,积差相关法,。,2、当测验分数是连续变量，而效标是等级评定时，可用,Juspen公式计算多系列相关,。,3、当测验分数是连续变量，而效标是二分变量时，可用,二列相关公式计算,。,4、当测验与效标都是二分变量时，,可用皮尔逊余弦法计算四分相关。,效度系数的可接受程度,没有统一的回答，解释效度时必须考虑其他有关情况。,一般而言，相关系数必须达到统计上的显著水平。,（四）实证效度及其估计方法,（二）区分度,预测源分数能否区分由效标测量所定义的团体。,1、检验平均数,测验录取一批工人，工作一段后，根据工作成绩（产品数量、质量）分成称职和不称职两组，然后再检查当初的测验分数，用t检验看两组在测验的平均分数上有无显著的差异，如果有，说明测验有预测作用，否则就没效。,当团体数量大时，很小的一点平均数的差异都会有显著意义，此时测验区分这些团体的实际价值就很小。,2、计算分布的重叠量：为了避免上述问题，必须把两组的平均分数、标准差、重叠量以及平均分数的差异在统计学上的显著性一并报告。,（四）实证效度及其估计方法,（三）命中率,工 作,表 现,测验成绩,合格,不合格,合格,A,C,不合格,B,D,总命中率=（A+D）/（A+B+C+D）,正命中率=A/（A+C）,（四）实证效度及其估计方法,(四)功利率,对使用测验所需的费用和所得到的收益进行比较，看是否利大于弊。,一个测验如果简单易行，省时省钱，不经过特殊训练的人也能掌握，又适合于团体施测，那么，即使效度低一些，也会有人使用。反之，只有效度极高，能给人带来很大好处时，才会使用。,第三节 测评的效度分析,（一）效度及其与信度的关系,（二）内容效度及其估计方法,（三）结构效度及其估计方法,（四）实证效度及其估计方法,（四）测评的项目分析,第一节 测评项目的难度分析,第二节 测评项目的区分度分析,（四）测评的项目分析,项目分析的定义：,指根据被试的反应，对组成测验的各个题目（项目）进行分析，从而评价其功用的程序和方法。,1、定性分析：涉及项目编写的恰当性、有效性以及内容效度。,2、定量分析：主要指对项目的难度和区分度的分析。,（四）测评的项目分析,一、定义：难度就是指项目的难易程度。人格测验的项目不存在难度问题，与此相应的指标叫,通俗性,，即同一类人在答案方向上回答 的人数，计算方法同难度计算方法。,难度的指标通常以通过率表示，即以答对或通过该题目的人数的百分比来表示：,PR/N100 （7.1）,P代表难度，N代表全体被试人数，R为答对或通过该题的人数。,（四）测评的项目分析,二、难度的相对性,所谓相对性指根据不同的情况具有不同的特点，换句话说就是有很多因素决定难度，而非一概而论。正因为如此，测验编制者主观对题目难度的判定虽然在编制测验中非常中重要，但是不够的，所以，测验必须进行预测验，以对难度在确定的情况下判定其难度。,（四）测评的项目分析,三、难度的计算,（一）二分法记分的项目,1、直接使用公式,2、人数多简便的算法：,P(P,H,+P,L,)/2,P,H,为高分组的通过率，P,L,为低分组的通过率，分数组划分以27位点进行。,3、根据备选答案的数目进行校正,CP(KP1)/(K1),CP是校正后的通过率，P为实得通过率，K为备选答案的数目。,（二）非二分计分的项目,PX/X,max,100,X为全体受试者在该题目上的平均分数，X,max,为该题的满分。,（四）测评的项目分析,三、难度水平的确定,根据测验的目的、项目的形式和测验的性质来确定。,（一）学业考试：目的是教学内容掌握的情况，所以只要认为内容是重要的，就可以选择，而不论难度。,（二）人员选择：,采用难度值接近录取率的项目。录取率为40，则理想的难度在0.40左右。,0.50左右难度的题目，可以对全体被试作最大程度的区分。,（三）对于选择题,难度值要大于概率。,如难度值等于或小于概率，如鉴别力好，通过者都是水平最高的，也可保留。,（四）一般防止得满分，因为其意义不明确，我们无法确定被是的全部潜能。,（四）测评的项目分析,难度对测验的影响：,1、测验难度影响测验分数的分布形态。,正偏态 负偏态,2、测验难度影响测验分数的离散程度。,过难或过易会使分数集中在低分端和高分端，使全距缩小。,（四）测评的项目分析,第一节 测评项目的难度分析,第二节 测评项目的区分度分析,（四）测评的项目分析,一、区分度的意义,区分度（discrimination）是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。,项目的区分度是测验是否有效的“指示器”。,二、区分度的计算,（一）项目鉴别指数法,1鉴别指数（index of discrimination，D）的计算,D=PH-PL,取值范围：-1+1,（四）测评的项目分析,鉴别指数,题目评价,0.40以上,很好,0.300.39,良好，修改会更好,0.200.29,尚可，仍需修改,0.19以下,差，必须淘汰,（四）测评的项目分析,2极端组的划分,27%规则,一般情况下，取上下25%33%均可。,样本少时，可以取50%,注意：,由于计算机的方便使用，可以上下50%作为划分高低组的标准，或者多分几组，对区分度和难度作详细分析。因为只取上下两端，只利用了一部分资料，浪费了很多信息，有可能得出错误结论。,（二）相关法（项目-总分相关）,1点二列相关,X,p,-,X,q,r,pb,=pq,S,t,2二列相关,X,p,-,X,q,pq X,p,-,X,t,p,r,b,=或 r,b,=,S,t,y S,t,y,3 相关,ad,-,bc,r,=,(a+b)(c+d)(a+c)(b+d),4四分相关,5.项目和总分相关重叠的校正,当测验项目超过20个项目时，校正法通常毫无意义。,r,tp,S,t,S,p,r,pq,=,S,t,2,+S,p,2,2r,tp,S,t,S,p,（四）测评的项目分析,（三）项目特征曲线（item characteristic curve,ICC）,项目特征曲线描述了效标分数不同的被试在该项目上的通过率。,曲线坡度越陡，鉴别力越好，预测的误差越小。,率,概,的,目,项,答,回,确,正,1.00,0.00,0.50,低 中 高,能力,鉴别力较好,低 中 高,能力,率,概,的,目,项,答,回,确,正,1.00,0.00,0.50,低 中 高 能力,率,概,的,目,项,答,回,确,正,1.00,0.00,0.50,鉴别力为负,鉴别力较低,（四）测评的项目分析,三、区分度的相对性,（一）采用不同的计算方法区分度的值不同，分析一个测验时，各项目的区分度值要采用同一种指标。,（二）用相关法计算的区分度值受样本大小的影响，一般讲，样本越大，其统计值的可靠性越好，但样本增加到一定程度，统计正确性的改进很小，而耗费的增加没有变。,（三）用两个极端组通过率的差异作为区分度的指标，其值受分组标准的影响。,在标准心理测验时，通常取370人作样本，配合27的分组标准，每一组正好各为100名，对以后计算较为方便。,（四）区分度值的大小与样本的同质性有关，越具同质性（个别差异越小），区分度值就越小，反之亦然。,（四）测评的项目分析,难度（）,区分度（）,1.00,0,0.90,0.20,0.80,0.40,0.70,0.60,0.60,0.80,0.50,1,0.40,0.80,0.30,0.60,0.20,0.40,0.10,0.20,0.00,0,区分度与难度的关系,（四）测评的项目分析,一、备选答案的反应模式,多重选择题依然需要分析被试对各个备选答案的反应模式。,（一）正确的备选答案被所有受试选择，说明题目太容易或题目可能提供了某种暗示。,（二）错误答案没有一个被试选择，说明该选项不具迷惑性，错得过于明显。最少要有2以上的人选择，否则这个备选答案要去掉。,（三）如果被试都选择了同一错误答案，可能是编著测验时把正确答案定错了。,（四）高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能有两个正确答案或在某种意义上另一个选择也有一定的意义。,（五）高分组对正确答案的选择与低分组相等或低于后者，说明该题所考察的东西与被试水平无关，即不具有辨别力。,（六）一个题目被试未作答的人数多（速度测验除外）或选择各个备选答案的人数几乎相等，说明该题可能过难或题意不清。,