第四章 心理测验的难度与区分度.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章,项目分析,心理测量学,第四章 项目分析,第一节 项目的难度,1,第二节 项目的区分度,2,第三节 题目的猜测度与控制,3,第四节 选择题选项分析与修改,4,心理测量学,第四章 项目,第一节 项目的难度,1,一、难度的定义,难度定义,难度,difficulty,：指项目的难易程度,，即就是被试完成题目或项目任务时所遇到的困难程度,难度系数：,p,定量刻画被试作答一个题目所遇到的困难程度的量数，就叫题目的难度系数，也常称为难度值,用符号,P,表示。,二、难度系数计算方法,以全体被试得分率为难度系数,以全体被试通过率为难度系数,P,=,K,/,N,以两端组被试得分率的均值为难度系数,P=(P,H,+P,L,)/2,P,：,题目难度,X,拔：被试在某题目上,的平均得分,X,max,：该题目的满分,P,：,题目难度,K,：,答对人数,N,：全体被试人数,P,：,题目难度,P,H,：高分组被试的得分率,P,L,：低分组被试的得分率,（,1,）按被试的总分，将全体被试者从高到低进行排序。,（,2,）从高分往下找，找出高分组；由低分往高找，找出低分组,两组人数分别占总人数的,27%,。,（,3,）分别计算高分组、低分组的被试在该题目上的平均得分。,（,4,）代入公式分别计算高分组和低分组被试在同一个题目上,的难度系数。,（,5,）把 和 代入,P=(PH+PL)/2,，计算这个题目的难度系数。,难度计算实例,例,4-1,下表是随机抽取,22,名被试在某数学测验中四道题目的得分情况，每题的满分分别为,1,分、,2,分、,3,分和,4,分，请分析其难度。,哪道题最难？,三、难度系数变换,上述所得难度系数，不论是得分率还是失分率，都属于顺序变量，不具有相等的单位，因此，通过,p,值比较并不能客观指出题目难度之间的差异大小。,Eg,：三个题目难度系数分别为,0.5,、,0.6,、,0.7,，三个题目之间难度差是否相等？,可知第一题最难，第二题次之，第三题最容易,难度系数相差都是,10%,，但并不代表第一题 与,第二题难度只差等于第二题与第三题难度之差,难度系数变换办法,假设每个试题所要测量的潜在特质或能力是呈正态分布的，然后就可以根据正态分布曲线,将试题的难度系数,P,作为正态曲线下的概率面积，转换成具有相等单位的等距量表,即,Z,分数（标准分数）量表。,难度等距转换实例,题号,答对率,难度,Z,值,难度差异,1,0.15,1.04,-,2,0.25,0.67,0.37,3,0.35,0.39,0.28,4,0.40,0.25,0.14,5,0.60,-0.25,0.50,6,0.70,-0.84,0.59,思考：,Z,分数为负值时，说明试题难还是容易？,Z,值存在负值不易理解，因此做如下转换,难度,Z,值转换公式,:=13+4Z,：题目难度；,Z,：由,p,转换来的标准分数,思考：,的取值范围？,1-25,第,1,题：,=13+4*1.04=17.16,第,2,题：,=13+4*0.67=15.68,第,3,题：,=13+4*0.39=14.56,第,4,题：,=13+4,*,0.25=14,第,5,题：,=13+4,*（,-0.25,）,=12,第,6,题：,=13+4,*（,-0.59,）,=9.64,难度等距转换公式,四、题目的难度分布,P,的取值范围为：,0P1,当,P=0,时，试题的实际困难程度最大,(,所有的考生都得,0,分,),当,P=l,时，试题的实际难度最小,(,所有的考生都全对,),。,常模参照测验难度分布,要尽可能地区分被试的个别差异，测验结果就尽可能拉开距离。,P,值尽量接近,0.50,为宜,思考：,P,等于,1,或,0,时，以为着什么，是否还可以区分被试？,实验表明：,所有题目的难度系数分布在,0.30,至,0.70,之间，并且整个测验的平均难度系数在,0.50,左右时，测验对被试有较大的鉴别力，测验分数也接近正态分布,标准参照测验难度分布,目的是检验被试是否已达到教学目标规定的掌握程度,教师期望学生都能够在教学之后掌握所有的教学内容,通过率达到,1.00,时，所有学生都掌握了教学内容。,如果教学是有效的，多数试题的难度系数,P,值都会很大，,难度系数反映的是教学质量的好坏的成分多于试题质量的好坏的成分,不同测验，目的不同，难度值不同。,奥林匹克测验？选择补习功课的学生？,心理测量学,第四章 心理测量的难度与区分度,第二节 项目的区分度,2,一、区分度的定义,定义：,指测验对考生实际水平的区分程度或测验对被试特质差异的区分能力，用符号,D,表示。,具有良好区分度的测验，实际水平高的应该得高分，实际水平低的应该得低分。所以，区分度又叫,鉴别力,。,是评价试题质量，筛选试题的主要指标与依据,区分度的分类,正区分,(D0),称积极区分,，,指实际水平高的考生得了高分，实际水平低的考生得了低分,负区分,(D0),，,称消极区分,，实际水平高的考生得了低分，实际水平低的学生得了高分,零区分,(D=0),指实际水平高低与得分之间没有太大的关系，呈现出零相关,二、区分度的计算,1,、相关系数法,点二列相关,积差相关,2,、用极端分组法计算区分度：,D=P,H,P,L,D,表示区分度,P,H,表示高分组的难度,P,L,表示低分组的难度,心理测量学,江西师大心理与教育统计测量中心,该方法的基本思想是，若题目有好的区分度，则高能力的被试在该题上应得高分，低能力被试应得低分，即被试在题目上的得分应与测验总分相一致。,其基本假设是测验得高分的被试即为高能力被试，测验得低分的被试即为低能力被试,。,1,、相关系数法,心理测量学,江西师大心理与教育统计测量中心,（,1,）点二列相关法,1,、相关系数法,心理测量学,江西师大心理与教育统计测量中心,（,2,）积差相关法,1,、相关系数法,心理测量学,江西师大心理与教育统计测量中心,基本思想：,2,、极端分组法（鉴别指数法）,心理测量学,江西师大心理与教育统计测量中心,例,4-2,下表是随机抽取,22,名被试在某语文测验中四道题目的得分情况，四题满分分别为,1,分、,3,分、,5,分和,60,分，其中第,4,题为作文题，请计算四题的区分度。,3,、题目区分度计算实例,心理测量学,江西师大心理与教育统计测量中心,3,、题目区分度计算实例,心理测量学,江西师大心理与教育统计测量中心,三区分度的评价标准,1965,年美国测量学家伊贝尔根据长期经验提出如下标准：,四、区分度与测验信度、难度的关系,区分度与信度关系,此表是,1962,年,R,L,艾伯发表的，这里是假定全部试题的难度均为,0,50,时所预测的信度系数。里面的区分度指的是平均值。可见，要想达到理想的测验信度，提高区分度是一个好方法。,四、区分度与测验信度、难度的关系,区分度与难度关系,由上表可知，难度适中，可使区分度达到最大值。,心理测量学,江西师大心理与教育统计测量中心,(1),题目难度,(2),被试群体的同质性,(3),全卷各题所测心理品质的一致性。,(4),题目本身的文字与内容的质量也会影响 题目的区分度,五影响题目区分度的因素,心理测量学,江西师大心理与教育统计测量中心,(1),控制好题目难度。将题目难度在,0.5,左右时，区分能力理论上会比较高。,(2),保证题目所测心理品质与全卷所测心理品质的一致性。,(3),题干及答案无歧义。,(4),语言准确规范。,(5),借助选项分析提供的信息对不良选项进行修改，以提高题目区分能力。,六、,提高题目区分度方法,心理测量学,第四章 心理测量的难度与区分度,第三节 题目的猜测度与控制,3,一、猜测度的定义,猜测度是指被试全凭随机猜测而答对题目的概率。猜测行为主要出现在客观题（如选择题、是非判断题、配对题等）,心理测量学,江西师大心理与教育统计测量中心,心理测量学,江西师大心理与教育统计测量中心,增加选择题选择项的个数,(,一般不少于四个,),。,增加干扰项的迷惑性。,控制存在猜测行为的总题量，以保证猜测误差控制在较小范围。,如有特殊需要，还可采用警告、扣分等方式控制被试的猜测行为。,二、猜测度的控制,心理测量学,第四章 心理测量的难度与区分度,第四节 选择题选项分析与修改,4,心理测量学,江西师大心理与教育统计测量中心,一、选项分析基本过程,1,、根据被试的测验总分，对被试进行排序,2,、确定高分组和低分组被试,3,、分别登记高分组被试和低分组被试在每个备选项的人数及未作答人数（也可以是人数百分比），最终整理成类似表中的数据资料,4,、根据第3,步整理好的数据资料，进行具体分析。,心理测量学,江西师大心理与教育统计测量中心,1,、首先分析两组平均选答率,一般正确答案的选答率应该在,0.4,到,0.6,之间，每个干扰项应该平均分剩余的选答率。,如果正确答案的选答率过高或过低，这都不利于区分高分组和低分组被试。,如果某干扰项选答率特低，则说明该干扰项错的过于明显应加以淘汰；,若某干扰项选答率特高，则要考虑该题正确答案是否错误或有两个正确答案。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,2,、对于正确答案,主要考察高分组和低分组被试在正确答案上的选答率是否是正差，及这一差距是否足够大。只有当高分组和低分组被试在正确答案上的选答率是正差，且这一差距足够大时，这时题目质量较佳。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,3,、对于干扰项,考察高分组和低分组被试在干扰项上的选答率是否是负差，及这一差距是否足够大。只有当高分组和低分组被试在正确答案上的选答率是负差，且这一距差足够大时，这时干扰项的设置比较合理，否则干扰项设置不合理，应对干扰项进行删除或修改。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,4,、其它,如果高分组被试的选答集中在两个答案上，且人数又相近，说明此题可能有两个正确答案，或者在某种意义上另一个选择项也有一定道理。应考虑题目本身是否存有歧义或有两个正确答案。,如果高分组对正确答案的选答率与低分组相等或低于后者，说明该题所考察东西与被试水平无关，即不具有鉴别力，此题应作大修改或删除。,如果一个题目被试未作答的人数较多（速度测验除外），或选择各个备选项答案的人数相等，说明该题目过难或题意不清，被试无法作答或全凭猜测。应修改或删除本题。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,例,4-3,下表为一个由,370,人参加的英语测验中四道选择题的统计结果，试分析每题难度、区分度是如何计算出来的？并对这四题的选项质量进行评价。,三、项目分析实例,心理测量学,江西师大心理与教育统计测量中心,三、项目分析实例,心理测量学,江西师大心理与教育统计测量中心,选项分析：,第,1,题，正确答案和干扰项的两组平均选答率都基本正常，在正确答案上高分组的被试选择人数要多于低分组被试，且在非正确选项上，高分组的被试选择人数要少于低分组被试，这符合实际情况，四个选项的设置均较合理；,三、项目分析实例,心理测量学,江西师大心理与教育统计测量中心,三、项目分析实例,选项分析：,第,2,题，正确答案和干扰项,B,的两两组平均选答率基本一致，且正确答案上高分组的被试选择人数要少于低分组被试，而在非正确选项,B,、,D,上，高分组的被试选择人数要多于低分组被试，这均不符合实际情况，且高分组被试中选择人数最多的为选项,B,，则要考虑该是否有,2,个正确选项，因此该题选项设置较差，因此整题质量较差。,心理测量学,江西师大心理与教育统计测量中心,选项分析：,第,3,题，选项,A,、,B,、,D,两组平均选答率都基本正常、设置均较合理，但选项,C,需修改；,第,4,题，选项,A,、,D,设置合理，选项,C,设置不合理需修改，不论高分还是低分组被试均无人选择,B,，该选项无任何迷惑作用，可删除该选项，并换其它具有迷惑性的选项。,谢 谢！,