测量学(二)2016新版.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四节 测验的效度,第一单元 效度概念,一、效度的定义,效度（,validity,）在心理测验中，效度指,测量的与所要测量,的心理特点之间的符合的程度。,一个测验的,准确性。,除受,随机误差,影响外，还受,系统误差,影响。,可信的测验未必有效，有效的测验必定可信,。,二 效度的性质,（,1,）相对性：,每,个测量工具都有自己的目的,。,目的与功能,（,2,）效度具有连续性,，不说,“,无效,”,，只说效度,“,高,”,，,“,低,”,（,3,）效度是针对测验结果而言的,。测验结果的有效性程度,。,3.,信度与效度的关系,信度是效度的必要而非充分条件,效度受信度制约。一个测验的效度不会超过其,信度的平方根,。,第二节单元 效度评估的方法,一、内容效度,1,含义及应用范围,内容效度,（,content validity,）是指测验题目对有关内容或行,为取样的适用性，即该测验是否是所要测量的行为领域的代,表性取样。选题偏了，推论无效,因此，一个测验要有高的内容效度必须具备两个条件,（,1,）对所测量的心理特质要有明确的概念，并划定出哪些,行为与这些心理特质有关，且较密切。,（,2,）测验题目应是所界定的内容范围的代表性取样。,二、构想效度（结构效度）,1,含义、特点与应用范围,构想效度,（,structure validity,）涉及的是心理学的理论概,念问题。是指测验能够测量到的理论上的构想或特质的程,度。或者说测验结果能否证实或解释某一理论的假设、术,语或构想，解释的程度如何。,2,结构效度的估计方法,（,1,）测验本身的分析,内容效度；计算测验内部一致性指标：分半信度、,系数、,KR20,、,KR21,；分析被试对题目反应的特点,（,2,）测验间的比较,：,相容效度，区分效度，因素分析,（,3,）考察测验的效标效度法,（,4,）实验法和观察法证实,三、效标效度,1,什么是效标效度,效标效度是指一个测验预测个体在特定情境中的行为表现的,有效性程度。,被估计的行为是检验测验效度的标准，,简称效标,。所以，又,称,实证效度,。,根据效标资料是否与测验分数同时获得，分为：同时效度，,预测效度,2,类,。高考的效度是一种预测效度,如,:,高考的效标,?,某次营销选拔测验的效标,?,学生入学后的学习成绩,培训后工作的营销业绩,2,效标,（,1,）效标与效标测量,效标（,criterion,）就是衡量一个测验是否有效的外在标准。,常用的效标：,学业成就、教师评定可作为智力的效标。有经,验的精神医生诊断、教师或,其他人员评判，可作为精神科症,状评定量表的效标。特殊课程或特殊训练成绩可作为能力倾,向的效标,（,2,）好效标的条件,a.,效标最能有效地反映测验的目标，效标本身有效,。,b.,有较高的信度，稳定可靠,。,c.,必须能客观地加以测量，可用数据和等级表示,d.,测量简单,省时省力,经济实用,总命中率,=,（,A+D,）,/,（,A+B+C+D,）,正命中率,=A/,（,A+B,）,(,工作合格测验也合格除以测验合格,),3,效标效度的确定方法,（,1,）相关法,积差相关，点二列相关，二列相关，贾斯朋多系列相关,（,2,）区分法：,测验工作效标测量（工作成绩）,（,3,）命中率法,工 作 表 现,测验成绩,合格,不合格,合格,A,C,不合格,B,D,第三单元 效度的功能,一、预测误差,决定性系数,r,xy2,，,效度系数的实际,意义常以决定性系数表示,。,表示测验正确预测或解释的效标的方差占总方差的比例,。,如：效度,0.8,则决定系数,0.64,表明测验的总方差中有,64,的方差,是测验分数的方差。即测验分数正确预测的比例是,64,，其余,36,无法做出正确的预测。,高考英语测验成绩与入大学后第一学年的英语成绩的相关为,0.6,则，,r,xy2,0.36,即入大学后第一学年的英语考试成绩中有,36,的方差,是由高考成绩来加以解释的，即,36,由高考来预测的。,效标完美时，,rxy2,1,，估计标准误,0,，测验分数可以,完全代替效标。当,rxy2,0,时，估计标准误为效标分数的,分布标准差相同，测,验无异于猜测。大多少情况下预测,误差介于二者之间。,二、预测效标分数,知道一个人的测验分数，带入回归方程即可对效标分数,做出估计。,Y,预测的是效标分数。,三、预测效率指数,E=100(1-K),E,的大小表明使用测验比盲目猜测能减少多,少误差。,r=0.8,，则,k,1 rXy2,0.6,E=40,表明预,测误差仅为随机猜测所产生误差的,60,，即由于测验的,使用，估计被试的效标分数时减少了,40,的误差。,第四单元 影响效度的因素,一、测验本身的因素,1.,测验材料对整个内容具有代表性,2.,测验设计避免引起误差的题型,3.,测题难度适中，有较高区分度,4.,测验长度适当，要有一定的测题量,5.,测题排列先易后难的顺序排列,二、测验的实施中的干扰因素,主试：指导语、时限、评分、测验情景,被试：兴趣、动机、情绪、态度和身心状况,三 样本团体的性质,常模团体的同质性影响到对被试测验得分的解释，进而影,响到测验的效度。越同质，测验效度降低，越异质效度越,高估。,干涉变量：,年龄、性别、教育水平、兴趣等有关特征使测,验对不同的团体具有不同的预测能力。称这些特征为干涉,变量。,四 效标的性质,测量行为与所选效标的相似性越高，效度越高,。,测验分数与效标行为之间是否是线性关系，如果不是线性,关系，求皮尔逊相关就会低估效度。,效标本身的测量越可靠，效度就可能越高,。,第五节 项目分析,项目分析包括定性分析和定量分析。,定性分析,包括考虑,内容效度、题目编写的恰当性和有效性等；,定量分析,主要是,指题目难度和区分度的测量。,第一单元 测验的难度,一、难度（,difficulty,）的意义,难度，指项目的难易程度。,在能力测验中，称为,“,难度,”,，而非能力（人格）测验,中，,则指,“,通俗性,”,。,两者都是指在总体中，能在答案方向上,回答该题的人,数。,二、难度的计算,（一）二分法记分,项目的难度,1,通过率,P=R/N,2,极端分组法（上下,27%,）,KP-1,P=,（,P,H,+P,L,）,/2,3.,允许猜测,的题，矫正难度,C,P,=,四选一，,p,0.53,五选一，,0.52,哪个难？,K-1,（二）非二分法记分项目的难度,P=X/X,max,X,为所有被试在该项目上的平均得分，,X,max,为该项目的满分,。,三、难度水平的确定,1,、,p=0,，或,p=1,，无法区分被试的差异。,P=0.5,最好，区分,度最大。但在实际操作中，让所有项目难度都到达,0.50,困难,很大，而且也不必要，一般只需使项目的平均难度接近,0.50,，而各个项目的难度在,0.50 0.20,之间变化。,2,、选 拔 测 验：难度值,=,录取率；选 优,p,值小，选差,p,应高,。,3,、对于选择题来说，难度一般应大于猜测概率,；,是非,0.75,四选一,0.63,4,、测验的难度,：,整个测验难度大，正偏态，集,中在低分端,整个测验难度小，负偏态，集中在高分端,难度大,正偏态,难度小,负偏态,分数,分数,人,次,人,次,第二单元 项目的区分度,一、区分度的意义,区分度（,discrimination,）是指测验项目对被试心理特征的,区分能力或鉴别能力。又称,鉴别力,。,项目的区分度是测验是否有效的,“,指示器,”,。,区分度的数值范围,：,-1+1,二、区分度的计算,（一）项目鉴别指数法,1,鉴别指数（,index of discrimination,，,D,）的计算,D=P,H,P,L,D0,D0,时 意义,鉴别指数法具体做法是：,1,按测验总分从高到低排列（答卷）成绩,2,确定高分组的和得分组，即各取总数的,27,3,分别计算高分组与低分组在该项目上的通过率或得分率,4,按公式,D=P,H,P,L,计算该项目的鉴别指数,鉴别指数（区分度）,题目评价,0.40,以上,很好,0.300.39,良好，修改会更佳,0.200.29,尚可，仍需修改,0.19,以下,差，必须淘汰,（二）相关法,难度（）,区分度（）,1.00,0,0.90,0.20,0.80,0.40,0.70,0.60,0.60,0.80,0.50,1,0.40,0.80,0.30,0.60,0.20,0.40,0.10,0.20,0.00,0,三、区分度与难度的关系,1,、,难,度和区分度都是针对一定团体而言的,。,一般来说，,较难的项目对高水平被试区分度高,，较易的项目,对低水平被试的区分度高,。,2,、项目难度的分布以常态分布为好,3,、所有项目的平均难度为,0.5,，保证多数项目区分度高和整,个测验对被试有较高的区分力,第六节 测验的编制的一般程序,第一单元,心理测验的目标分析,一、确定测验对象,年龄、性别、职业、受教育程度、经济状况、民族、文化,背景等,。龚耀先修订的,WAIS,分（城市）城镇式、农村式,二、明确测量用途,用于描述、还是诊断，选拔还是预测？,用途可分为：显示、预测,三、明确测量目标,1,工作分析：选拔和预测测验，主要任务是对要所预测,的行为活动做具体分析。包括,确定哪些心理特征或行为,可使活动成功。建立效标,2,对特定概念下定义：,创造力：流畅、灵活、独创、详尽,3,确定测验的具体内容,（双向细目表）,第二单元 测验题的编写,一、搜集测验资料,（,1,）,已出版的标准测验,（,2,）理论和专家的经验,（,3,）临床观察和记录,二、命题原则,（,1,）内容方面,（,2,）文字方面,（,3,）理解方面,（,4,）社会敏感性方面,三、编制要领,1,、选择题,问题明确、选项简明、单选、各选项长度一致,避免题干用词和选项用词一致、选项形式最好单一,2,、是非题,3,、简答题,4,、操作题,第三单元,测验的编排和组织,一、合成测验,1,选择与审定试题,2,测题的编排,：,难度排列易逐步上升,尽可能将同类型的测题组合在一起,根据各种类型题目特定排列,常见的测验项目编排方式,并列直进式,：,WAIS,WISC,WYCSI,混合螺旋式,:,比内西蒙量表,二、试测与项目分析,预测,预测对象应是来自将正式测验准备用的群体。,施测过程与施测情景应和将来正式的相近似,时限可稍宽一些,记录被试的各种反应,项目分析,质的分析：内容取样、题目的思想性、表达是否清楚,量的分析：难度、区分度、备选项分析,三、信度和效度考察,四、常模制订,五、编写测验说明书,测验的目的和功用,编制测验的理论背景以及选择题目的根据原则及选择,题目的方法,如何实施测验的说明。每部分题目数、如何做答、例,题、主试训练的要求、时限及注意事项,测验的标准答案和评分标准,常模资料,测验的基本特征：难度、区分度、信度和效度和因素,分析的资料,第七节 心理测验的使用,第一单元 主试的资格,一、知识结构,基础知识,：,专业相关的知识,：,人格心理、能力心理。,变态心理学、相应工作领域的本行业的专业知,识,二、专业理论知识和专业技能,专业理论知识,：,心理测验专业理论,专业技能,：,实际操作心理测验的技能经验,三、职业道德,测验的保密和,控制使用,：,测题的保密，使用者必须经过专业训练和具备一定资,格的专业人员,测验中个人的隐私的保护,：,测验尊重被试的人格，对其个人信息加以保密，除非,对个人和社会可能造成危害的情况，才能告知有关方,面。,第二单元 测验的选择,一、必须适合测量的目的,二、必须符合心理测量学的要求,1,、,标准化、信度、效度、常模是否符合你的测试,对象,。,2,、,避免使用没有重新标准化的经典测验,；,避免使用,老版本；不提倡直接将国外的测验译过来用,第三单元 测验前的准备及注意事项,一、测验前的准备工作,预告测验,：测验时间、地点、内容，让被试做好心理准备。,准备测验材料,：测验内容、施测步骤、记分方法,熟悉测验的指导语,：告诉被试如何选择反应形式（划勾还,是涂黑），说明时间限制，例题演示，有时告知被试测验目,的。念指导语,熟悉测验的具体程序,韦氏测验分言语和操作，,WISC,言语和操作交替进行。背数,二、测验中主试的职责,1,、,按,测验指导语要求实施测验，不带任何暗示,，,被试问时,以中性方式作进一步澄清,。,2,、,测验前不讲太多无关的话,3,、,对被试的反应不作出点头、皱眉、摇头等暗示性反应,，,保,持和蔼、微笑态度,。与被试建立良好的协调关系,。,4,、对特殊问题有所准备,（如停电、作弊、被试不配合等）。,三、建立协调关系,主试与被试间一种友好的、合作的、能促使被试最大限度地,做好测验的一种关系。,第四单元 测验实施的程序及要素,一、指导语,包括,被试指导语和主试的指导语,被试指导语：,1,如何选择反应形式,2,如何记录这些反应,3,时间限制,4,如果不能确定正确反应时该如何操作,5,例题,6,有时告知被试测验的目的,二、时限,三、测验的环境条件,测验的光线、通风、温度及噪音水平等物理条件做,好安排，统一布置，对每位被试保持相同,。,务必不能有外界干扰,必须完全遵从测验手册的要求,记录下任何意外的测验环境因素,解释测验结果时也必须考虑这一因素,第五单元,被试误差及控制方法,一、应试技巧与练习效应,多次经历测验，成了,“,测验油子,”,二、动机与焦虑因素,应试动机影响测验成绩。过高的测验焦虑使工作效率降低，,过低也不好。焦虑对测验成绩的影响可用倒,U,型曲线表示。,影响测验焦虑的五因素,：,1,能力高，测验焦虑低。,2,抱负水平过高求胜心切的测验焦虑高,3,具有某种人格特点易焦虑,4,测验成绩与被试的关系重大、压力大、易,5,经常接受测验者焦虑低，不熟悉测验、新题型、易,三、反应定势（反应风格、反应倾向）,几种常见的反应定势：,1,求快和求精确的反应定势,2,喜好正面叙述的反应定势,3,喜好特殊位置的反应定势,4,喜好较长选项的反应定势,5,猜测的反应定势,第六单元 测验的评分,一、原始分数的获得,评分客观的三点要求,：,1,及时而清楚地记录反应情况,2,要有一张标准答案或正确反应地表格，即记分键,3,将被试地反应和记分键比较,二、原始分的转换,第七单元,测验结果的报告,一、测验结果的综合分析,1,、,应根据心理测验地特点进行分析。永远应该把测验分数,看成一个范围而不是一个点,。,韦氏智力测验中，,IQ,加减,5,的方法判断其正常的波动范围。如,IQ,100,，应视为,9,5,105,范围内变化。,2,、不能把分数绝对化，更不能根据一次测验的结果轻易下,结论。,一个人测验分数都是其遗传特征、测验前的学习,与经验及测验情景的函数,。,3,为了对测验分数做出确切的解释，只有常模资料,是不够的还必须有测验的信、效度资料,。,4,对于来自不同测验的分数不能直接加以比较,比较将二者放在统一量表上,：,等值百分位法,：都化成百分等级，以此为中介,线形等值,：都化成标准分作为等值的基础,二、报告分数的具体建议,1,不应把测验分数直接告诉被试本人和家长等人员，应告,诉测验分数的解释和建议,。,2,避免使用专业术语,3,要保证当事人知道这个测验测量或预测什么,4,要使当事人知道他是和什么团体在进行比较,如用平均初中程度的,IQ,测验，一小学文化程度者得,IQ,85,，可,认为基本中等智力，一大学生也测得,85,，则中下水平。,5,要使当事人知道如何运用他得分数,6,要考虑测验分数会给当事人带来什么心理影响,7,要让当事人积极参与测验分数得解释,