心理咨询师三级第3节测验的信度.ppt

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,信度概念,信度的评估方法,信度与测验分数的解释,影响信度的因素,成熟,标志,20世纪50年代,古利科逊,心理测验理论,三大,支柱,基本假设,信度,效度,第一单元 信度的概念,一、经典测验理论,Classical Test Theory（CTT）,（一）测量误差,1、定义,与测量目的无关,不准确,测量,效应,测量,因素,测量,结果,或不一致,测验,真值,3、误差来源,三层面模式,测量,工具,测试对象,施测,过程,（二）基本假设与真分数,1、分数,观测,分数,误差,分数,真,分数,测验所得,未加工,无误差,理论上,真正特质水平,操作上,多个平等测验的平均数,2、基本假设,例2-1：某一物理测量结果（单位：微）,物质编号 实测重量X 真正重量T 误 差E,A 12 10 2,B 19 20 1,C 27 30 3,D 41 40 1,E 51 50 1,150 150 0,S,203.2 200 3.2,SE 1.8,M 30 30 0,定义,T与X关系,数学模型,X=T E,T=X E,二、信度的概念,S,2,T,，S,2,E,，S,2,X,的关系与信度,S,2,X,S,2,X,S,2,T,S,2,E,S,2,T,S,2,E,S,X,2,测验实得分数的方差；,S,E,2,为测验误差的方差，,S,T,2,为测验真分数的方差。,（一）信度的定义,1、理论定义,真分数方差与观测分数方差的比值,或,2、操作定义,两组测验分数之间的相关系数,测量工具或结果的一致性（稳定性）程度,3、r,XX,值与测验误差的关系,r=0.50,r=0.75,r=0.90,S,2,E,S,T,S,T,S,T,S,E,S,E,（二）信度的指标1、信度系数与信度指数,信度,系数,同一群人,几次测验结果,一致性,信度系数的,平方根,信度,指数,缘由：r,XX,只反映X与T的符合程度,未反映个体测验分数的变异,2、测验标准误（二级）,测验中个体真分数的指标,理论上：一个个体多次测验结果分布的变异,实际上：一组个体两次测验结果分布的变异,测量标准误,测量误差分数分布的标准差,用途,衡量测量值（,X,）,与测量对象真值（,T,）,的偏离程度的一种指标,用来估计个人的真分数,个人分数的误差,个体测验分数,重测时,的,变化,公式,实得分数标准差,个人分数的误差,r,XX,越大：变化的可能性越小,r,XX,=1,：,完全不变化,第二单元 信度评估的方法,信度,重测信度,复本信度,内部一致性,信度,评分者信度,分半信度,同质性信度,重测复本信度,不同的信度反映测验误差的不同来源。,一、重测信度,含义,同一测验,同组对象,前后测2次,相关系数,稳定性,程序,误差,时间,太短,练习效应,记忆效应,A卷,一,定,时,距,A卷,太长身心变化,2-4周为宜,不超过6个月,优点,省力、省时,测量属性相同,提供随时间变化的资料,不足,适用范围,异质性,运动技能,速度,时间间隔长短,评价,二、复本信度,含义,两等值测验,最短时间内,对同组对象,施测结果r,等值性,程序,误差,内容,取样,A卷,最,短,时,距,B卷,优点,代表性增强，信度更准,避免练习、记忆效应,不足,编制复本难,影响积极性,触类旁通,评价,重测复本信度,（二级）,含义,两等值测验,一定时间内,对同组对象,施测结果r,等值性,稳定性,程序,误差,内容取样,时间,A卷,一,定,时,距,B卷,重测信度与复本信度有何异同？,重测复本信度与重测、复本信度,谁得估计更严格为何？,小结与问题,重测,信度,复本,信度,内部,一致性,跨时间,一致性,跨形式,一致性,试题之间,有何关系,三、内部一致性信度,含义,测验,各题间,一致性,题目,一致性,所有题目间,的一致性,分半,信度,类型,两半测验,内容取样,同质性,信度,（一）分半信度,1、分半条件与程序,分半,方法,奇偶题,分半,分析,程序,两半相关：r,hh,校 正：r,nn,难易：低,高,分半,条件,两半相似：,M、S,项目组间相关,分布形态,内容,2、校正方法（二级）,斯皮尔曼,-布朗公式,方差相等时,弗拉南根公式卢尤公式,方差不等时,（二）同质信度,同质性,题目间的内部一致性,类型,库-理信度,克龙巴赫,系数,0、1,题型,K-R20,难度不同,k-R21,难度相近,各类,题型,（二级）,四、评分者信度,（一）含义与方法,含义,评分者评分的一致性,0.9以上，,才认为是客观的,。,方法,2评分者,2个以上者,r,XY,r,肯德尔和谐系数,（二）,肯德尔和谐系数（,二级）,K个评价者评N个被评者或作品,应用范围和W系数,应用,1个评价者先后K次评,N个被评者或作品,W范围,01,第三单元 信度与测验分数的解释,真分数与实得分数相关的解释,信度系数和信度指数,测量标准误,信度的评价,直接解释,一、真分数与实得分数相关的解释,r,XX,间接解释,信度系数,决定系数,r,2,XT,=S,T,/S,X,=r,XX,r,XX,为各方差的百分比,S,2,X,分为,各S,2,E,和S,2,T,误差源不同,信度估计法不同,r,XX,=0.90,（一）信度系数和指数,用途,衡量测量值（X）与测量对象真值（T）的偏离程度的一种指标,用来估计个人的真分数,信度系数可以解释为总的方差中有多少比例是由真实分数的方差决定的。范围在0-1之间。,rXX=0：所有变异和差别都反映的是测量误差,rXX=1：完全没有测量误差，所有变异均来自真实分数,二、确定信度可接受水平,测验类型,最低标准,标准化测验,人格测验等,非标准化测验,0.90,0.80-0.85,0.60-0.85,典型测验的一般标准,低于0.70时，不能对个人作出预测或评价；,在0.70-0.85之间，可用于团体比较；,高于等于0.85，才能用来鉴别或预测个人成绩,典型测验的信度高低水平,测验类型,低 中 高,成套成就测验,学术能力测验,成套倾向性测验,客观人格测验,兴趣问卷,态度量表,.66 .92 .98,.56 .90 .97,.26 .88 .96,.46 .85 .97,.42 .84 .93,.47 .79 .98,三、解释个人分数的意义,公式,个体真分数估计（二级）,例如：某班一次标准化成就测验,（r,xx,=0.80）中的SE为5，某生的测验,分80。试问该生测验的真分数是多少？,置信度,D=.95,置信区间,分析结果,表2-9 某生测验真分数的信度区间,SEe数目 置信水平 置 信 区 间,1 68.26 805(7585),2 95.45 8010(7090),3 99.93 8015(8595),1.96 95 809.8(70.289.8),2.58 99 8012.9(67.192.9),四、比较不同测验分数的差异（二级）,例如，某生在韦氏成人智测中，,语言IQ为102，操作IQ为106。且知言语,与操作的分半信度各为0.96和0.93。问该,生操作能力是否显著优于言语能力？,分析结果,结论,差异未达1个标准误,操作IQ并不高于语言IQ,差异显著性：,本例,：,(106-102=4),第四单元 影响信度的因素,样本特征,测验长度,测验难度,时间间隔,特点,样本越异质，分数分布越广，S，r，测验越可靠,一、样本特征,（一）样本团体异质性的影响,分析,信度,相关,散布图,计算,散布图,整段范围,低,高,（二）样本团体平均能力水平的影响,例如，SB量表，不同年龄和难度水,平信度值从0.830.98。,显然，每个信度都,要求对建立信度的团体进行描述。,选择测验时应注意,取样团体的变异性和能力水平,建立信度的团体与欲测团体是否一致,趋势,分别对非常同质团体建立标准化样本。,考虑年龄、性别、年级、职业和相似性等，选择适合其所在测验团体性质的信度系数和测验。,二、测验长度,含义,测验试题的数量,特点,测验越长试题取样越恰当，,测验越长，猜测性越小,长度与信度的关系,(,二级,),例2-16：某测验有40题，信度0.65，,若增至120题，信度会是多少？,例2-17：某测验有30题，信度0.75，,试问要达到多少题才能使信度达到0.90？,一般趋势,难度分布越广，信度越高,难度与题型,简答题：P=0.5时，X为0100，信度最高。,选择题的理想难度,（二级）,三、测验难度,满分值,理论概率,例2-22：在100个正误题测验中，满分为,100，其理想难度是多少？,例2-23：在100个五择一测验中，满分为,100，其理想难度是多少？,（二级）,分析结果,例2-22,例2-23,（二级）,学绩测验选择题的理想平均难度（洛德）,五择一：0.70,四择一：0.74,三择一：0.77,是非题：0.85,四、时间间隔,时间间隔只对重测信度和不同时测量时的复本信度有影响，对其余信度不存在时间间隔问题；,时间间隔越短，信度系数越大；,时间间隔越久，信度系数越低。,理论假设：T=XE；S,T,=S,X,S,E,信度：测量结果的稳定性,类型,重测、复本、重测复本,内部一致性：分半、同质性,评分者,本章小结,测验条件、样本性质及估计方法不同信度不同,只对测验分数不一致大小作估计，未指出原因,