【基础医学】测验信(新教材).ppt

测验的信度测验的信度5/24/20241第一单元第一单元 信度的概念信度的概念一、信度的定义一、信度的定义信度（信度（reliability）是指同一被试在不同时间内用同是指同一被试在不同时间内用同一测验（或另一套相等的测验）重复测量所得结果一测验（或另一套相等的测验）重复测量所得结果的一致程度。的一致程度。（本教材）（本教材）信度指测验或量表的可靠性（可靠程度）。信度指测验或量表的可靠性（可靠程度）。（龚耀（龚耀先）先）信度就是对测量一致性程度的估计。信度就是对测量一致性程度的估计。（金喻）（金喻）信度是评价一个测验是否合格的重要指标，标准化信度是评价一个测验是否合格的重要指标，标准化心理测验的基本要求。心理测验的基本要求。在编制或修订心理测验时，信度研究是必须的环节，在编制或修订心理测验时，信度研究是必须的环节，信度资料是测验手册里必备的测量学指标。信度资料是测验手册里必备的测量学指标。在使用心理测验时，没有信度资料的测验不能使用。在使用心理测验时，没有信度资料的测验不能使用。5/24/20242测量误差与真分数测量误差与真分数测量误差是由与测验目的无关的偶然因素引起，使得几次测测量误差是由与测验目的无关的偶然因素引起，使得几次测量结果不一致，且这种不一致是非系统的、随机的。量结果不一致，且这种不一致是非系统的、随机的。真分数指测量中不存在测量误差时的真值或客观值。真分数指测量中不存在测量误差时的真值或客观值。真分数的操作定义就是无数次测量的平均值，常用真分数的操作定义就是无数次测量的平均值，常用T来表示。来表示。表示真分数的公式：表示真分数的公式：X=T+EX 指实测分数指实测分数T指真实分数指真实分数E指指误差分数误差分数实测分数是真分数与误差分数的函数。实测分数是真分数与误差分数的函数。在进行心理测量时，在进行心理测量时，XT被视为是稳定不变的，因此被视为是稳定不变的，因此X的变化由的变化由XE所所引起。引起。据此，据此，SX2=ST2+SE2由于测量误差的随机性，误差分数的平均数为由于测量误差的随机性，误差分数的平均数为 0。系统误差产生恒定效应，不影响信度。系统误差产生恒定效应，不影响信度。5/24/20243实测分数、真分数、误差的分布实测分数、真分数、误差的分布实测分数实测分数X真分数真分数T误差误差E实测分数实测分数X真分数真分数T误差误差E1718118143353721618228280383353731623274444222826236360343401511422253273252827125241X 520520014131 X 2626014217 S2 77.667.310.3212215/24/20244信度的表达式信度的表达式信度的定义可以理解为一组测验分数中真分数方差与实测分数方差的比率rxx=rxT2=ST2SX2在实际工作中，“真分数（XT）”是很难获得的，我们通常将实测分数（XX）作为真分数的“估计值”。由于真分数（XT）难以获得，因此ST2也很难获得，但后者可以通过其与实测分数方差和误差的关系推出来。根据rxx=rxT2=ST2SX2和SX2=ST2+SE2两式ST2=SX2-SE2 rxx=ST2SX2=（SX2-SE2）SE2=1-（SE2-SX2）信度（rxx）则作为反映实测分数作为“真分数”估计值的准确程度指标。可以看作在总的方差中非测量误差的方差所占的比例。例：如果某测验的信度为0.9，其误差则为0.1。5/24/20245rxx为为信度信度,它是它是ST2和和SE2的分界线的分界线越往左，越往左，SE2越大，信度越低；越大，信度越低；越往右，越往右，ST2越大，信度越高越大，信度越高Sx2rxxST2SE25/24/20246测验误差的来源测验误差的来源测验本身引起的测量误差测验本身引起的测量误差测验题目抽样误差测验题目的形式测验题目的难度过高或过低测题或指导语用词不当测验时限过短测验实施引起的测量误差测验实施引起的测量误差物理环境主试方面意外干扰评分不客观，计算、登记、转换出错被试引起的测量误差被试引起的测量误差动机的影响测验的焦虑生理因素学习、发育和教育测验经验参考资料参考资料5/24/20247二、信度的指标（一）信度系数与信度指数（一）信度系数与信度指数信度以信度系数为指标，是一种相关系信度以信度系数为指标，是一种相关系数。数。rxx=rXT2=ST2SX2 rxx_信度系数信度系数rXT2 信度指数信度指数rXT=STSX 信度指数的平方就是信度系数。信度指数的平方就是信度系数。5/24/20248（二）测量标准误（二）测量标准误信度系数表示一组测量的实得分数与真分数的信度系数表示一组测量的实得分数与真分数的符合程度，但没有直接指出个人测验分数的变符合程度，但没有直接指出个人测验分数的变异量。异量。标准误：标准误：标准误：标准误：SE SE SE SE 测量的标准误测量的标准误测量的标准误测量的标准误S S S SX X X X 是是是是所得分数的标准差所得分数的标准差所得分数的标准差所得分数的标准差r rxxxx 测验的信度系数测验的信度系数信度越高，信度越高，测量的标准误越小；测量的标准误越小；测量的标准误越小；测量的标准误越小；信度越低，信度越低，测量的标准误越大。测量的标准误越大。测量的标准误越大。测量的标准误越大。SE=SSE=SSE=SSE=SX X X X 1-1-1-1-r rxxxx5/24/20249一、重测信度一、重测信度(test-retest reliability)又称稳定性系数又称稳定性系数(stability)(stability)，主要用于评价主要用于评价时间误差。时间误差。采用重测法：使用同一测验，在相同条件下对采用重测法：使用同一测验，在相同条件下对同一组被试者前后施测两次测验，求两次得分同一组被试者前后施测两次测验，求两次得分间的相关系数。间的相关系数。优点：能提供有关测验是否随时间变异的程度。优点：能提供有关测验是否随时间变异的程度。缺点：易受练习和记忆的影响。缺点：易受练习和记忆的影响。最适宜的时距随测验的目的、性质和被试特点最适宜的时距随测验的目的、性质和被试特点而异：而异：一般两周到四周较宜，间隔时间最好不超过六一般两周到四周较宜，间隔时间最好不超过六个月。个月。第二单元第二单元 信度评估的方法信度评估的方法5/24/202410相关分析相关分析计算两种具有相关关系的不同现象之间关系程度的统计学方法相关系数：相关系数：表示相关程度的统计学指标相关系数取值于1.00+1.00之间。负值表示负相关，正值表示正相关。“0”表示两个变量之间完全没有关系，“1”表示两个变量之间呈现一对一的关系。相关系数不是等距的度量值，因此在比较时只能说绝对值大者比绝对值小者相关更密切一些。相关系数与其他统计量一样也存在抽样误差，因此其统计学意义也应进行显著性检验。相关知识相关知识5/24/202411二、复本信度二、复本信度（alternate-form reliability）又称等值性系数，以两个等值但题目不同的测验又称等值性系数，以两个等值但题目不同的测验（复本）来测量同一群体，然后求被试者在两个（复本）来测量同一群体，然后求被试者在两个测验得分的相关，用于评价两个测验内容的一致测验得分的相关，用于评价两个测验内容的一致性。性。实施两个测验的间隔时间长短可能影响复本信度实施两个测验的间隔时间长短可能影响复本信度复本信度的计算方法同重测信度复本信度的计算方法同重测信度两个复本同一时间施测两个复本同一时间施测复本信度复本信度两个复本不同时间施测两个复本不同时间施测重测复本信度或稳定重测复本信度或稳定与等值系数（更严格考察方法）与等值系数（更严格考察方法）优点：优点：能够避免重测信度的记忆、学习效应；能够避免重测信度的记忆、学习效应；缺点：缺点：只能减少，而不能消除练习影响；很容易只能减少，而不能消除练习影响；很容易学习迁移。学习迁移。5/24/202412重测信度：考察测验跨时间的一致性重测信度：考察测验跨时间的一致性（稳定性）（稳定性）复本信度：跨形式复本信度：跨形式的一致性（等值性）的一致性（等值性）内部一致性信度：反映题目之间的关系，内部一致性信度：反映题目之间的关系，表示测验能够测量相同内容或特质的程表示测验能够测量相同内容或特质的程度度5/24/202413三、内部一致性信度三、内部一致性信度（internal consistency reliability）（一）分半信度（一）分半信度（split-half reliability）用于评价同一测验内部条目抽样的误差。方法：将测验条目按单双号（奇、偶数）分为两组，计算出两组的得分，然后进行相关。该相关系数代表两半测验内容测验内容取样的一致程度。在同样的情况下，信度的高低与条目数量成正比，分半信度只计算了一半条目的信度，因此要用斯皮尔曼布朗的公式进行校正。校正公式：rhh为两半分数的相关系数rxx为校正后（原测验长度时）信度的估计值5/24/202414举例（例举例（例3）：）：10名被试者在一个有10个条目的测验中得分如下，求该测验的分半信度？被试测验题目得分单号得分双号得分单双之差1234567891012221221001761221121001004403222212111178-1410010000001105120100000013-2622122111107617221211000045-18222201101065192222211000752102211211001651合计合计181713151196333504825/24/202415计算计算计算平均值:标准差:计算分半信度（积差相关法）:判断相关（查表）计算校正分半信度5/24/202416（二）同质性信度（二）同质性信度（homogeneity reliability）评价测验内题目间一致性（内容抽样误差）较高的正相关测验是同质的相关很低或负相关测验是异质的1、库德、库德理查逊公式（理查逊公式（K-R20公式）公式）：适用于0、1记分的测验N为测验题目数Pi通过某题目的人数比例qi未通过该题目的人数比例Sx2测验总分数的变异（方差）举例（例举例（例4）5/24/202417举例（例举例（例4）：10名被试在一个有8个条目的测验中得分如下，求其信度？被试测验题目得分测验题目得分12345678总分总分10000000002100000001310100000241100100035010100103611101010571111110068111111006911110101610111111118合计合计8765543240Pi0.80.70.60.50.50.40.30.2piqi0.160.210.240.250.250.240.210.161.725/24/202418公式：N=8p1=810=0.8qi=10.8=0.2p1q1=0.80.2=0.16piqi=p1q1+p2q2+pnqn=1.72Sx2=(04)2+(14)2+(24)2+(34)2+(34)2+(34)2+(54)2+(64)2+(64)2+(64)2+(84)210=6.05/24/202419库德库德理查逊公式（理查逊公式（K-R21公式）公式）X 为测验总分平均值Sx2 测验总分数的变异（方差）举例（上例）举例（上例）：平均值=45/24/2024202、克伦巴赫、克伦巴赫系数：适用于各种分数形式系数：适用于各种分数形式N 为测验题目数Si2为某一题目分数的变异（方差），Si2为所有题目方差之和当题目以1、0记分时，Si2=piqi，所以rKR20公式可以当作系数的特例Sx2 测验总分数的变异（方差）举例（例举例（例5）：）：5/24/202421举例（例举例（例5）：）：10名被试者在一个有名被试者在一个有10个条目的测验中得分如下，求该测个条目的测验中得分如下，求该测验的验的系数系数？被试测验题目得分得分123456789101222122100113221121001008322221211111541001000000251201000000462212211110137221211000098222201101011922222110001210221121100111平均值1.81.71.31.51.10.90.60.30.30.39.8Si20.160.410.410.450.690.490.240.210.210.213.485/24/202422公式：公式：N=10S12=(2-1.8)2+(2-1.8)2+(2-1.8)2+(1-1.8)2+(1-1.8)2+(2-1.8)2+(2-1.8)2+(2-1.8)2+(2-1.8)2+(2-1.8)2 10=0.16Si2=3.48M=XN=9810=9.8Sx2=(139.8)2+(89.8)2+(159.8)2+(29.8)2+(49.8)2+(139.8)2+(99.8)2+(119.8)2+(129.8)2+(119.8)210 =15.365/24/202423四、评分者信度四、评分者信度四、评分者信度四、评分者信度（scorer reliabilityscorer reliability）评价不同评分者之间的一致性指标（不同评分者之间的误差）方法：方法：随机抽取若干份测验卷，有两位或多位评分者按标准评分，计算每两个评分者对同一被试答卷所评分数之间的相关一般要求评分者之间一致性达0.9以上计算方法计算方法两个评分者之间的一致性用皮尔逊积差相关方法或等级相关方法计算多个评分者之间的一致性：等级资料时用肯德尔和谐系数来评价公式Ri为每一对象被评等级的总和N 被评对象的人数或答卷数K 评分者人数举例（例举例（例6）三位专家给6篇论文评等级，结果见表，求评分者信度？5/24/202424三位专家给三位专家给6篇论文的评定（例篇论文的评定（例6）专家专家123456124156223415523341462Ri8123141765/24/202425计算计算公式：N=6K=3Ri=8+12+3+14+17+6=60Ri2=82+122+32+142+172+62=7385/24/202426第三单元第三单元 信度与测验分数的解释信度与测验分数的解释一、解释真实分数与实得（测验）分数的关系一、解释真实分数与实得（测验）分数的关系信度系数可以用于解释总方差中有多少比例是由真实分数决定的。因为：Si2=S2+Se2，并且如果我们将总方差看成是1（100）的话所以：Se2=1rxx rxx=1.00 完全没有误差，所有变异来自真实分数；rxx=0.00 所有变异和差别反映测量误差 例如当rxx=0.9时，我们可以说实得分数中有90的变异是真分数造成，近10的来自误差。5/24/202427二、各种信度的可接受水平二、各种信度的可接受水平一般原则一般原则当信度0.85时，可用于对个人作评价当0.70信度0.85时，可用于对团体作评价，但不能对个人作评价当信度0.7时，不能用作评价另一原则：新编的测验信度应高于原有的同类测验或另一原则：新编的测验信度应高于原有的同类测验或相似测验相似测验因测验类型而异因测验类型而异一般能力测验、成就测验要求0.9以上人格、兴趣、态度等测验要求0.80以上（见表）5/24/202428几种心理测验的信度系数几种心理测验的信度系数测验类型测验类型信信 度度低低中中高高成套成就测验0.660.920.98学术能力测验0.560.900.97成套倾向性测验0.460.880.96客观人格测验0.460.850.97兴趣测验0.420.840.93态度量表0.470.790.985/24/202429二、解释个人分数的意义二、解释个人分数的意义测量标准误（测量标准误（SEm,SE）作用：估计真实分数范围；了解实得分数再测时可能作用：估计真实分数范围；了解实得分数再测时可能的变化情形。的变化情形。测量误差分布的标准差，用来表示误差的大小。公式：SE=Sx1rxxSx 分数的标准差rxx 测验的信度举例：举例：已知WAISRC城市20岁组FIQ的信度为0.95，求其测量标准误。SE=1510.95 =150.224 =3.355/24/202430测量标准误的用途测量标准误的用途测量标准误的用途测量标准误的用途确定真分数的置信区间（可信区间）确定真分数的置信区间（可信区间）一般采用一般采用95%的或然水平：的或然水平：大约大约95%的可能性，真分数落在所得分数的可能性，真分数落在所得分数1.96SE的范围内；的范围内；或有或有5%可能性，落在所可能性，落在所得分数得分数的范围外。的范围外。公式：XT=XZSE（X 1.96SE评价：2个字作孽.5/24/20249410：最风光却内心最煎熬的人当然是老板有一帮子难对付的员工，有变化莫测的外部市场，还有剪不断理还乱的内部协调和管理，或许还有个别养在外面的金丝雀。5/24/202495