测量的标准误信度越高.pptx

第三节第三节 测验的信度测验的信度测量的误差及其来源测量的误差及其来源测量的信度测量的信度补：补：测量的误差测量的误差测量测量结果结果测量测量因素因素1、误差的定义、误差的定义与测量目的无关与测量目的无关不准确不准确或不一致或不一致误差误差:与测验目的无关的因素所导致的测验结果不一致或不准确的现象与测验目的无关的因素所导致的测验结果不一致或不准确的现象.2、误差的种类、误差的种类 系统误差系统误差随机误差随机误差随机误差与系统误差的比较随机误差与系统误差的比较类型类型产生原因产生原因特点特点效能效能指指标标随机随机误差误差不易控制的不易控制的偶然因素偶然因素方向和大小上方向和大小上完全随机完全随机影影响响准准确确性性影响影响一致一致性性信信度度系统系统误差误差恒定、有规恒定、有规律的因素律的因素稳定地存在于每稳定地存在于每次测量中次测量中 不影不影响一响一致性致性效效度度第一单元第一单元 信度的概念信度的概念信度指的是测量结果的稳定性程度（或一致性程度）。信度指的是测量结果的稳定性程度（或一致性程度）。信度是反映测量中随机误差大小的指标。信度是反映测量中随机误差大小的指标。随机误差越大，信度越低。随机误差越大，信度越低。一、信度的定义一、信度的定义二、信度的指标二、信度的指标1、信度系数与信度指数、信度系数与信度指数信度系数是一种相关系数。信度系数是一种相关系数。信度指数的平方是信度系数。信度指数的平方是信度系数。2、测量的标准误、测量的标准误信度越高，标准误越小；反之成立。信度越高，标准误越小；反之成立。第二单元第二单元 信度评估的方法信度评估的方法信度信度重测信度重测信度复本信度复本信度内部一致性内部一致性信度信度评分者信度评分者信度分半信度分半信度 同质性信度同质性信度（一）重测信度（一）重测信度（Test-retest reliability）含含义义同一测验同一测验同组对象同组对象前后测前后测2次次相关系数相关系数稳定稳定性性程程序序误误差差时间时间太短太短练习效应练习效应记忆效应记忆效应A卷卷一一定定时时距距A卷卷太长太长身心变化身心变化第一，所测的心理特性必须是稳定的。第一，所测的心理特性必须是稳定的。第二，遗忘和练习的效果基本上相互抵消。第二，遗忘和练习的效果基本上相互抵消。第三，所测心理特质在两次施测的间隔时间内第三，所测心理特质在两次施测的间隔时间内没有获得更多的学习和训练。没有获得更多的学习和训练。第四第四,报告结果时要报告两次测验的间隔及有报告结果时要报告两次测验的间隔及有关经历关经历.使用条件使用条件 优点优点省力、省时省力、省时测量属性相同测量属性相同提供随时间变化的资料提供随时间变化的资料 不足不足时间间隔长短时间间隔长短评价评价 时间间隔视测验目的、性质、被试时间间隔视测验目的、性质、被试 特点而定；特点而定；年幼儿童，间隔要小；年长成人，间隔可长；年幼儿童，间隔要小；年长成人，间隔可长；智力测验间隔不能太短，成就测验不能太长；智力测验间隔不能太短，成就测验不能太长；一般以一般以2-4周为宜，智力测验的间隔时间一般在周为宜，智力测验的间隔时间一般在6个月左个月左右。右。（二）复本信度（二）复本信度（Alternate-form raliability）含含义义两等值测验两等值测验最短时间内最短时间内对同组对象对同组对象施测结果施测结果r等值等值性性程程序序误误差差内容内容取样取样A卷卷最最短短时时距距B卷卷第一，前提是有复本测验。第一，前提是有复本测验。第二，被试有条件接受两个测验第二，被试有条件接受两个测验(时间和经费等时间和经费等)。第三第三,报告结果时要报告两次测验的间隔及有关经历报告结果时要报告两次测验的间隔及有关经历.使用条件使用条件 优点优点代表性增强，信度更准代表性增强，信度更准一定程度避免练习、记忆效应一定程度避免练习、记忆效应 不足不足触类旁通触类旁通编制复本难编制复本难评价评价重测信度与复本信度有何异同？重测信度与复本信度有何异同？小结与问题小结与问题重重测测信信度度复复本本信信度度内内部部一一致致性性跨时间跨时间一致性一致性跨形式跨形式一致性一致性试题之间试题之间有何关系？有何关系？（三）内部一致性信度（三）内部一致性信度含含义义测验测验各题间各题间一致性一致性题目题目一致一致性性分半分半信度信度类型类型同质性同质性信度信度1、分半信度、分半信度（Split-half raliablity）分分半半方方法法奇偶题奇偶题分半分半分分析析程程序序两半相关：两半相关：rhh校校 正：正：rnn难易：低难易：低高高分分半半条条件件两半相似：两半相似：M、S项目组间相关项目组间相关分布常态分布常态使用条件测验只能施测一次或没有复本的情况下使用测验只能施测一次或没有复本的情况下使用.当一个测验无法分成对等的两半时不宜使用当一个测验无法分成对等的两半时不宜使用.2、同质信度、同质信度（Homogeneity raliability）同质性同质性测验内部测验内部所有题目所有题目间的一致性间的一致性当测题的得分有较高的正相关时当测题的得分有较高的正相关时,其测验为同质其测验为同质;相反相反当测题间相关很低或负相关时当测题间相关很低或负相关时,其测验为异质其测验为异质.请给下面的作文评分：请给下面的作文评分：热热 夏天来临，总会伴随着一些炎热，我生在北方，却住在南方。对夏天来临，总会伴随着一些炎热，我生在北方，却住在南方。对这南方北方的热，我可是深有体会。这南方北方的热，我可是深有体会。南方的热是闷热，而北方的热多少有一些凉爽。处在南方，这热南方的热是闷热，而北方的热多少有一些凉爽。处在南方，这热除了呆在家中，否则你是无法躲藏的。热不仅隐藏在太阳光中，而仿除了呆在家中，否则你是无法躲藏的。热不仅隐藏在太阳光中，而仿佛是一种弥漫在空气中的颗粒，古人说心静自然凉，我看恐怕无法适佛是一种弥漫在空气中的颗粒，古人说心静自然凉，我看恐怕无法适用于此，即使你在树荫中盘坐，豆大的汗珠还是会源源不断的流下来，用于此，即使你在树荫中盘坐，豆大的汗珠还是会源源不断的流下来，就连风也是热的，在这种环境中学习和工作，心也难免有些浮躁了。就连风也是热的，在这种环境中学习和工作，心也难免有些浮躁了。在北方，天更蓝，太阳光感觉也更烈，但这并没有什么可担心的，走在北方，天更蓝，太阳光感觉也更烈，但这并没有什么可担心的，走路走累了，就可以在树荫下歇一会，很快汗就消了，偶尔还会有几丝路走累了，就可以在树荫下歇一会，很快汗就消了，偶尔还会有几丝凉风吹来，使人难免有些惬意，也就可以忘记之前的辛苦，继续向下凉风吹来，使人难免有些惬意，也就可以忘记之前的辛苦，继续向下一个目的地进发。一个目的地进发。南方的热就像是一场旷日持久的战争，而北方的热却并不赶尽杀南方的热就像是一场旷日持久的战争，而北方的热却并不赶尽杀绝，仍给人留有余地。在南方，白天和晚上几乎没有什么差别，昼夜绝，仍给人留有余地。在南方，白天和晚上几乎没有什么差别，昼夜温差很小，人们也自然严阵以待，丝毫不敢松懈，在三十几度的高温温差很小，人们也自然严阵以待，丝毫不敢松懈，在三十几度的高温中坚持整个夏天。在北方，可就不一样，清晨和晚上是一天中最凉快中坚持整个夏天。在北方，可就不一样，清晨和晚上是一天中最凉快的时候，几乎是只要没有阳光时就一点也不热。正常情况下，最高温的时候，几乎是只要没有阳光时就一点也不热。正常情况下，最高温度也就在度也就在3030度左右，超过度左右，超过3030度是很少的事，所以，人们也就不用紧张，度是很少的事，所以，人们也就不用紧张，可以放心的，踏踏实实的度过整个夏天。可以放心的，踏踏实实的度过整个夏天。（四）评分者信度（四）评分者信度（Scorer raliability）含义含义评分者评分的一致性评分者评分的一致性一般要求在成对的受过训练的评分者之一般要求在成对的受过训练的评分者之间平均一致性达到间平均一致性达到0.900.90以上方可。以上方可。各种信度系数相应误差变异的来源各种信度系数相应误差变异的来源信度系数的类型信度系数的类型误差变异的来源误差变异的来源再测信度再测信度复本信度（连续施测）复本信度（连续施测）复本信度（间隔施测）复本信度（间隔施测）分半信度分半信度同质性信度同质性信度评分者信度评分者信度时间取样时间取样内容取样内容取样时间与内容取样时间与内容取样内容取样内容取样内容的一致性内容的一致性评分者间的差异评分者间的差异 第三单元第三单元 信度与测验分数的解释信度与测验分数的解释1 1、解释真实分数与实得分数的相关、解释真实分数与实得分数的相关如：如：R RXXXX=0.8(1;0)=0.8(1;0)是什么意思是什么意思?2 2、解释个人分数的意义（范围或变化情形）、解释个人分数的意义（范围或变化情形）（X-1.96SE）T T（X+1.96SE）（）（95%的概率水平）的概率水平）例：某受测者在例：某受测者在WAISWAIS上言语智商为上言语智商为102102，操作智商为，操作智商为110110。假设。假设言语智商和操作智商的分半信度分别为了言语智商和操作智商的分半信度分别为了0.780.78和平利用和平利用0.88,0.88,问其操作智商是否显著高于言语智商呢问其操作智商是否显著高于言语智商呢?3、两种测验分数的比较、两种测验分数的比较(差异的标准误差异的标准误)所得结果与所得结果与1.96SE(0.05水平水平)进行比较进行比较,即可得出两个测验的差异是否显著即可得出两个测验的差异是否显著.4、确定信度的可接受水平、确定信度的可接受水平测验类型测验类型最低标准最低标准能力测验能力测验人格测验人格测验 非标准化测验非标准化测验0.90-0.950.80-0.850.60-0.85典型测验的一般标准典型测验的一般标准信度评价的一般原则信度评价的一般原则RXX 0.70:不可靠不可靠,不能用不能用;0.70 RXX 0.85:可用于团体可用于团体;RXX 0.85:可用于鉴别个人可用于鉴别个人.几种典型测验的信度系数几种典型测验的信度系数测验类型测验类型 低低 中中 高高成套成就测验成套成就测验 学术能力测验学术能力测验 成套倾向性测验成套倾向性测验 客观人格测验客观人格测验 兴趣问卷兴趣问卷 态度量表态度量表.66 .92 .98.56 .90 .97.26 .88 .96.46 .85 .97.42 .84 .93.47 .79 .98友情提示友情提示实际上，有多少种误差的来源，就有多少实际上，有多少种误差的来源，就有多少种信度估计的方法。一般来说，一个测验种信度估计的方法。一般来说，一个测验哪种误差大，就应该用哪种误差估计。有哪种误差大，就应该用哪种误差估计。有时一个测验需要几种信度估计。时一个测验需要几种信度估计。操作演练操作演练假设对假设对100100个六年级学生以两个月的时间间隔先个六年级学生以两个月的时间间隔先后施测一个创造力测验的后施测一个创造力测验的A/BA/B两个复本，所得的两个复本，所得的等值与稳定性系数为等值与稳定性系数为0.700.70。我们还根据被试对每个复本的反应计算出分半信我们还根据被试对每个复本的反应计算出分半信度为度为0.80.0.80.同时同时,我们将另一个评分者随机抽取我们将另一个评分者随机抽取5050份卷子另份卷子另外评分，得到评分者信度为外评分，得到评分者信度为0.920.92。然后，我们对这这三种方法所产生的误差变异进然后，我们对这这三种方法所产生的误差变异进行分析。行分析。一个假想测验的变异数分析一个假想测验的变异数分析信度类型信度类型误差变异数误差变异数误差变异来源误差变异来源复本信度复本信度(间隔间隔)1-0.70=0.301-0.70=0.30时间和内容取样时间和内容取样分半信度分半信度1-0.80=0.201-0.80=0.20内容取样内容取样上述两者差异上述两者差异0.30-0.20=0.100.30-0.20=0.10 时间取样时间取样评分者信度评分者信度1-0.92=0.081-0.92=0.08评分者差异评分者差异误差变异总和误差变异总和0.20+0.10+0.08=0.380.20+0.10+0.08=0.38真实变异真实变异1-0.38=0.621-0.38=0.62第四单元第四单元 影响信度的因素影响信度的因素测验长度测验长度样本特征样本特征测验难度测验难度时间间隔时间间隔 （一）测验长度（一）测验长度含义含义测验试题的数量测验试题的数量 w特点特点n测验越长，试题取样越具有代表性。测验越长，试题取样越具有代表性。n测验越长，猜测因素影响就越小。测验越长，猜测因素影响就越小。n增加测验长度的效果应遵循报酬递减率原则。增加测验长度的效果应遵循报酬递减率原则。特点特点样本越异质，分数分布越广，有可能高估信度。样本越异质，分数分布越广，有可能高估信度。样本团体不同，信度就有可能不同样本团体不同，信度就有可能不同。（二）样本特征（二）样本特征1、样本团体、样本团体异质性异质性的影响的影响2、样本团体、样本团体平均能力水平平均能力水平的影响的影响特点特点:团体平均水平太高或太低，分布变窄，可能低估信度团体平均水平太高或太低，分布变窄，可能低估信度.选择测验时应注意选择测验时应注意取样团体的变异性和能力水平取样团体的变异性和能力水平建立信度的团体与欲测团体是否一致建立信度的团体与欲测团体是否一致难度对信度的影响只存在于某些测验中。难度对信度的影响只存在于某些测验中。难度与信度间没有简单的对应关系。难度与信度间没有简单的对应关系。一般趋势：测验太难或太易一般趋势：测验太难或太易,分数范围缩小分数范围缩小,降低降低信度信度.（三）测验难度（三）测验难度智力的时间变化智力的时间变化 间隔期间隔期 信度系数信度系数同日或次日同日或次日 0.900.95 1年年 0.85 22.5年年 0.80 5年年 0.750.80 9年年 0.78 （四）时间间隔（四）时间间隔 可见可见,用再测用再测法和复本法求信法和复本法求信度度,两次测验间两次测验间隔时间越短隔时间越短,其其信度系数越大信度系数越大.间隔六年，间隔六年，rXX的变化的变化年龄的时间变化年龄的时间变化年龄越低，信度越低年龄越低，信度越低 第一次第一次 第二次第二次 rXX 4 10 0.73 9 15 0.87 11 17 0.92信度的特殊问题信度的特殊问题1 1、对于速度测验不存在评分者信度，也无、对于速度测验不存在评分者信度，也无法计算同质性信度。法计算同质性信度。2 2、当一个测验有几个分测验时，分测验的、当一个测验有几个分测验时，分测验的分数不如合成分数可靠。分数不如合成分数可靠。思考思考如何提高测量的信度如何提高测量的信度?适当增加测验的长度适当增加测验的长度;使测验项目的难度分布接近正态使测验项目的难度分布接近正态;努力提高试题的区分度努力提高试题的区分度;选取适当的被试团体选取适当的被试团体;主试严格执行测验规程主试严格执行测验规程;几点说明几点说明1.1.有多少种误差有多少种误差,就有多少种估计信度的方法就有多少种估计信度的方法.2.2.上面介绍的各种计算方法仅适用于常模参照测验上面介绍的各种计算方法仅适用于常模参照测验.3.3.标准参照测验的信度问题必须以概化理论为依据标准参照测验的信度问题必须以概化理论为依据.4.4.不同类型的测验，信度的要求是不一样的不同类型的测验，信度的要求是不一样的.5.5.用不同方法估计的信度也会有所差异用不同方法估计的信度也会有所差异.