1、Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,LOGO,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Company Logo,第,11,章 信度分析,Company Logo,信度是评价一个由若干的题目编制而成的测验、量表或问卷优劣的重要指标,了解信度的相关知识是编制优质高
2、效测验的前提。一个好的量表或者测验就像一把标尺,用它对同一个对象进行多次测量的结果都应该是稳定一致的。,Company Logo,信度分析在,SPSS,中打开方式为:选择“分析”“度量”“可靠性分析”命令,如图所示。,Company Logo,11.1,信度分析基本原理,信度评价的是测量结果的前后一致性,反映的是测验受随机误差影响的程度。一般而言,两个或两次测量结果越是一致,则误差越小,信度也就越高。常用信度系数主要有:稳定性系数、等值性系数和内部一致性系数。,Company Logo,11.1.1,经典信度理论,信度的概念出现于,20,世纪初,是以真分数测量理论(,Classical Tes
3、t Theory,,简写为,CTT,)为基础的,该理论是,20,世纪前期与中期的心理测量理论的主导部分,所以也叫它经典测量理论。,Company Logo,1,经典测量理论数学模型,(,1,)基本概念,真分数:是在实际测量中很难得到的一个理论上构想出来的抽象概念。我们只能通过改进测量工具、完善操作方法等使观察值尽量接近真分数。,观测分数:即测量时所得的实测分数,记作,X,。观测分数越接近于真分数,测量的误差越小。,Company Logo,(,2,)经典测量理论(,classical test theory,,简称):它假定观察分数与真分数之间是一种线性关系,并且只相差一个随机误差(随机误差记
4、作)。即 这就是的数学模型。,真分数理论的三个基本假设:,误差分数的平均数是零(由于测量误差具有随机性);,误差分数与真分数相互独立,即两者相关为零;,两次平行测量的误差分数之间的相关为零。,Company Logo,(,3,)根据,CTT,模型和假设推导出如下关系:,Company Logo,2,信度的定义,(,1,)信度又称可靠性,即测量的一致性程度。一个新编测验很重要的是确定其是否有很好的信度,即能否可靠地测到想要测量的内容。也可以说信度是对特定群体在特定场合及特定条件下施测而获得的分数的一种属性。该定义需要注意:,信度是一组测验分数特性而非个人分数的特性;,由于真分数的变异数是不能直接
5、测量的,因此信度是一个理论上构想的概念,只能根据一组实得分数做出估计。,信度的操作性定义指一组测量分数的真实方差与实得方差之比,其公式为:,Company Logo,(,2,)信度的表示方法:信度一般是以相关系数表示的,即用同一组被试样本所得的两组资料的相关系数作为测量一致性的指标,称为信度系数。,3,信度的作用,信度是评价一个测量工具质量优劣的重要指标,只有信度达到一定要求的测量工具才可以考虑使用。信度系数可解释为真分数方差在样本测验分数的总方差中占多少比例,它是测量过程中的随机误差大小的反映,可以解释个人分数的意义。,注意:判定某测验是否可靠时,必须依据该测验施测的具体情境,以及其测验结果
6、是否能够经过多次证实来判定;一个测验可以有多个信度估计,所以在实际测验时要注意选择。信度可以用来解释预测个人分数的意义。测量的结果应看成是一个范围。,Company Logo,11.1.2,信度分析的一般操作过程,信度分析的一般操作过程如下:,(,1,)打开或建立数据文件。,(,2,)打开主对话框:选择“分析”“度量”“可靠性分析”命令,打开“可靠性分析”对话框,如图所示。,Company Logo,(,3,)选择项目,:,左边的列表框是数据中所包含的所有项目,选择想要分析的项目,将其移入右侧,项目,列表框中。,(,4,)选择模型,:,在,模型,后的下拉列表框中,有以下,5,种模型可供选择。,
7、:即克伦巴赫,系数,该系数用于计算测验的内部一致性系数。,半分:即斯皮尔曼,-,布朗分半系数,是检查测验的两部分的之间的相关性。分半系数的计算是将一个量表分为两个子量表,如果题项数为奇数,则题项较多的为子量表一、题项较少的为子量表二;若量表的题项数为偶数,则分成的两个子量表题项数相等。,Guttman,:该模型计算,Guttman,的下界以获取真实可靠性。,平行:该模型假设所有项具有相等的方差,并且重复项之间具有相等的误差方差。,严格平行:该模型表示当各题目平均数与方差均同质时的最大概率信度。,Company Logo,(,5,)选择统计量,:,单击,“,统计量,”,按钮,弹出,“,可靠性分析
8、:统计量,”,对话框,如下图所示。在该对话框内,被试可选择不同的描述性统计量。,Company Logo,描述性:在该选项组中可选择输出的描述性指标,有以下,3,个复选框。,项:勾选该复选框后,结果中将呈现各题项的描述性统计量,包括均值、标准差和有效观测值数量。,度量:呈现整个量表或问卷的描述统计量,包括均值、标准差和有效观测值数量。,如果项已删除则进行度量:显示题项删除后的相关统计量的变化,包括项目删除后量表总体的平均值、方差、修正项目的总相关及,Alpha,系数的变化。,摘要:根据尺度中所有项目分布的描述性统计量。,均值:包括项均值的最小值、最大值和平均值,项均值的极差和方差,以及最大项方
9、差与最小项方差的比。,协方差:包括项间协方差的最小值、最大值和平均值,项间协方差的极差和方差,以及最大项间的协方差与最小项间的协方差的比。,相关性:包含项间的相关性的最小值、最大值和平均值,项间相关性的极差和方差,以及最大项间相关性和最小项间的相关性的比。,Company Logo,项之间,在该选项组中可以选择相关性和协方差。,ANVOV,表:在该选项组可选择进行题项变量均值是否相等的检验。有,4,个单选按钮可供选择。,无:不输出均值检验的信息。,F,检验(,F,):输出重复测量方差分析表。,Friedman,卡方:计算,Friedman,卡方值与,Kendall,协同系数。此选项适用于以秩为
10、形式的数据,卡方检验替换方差分析(,ANVOV,)表中通常的,F,检验。,Cochran,卡方:计算,Cochran,检验值,适用于二分数据,,Q,统计量替换方差分析(,ANOVA,)表中通常的,F,检验。,Hotelling,的,T,平方:即,Hotelling T2,检验,检验尺度中所有项目均值是否相等的多变量检验。,Tukey,的可加性检验:检验项目中有无可乘交互关系。,Company Logo,同类相关系数:生成个案内值的一致性或符合度的测量。,模型,下拉列表框:计算组内相关系数的模型,下拉列表框中有以下选项。,双向混合:为默认选项,当个体效应是随机的,而项的作用固定时,选择此项。,双
11、向随机:当个体效应和项的作用均为随机时选择此项。,类型,下拉列表框:指标的类型,在该列表框中可选择一致性或绝对一致。,置信区间:默认为,95%,,也可根据研究需要自行设定。,检验值:可输入,0,1,之间的数,用于类间相关系数的比较。,(,6,)单击“确定”按钮,运行,SPSS,,输出结果。,Company Logo,11.2,重测信度和复本信度,重测信度反映的是测验跨越时间的稳定性和一致性,但是由于重测中第二次测验与第一次测试用的是完全相同的测试项目,因此无法避免诸如学习、记忆、动机方面的问题。而复本测验会在一定程度上减少这些问题,它会编制一个等值的复本用它来替代重测信度中的第二次测验。,Co
12、mpany Logo,11.2.1,重测信度的基本概念,重测信度表示两次测验结果有无变动,反映测验分数的稳定程度,故又称稳定性系数。由于重测信度可提供有关测验结果是否随时间而变异的资料,所以可作为预测受测者将来行为的依据。,1,定义,重测信度(,rest-retest coefficient,)是用于判断测量是否具有时间的一致性,主要针对的是时间变量,这种测量的信度系数也被称为再测信度系数,它是指一组人在一个测验上第一次得分和第二次的相关。,Company Logo,2,计算方法,其求取方法是用同一测验隔一段时间对同一组被试重复测试一次,用积差相关法求两次测验的相关系数。其公式为,Compan
13、y Logo,3,使用的前提条件,(,1,)所测量的心理特质必须是稳定的。例如,刚入学的识字量是极不稳定的,如果我们对儿童识字量等进行两次施测的时间间隔过长,儿童的识字量就有很大变化,这种情况就不能用重测信度。因为两次测量结果的不同,不是由于测试工具而是由于测试被试本身影响的。,(,2,)把握适当的时间间隔,遗忘和练习的效果基本上相互抵消。两次测试的时间间隔要根据问题的性质和测量的目的而定。一般来说,两次测试间隔时间越长,所得到的稳定性系数就越低。时间间隔依照测验目的、性质及被试特点而定,才能够更有效地测量出结果。对于年纪较小的儿童来说,测试间隔要小;年长群体,间隔可适当放大。但一般间隔时间不
14、超过,6,个月。,(,3,)两次施测期间被试的学习效果没有差别。要保证被试具有稳定的心理特质。而且值得注意的是,同一个量表随着第二次测量的时间不同,它可以有不同的重测信度。因此,在报告重测信度时,应说明两次测试的时间间隔,以及在此期间内被试的有关经历(教育训练、心理治疗及相关学习经历等)。,【,注意,】,有些测验不宜用重测法估计信度。重测法只适用于那些不容易受重复使用影响的测验,一般在没有复本可用、现实条件又允许重测时才用此法。,Company Logo,4,误差来源,(,1,)测验本身:测验所测的特性本身就不稳定,如情绪等:,(,2,)被试方面:成熟、知识的发展并非人人等量增长,在练习因素、
15、记忆效果也存在个体差异;,(,3,)实施过程:偶发因素的干扰,如计时错误,情绪波动,健康,动机等。,Company Logo,重测的过程需要考虑不同的条件(环境的,人的)带来的测量结果的误差,这种误差与两次测试的情境有关联。因为在前后两种情境中测试的是同一个测验,所以重测信度不能反映测验题目样本不同所带来的误差。此外,两次测试的条件也与时间间隔有关,时间间隔越长,误差变异越大。因此当第一次测试与第二次测试的时间间隔相对较短时(几天或几周),重测的稳定系数会较大,反之,当第一次测试和第二次测试的时间间隔较长时(几个月或几年),该系数就会偏小。,Company Logo,11.2.2,复本信度的基
16、本概念,复本信度可在一定程度上避免重测信度的缺点,减少由于被试记忆和练习所带来的误差。复本信度反映的是测验在内容上得分的等值性。,Company Logo,1,复本信度的定义,复本信度是以两个内容等值但题目不同的测验(复本)来测量同一群体,然后求得的被试在两个测验上得分的相关系数,这个相关系数就代表了复本信度的高低。,复本信度的高低取决于测验的内容取样问题,复本信度的高低反映了两个互为复本的测验等价的程度,并不反映一个测验在测量过程中受随机误差影响的大小。复本信度能够避免由于重测带来的记忆效应和练习效应,而且可用于长期追踪研究前后测量,减少了作弊的可能性。,Company Logo,2,使用的
17、前提条件,(,1,)计算复本信度首先要构建两份或两份以上真正平行的测验。,(,2,)计算复本信度时被试要有接受两个测验的条件,这种条件取决于时间、经费等几个方面。,3,计算方法,4,重测复本信度,又称稳定等值系数,即在不同时间里施测两个平行的测验(复本),所得的相关系数即为重测复本信度。它比单一的重测信度或复本信度更严格和全面。,Company Logo,11.2.3,重测信度、复本信度的操作过程,重测信度、复本信度分析在,SPSS,中的操作过程如下:,(,1,)打开或建立数据文件。,(,2,)选择“分析”,“,相关”,“,双变量相关”命令,打开“双变量相关”对话框,如图所示。,Company
18、 Logo,(,3,)选择变量:选择要进行分析的变量并将其移入右侧的,变量,列表框中。当变量多于两个时,结果中会计算所有选入,变量,列表框中变量两两之间的相关系数。,(,4,)选择相关系数:,相关系数,选项组包含,Pearson,、,Kendall,的,tau-b,和,Spearman 3,个复选框,研究中根据数据类型可以通过勾选对应的复选框来选择相关系数的计算方法。,(,5,)选择显著性检验类型:通过选中,显著性检验,选项组下相应的单选按钮,选择显著性检验使用,双侧检验,还是,单侧检验,。,(,6,标记显著性相关:勾选,标记显著性相关,复选框,在统计结果中将用,*,号标记有显著相关的相关系数
19、,系统默认选中。当,P0.05,时,相关系数旁会标识,*,,表明两变量在,0.05,水平上达到显著相关;当,P0.01,时,相关系数旁会标识,*,,表明两变量在,0.01,水平上达到显著相关。,Company Logo,(,7,)选项设置:单击,“,选项,”,按钮,打开,“,双变量相关性:选项,”,对话框,如下图所示,对,统计量,和,缺失值,完成相应的设置。,(,8,)单击“确定”按钮,执行操作,输出结果。,Company Logo,11.2.4,实例分析:测验的重测信度,【,例,11.1】,某教师使用空间性向测验在二月份和九月份分别对几名学生进行了测试,测试成绩如表所示,试计算该测验的重测信
20、度。,Company Logo,1,操作过程,(,1,)首先,根据题意建立数据文件,如下图所示。,Company Logo,(,2,)选择,分析,相关,双变量相关,命令,打开,双变量相关,对话框。,(,3,)选择变量:在,相关系数,选项组中勾选,Pearson,复选框,在,显著性检验,选项组中选中,双侧检验,单选按钮,并勾选,标记显著性相关,复选框。,(,4,)选择描述性统计量:单击,选项,按钮,弹出,双变量相关性:选项,对话框,勾选,均值和标准差,复选框。单击,继续,按钮,返回,双变量相关,对话框。单击,确定,,输出结果。,(,5,)单击,确定,按钮,输出结果。,Company Logo,2
21、,结果分析,输出结果如下表所示。从表中可以看出,学生们,2,月份和,9,月份的成绩相关系数为,0.993,,,p0.01,,相关极其显著,表明这两次测验的重测信度很高。,Company Logo,【,例,11.2】,某自我概念量表,有,30,题是非题,答对一题可以得到,1,分,题本,A,与,B,分别施测同一组,12,个人,分数愈高表示愈具有正向自我概念,施测结果如下表所示,请计算测验的信度。,解:该案例中是使用同一量表的两个不同题本对同一组被试进行的测验,其中一个题本可以作为另一个题本的复本,因此适用于计算复本信度。,姓名,A,B,C,D,E,F,G,H,I,J,K,L,题本,A,15,12,
22、15,11,10,12,12,12,15,11,10,12,题本,B,16,12,14,11,9,11,13,12,16,13,9,13,Company Logo,1,操作过程,(,1,)首先,根据题意建立数据文件,如下图所示。,Company Logo,(,2,)选择,分析,相关,双变量相关,命令,打开,双变量相关,对话框。,(,3,)选择变量:在,相关系数,选项组中勾选,Pearson,复选框,在,显著性检验,选项组中选中,双侧检验,单选按钮,并勾选,标记显著性相关,复选框。,(,4,)选择描述性统计量:单击,选项,按钮,弹出,双变量相关性:选项,对话框,勾选,均值和标准差,复选框。单击,
23、继续,按钮,返回,双变量相关,对话框。单击,确定,,输出结果。,(,5,)单击,确定,按钮,输出结果。,Company Logo,2,结果分析,输出结果如下表所示。从表中可以看出,题本,A,和题本,B,的成绩相关系数为,0.897,,双侧检验的显著性概率(,Sig,)为,0.00,,,p0.01,,相关极其显著,表明测验中该量表的复本信度较好。,Company Logo,11.3,内部一致性信度,虽然复本法适用于例如能力测验(学业能力,智力,特殊能力)等许多测验,但要为测验建立有效的复本通常不仅很难编制而且代价较高。因此有研究者就通过把测验项目划分为不同的样本,从而间接的考虑一致性信度。,Co
24、mpany Logo,11.3.1,内部一致性信度的基本原理,如果充分利用一次测验所得的资料来计算信度,将会节省很多时间和人力。计算出来的信度系数反应的是测验内部的一致性,叫做内部一致性信度系数或同质性信度系数。,Company Logo,1,定义,内部一致性信度又称同质性信度,即一个测验所测内容或特质的相同程度。同质指同一种心理特质可以被测验中所有的题目测量出来,即此时所有题目得分之间应具有较高的正相关。,测量的内在信度重在考察一组评价项目是否测量同一个概念,这些项目之间是否具有较高的内在一致性。一致性程度越高,评价项目就越有意义,其评价结果的可信度就越强。内部一致性法包括斯皮尔曼分半法,库
25、尔德,-,理查逊公式,以及克伦巴赫,系数。,【,注意,】,如果测试题目间不具有较高的正相关,那么即使一些表面看起来是测量同一种心理特质的题目,也不能认为它们具有同质性。,Company Logo,2,计算方法,求测验的分半信度是同质性信度的一种粗略估计方法。因为分半信度的计算方法很多,所得结果不太稳定,因此基于分半信度,研究者提出了如下基本公式,Company Logo,11.3.2,内部一致性信度分析的操作过程,在,SPSS,中内部一致性信度的具体操作过程如下:,(,1,)打开或建立数据文件,(,2,)选择“分析”,“,度量”,“,可靠性分析”命令,打开“可靠性分析”对话框,如图所示。,Co
26、mpany Logo,(,3,)选择变量:将左边列表框内要分析的项目依所需次序选入右测的,项目,列表框内。,(,4,)选取模型:在左下角的模型下拉列表框中有可供选择的模型类型。包括,、半分、,Guttman,、平行、严格平行,5,种类型(前面已详细介绍)。,(,5,)选择统计量:单击,“,统计量,”,按钮,弹出如下图所示的,可靠性分析:统计量,对话框,在此对话框,内可选择所需的描述性统计量等项。,(,6,)单击“继续”按钮,返回“可靠性分析”主对话框,单击“确定”按钮,输出统计结果。,Company Logo,11.3.3,实例分析:测验的内部一致性信度,【,例,11.3】,某班老师用一个随堂
27、测验测验对,6,名学生进行施测,每个问答题满分是,5,分,如表所示是其施测结果,请计算信度。,Company Logo,1,操作过程,(,1,)根据题意建立数据文件,如下图所示。,Company Logo,(,2,)选择,分析,度量,可靠性分析,命令,打开,可靠性分析,对话框。,(,3,)选取模型:在左下角的,模型,下拉列表框中选择,。,(,4,)选择统计量:单击,统计量,按钮,弹出,可靠性分析:统计量,对话框,勾选,相关性,和,如果项已删除则进行度量,复选框。,(,5,)单击,继续,按钮,返回,可靠性分析,对话框。,(,6,)单击,确定,按钮,输出统计结果。,Company Logo,2,结
28、果分析,在结果中首先呈现随堂测验成绩可靠性分析表,如下表所示。从该表中可以看出该测试的内部一致性信度系数为,0.911,,因此可以认为该测验的信度较好。,Company Logo,但是在信度分析中只得到这样一个系数并不够用,不能为该问卷的改进提供太多有用的信息。因在前面统计量中勾选了,“,如果项已删除则进行度量,”,复选框,所以在结果中还输出了,“,随堂测验成绩项总计统计量,”,,如下表所示。该统计表给出了如果将相应的题目删除后,则总的统计量及信度将如何改变。表中各栏从左至右依次为:,项已删除的刻度均值,、,项已删除的刻度方差,、,校正的项总计相关性,、,多相关性的平方,和,项已删除的,Cro
29、nbachs Alpha,值,。,Company Logo,前两项分别表示对应的题项删除后其余题项加总后的新平均数、新方差。,“,校正的项总计相关性,”,表示对应的题项与其他题目总分的积差相关系数,系数值越高,表示该题与其他题项的内部一致性越高。,“,多相关性的平方,”,为多元回归分析中的决定系数,该值越大,表示该题与其他题项的内部一致性越高,因此该数值也可作为题项删除或保留的参考指标之一。,“,项已删除的,Cronbachs Alpha,值,”,表示该题删除后,其他题项构成的分量表的内部一致性,系数的变动情况,如果某问卷题项的内部一致性很好,那么删除某题项后,新的内部一致性,系数会降低,若由
30、于某些题项导致该问卷内部一致性较低,则删除该题后内部一致性系数往往会提高。从上表中可以看出题项,A15,删除后其他题目的内部一致性最高,因此如果需要删除题项的话,可以考虑将该题删去。,Company Logo,11.4,分半信度,若在测验没有复本且只能实施一次的情况下,那么我们可以将测验项目分成对等的两半,对同一批被试施测,并根据被试在这两半测验中所得的分数,计算相关系数。,Company Logo,11.4.1,分半信度的基本原理,因为分半信度描述的是两半题目间的一致性,所以也是内部一致性系数的一种。分半信度可以和复本信度一样解释,即可以把对等的两半测验看成是在最短时距内施测的两个平行测验。
31、,分半信度实际上只是半个测验的信度,而测验越长,项目越多。要对用两半测验求得的相关系数进行校正,以避免低估整个测验的信度。,(,1,)若两半测验方差相同,可用斯皮尔曼,布朗公式进行校正。,Company Logo,(,2,)若两半测验方差不同,则用弗朗那根(,Flanagan,)公式或卢伦(,Rulon,)公式校正。,弗朗那根公式:,卢伦公式:,Company Logo,11.4.2,分半信度的适用条件,分半信度通常只能施测一次或没有复本的情况下使用。而且,在使用斯皮尔曼,布朗公式时,要求全体被试在两半测验中得分的变异数要相等。当一个测验无法分成对等两半的时,分半信度不宜使用。,此外,由于将一
32、个测验分成两半的方法很多(如题号的奇偶分半,按题目的内容分半,等等),所以同一个测验会有多个分半信度值。,Company Logo,11.4.3,实例分析:测验的分半信度,【,例,11.4】,李老师对班上九位同学的随堂测验,,Y,表示答对,,N,表示答错,测验结果如表所示,请计算其信度。,Company Logo,解:,(,1,)首先根据题意,将资料输入,SPSS,,建立数据文件,如下图所示。,Company Logo,(,2,)选择,“,转换,”|“,重新编码为相同变量,”,命令,打开,“,重新编码到相同的变量中,”,对话框,如下图所示。将左边列表框内题目,1,7,移入右侧,字符串变量,列表
33、框中。,Company Logo,(,3,)单击,“,旧值和新值,”,按钮,打开,“,重新编码成相同变量:旧值和新值,”,对话框,如下图所示。将,N,定义为,0,,将,Y,定义为,1,,单击,继续,按钮,完成转换。在,SPSS,文件中将,字符串,属性改为,数值,。,Company Logo,(,4,)计算奇数题与偶数题的和:选择,“,转换,”|“,计算变量,”,命令,打开,“,计算变量,”,对话框,如下图所示。将奇数题变量相加移入数字表达式列表框内求和,偶数题的计算方法亦同样。,Company Logo,完成计算之后,在原数据文件中增加了两列新数据,如下图所示。,Company Logo,(,
34、5,)执行双变量相关:选择,分析,|,相关,|,双变量,命令,打开,双变量相关,对话框。将变量,奇数,和,偶数,移入右侧,变量,列表框中,在,相关系数,选项组中勾选,Pearson,复选框,在,显著性检验,选项中选中,双侧检验,单选按钮,并勾选,标记显著性相关,复选框,单击,确定,按钮。,(,6,)结果中输出对该测验奇、偶数题目进行的,Pearson,积差相关分析表,如表所示。,Pearson,相关系数为,0.109,,双侧检验的显著性概率(,Sig,)为,0.78,,远大于,0.05,,说明该测验奇、偶题目的相关非常低且不显著,同时也说明了该测验的信度非常低。,Company Logo,分半
35、信度也可直接使用,可靠性分析,命令来完成,简要步骤如下。,(,1,)建立数据文件。,(,2,)将资料转为数字(同上)。,Company Logo,(,3,)选择模型:选择,“,分析,”|“,度量,”|“,可靠性分析,”,命令,弹出,“,可靠性分析,”,对话框,如下图所示。将左边列表框中的题目依所需次序前后分半选入右边的,项目,列表框中,在左下角的,模型,下拉列表框中选取,半分,选项。,(,4,)选择统计量,单击,统计量,按钮,打开,统计量,对话框并完成相应的设置。最后单击,确定,按钮,输出统计结果。,Company Logo,11.5,评分者信度,教师在主观题阅卷或评委打分过程中难免会受到一些
36、主观态度的影响,那么如何判断一组教师或评委的打分是否一致,是否可信呢?这就涉及到评分者信度。,Company Logo,11.5.1,评分者信度的基本概念,有些心理测验的得分不是根据客观的计分系统而是由评分者来打分,此时测验的可靠性程度取决于评分者评分的一致性和稳定性。,评分者信度是考察不同评分人之间对实际得分的影响。评分者信度因评分者人数不同,其估计方法也不同。若只有两个评分者,相互独立对被试的反应进行评分,则可以用积差相关来计算,或用斯皮尔曼等级相关法计算。,Company Logo,如果评分者在三人以上,而且是等级评分,则可以用肯德尔和谐系数求取评分者信度。,式中:,K,为评分者人数;,
37、N,为被评者人数;,为被评者所得的,K,个等级之和。,若被试被评等级中出现相同等级,则可采用如下公式计算肯德尔和谐系数:,式中:,M,为相同等级的个数,其他同上。,Company Logo,11.5.2,评分者信度实例分析,【,例,11.5】,某校学生举办歌唱大赛,请五位评委老师为最终进入决赛的,6,名同学评定等级,结果见表所示,请计算其信度。,解:本例数据涉及多个评价者对多个人的成绩评价是否具有一致性,目的在于计算评分者信度的高低,可以用肯德尔,W,系数描述。具体操作如下。,Company Logo,1,操作过程,(,1,)根据题意建立数据文件,如下图所示。,Company Logo,(,2
38、,)选择,“,分析,”“,非参数检验,”“,旧对话框,”“K,个相关样本,”,命令,打开,“,多个关联样本检验,”,对话框,如下图所示。,Company Logo,(,3,)选择变量及检验类型:将左边列表框中要分析的变量移入右侧的,检验变量,列表框中,在,检验类型,选项组中勾选,Kendall,的,W,复选框。,(,4,)选择统计量:单击,“,统计量,”,按钮,打开,“,多个相关样本:统计量,”,对话框,如下图所示。勾选,描述性,复选框。单击,继续,按钮,返回,多个关联样本检验,对话框。,(,5,)单击,确定,按钮,输出结果。,Company Logo,2,结果分析,(,1,)秩均值表:因为肯
39、德尔检验使用的是等级评分,所以进行检验需要首先将数据转化为其对应的秩。在结果中首先显示的是肯德尔,W,检验的秩均值表,如下表所示。从表中可以看出,,6,名学生得分的平均秩分别为,5.10,、,3.10,、,2.00,、,4.00,、,3.80,和,3.00,。,Company Logo,(,2,)检验统计表:结果中接下来呈现的是检验统计量,如下表所示。从表中可以看出,,Kendall W,系数为,0.406,,卡方为,10.146,,,P=0.071,0.05,,可以认为这,6,名学生得分的平均秩没有显著差异,也说明这,5,名评委对,6,名同学的打分具有一致性,即具有评分者信度。,Company Logo,