(第七节)信度分析.ppt

,*,按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,*,为了保证问卷具有较高的可靠性和有效性。在形成正式问卷之前，应当对问卷进行试测，并对试测结果进行,信度和效度,分析，根据分析结果筛选问卷题项，调整问卷结构，从而提高问卷的信度和效度。,误差,(error),是指对事物某一特征的度量值偏,离真实值的部分，即测定值与真实值之差，样,本统计量与总体参数之差。,一、误差的定义和分类,1.,抽样误差,误差的分类,抽样误差,（,sample error,）：由于抽样,造成的样本指标与总体指标之间及各样本,指标之间的差异。与测量的优劣没有必然,的联系，进行信度和效度分析时，可以忽,略,抽样误差。,问卷（量表）测量中的测量误差通常来源于两个方面：,一是产生于问卷（量表）测量过程中的误差，称为测量误差（,measurement Error,），也称为随机误差（,random error,）；,二是由问卷（量表）的结构质量造成的误差，称为系统误差（,system Error,）。,实测值,真分数,系统误差,测量误差,二、信度分析方法,信度的概念,信度（,Reliability,）即可靠性，是指根据测量工具所得到的测量结果的一致性或稳定性，反映客观事物被测特征真实程度的度量指标。,一般而言，两次或两个测量的结果愈是一致，则误差愈小，所得的信度愈高。,信度是反映测验成绩在不同条件下的一致性程度的指标，,定义为：真分数方差与所得分数方差的比例，即信度。,可以解释为真分数被实得分数解释的百分比，即实得分数中，有百分之多少是真分数,。,上式的 称为信度系数。上式还可转换成下式,信度指标多以相关系数表示，大致可分为三类：,稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一性）。,三、信度的种类及计算方法与评价,信度主要是指测量工具是否精准,(precision),。,信度分析涉及了问卷测量结果的一致性和稳定,性，其目的是如何控制和减少随机误差。,三、信度的种类及计算,信度主要分为四大类：,重测信度,(Test-retest Reliability),复本信度,(Alternate-form Reliability),内部一致性信度,(Internal Consistency Reliability),评分者信度,(Scorer Reliability),1.,重测信度,(Test-Retest Reliability),定义,:,同一量表,同一被试群体,在不同,时间,两次施测,求其相关。,实质,:,表示测验结果的稳定性。故称之,为稳定性系数,(Coefficient of,Stability),形式,:,施测,适当时间,再施测,重测信度的计算方法,重测信度的考察途径,（,1,）计算两次测试结果的相关系数，如果经过统计检验，相关关系有统计学意义，则认为测量工具的信度高，否则信度低。也有人提出，测量工具的重测信度可以接受的标准是两次测试的相关系数在,0.7,以上。,（,2,）对两次重复测试结果进行两个相关样本,差异的统计检验，如果差异有统计学意义，,则认为测量工具的信度低，否则，信度高。,重测信度的适用情况,重测信度法特别适用于事实式问卷,性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化,如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。,由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。,时间间隔的把握,间隔时间越长,稳定性系数越低。适宜时间间隔依照测验目的、性质及被试特点而定。几分钟至几年。,年幼儿童,间隔要小；年长群体,间隔可大。智力测验的间隔不能太短,成就测验的间隔不能太长。,一般间隔时间不超过六个月。,(,既不能让被试记住上一次测验的内容,又不能让其特质发生变化,或对所学知识产生遗忘,),Person,A,B,C,D,E,F,G,H,I,J,Oct,18,16,5,13,15,16,12,5,8,10,Apr,18,18,6,16,17,16,14,5,7,11,例题：某测验有,20,到单选题，分别在十月份和四月份测试同一组,10,名学生，以下是测验结果，计算信度值：,Person,A,B,C,D,E,F,G,H,I,J,Oct,18,16,5,13,15,16,12,5,8,10,11.8,4.4226,Apr,18,18,6,16,17,16,14,5,7,11,12.8,4.8744,X1 X2,324,288,30,208,255,256,168,25,56,110,X,1,X,2,=1720,N=10,2.,复本信度（,alternate form reliability,）,复本通常是根据相同的设计说明分别独立编制的,两个平行问卷,，即题目不同但是内容相似的两份问卷。,复本信度也叫等值性系数（,coefficient of equivalence,）。,两个复本间隔一定时间或同时施于同一答卷者所得分数的相关系数就是复本信度。,复本信度法是让同一组被调查者一次填答两份问卷复本，计算两个复本的,相关系数,。,复本信度法要求两个复本除表述方式不同外，在内容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。,优点,在重测信度中，由于第二次测验用的是与上一次测试完全相同的测试项目，因此会存在诸如学习、记忆、动机方面的问题。,而复本测验则不会存在这个问题，编制一个等值的复本就是用它来替代重测信度中的第二次测验,缺点：,如复本编制不容易，易出现顺序效应，受练习的影响；,复本信度只能反应问卷内容所造成的误差，无法反应答卷者本身所造成的误差等。,分半信度,(Split-Half Reliability),定义,:,在测验没有复本且只能实施一次的情况下,可将测验项目分成对等的两半,根据被试在这两半测验中所得的分数计算相关系数,即得分半信度。,计算分半信度先要对测验分半。不同的分半法可能会得到不同的信度值。,分半信度属于内在一致性信度，测量的是两半题项得分间的一致性。,这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析。,在问卷调查中，态度测量最常见的形式是,5,级李克特（,Likert,）量表。,使用分半信度评价信度时，应注意：,一是问卷题项所测的应是同一种特质；,二是如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性。,三是然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数,。,假设两部分方差相等,（方差齐性检验呈齐性时），,用斯皮尔曼,-,布朗公式加以校正：,r=2r/(1+r),r,为两半分数间的相关系数，,r,为整个测验的信度值。,假设方差齐性检验呈不齐性,，,弗朗那根公式：,r=2,（,1-,（,S1+S2)/S,S1,和,S2,分别表示被试两半测验上分数的变异值，,S,表示全体被试在整个测验上总得分的变异数,例题,Person,Item 1,Item 2,Item 3,Item 4,Item 5,Item 6,Joe,Y,Y,Y,Y,N,Y,Sam,Y,N,N,Y,N,Y,Sue,Y,Y,N,Y,Y,Y,Peg,N,Y,N,N,Y,N,Gil,N,Y,N,N,Y,Y,有六道随堂测验题，五位同学回答如下，,Y,表示答对，,N,表示答错。,计算两个“半测验”的相关系数,Student,Joe,Sam,Sue,Peg,Gil,Odds,2,1,2,1,1,1.4,.4899,Evens,3,2,3,1,2,2.2,.7483,X,1,X,2,6,2,6,1,2,X,1,X,2,=17,N=5,矫正相关系数：,假设方差齐性,假设方差不齐性,Cronbachs,系数是,Cronbach,于,1951,年创立的，用于评价问卷的内部一,致性。,系数取值在,0,到,1,之间，,系数,越高，信度越高，问卷的内部一致性越好。,5.,克朗巴哈信度系数,Cronbachs,信度系数,Cronbach,信度系数是目前最常用的信度系数，其计算公式为：,其中，,K,为量表中题项的总数，为第,i,题得分的题内方差，为全部题项总得分的方差。,从公式中可以看出，,系数评价的是量表中各题项得分间的一致性，属于内在一致性信度系数。这种方法适用于态度、意见式问卷（量表）的信度分析,。,低信度,:,0.35,中信度,:,0.350.70,高信度：,0.70,一般地，问卷的,系数在,0.8,以上该问卷,才具有使用价值。,Cronbachs,值皆,达,0.85,以上，,表明,问卷,信度良好。,例题：某态度量表共道题目，,100,个被试在各题上得分的方差分别是,0.81,0.82,0.80,0.86,0.88,0.79,0.89,测验总分的方差是,26.00,计算该测量的信度。,person,Item 1,Item 2,Item 3,Item 4,Item 5,Joe,3,4,4,3,5,Sam,4,3,4,3,3,Sue,2,3,3,2,3,Peg,4,4,5,3,4,Gil,3,2,4,3,3,Dot,3,2,3,2,3,有,5,道问答题测试,6,名学生，每个问答题是五分，以下是测试结果，计算其信度。,Question,1,2,3,4,5,Total Score,Joe,3,4,4,3,5,19,Sam,4,3,4,3,3,17,Sue,2,3,3,2,3,13,Peg,4,4,5,3,4,20,Gil,3,2,4,3,3,15,Dot,3,2,3,2,3,13,i,2,=,.4722,.6667,.4722,.2222,.5833,=16.1667,2,=7.4722,=2.7335 k=5 N=6,四、提高信度的方法,问卷的信度越高，受到人、时、地、物的干扰就越低，其所能反应事实或让人相信的程度越高，因此在问卷实施前如何有效提高信度是问卷测验成败的关键。通常提高问卷信度的方法为：,（,1,）适当延长问卷的长度,问卷题目较多，其在一定程度上排除了偶然因素的影响，从而提高了问卷的信度。,（,2,）问卷的内容尽量同质,内容同质的问卷，要求答卷者具有相同的能力、知识和技能。因而为了提高问卷的信度，问卷的内容应尽量保持同质。,（,3,）测验的时间要充分,一份问卷应保证绝大多数答卷者在规定的时间内能完成测验。当答卷者不能从容地回答所有题目时，问卷的得分就不能反映答卷者的真实情况。,（,4,）测验的程序要统一,问卷题目要统一，指导语、回答问题的方式、分收试卷的方法和问卷测验的时间等都要统一，这些是问卷有较高信度的基本保证。,例,1,世界卫生组织生存质量测定量表简表,(WHOQOL-BREF),包含,24,个问题条目,从生,理、心理、社会关系和环境领域考察个人,的生存质量。量表的结构见表,1,。使用量表,对,47,名患者进行调查，试对环境领域进行,信度分析。环境领域包含,8,个条目，各个条,目的内容，平均得分和方差等列于表,2.,.,生理健康领域,.,社会关系领域,1.,疼痛与不适,14,个人关系,2.,精力与疲倦,15,所需社会支持的满足程度,3.,睡眠与休息,16,性生活,4.,行动能力,.,环境领域,5.,日常生活能力,17,自由、人身安全和社会安全保障,6.,对药物及医疗手段的依赖性,18,住房环境,7.,工作能力,19,经济来源,.,心理领域,20,医疗服务与社会保障：享有程度与质量,8.,积极感受,21,获取新信息、知识、技能的机会,9.,思想、学习记忆和注意力,22,休闲娱乐活动的参与机会与参与程度,10,自尊,23,环境条件（污染、噪声、交通、气候）,11,身材与相貌,24,交通条件,12,消极感受,总的健康状况与生存质量,13,精神依托、宗教、个人信仰,表,1 WHOQOL-BREF,量表的结构,表,2,环境领域各条目得分情况及领域总分的相关分析,环境领域条目,平均得分,方差,相关系数,1,日常生活中您感觉安全吗？,3,4255,0,380,0,565,*,2,您生活的环境对健康好吗？,3,3404,0,534,0,488,*,3,您的钱够用吗？,3,0638,0,887,0,697,*,4,在日常生活中您需要的信息都齐备吗？,3,0213,0,543,0,546,*,5,您有机会进行休闲活动吗？,3,5745,0,858,0,630,*,6,您对自己居住地的条件满意吗？,3,5745,0,598,0,528,*,7,您对得到卫生健康服务的方便程度满意吗？,3,4255,0,685,0,608,*,8,您对自己的情况满意吗？,3,3565,0,787,0,752,*,环境领域总分,*,26,8261,15,614,1,000,克朗巴哈信度系数,:,折半信度系数,:,把,14,个问题条目分在前半部分，第,58,个问题条目分在后半部分。计算第,14,个问题条目,得分的总和（,h1,）,;,再计算第,58,个问题条目得分总和,（,h2,）。计算,h1,和,h2,的相关系数,.,于是折半信度系数,注：*：环境领域总分等于,8,个问题条目得分相加；*,:,例,2,在一项关于社会支持的研究中，研究,者用社会支持量表测试了,30,名受试者的社,会支持情况。量表包括,2,项来自家庭内部的,支持和,2,项来自家庭外部的支持，分别是,父母支持、亲戚支持、朋友支,持、同学支持，每个题项回答都采,用,1-5,级评分反映获得社会支持的多少。,1,表示从不，,2,表示较少，,3,表示中等，,4,表,示较多，,5,表示绝大部分，结果见下表。试,计算量表的,分半信度,和,克朗巴哈,系数,.,