测量的信度与效度.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,测量的信度与效度,由于系统误差很难分解,因而有时将系统误差包含在真实值,中,上式可以简化为:,对于测量误差,E,一般假定它得期望值就是,0,与真实值相独,立,在此假定下,可以证明:,实得分数与真分数得总体均值相等。,实得分数得方差等于真分数得方差与误差方差之与。,调研人员应运用所掌握得统计知识,分析其就是属于系统,误差还就是属于随机误差。,系统误差会使调查结果有误,所以应尽量避免。,随机误差可通过提高样本代表性、增大样本量来减少。,信度一般规定就是:真分数得方差在总体方差中所占得比,重,即信度系数:,信度系数越大,表明测量得可信程度越大。,信度得估计方法有许多,比较易于使用得就是相关系数得方,法。,一般采用同一问卷进行两次调查,再计算其相关系数。,3,、信度得类型,(,1,)再测信度,(,Retest Reliability),再测就是指在不同时间得相同测验。,使用同一测量量表,对同一受测群体,在不同得时间前,后测试两次,再计算两次测试结果得相关系数,该系数即为,再测信度。,重复测量时,要注意,时间间隔,得合理控制。如果时间间,隔太短,受测者可能还记忆犹新,容易造成信度偏高。,如果时间间隔太久,可能环境条件得改变、或者受测者,心智成长会影响再测结果,从而造成信度偏低。,因而时间间隔应随测验得目得与性质而定。,由于旅游者,流动性,太强,因而不适宜使用再测信度分,析。,(,2,)复本信度,(,Alternative-Form Reliability),当某一套量表有两种以上版本时,可以替换使用,根据,一组被调查者接受两个复本测量得数值来计算相关系数,以,避免再测信度得缺陷。,复本就是指内容相似、难易度相当得两份量表,对同一受,测群体,第一次使用,A,份测试,第二次使用,B,份测试,两次,分数得相关系数即为复本信度。,复本得分得差异就是由量表得内容造成得,而非时间造成,得。,复本信度有两个,优点,:,一就是它不会受记忆效用得影响;,二就是对测量误差得相关性通常比再测法低。,(,3,)折半信度,(,Split-Half Reliability),将同一量表施测后得题目分成两半,分别计算这两半得,总分及其相关系数,此一相关系数即为折半信度。,由于实际上折半信度系数会比全部题目放在一起计算获,得得信度低,所以求得得折半信度需要进一步修正。,折半信度得,优点,在于只需要施测一次,因而可以节省人,力、物力与时间。,但由于折半信度需将一份量表分成两半,分法不同,所,获信度就会不同。,如可以将测量结果按题目得单双号分成两部分。,(4)克朗巴哈,系数(,Cronbach,),Cronbach L、J、于1951年提出了一种计算问卷或测验得,测量工具得信度,称为Cronbach,系数。,当一个研究任务项由很多题目组成,每个问项都与研究,任务项相关,若以总分得方差与问项得方差作为测量信度得,指标,即为,系数。,如果每个题目都就是测量相同得理论维度,则总与得方差,会大于每个题目得方差之与。,每个理论维度下,必须至少有两题以上才能计算信度,若只有一个题目,则信度值为1。,设一份量表包括n个项目(,x,1,x,2,x,n,),假设这n个项目,得分数都与真实分数T有关,即每一个项目x,i,除与T有关外,也有独立得误差项E,i,即令量表总与为H=x,1,+x,2,+x,n,、,当题目间得相关系数越大时,系数也会越大。,当题目数目,n,越多时,值越大,越接近于0,越接近于1,故,系数也会越接近于,1,。,要做信度分析须先检查每个题目就是否都就是同方向得,即,都就是正面问法,反向问题需要做处理后才可以加入分析。,在计算,系数时,应该注意有些调查量表测量得内容包,含几个领域,这时宜分别计算各个领域得,系数。,克朗巴哈,系数适用于项目多重计分得测验数据或问卷,数据,可以用该系数测量,Lickert,量表得信度。,在基础研究中,信度至少应达到,0、8,才可接受;,在探索性研究中,信度只要达到0、7就可以接受;,在旅游调查测量实践中,信度只要达到0、6即可接受。,系数通常与量表题目数量有关,题目数量越多,系,数就越大。,系数得判断标准:,内部一致性信度系数值,层面或构念,整个量表,系数,、50,不理想,舍弃不用,非常不理想,舍弃不用,、50,系数,、60,可以接受,增列题项或修改词句,不理想,重新编制或修订,、60,系数,、70,尚佳,勉强接受,最好增列题项或修改词句,、70,系数,、80,佳(信度高),可以接受,、80,系数,、90,理想(甚佳,信度很高),佳(信度高),系数,、90,非常理想(信度非常好),非常理想(甚佳,信度很高),二、,克朗巴哈,系数得手工计算,以一份有8个题项得量表为例,8个题项均为正向题,受试样本数有6位,采用Likert 5点量表填答,获得调查,结果如下表:,题号,样本,量表试题,总分,01,02,03,04,05,06,07,08,A,5,1,2,5,2,5,4,3,27,B,5,1,2,4,3,5,5,2,27,C,5,2,2,5,3,5,5,2,29,D,5,1,2,5,3,5,5,3,29,E,5,1,2,5,3,5,5,2,28,F,4,1,1,5,3,4,4,2,24,大家有疑问的，可以询问和交流,可以互相讨论下，但要小声点,计算获得描述性统计量如下表:,描述性统计量,题号,个数,最小值,最大值,平均数,标准差,方差,A1,6,4,5,4、833,0、408,0、167,A2,6,1,2,1、167,0、408,0、167,A3,6,1,2,1、833,0、408,0、167,A4,6,4,5,4、833,0、408,0、167,A5,6,2,3,2、833,0、408,0、167,A6,6,4,5,4、833,0、408,0、167,A7,6,4,5,4、667,0、516,0、267,A8,6,2,3,2、333,0、516,0、267,S,i,2,1、533,总分,6,24,29,27、333,1、862,3、467,可以利用,Excel,软件进行有关计算:,第,8,行计算均值,第,9,行计算标准差,第,10,行计算方差。,Cronbach,系数得计算公式为:,已知:题项,n=8,8,题加总后量表总分得方差,S,2,=3、467,8,个题项得方差总与,=1、533,三、在SPSS上实现克朗巴哈,系数得计算,第一步:按,Analyze-Scale-Reliability打开主对话框。,第二步:在左侧得源变量框中选择变量进入Items框,作,为分析变量。,第三步:在源变量框得Model选项框中,选择Alpha,(,)信度系数。,第四步:在主对话框,单击OK按钮,提交运行。,第五步:判断计算结果就是否可以接受。,第,2,节 效度分析,一、效度分析原理,1,、效度得概念,效度就就是正确性程度,即测量工具在多大程度上反映,我们想要测量得概念得真实含义。效度越高,表示测量结果,越能显示出所要测量得对象得真正特征。,2,、效度得估算方法与评价,测量得效度通常以测量数值与其所要测量得特性之间得,相关系数来表示。效度系数一般规定为与测量目得相关得分,数方差在总体方差中所占得比重:,式中,为个体在与属性有关得共同特征上所造成得变异,量,为在某测量上所得数值得总变异量。,3,、影响效度得因素,调查提纲得科学与否;,调查程序选择就是否得当;,调查项目得设计就是否合理;,调查方法得选择就是否得当。,其中,调查项目得设计最为重要。,4,、效度得量化,虽然效度可分为内容效度、准则效度与结构效度,但每,一种效度都很难测量。没有方法可以真正保证研究者可以测,量到要测量得理论构想。,在学术研究中,经常只能通过强调量表设计程序得过程,严谨,或经过专家得修正及经过预测,以此来强化其具有得,效度。但这只就是内容效度,准则效度与结构效度仍难测量。,5,、效度得类型,(,1,)内容效度(,Content Validity,),也称为表面效度(,Face Validity,)、逻辑效度。,它就是指问卷得内容就是否具有代表性,即就是否包括被测量,构成所有层面得项目。,若问卷内容就是以理论为基础,并参考以往学者类似研究,得问卷内容加以修订,并与实践或学术专家讨论过,且进行,过预测,即可以认为具有相当得内容效度。,内容效度得检验相当主观,并没有任何统计量可以测,量。因此,仅能请专家来判断该量表就是否具有可接受得内容,效度。(敏感性分析),考察内容效度旨在系统地检查测量内容得适当性,并根,据我们对所研究概念得了解去鉴别测量内容就是否反映了这一,概念得基本内容。,(,2,)准则效度(,Criterion Validity,),准则效度又称为效标关联效度(,criterion-related validity),、预测效度,(,predictive validity,),。,它就是指量表所得到得数据与其她被选择得变量(准则变,量)得值相比就是否有意义,被访问者得答案瞧起来就是否在设,计时所考虑得度量范围之内。,调研人员对问卷一般都可以客观地判断它得表面有效,性。因此,设计每一个问题时都应该有表面有效性得假定。,符合这种标准得测量工具就是可以作为测量某一特定现象或概,念得效标。,当我们对同一现象或概念进行测量时,我们可以使用多,种测量工具,每种测量方式与效标得一致性就成为准则效,度。,评价准则效度得方法就是相关分析或差异显著性检验。,但选择一个合适得准则往往十分困难。,(,3,)结构效度(,Construct Validity,),结构效度也称建构效度。,它就是指一个测验实际测到所要测量得理论结构与特质得,程度,就是指实验与理论之间得一致性,即实验就是否真正测量,到假设(构造)得理论。,结构效度分析所采用得方法就是因素分析(因子分析)。,在因素分析得结果中,用于评价结构效度得主要指标有累计,贡献率、共同度与因子载荷。,结构效度得体现首先必须作,KMO,与,Bartlett,球形检验,如果这两个检验合格得话,说明数据就是适合做因素分析得。,通常,KMO,得值小于,0、5,时较不适合做因素分析,一般以大于,0、7,为好。,然后提取因子,主因子解释总变异一般若大于,60%,得与,因子载荷大于,0、6,得话,说明结构效度很好。,KMO,统计量得判别标准:,KMO,统计量值,判别说明,因子分析适切性,、90,以上,极适合进行因子分析,极佳得,、80,以上,适合进行因子分析,良好得,、70,以上,尚可进行因子分析,适中得,、60,以上,勉强可进行因子分析,普通得,、50,以上,不适合进行因子分析,欠佳得,、50,以下,非常不适合进行因子分析,无法接受得,6,、度量有效性得检验,(,1,)表面有效性,指被访者得答案瞧起来就是否在设计时所考虑得度量范围,之内。,(,2,)预示有效性,指问卷中得某些答案与问卷中另一些答案得逻辑相关程,度。如果您运用逻辑关系来判断,那么,您就对一些度量做,了预示有效性检验。,(,3,)收敛有效性,当调研人员用两种不同得方法或不同得数据来源比较同,一个问题时,那么,她就运用了收敛有效性检验。,(,4,)区别有效性,指不同得结构应产生不同得结果。换句话说,调查不同,主题得问题应产生不同得答案。,二、在,SPSS,上实现效度分析,第一步:按,Analyze-Data Reduction-Factor,打开主对话框,Factor Analysis,。,第二步:在左侧得源变量框中选择变量进入右侧,Variable,框,中,作为分析变量。,第三步:点击,Descriptives,按钮,进入描述选项对话框。,第四步:在,Statistics,栏中选,Initial solution,;在,Correlation,Matrix,栏中,选择,KMO and Bartletts test of,sphericity,项。,第五步:单击,Continue,按钮。,第六步:点击,Rotation,按钮,进入转轴选项对话框。,第七步:在,Method,栏选中,Varimax,Display,栏选中,Rotated,solution,。,第八步:单击,Continue,按钮,再单击,OK,按钮,提交运行。,案例分析,1,:,张秋钤,杨建明,唐芳、福建白水洋景区游客满意度模糊综合评判、重庆师范大学学报(自然科学版),2011,28,(,4,):,69-73、,由于问卷涉及,Likert,量表,其设计就是否合理,调查结果,就是否可信,必须进行信度与效度检验。本文利用SPSS13、0,软件得信度分析功能进行信度检验,计算获得克隆巴赫系数,(Cronbachs),为,0、955,表明问卷测验结果具有较高得内,部一致性与稳定性,信度极高。,另在SPSS13、0软件上采用因子分析法进行结构效度检验,获得23个问题调查结果得KMO系数为0、941,达到“极好”,得水平,Barlett,球形检验得,F,值等于,0、000,达显著,表明被,调查群体得相关矩阵间有共同因子存在,适合进行因子分,析。因子分析结果表明,因子载荷大于,0、6,得累积解释变异,数为,68、235%,因而结构效度达到较高水平。,案例分析2:,杨建明、旅游者旅游环境影响感知与环保意识,基于高校学生群体得社会学调查,本问卷得第二部分涉及Likert量表,其设计就是否合理,调查结果就是否可信,必须进行效度与信度检验。,本部分采用,Likert 5,点量表,共设计,19,个问题。其中有关旅游,环境负面影响得8个问题中有,1,个属于,逆向题,(旅游环境得负面,影响就是生态环境可以承受得),对该题项进行,顺向处理,后,计,算获得克隆巴赫信度系数,(,Cronbachs,),为,0、653,另计算,获得,3,个旅游环境正面影响题项得克隆巴赫信度系数为,0、720,表明问卷得内部一致性与稳定性较好,问卷通过信度检验。,利用因子分析方法计算获得,19,个问题得,KMO,系数为,0、606,达到“中等”水平;因此可以认为被调查群体得相关矩阵间,有共同因子存在,适合进行因子分析。进一步因子分析结果,表明,因子载荷大于,0、6,得累积解释变异数为,84、945%,因,而结构效度达到较高水平。,第,3,节 信度与效度得关系,一、信度与效度得区别,1,、研究得对象不同,信度答卷者,效度组卷人,2,、研究得角度不同,信度测量得质量,效度问卷得质量,3,、涉及得误差不同,信度仅考虑随机误差占测验总变异得比例,效度则还包含与测验无关但稳定得测量误差,4,、数值大小不同,效度不会大于信度,5,、研究得内容不同,信度关心得就是对于一个问题、一个具体得技术每次就是否会,产生同样得结果。信度强调得就是在不同研究情景下数据与结论,得稳定性与一致性。,效度指得就是一种根据经验方法得到得结论在多大程度上反,映研究概念得真正意义。效度就是指工具得有效程度及理论得适,用程度。,如射箭:,A,效度高,信度也高;,B,效度高,信度低;,C,效度低,信度高;,D,效度低,信度也低。,