调查问卷的信度与效度分析.pdf

oo信度？oo1.误差公理误差(error)是指对事物某一特征的度量 值偏离真实值的部分，即测定值与真实值之 差，样本统计量与总体参数之差。没有一项研究推论能婚达到百分之百的 真实。No study is free of errors,the inferences are never perfectly valid.误差公理：实验结果都会有误差，误差 自始至终存在于一切科学实验的过程之中。2.误差的不中类(types of error)(1)随机误差(random error)域机误差是由不确定原因引起的,免和 消 除。其偏离总体的方向 不能确 定 括随机测量误差和抽样误差。十随机测量误差(random measurementerror):没有固定的倾向,可使多次观测结果有大有小。抽样误差(sample error)：由于抽样造成的样本指标与总体指标之间 的差另U。(2)系统误差(systematic error)是由于偏倚(使研究结果按照一个方 向偏离总体)产生的错误结果，可校正粕 消除。(3)过失误差 是由于科研设计错误，或实验者的主观片面、粗心大急引起的误差。必须避免和剔除!问卷测 验 中 测量误差通 常来源于两个方1:1一是产生于问卷测验过程中的 误差，称 为测量误差(measurement Error),也称 为随机误差(random error);二是由问卷的结构质量造成的误差，称 为系统误差(system Error)o效度信度-2、效度的定义效度是指问 卷测 验的 准确 性，即 测 验能够反 映所要测 量特性的 程度.其包括两个方面的含义：一是问卷测验的目的；二是问卷对测量 目 标的测量精确度和真实性。效度是一个具有相对性、连续性、间接性的O在测量理论中，效度被定义为在一系 列测量中，与测量目的有关的真变异数（即有效变异）与总变异数之比：S：3r2yv表示测量的效度系数，S：代表有效 xy X/变异数，S/代表总变异数。十1.信度分析的意义:信度是用估计测量误差大小的尺度，来说明 问卷测 验结果 中 测量误差所 占的 比率。信度可定义为真实分数的方差与测 验实 得分数的方差之比，当实得分数变异可以全 部由真实分数的变异解释时，测验误差就是0,这时问卷测验的信度为+:若用表示问卷测验的信度，理论应有Q2=1-*c 2或 D TXX _ S 2%-02式中 早爹示真实分羲的 s奉示实氯分数的方差；方差;S专示误差的方差。.How3.1 调查问卷的效度检验3.2 调查问卷的信度检验How三、调查问卷的效度检验3.常用的效度指标确定一个问卷效度的方法，通常是以 答卷者的 问 卷得分和 另一个效度标准求相 关，以其相关系数的大小来表示效度。如 果相关系数高，则该问卷的效度就高。一般常用的效度指标有内容效度、结 构效度。(1)内容效度内 容效度是指问 卷内容的 贴切 性和 代表 性，即问卷内容能否反应所要测量的特质，能 否达到测验目的，较好地代表所欲测量的内 容和引起预期反应的程度。内容效度常以题 目分布的合理性来判断，属于命题的逻辑分 析，所以，内 容效度也称为“逻辑效度”、“内在效度”、“循环效度”。内 容效度的 评价主要通过经验判 断进行，通常考虑3方面的问题：其一是项 目 所测量的是否真属于 应测量的领域；其二是测验所包含的项目是否覆 盖了应测领域的各个方面；其三是测验题 目 的构成比例是否 恰当。一常用的内容效度的评价方法有两种：一是专家法，即请有关专家对问卷题 目与原来的内容范围是否符合进行分析，作 出判断，看问卷题目 是否较好地代表了原 来的内容。二是统计分析法，即从同一内容总体 中抽取两套问卷，分别对同一组答卷者进 行测验，两种问卷的 相 关系数就可用 来估 计问卷的内容效度。计算某个问题与去掉此问题后总得分 的相关性情况，分析是否需要被剔除（敏 感性分析）。(2)结构效度结构效度又称构慈效度，是指问卷 对某一理论概念或特质测量的程度，即 某问卷测 验的实际得分能解释某一椅质 的程度。如果我们根据理论的假设结构,通过问卷测验得到答卷者实际分数，经 统计检验，结果表明问卷能有效解释答 卷者该项特质，则说此问卷具有良好的 结构效度。常用的确定结构效度的方法有：(1)根据文献、前人研究结果、实际经验等建 立假设性理论建构;(2)对问卷题 目进行分析。主要是分析问卷的 内容，答卷者对题目 所作的反应，问卷题：目 的同质性以及分项 目 之间的关系来判断问卷的结构效度；(3)根据建构的假设性理论编制适当的问卷；(4)计算与同类权威问卷的相关；(5)以统计检验的实证方法去考查问卷是否能：有效解释所欲建构的特质Q3.效标效度效标效度也称为准则关联效度、经验 效度、统计效度。效标效度是说明问卷得分 与某种外部准则（效标）间 的关联程度，用 问卷测量得分与效度准则之间的相关系数表刁7o2一般估计效标效度的主要方法有:(1)相关法，即求某问卷分数与效标间 的相关，所得结果即效标效度。:(2)区分法，即看问卷分数是否可以区 分由效标所划分的团体。可以运用t检验对先后两次问卷结果平 均分数进行差异性检验。若差异有统计学 意义，说明问卷是有效的；若差异无统计 学意义，说明问卷是无效的。判别效度判别效标也称为辨别效标，是指运 用相同的问卷测定不同特质和内涵，测 量结果之间不应有太大的相关性。十聚合效度也称为收敛效度，是指运 用 不同测量方法测定同一特质所得结果 的 相 似程度，即 对同一特质的两种 或多 种 测 定方法间 应有较高的 相 关性。如果满足以下5个条件就可以认为问卷有效：(1)问卷有内容效度和结构效度；：(2)在问卷制定阶段应当请有关人员提出意:见,供修正和提高内 容效度；(3)问卷经过反复使用证明了其可靠性；(4)如果有标准存在，应以标准为准；：(5)无标准时可由判别效度代替。7.提高问卷效度的方法(1)理论正确，解释清楚。问卷内容要适 合问卷测验的目的，题目要清楚明了，易于 理解，问卷的排列要由易到难，题目的难度 和区分度要合适；(2)操作规范以减少误差；(3)控制系统误差。它主要包括仪器不准，题目 和指导语有暗示性，答案安排不当(被 试可以猜测)等，控制这些因素可以降1 氐系 统误差，提高效度；(4)样本适宜且要预防流失。重视问卷 调查的回收率。样本容量一般不应低于-30;:(5)适当增加问卷的长度。增加问卷的 长度既可提高问卷的信度，也可以提高 问卷的效度，但增加问卷的长度对信度 的影响大于对效度的影响；:(6)排除无关因素干扰。认清并排除足 以混淆或威胁结论的无关干扰变量。例2 对例1中的问卷测验结果进行效度分析1.问卷的敏感性（可靠性）分析（1）操作过程:从菜单选择 Analyze S cale-Reliability Analysis.Item（输入 问卷的各条目或各因子包含的条目）f 单击“S tatistics”按钮，弹出信度分析 统计量对话框 f Descriptives for:一 S cale if item deleted OK Reliability Analysiso Q 2356r 891nl pwbd cnhbbn nAl二Items：fa27 畲a40令848*49 4 52 a53Ia56_ OK 7-PasteBesetCancel一 HelpM-Model：Alpha-List item labelsStatistics.Reliability Analysis:StatxsticsDescriptives for厂 Item厂 ScaleB Scale if item deletedSummaries一Means-Variances Covariances、一一CorrelationsInter-ItemCorreiationsI-CovariancesANOVA TableQ None一 F testFriedman chi-squareCochran chi-squareHotellings T-squareTukeys test of additivity Intraclass correlation coefficientModel：|Two-Way MixedTyge：|Consistency二Confidence|95%Test value：|0 S cale if item deleted:去掉当前题目整个 问卷的描述统计量，即敏感性分析，包括以 下内容：S cale Mean if Item Deleted:去掉当前题目问卷合计分的均数；S cale Variance if Item Deleted:去掉当 b前题目问卷合计分的方差；C orrected Item-Total C orrelation:当前 题 目 得分与去掉当前题 目 问卷合计分的 Pearson相关系数；S quared Multiple C orrelation:以当前题 目为因变量，其它所有题目为自变量求得的Alpha if temDeleted:MIR一(2)输出结果.*SCL90各条目的敏感性分析结果:ItemScaleScaleCorrectedMeanVarianceItem-Alphaif Itemif ItemTotalif ItemDeletedDeletedCorrelationDeletedA131.72501272.71730.63970.9736E231.75001253.62820.80270.9732B331.82501261.07120.74080.9734A431.75001259.78210.75570.9733D531.70001278.26670.38720.9740C631.82501300.04550.05960.9745I731.90001279.06670.53200,9737H831.57501255.12240.75900.9733B931.27501259.23010.65720.9735E8631,17501272.81470.37640.9742I8731.92501277.14810.62310.9736I8832.05001282.97180.60570.9737J8932.20001304.16410.00000.9741I9032.17501302.71220.12500.9741一般地，在做问卷的敏感性分析时，可以将“Alpha if Item Deleted”值，作 为调整题目的一个重要参考依据。如果“Alpha if Item Deleted值越大,其相对应的题目越应是首先考虑调整的题 目。从本次问卷结果敏感性分析可以看出，量表的各个题目的 uAlpha if Item Deleted”值均在0.97左右变化，且变化的 幅度很小。所以，就 Alpha if Item Deleted”值这项指标看量表各题目均可以 保留，无需调整。这个结果可能与研究者所 采用的S C L-90量标是一个经典量表有关。:摘要的：探讨调查问卷的可靠性。方法：对武警十五支队201名战士，作心理卫生自评90项调查问卷资料，利 用S AS软件编程，计算Alpha可靠性系数,进行可靠性分析。结果：有6项被剔除 达到要求后，（2=0.973569,当使用标 准化数据时，2二0.974102。结论：利 用可靠性分析，可以从调查问卷表的数 据中，提取真实的、可靠性的成分。2.问卷的结构效度的分析问卷的结构效度的评价较为复 杂，可用 各个题 目与量表各银子的相 关分析和因子分析方法来反映。(1)利用相关分析评价问卷的结构 效度从菜单选择Analyze S caleReliabilityAnalysisItem（输入问卷的各条 目或各因子包含的条目）S tatistics弹出信度分析统计量对 话框InterItem C orrelations OK(2)利用因子分析评价问卷的结构效度因子分析不仅能够评价量表结构的 相合性，还可以用共性变异(共性方差)与总变异之比作为结构效度的衡量指标。结构效度的分析最好使用证实性因子分 析，它较探索性因子分析更能说明问题。执彳亍Analyze Data Reduction f Factor.，弹出“Factor Analysis”对话框：I：单击Descriptivesf S tatistics 一 Initial S olution C orrelation Matrix /KMO and Bartletts test of sphericityC ontinue!How三、调查问卷的信度T3.信度的分类信度研究的是问卷测验结果的可靠性与 稳定性，可以从不同的角度来评价：(1)在相同条件下所得问卷测验结果的一 致程度；(2)不同研究者用同一种问卷同时测验所 得结果的一致程度；(3)同一研究者用同一种问卷在不同时间 内测验所得结果的一致程度。4.常用的信度系数(1)童测信度假定短时间 内一批对象的状况并没有改 变，对每个对象用同一个问卷先后测验两次，两次测验得分的相关系数就称为重测信度。重测信度是用 皮尔逊积差相 关系数r公式计算 的。+2斗r重测信度也存在着局限性:间隔时间长，环境影响；:如果间隔时间短，记忆影响。(2)复本信度复本通常是根据相同的设计说明 分别独立编制的两个平行问卷，即题 目不同但是内容相似的两份问卷。复 本信度也叫等值性系数。两个复本问 隔一定时间 或同 时施于同一答卷者所 得分数的相关系数就是复本信度。缺点:如复本编制不容易，易出现顺序效应,受练习的影响；复本信度只能反应问卷内容所造成的 误差，无法反应答卷者本身所造成的误 差等。(3)分半信度(split-half reliability)当测验没有复本且测验不可避免地受 到 时间的影响，只适合用于一次测验时，可用分半信度。分半的方法很多，一般是将奇数题和 偶数题各作为一半，而非前后分半，目的 是避免顺序效应。分半信度也叫折半信度,其计算方法是将问卷的题 目 分成对等的两 半，分别求出两半题目的总分，再计算两 部分总分的相关系数。使用分半信度时要注意两个问题：一是问卷题 目 所测的应是同一种特质;二是两半题目应是等值的。对问卷题 目进行分半会造成了对整个问卷信度的 低估，为此需要对分半信度进行校正，其校正公式为 斯皮尔曼-布朗(S pearman Brown)公式：%不1+sD 小为分半信度rXX?表示两半题目各自得分和之相关系 数，77为原问卷相对于变化后问卷长度的 倍数，计算分半信度时炉2。S pearman Brown公式要求两个分半表 的信度和方差均满足齐性；Guttman:Guttman分半信度，可不满足上述要求|(4)库得一理查谦信度(Kuder Richardson):库德-理查森信度适用于计算对或错的 是非题的同质性信度，其是计算所有可 能的分半信度的平均数。:最有代表性的计算哼满库德-理查森公式：r=-(1一旦二)Q 2 K 顼J S：“为问卷测验总得分的方差，夕i表示答对该题的人数占,电答卷人数的上匕血i,R可视为该题难度，。广1o式中刀为问卷包含的题目数.(5)克隆巴赫信度系数(cronbach a)C ronbach5s a 系数是C ronbach于 1951年创立的，用于评价问卷的内部 一致性。a系数取值在0到1之间，a 系数越高，信度越高，问卷的内部一 致性越好。C ronbachs a系数不仅适 用 于两级记分的问卷，还适用 于多级 计分的问卷。其计算公式为：=Q（1-*）式中77为问卷包含的题目数，S 2为答卷者在第1.题得分的方差，I、S；为答卷者问卷测验总得分的方差。a系数有以下性质：(1)a系数是所有可能的分半信度的 平均值；(2)a系数是估计信度的最低限度；(3)当问卷计分为二分名义变量时，即答案为0或1,a系数与KR2 0值相同，即库德-理查森信度公式是克隆巴赫的 a系数的一个特例。一俅信度：a 0.35,中信度：0.35 a 0.70,高信度：0.70 a一般地，问卷的a系数在0.8以上该问卷才具有使用价值。C ronbach sa值皆达0.85以上,表明问卷信度良好。(6)评分奢信度考察评分者信度的方法为，随机抽取 相当份数的问卷，由两位评分者按记分规 则分别给分；然后根据每份问卷的分数计 算相关系数，就得到评分者信度。评分者 信度也可以是一位评分者两次评分的相 关 系数。如果是多个评分者或一位评分者两 次以上的评分，可采用肯德尔和谐系数和 Kappa系数。肯德尔和谐系数用于等级资料，Kappa系数用于定性资料。:例如例3中，K=6 N=6,查表得检验水平分别 为。=0.01,a=0.05的临界值各为S0.01=282.4,S0.05=221.4,均小于实算的S=546,故W达到显著水平，认为6位教师对6篇论文 的评定相当一致。:信度系数类型:重测信度：复本信度:分半信度(S pearman Brown;Guttman)：库德一理查森系数:克隆巴赫a系数评分者信度*5.提高信度的方法问卷的信度越高，受到人、时、地、物的干扰就越低，其所能反应事实或让 人相信的程度越高，因 此在问卷实施前 如何有效提高信度是问卷测 验成败的关 键。通常提高问卷信度的方法为：+*(1)适当延长问卷的长度问卷题目 较多，其在一定程度上排除 了偶然因素的影响，从而提高了问卷的信 度。但是问卷长度的增加与问卷的信度的 增加并不总是成正比的，当信度系数较小 时，延长问卷长度，问卷的信度系数增加 较大；而当信度系数较大时，延长问卷长 度对信度系数的影响就较小。(2)问卷的难度适中当问卷题目难度太大时，问卷得分普遍 过低；当问卷题目 难度太小时，问卷得分普 遍较高。问卷题目太难或太易都会使问卷得 分差异减小，使实得分数方差减小，从而降 低了问卷的信度。(3)问卷的内容尽量同质内容同质的问卷，要求答卷者具有相同 的能力、知识和技能。因而为了提高问卷的 信度，问卷的内 容应尽量保持同质。(4)测验的时间要充分一份问卷应保证绝大多数答卷者在规定 的时间内能完成测验。当答卷者不能从容地 回答所有题目时，问卷的得分就不能反映答 卷者的真实情况。(5)测验的程序要统一问卷题目要统一，指导语、回答问 题的方式、分收试卷的方法和问卷测验 的时间等都要统一，这些是问卷有较高 信度的基本保证。十：例1 某人在新入学的大学生中随机抽取40 人，组织症状自评量表(S C L-90)测验，以 了解新生心理健康的水平，及有针对性地进 行心理教育和疏导，避免意外事件的发生。试就量表测验结果，对此次测验的可靠性进 彳亍分析一S C L-90量表，包含90个题目，由受试者 根据自己在最近一周以内的实际感受，在：没有、很轻、中等、偏重、严重各选项中 选择一个答案，每个选项分别计为0,1,2,3,4分。S C L-90分为9个因子，分别为躯体化、强迫症状、人际关系敏感、忧郁、焦虑、敌对性、恐怖、偏执和精神病性。分析对 象为答卷者所选的五项答案得分，计算各 因子得分和问卷总分。求各因子的各种信 度系数和问卷总的信度系数。101 Untitled-SPSS Data Editor13回区File Ediit Vi ew DataTransform1 Graphs Utilities百旧|昌|叟c|c|打ReportsDescriptive S tatistics1：专业 tXATables专 a1I 62C ompare Means1XAofGeneral Linear Model2XA1Mixed Models3XA0C orrelate4XA1Regression5XA1Loglinearn Au。；rT.L18.SS16XA2Data Reduction7XA0Sc。1a8XA3Nonparametric Tests9XA1Ti_me S eries10XA0S urvival11XB0Multiple Response12XB0Missing Value Analysis.13XB J0U U U114XB I110 0|115XB00 0 016XB00 1 017XB10 1 0_Ll2bata VieT yCVariableView/52 a53Ia56_ OK 7-PasteBesetCancel一 HelpM-Model：Alpha-List item labelsStatistics.:在“Model:选项中，S PS S提供5种信度分析 模型：Alpha:C ronbach a 系数:S plit-half:分半信度，又称 S pearman-Brown系数，其应用 的前提条件是两个分半表的信度和方差均满生 o:Guttman:Guttman分半信度，可不满.：.凡上述要求：Par al lei:平彳亍模型:S trict Parallel:严格平行模型量表的cronbach a系数从菜单选择Analyze S cale-ReliabilityAnalysis.Item:al/b2/c3/a4/./j89/i90（共90个变量）/Model:Alpha List item labels OKReliability C oefficients N of C ases=40.0N of Items=90 Alpha=0.9740量表有90个题目,量表总的C ronbach a系数为0.9740,信度较高。一k因子的Cronbach。系数操作过程:从菜单选择 Analyze S cale-Reliability AnalysisItem:输入 各因子的条目数al/a4/al2/a2 7/a40/a42/a48/a49/a52/a 53/a56/a58（躯体化因子，共12个变量）Model:Alpha OK一量表的9个因子的C ronbach a系数分别为：躯体化0.8740;强迫0.8600;人际关系敏 感0.7483;忧郁0.9445;焦虑0.8517;敌 对性0.6009;恐怖0.9218;偏执 0.7210;精神病性0.6461O 忧郁、恐怖、躯体化、强迫、焦虑因子的信度较高；人际关系敏 感和偏执因子的信度尚可；但是敌对性和 精神病性的信度偏低。从结果中我们还可 以看出各项因子的C ronbach a系数小于 问卷总的C ronbach a系数。f卜分半信度操作过程：:从菜单选择 Analyze S cale Reliability Analysis.Model:S plithalfok总量表的分半信度:总量表分半信度计算结果：Reliability C oefficients C orrelation between forms=Equal-length S pearman-Brown Guttman S plit-half=0.913390 items0.9147=0.9554Unequal-length S pearman-Brown=0.9554 Alpha for part 1Alpha for part 2 45 items in part 45 items in part=0.9613=0.935812I:总量表的分半信度在0.90以上。各因 子分半信度中忧郁 因 子与恐怖 因 子 的分半信度在0.90以上；焦虑因子、强迫因 子和躯体化因子的分半信度在0.80以上；人 际关系敏感因子的分半信度0.70以上；其余 几个因子得分半信度在0.70以下。*五、效度和信度的关系 1.信度和效度的共同点都是以相关系数来表示其大小的。都是整个运 用 问卷调 查技术进行科研工作的可靠 性保证。一2.不同点主要是：(1)研究的对象不同 信度：答卷者 效度：组卷人(2)研究的角度不同 信度：测量的质量 效度：问卷的质量9(3)涉及的误差不同信度仅考虑随机误差占测验总变异的比例；效度则还包括与测验无关但稳定的测 量误差。两者存在着必然的联系，问卷的信 度是效度的必要而非充分条件，信度越 高，效度不一定越高，即如果问卷是完 全可信的，那么问卷可能达到完全有效,也可能达不到，这种现象产生的原因是 测量误差的存在。(4)数值大小不同一 可以证明，问卷的效度为问卷信度所制约，且效度不会大于信度,测量理论研究发现，效度的最大值 小于或等于信度的平方根。效度高 的测验，信度必定高，但信度高的 测验，效度未必高。提高问卷信度的方法:(1)适当延长问卷的长度(2)问卷的难度适中(3)问卷的内容尽量同质(4)测验的时间要充分(5)测验的程序要统一(1)理论正确，解释清楚(2)操作规范以减少误差(3)控制系统误差(4)样本适宜且要预防流失(5)适当增加问卷的长度(6)排除无关因素干扰。从理论的角度来看，一份好的问 卷应具有足婚的效度和信度。但是，从实践的观点来看，一份好的问卷还 应该具有实用 性，即 问卷的 经济性、便利性和 可解释性。