信度与效度分析方法课件.pdf

第2讲信度与效度分析方法PPT学习交流1根据调查目的设计的调查问卷是一种测量工具 O其质量高低对调查结果的真实性、适用性等具有 决定性的作用。为了保证问卷具有较高的可靠性和 有效性。在形成正式问卷之前，应当对问卷进行试 测，并对试测结果进行信度和效度分析，根据分析 结果筛选问卷题项，调整问卷结构，从而提高问卷 的信度和效度。调查问卷的信度和效度分析绝非赘疣蛇足，而 是研究过程中必不可少的重要环节。信度和效度分 析的方法包括逻辑分析和统计分析。_“M VPPT学习交流2第一节信度分析方法一、信度的概念信度(ReliabiMy)即可靠性，是指根据测量工 具所得到的测量结果的一致性或稳定性，反映客观 事物被测特征真实程度的度量指标。一般而言，两 次或两个测量的结果愈是一致，则误差愈小，所得 的信度愈高。“07PPT学习交流3信度(reliabiMy)又称稳定性或精确度。用 以反映在相同条件下，对同一客观事物测量若 干次，测量结果的相互符合程度或一致程度，说明数据的可靠性。当使用同一测量工具重复 测量某一客观事物时所得结果的一致程度越高,则该测量工具的信度就越高。“07PPT学习交流4二误差的分类误差（error）是指对事物某一特征的度量值偏 离真实值的部分，即测定值与真实值之差，样 本统计量与总体参数之差。实测值真实值系统误差测量误差_“0 VPPT学习交流 5二误差的分类1.抽样误差抽样误差(sample error):由于抽样 造成的样本指标与总体指标之间及各样本 指标之间的差异。与测量的优劣没有必然 的联系，进行信度和效度分析时，可以忽 略抽样误差。“07PPT学习交流62.系统误差(systematic error)系统误差是指由于偏倚(使测量结果系统 地偏离真值，bias)产生的错误结果，与 随机误差不同，可校正和消除。_，0 VPPT学习交流73.随机测量误差随机测量误差(random measurement error)是指在测量过程中，即使消除了系统误差，但由于各种偶然因素的影响也会造成对同一 个体的多次测量结果的不一致，测量结果发 生的偏差往往不具有方向性。信度主要受随 机测量误差的影响，“07PPT学习交流8问卷(量表)测量中的测量误差通常来源于 两个方面：一是产生于问卷(量表)测量过程中的误差，称为测量误差(measurement Error),也称为随 机误差(random error);二是由问卷(量表)的结构质量造成的误差，称为系统误差(system Error)。measurement Error-reliabilitysystem Error-validity_“0 VPPT学习交流9实测值 真实值 系统误差测量误差信度是用估计测量误差大小的尺度，来说明 测量结果中测量误差所占的比例。信度可定义为真实分数(true score)的方差 与测量实得分数(observed score)的方差之比,当实得分数变异可以全部由真实分数的变异解 释时，测量误差就是0,这时测量结果的信度为loPPT学习交流10若用变异表示测量结果的信度，理论上应有rxx-X或 厂-1成rxx r ax式中表示真实分数的方差；武表示实得分数的方差；0;表示误差的方差。“07PPT学习交流11信度包含两层含义:一是相同的个体在不同时间，以相同的测 量工具测量，或以复本测量，或在不同的情景 下测量，是否能得到相同的结果，即测量结果 是否随时间和地点等因素而变化；二是能否减少随机误差对测验结果的影响,从而能够反映测量工具所要测量的真实情况，即测量结果是否具有稳定性、可靠性和可预测 性。一个好的测量工具必须是稳定可靠的，且 多次测量结果应前后一致。_“4了PPT学习交流 12三、信度的种类及计算方法与评价信度主要是指测量工具是否精准（Precision）。信度分析涉及了问卷测量结果的一致性和稳定 性，其目的是如何控制和减少随机误差。信度指标多以相关系数表示，大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式 的一致性）和内在一致性系数（跨项目的一性）。PPT学习交流13三、信度的种类及计算信度主要分为四大类：重测信(Test-re test Reliability)复本信度(Alternate-form Reliability)内部一致性信度(Internal Consistency Reliability)评分者信度(Scorer Reliability)_“M VPPT学习交流 14重测信度是指用同样的测量工具，对同一组被 调查者间隔一定时间重复测试，两次测试结果的相 关程度。重测信度可以通过两种途径进行考察：(1)计算两次测试结果的相关系数，如果经过 统计检验，相关关系有统计学意义，则认为测量 工具的信度高，否则信度低。也有人提出，测量 工具的重测信度可以接受的标准是两次测试的相 关系数在0.7以上。“07PPT学习交流15重测信度的计算方法（今药r=（今2nn“07PPT学习交流161.重测信度(2)对两次重复测试结果进行两个相关样本 差异的统计检验，如果差异有统计学意义，则认为测量工具的信度低，否则，信度高。PPT学习交流171.重测信度重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数 被调查者的兴趣、爱好、习惯等在短时间内也不会 有十分明显的变化。如果没有突发事件导致被调查 者的态度、意见突变，这种方法也适用于态度、意 见式问卷。由于重测信度法需要对同一样本试测两 次，被调查者容易受到各种事件、活动和他人的影 响，而且间隔时间长短也有一定限制，因此在实施 中有一定困难。_“0 VPPT学习交流 182.复本信度复本信度法是让同一组被调查者一次填答 两份问卷复本，计算两个复本的相关系数。复 本信度法要求两个复本除表述方式不同外，在 内容、格式、难度和对应题项的提问方向等方 面要完全一致，而在实际调查中，很难使调查 问卷达到这种要求，因此采用这种方法者较少。“07PPT学习交流192.复本信度(alternate form reliability)复本通常是根据相同的设计说明分别独立 编制的两个平行问卷，即题目不同但是内容相似 的两份问卷。复本信度也叫等值性系数、(coefficient of equivalence)o 两个复本间 隔一定时间或同时施于同一答卷者所得分数的相 关系数就是复本信度。“07PPT学习交流20缺点:如复本编制不容易，易出现 顺序效应，受练习的影响；复本信度只能反应问卷内容 所造成的误差，无法反应答卷者本 身所造成的误差等。_PPT学习交流 213.分半信度(split-half reliability)分半信度常用在不可能进行重复调查的情 况下。其计算方法是将调查的条目分成两半，计算这两半测量结果的相关系数，又称分半信 度系数，以此为标准来衡量整个量表的信度。“07PPT学习交流223.分半信度分半信度是将调查项目分为两半，计算两半得 分的相关系数，进而估计整个量表的信度。分 半信度属于内在一致性信度，测量的是两半题 项得分间的一致性。这种方法一般不适用于事 实式问卷(如年龄与性别无法相比)，常用于 态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。“07PPT学习交流233.分半信度使用分半信度评价信度时，应注意：一是问卷 题项所测的应是同一种特质；二是如果量表中 含有反意题项，应先将反意题项的得分作逆向 处理，以保证各题项得分方向的一致性。三是 然后将全部题项按奇偶或前后分为尽可能相等 的两半，计算二者的相关系数（Ah,即半个量 表的信度系数），最后用斯皮尔曼布朗（Spearman-Brown）公式：U2 rhh 1+小求出整个量表的信度廉吹流（几）。4 0V244.库得一理查森信度(KuderRichardson)库德-理查森信度适用于计算“对或错”的是非 题的同质性信度，其是计算所有可能的分半信度 的平均数。最有代表性的计算公式是库德-理查 森公式：”Si%为问卷测验总得分的方差，oi表示答对该题的人数占总答卷人数的比例，2可视为该题的难度，夕i。式中为问卷包含的题项/祥PPT学习交流 255.Cronbachs a 信度系数CronbachJs a 系数是Cronbach于 1 951 年创立的，用于评价问卷的内部一 致性。a系数取值在。到1之间，a系数 越高，信度越高，问卷的内部一致性越好。CronbachJs a系数不仅适用于两级记分的 问卷，还适用于多级计分的问卷。_“0 VPPT学习交流 265.CronbachJs a 信度系数Cronbach。信度系数是目前最常用的信 度系数，其计算公式为：其中，K为量表中题项的总数6为第i题得分 的题内方差，。：为全部题项总得分的方差。“07PPT学习交流275.Cronbachs a 信度系数从公式中可以看出，。系数评价的是量 表中各题项得分间的一致性，属于内在一致 性X信度系数。这种方法适用于态度、意见 式问卷（量表）的信度分析。PPT学习交流28a系数有以下性质:(1)a系数是所有可能的分半信度的平均值；(2)a系数是估计信度的最低限度；(3)当问卷计分为二分名义变量时，即答案 为。或1,a系数与取20值相同，即库德-理 查森信度公式是克隆巴赫的a系数的一个特 例。_PPT学习交流 29低信度：a0.35,中信度：0.35a0.70,高信度：0.70a一般地，问卷的a系数在0.8以上该问卷 才具有使用价值。Cronbachs a值皆达0.85以上，表明问卷信度良好。“0VPPT学习交流306.评分者信度(inter-scorer reliability)考察评分者信度的方法为，随机抽取相当 份数的问卷，由两位评分者按记分规则分别给分；然后根据每份问卷的分数计算相关系数，就得到评分者信度。评分者信度也可以是一位评 分者两次评分的相关系数。如果是多个评分者或 一位评分者两次以上的评分，可采用肯德尔和谐 系数和Kappa系数。肯德尔和谐系数用于等级资 料,Kappa系数用于定性资料。PPT学习交流31四、影响信度的因素被试方面主试方面施测情景方面测量工具方面两次施测的时间间隔4 0V32PPT学习交流提高信度的方法问卷的信度越高，受到人、时、地、物的干扰就越低，其所能反应事实或让 人相信的程度越高，因此在问卷实施前 如何有效提高信度是问卷测验成败的关 键。通常提高问卷信度的方法为：“07PPT学习交流33(1)适当延长问卷的长度问卷题目较多，其在一定程度上排除了偶 然因素的影响，从而提高了问卷的信度。但是问卷长度的增加与问卷的信度的增加 并不总是成正比的，当信度系数较小时，延长 问卷长度，问卷的信度系数增加较大；而当信 度系数较大时，延长问卷长度对信度系数的影 响就较小。_“4了PPT学习交流 34(2)问卷的难度适中当问卷题目难度太大时，问卷得分普遍过 低；当问卷题目难度太小时，问卷得分普遍较 高。问卷题目太难或太易都会使问卷得分差异 减小，使实得分数方差减小，从而降低了问卷 的信度。“07PPT学习交流35(3)问卷的内容尽量同质内容同质的问卷，要求答卷者具有相同的能力、知识和技能。因而为了提 高问卷的信度，问卷的内容应尽量保持 同质。“07PPT学习交流36(4)测验的时间要充分一份问卷应保证绝大多数答卷者在 规定的时间内能完成测验。当答卷者不 能从容地回答所有题目时，问卷的得分 就不能反映答卷者的真实情况。“07PPT学习交流37(5)测验的程序要统一响验高 增测较 回卷存题舞都和 耀恭等基 问方间的38PPT学习交流例1世界卫生组织生存质量测定量表简表(WHOQOL-BREF)包含24个问题条目，从生 理、心理、社会关系和环境领域考察个人 的生存质量。量表的结构见表1。使用量表 对47名患者进行调查，试对环境领域进行 信度分析。环境领域包含8个条目，各个条 目的内容，平均得分和方差等列于表2._“0 VPPT学习交流39表1 WHOQOL-BREF量表的结构I.生理健康领域III.社会关系领域1.疼痛与不适14.个人关系2.精力与疲倦15.所需社会支持的满足程度3.睡眠与休息16.性生活4.行动能力IV.环境领域5.日常生活能力17.自由、人身安全和社会安全保障5.对药物及医疗手段的依赖性18.住房环境7.工作能力19.经济来源II.心理领域20.医疗服务与社会保障：享有程度与质量8.积极感受21.获取新信息、知识、技能的机会工思想、学习记忆和注意力22.休闲娱乐活动的参与机会与参与程度10.自尊23.环境条件（污染、噪声、交通、气候）11.身材与相貌24.交通条件12.消极感受总的健康状况与生存质量/n 辖袖优耳、身蜘、小人佶的PPT学习交流-46表2环境领域各条目得分情况及领域总分的相关分析环境领域条目平均得分方差相关系数1.日常生活中您感觉安全吗？3.42550.3800.565*2.您生活的环境对健康好吗？3.34040.5340.488*3.您的钱够用吗？3.06380.8870.697*4.在日常生活中您需要的信息都齐备吗？3.02130.5430.546*5.您有机会进行休闲活动吗？3.57450.8580.630*6.您对自己居住地的条件满意吗？3.57450.5980.528*7.您对得到卫生健康服务的方便程度满意吗？3.42550.6850.608*8.您对自己的情况满意吗？3.35650.7870.752*环境领域总分*26.826115.6141.0004 S aPPT学习交流41注：*:环境领域总分等于8个问题条目得分相加；*:QvQOI克朗巴哈信度系数:k-CB1S4 1折半信度系数：把14个问题条目分在前半部分，第 58个问题条目分在后半部分。计算第14个问题条目 得分的总和31);再计算第58个问题条目得分总和(h2)o计算hi和h2的相关系数%=Q58：,于是折半信度系数%=呈会务73：1-HQ585“07PPT学习交流42例2在一项关于社会支持的研究中，研究 者用社会支持量表测试了30名受试者的社 会支持情况。量表包括2项来自家庭内部的 支持和2项来自家庭外部的支持，分别是父母支持、亲戚支持、朋友支 持、同学支持，每个题项回答都采 用5级评分反映获得社会支持的多少。1表示从不，2表示较少，3表示中等，4表 示较多，5表示绝大部分，结果见下表。试 计算量表的分半信度和克朗巴哈。系数.“07PPT学习交流430/序号父母支持亲戚支持朋友支持同学支持.153442443335432422235555465444744348534493322103343115422122222134433145555155554165444174455185544194422202211211212224432235555245533253323264422272232284433293322305一 4544子习乂加第二节效度分析效度(Validity)即有效性,它是指测量工具 能够准确测量出所欲测量特性的程度，即测量 到的是不是所要测量的特征。比如一项知识水 平的测量测得的结果竟是逻辑能力，那么这种 测量就完全没有效度。对于一个标准测验来说，效度比信度更为 重要。PPT学习交流45一、效度的概念效度是指测量工具的准确性，即测量结 果能够反映所要测量特性的程度.其包括两个方面的含义：一是测量的 目的（测量了什么）；二是测量工具对测量 目标的测量精确度和真实性（测的程度）。效 度是一个具有相对性、连续性、间接性的概 念。比如量表是否测量了生命质量，躯体功 能分量表是否测量了躯体功能，其程度怎样。_“0 VPPT学习交流 46在测量理论中，效度被定义为在一系列测 量中，与测量目的有关的真实的变异数（即有 效变异）与总变异数之比：2 C 2 rxv-TJ.XV=rxv表示测量的效度系数，0；代表有效 变异数，。；代表总变异数。“0VPPT学习交流47效度具有特殊性和相对性，即每个测 量工具只对某特殊目的有效，仅能对其特 定项目作正确的度量，或者说测量的效度 总是针对着要解决的问题来说的，亦即针 对着打算作出的应用来建立的。PPT学习交流48二：效度分析的意义效度是问卷调查研究中最重要的特 征，问卷调查的目的就是要获得高效度 的测量与结论，效度越高表示该问卷测 验的结果所能代表要测验的行为的真实 度越高，越能够达到问卷测验目的，该 问卷才正确而有效。问卷的准确性或称为有效性是用问卷 的效度加以刻划的，它反映了对问卷的系统误差的控制程度。“07PPT学习交流49三、效度分析方法收集大量资料和证据来检验测量效度 的过程称为效度分析(validation)。严格地说，任何测量在正式实施以前 都应做出效度分析。“07PPT学习交流50“丁卓工巫真实值”往往未知，所以对效度 的评价常常不可能有绝对肯定的答舅。尽管 们不可能证明效度，但是可以用指标案评 价效度。一般来说，有三种类型的效度：标准效 度、内容效度、结构效度和区分效度。内容 效度是一种基于概念的评价指标，其它三种 是基于经验的评价指标。_VPPT学习交流 511.标准效度标准效度(criteria validity)又称为效标效 度，以相对准确的测量手段或指标的测量结果 作为“金标准”，考察待评测量手段或指标的 测量结果是否与其一致。例如，评价新的影像学诊断手段的效度，常以病理学检查结果作为“金标准”，考察两 种诊断手段诊断结果的一致性。_“0 VPPT学习交流 52内容效度(content validity)评价测量指标的涵义 是否能准确反映真实情况。内容效度是一个定性评 价效度的指标，它关心测量手段是否能够测量我们 所需要测量的抽象概念、领域和方面。对比事先对 概念的定义和最终的测量工具，可以得到关于内容 效度的评价。可以采用专家评价的方法了解内容效 度的大小。例如，对比生存质量的定义和用于测量的量表，可以得出该量表内容效度的好坏。缺乏内容效度的 测量会歪曲对所关心概念的理解，就像利用不具有 代表性的样本对总体进行推断会得到错误漱才匕PPT学习交流 532.内容效度(content validity)内容效度是指问卷内容的贴切性(relevance)和代表性(representativeness),即问卷内容能否 反应所要测量的特质，能否达到测验目的，较好地 代表所欲测量的内容和引起预期反应的程度。内容 效度常以题目分布的合理性来判断，属于命题的逻 辑分析，所以，内容效内也称为“逻辑效度”(logical validity)“内在效度(intrinsic Validity)”、“循环效度(circular validity)o_“0 VPPT学习交流 54内容效度的评价主要通过经验判断进行，通常考虑3方面的问题：其一是项目所测量的是否真属于应测量 的领域；其二是测验所包含的项目是否覆盖了应 测领域的各个方面；其三是测验题目的构成比例是否恰当。“07PPT学习交流55常用的内容效度的评价方法有两种：一是专家法，即请有关专家对问卷题目与原 来的内容范围是否符合进行分析，作出判断，看 问卷题目是否较好地代表了原来的内容。二是统计分析法，即从同一内容总体中抽取 两套问卷，分别对同一组答卷者进行测验，两种 问卷的相关系数就可用来估计问卷的内容效度。计算某个问题与去掉此问题后总得分的相关 性情况，分析是否需要被剔除（敏感性分析）。PPT学习交流563.结构效度结构效度(construct valicHty)又称构想效度,是指测量工具对某一理论概念或特质测量的程度,是在评价量表效度时最常用的指标。由于在心理 学及社会学领域中一些概念的定义不是十分明确,内容效度在实际应用中存在困难，而标准效度往 往因为缺乏比较的标准而难于应用。在这种情况 下，可以使用结构效度。_“4了PPT学习交流 573.结构效度结构效度是指测量结果体现出来的某种结构与测 值之间的对应程度。结构效度分析所采用的方法是因 子分析。有的学者认为，效度分析最理想的方法是利 用因子分析测量量表或整个问卷的结构效度。因子分 析的主要功能是从量表全部变量（题项）中提取一些 公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析 可以考察问卷是否能够测量出研究者设计问卷时假设 的某种结构。在因子分析的结果中，用于评价结构效 度的主要指标有累积贡献率、共同度和因子负荷。累 积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负 荷反映原变量与某个公因子的相关程度。_“0 VPPT学习交流58常用的确定结构效度的方法有：(1)根据文献、前人研究结果、实际经验等建I立假设性理论建构；(2)对问卷题目进行分析。主要是分析问卷的I 内容，答卷者对题目所作的反应，问卷题I 目的同质性以及分项目之间的关系来判断I问卷的结构效度；(3)根据建构的假设性理论编制适当的问卷；I(4)计算与同类权威问卷的相关；(5)以统计检验的实证方法去考查问卷是否能I 有效解释所欲建构的特质。IPPT学习交流 594.区分效度如果测量的结果能区分已知的不同特征的人群，就认为该测量具看区分效度(discriminant validity)o例如，测量结果能够区分“健康人”和“病 人”，分别调查两类人群，计算量表各领域得分 和总得分，再进行修验或方差分析，比较这两类 人群得分的差别是否有统计学意义，从而判断量 表是否具有区分效度。结果有统计学意义提示量 表有区分不同属性人群的能力，具有区分效度。_“M VPPT学习交流 60四、效度和信度的关系“07PPT学习交流61 1).信度和效度的共同点都是以 相关系数来表示其大小的。都是整个 运用问卷调查技术进行科研工作的可 靠性保证。“07PPT学习交流62 2).不同点主要是：(1)研究的对象不同 信度：答卷者 效度：组卷入(2)研究的角度不同 信度：测量的质量 效度：问卷的质量_“0 VPPT学习交流63（3）涉及的误差不同 信度仅考虑随机误差占测试总变异的比例；效度则还包括与测试无关但稳定的测量误差。两者存在着必然的联系，问卷的信度是效度的必要而非充分条件，信度越高，效度不一 定越高，即如果问卷是完全可信的，那么问卷 可能达到完全有效，也可能达不到，这种现象 产生的原因是测量误差的存在。“07PPT学习交流64举例来说Reliable but Not Valkl Valid but Not Reliable Valid and Reliable总而言之，信度和效度相互排斥又相互依存；没有信度就 不可能有效度；没有效度，焦度就毫无意义；高信度可能 带来低效度；高效度也可能福来低信度。_“0 VPPT学习交流65