信度效度评价.ppt

信度效度评价1信度评价信度评价问卷的信度是指问卷的稳定性和可靠性，主要有三种信度：问卷的信度是指问卷的稳定性和可靠性，主要有三种信度：1 1、重复信度、重复信度(testretest reliability)(testretest reliability)，2 2、内部信度、内部信度(internal reliability)(internal reliability)3 3、观察者之间的信度、观察者之间的信度(inter-rater reliability)(inter-rater reliability)。国国外外用用问问卷卷进进行行的的研研究究，通通常常对对问问卷卷的的重重复复信信度度和和内内部部信信度分析较多。我们着重说明前两者。度分析较多。我们着重说明前两者。2一、重复信度1 1、理论知识：、理论知识：用用同同一一问问卷卷对对相相同同对对象象进进行行两两次次测测量量，如如果果两两次次测测量结果的一致性很好。则问卷的重复信度好。量结果的一致性很好。则问卷的重复信度好。两两次次测测量量的的时时间间间间隔隔视视具具体体情情况况而而定定，一一般般为为2 24 4周，样本量通常为周，样本量通常为20203030人。人。当当评评估估的的变变量量是是分分类类变变量量用用KappaKappa系系数数来来评评估估重重复复信信度度一一般般来来说说，KappaKappa系系数数大大于于0 07575表表示示重重复复信信度度很很好好，在在0 04 40 07575表表示示较较好好，而而低低于于0 04 4表示较差。表示较差。如如果果是是连连续续变变量量或或等等级级变变量量，则则用用内内部部相相关关系系数数(icc)(icc)来来评评价价，一一般般来来说说，ICCICC大大于于0 07575表表示示极极好好，ICCICC在在0 06 6到到0 07575表示较好。表示较好。3分析：分析：（1 1）本本问问卷卷数数据据为为等等级级数数据据，故故选选用用ICCICC内内部部相相关关系系数数来来评价，在评价，在SASSAS中调用中调用proc corrproc corr过程。过程。（2 2）因因为为在在进进行行相相关关分分析析前前，需需检检验验数数据据的的正正态态性性，如如果果数数据据满满足足正正态态性性，用用 Pearson Pearson 积积距距 相相 关关 系系 数数；否则用否则用 Spearman Spearman 等等级级相相关关 系系数数。本本问问卷卷数数据据为为等等级级资资料料，故故选用选用Spearman Spearman 等级相关等级相关 系数。系数。42 2、SASSAS实现实现（1 1）先对数据进行处理，保存为）先对数据进行处理，保存为csvcsv格式格式（2 2）data a;data a;infile e:aa.csv dsd firstobs=2;/*infile e:aa.csv dsd firstobs=2;/*从第二行开始导入数据从第二行开始导入数据*/input x1-x50 rx1-rx50;/*input x1-x50 rx1-rx50;/*第一次测量变量与第二次测量变量第一次测量变量与第二次测量变量*/proc print;proc print;run;run;%macro%macro corr1corr1;/*;/*定义一个叫定义一个叫corr1corr1的宏，进行相关分析的宏，进行相关分析*/%do i=1%to 50;%do i=1%to 50;/*/*开始循环语句开始循环语句*/ods output spearmancorr=r_spr&i;ods output spearmancorr=r_spr&i;run;run;proc corr data=a spearman;/*proc corr data=a spearman;/*使用使用spearmanspearman相关系数相关系数*/var x&i rx&i;var x&i rx&i;run;run;%end;%end;%mend corr1;%mend corr1;%corr1corr1;53、结果解释P0.0001，我们有理由认为，我们有理由认为x1与与rx1相关，相关系数相关，相关系数0.451340.8 0.8表示内部一致性极好，表示内部一致性极好，在在0.60.6到到0.80.8表示较好表示较好,而低于而低于0.60.6表示内部一致性较差。表示内部一致性较差。8分分析析：在在SASSAS软软件件中中，系系数数调调用用PROC PROC CORRCORR过过程程计计算算，只只要要在在选选择择项项加上参数加上参数alphaalpha即可。即可。步骤如下：首先计算反映某一分量表所有条目的步骤如下：首先计算反映某一分量表所有条目的 系系数数，然然后后逐逐一一去去掉掉某某一一条条目目后后再再计计算算 系系数数，如如果果 系系数数值因去掉该条目而增大则考虑把该条目从分量表删除。值因去掉该条目而增大则考虑把该条目从分量表删除。92 2、SASSAS实现实现（1 1）先对数据进行处理，保存为）先对数据进行处理，保存为csvcsv格式格式（2 2）data b;data b;infile e:TCM.csv dsd firstobs=2;infile e:TCM.csv dsd firstobs=2;input input A1-A10 A1-A10 B1-B4 B1-B4 C1-C2 C1-C2 D1-D5 D1-D5 E1-E4 E1-E4 F1-F2 F1-F2 G1-G3 G1-G3 H1-H5 I1 J1-J32 K1-K7 L1-L6 M1-M5H1-H5 I1 J1-J32 K1-K7 L1-L6 M1-M5N1-N3 N1-N3 O1-O3 O1-O3 P1-P3 P1-P3 Q1-Q3 Q1-Q3 R1-R3 R1-R3 S1-S5 S1-S5 T1-T5 T1-T5 U1-U5 U1-U5 V1-V4 W1-W5 X1-X4 Y1-Y4;V1-V4 W1-W5 X1-X4 Y1-Y4;proc print;proc print;run;run;proc proc corr corr data=b data=b alpha alpha;/*/*对对第第一一个个分分量量表表进进行行分分析析*/var A1-A10;var A1-A10;run;run;10proc corr data=b alpha;proc corr data=b alpha;var B1-B4;/*var B1-B4;/*同上一个分量表的操作同上一个分量表的操作*/run;run;proc corr data=b alpha;proc corr data=b alpha;var C1-C2;var C1-C2;run;run;（下面的分量表同理）（下面的分量表同理）11 生理机能条目中A1，A9，A10应该删除，即是问卷中A301，A309，A310应该删除。12生理职能的所有条目都应该保留，即问卷中A401，A402，A403，A404都保留。13躯体疼痛的所有条目都应该保留，即A701，A801应该保留。一般健康状况的条目中D1应该删除，即问卷中A101应该删除，其余保留。14精力的条目中E1应该删除，即A901应该删除，其余保留。社会功能的所有条目都应该保留15情感职能的所有条目应该保留精神健康的条目中，H5应该删除，即A908应该删除。16躯体维度的条目中，J4，J5和J6应该删除，即B104，B105和B106应该删除，其余保留。17心理维度的条目中，K1应该删除，即B301应该删除，其余保留。自然维度的条目中，L1应该删除，即B401应该删除，其余保留。18社会维度的所有条目都应该保留。精气神的条目中，N3应该删除，即B301应该删除，其余保留。192024/5/22 周三20睡眠的条目中，O3应该删除，即B105应该删除，其余保留。饮食的条目中，P1应该删除，即B106应该删除，其余保留。21大便的条目中，Q1应该删除，即B109应该删除，其余保留。小便的条目中，R3应该删除，即B1014应该删除，其余保留。22气虚的条目中，S1应该删除，即B102应该删除，其余保留。阳虚的条目中，T1应该删除，即B1010应该删除，其余保留。23阴虚的条目中，U4应该删除，即B403应该删除，其余保留。湿热的所有条目都保留24痰湿的条目中，W1和W2应该删除，即B104和B105应该删除，其余保留。血瘀的条目中，X4应该删除，即B201应该删除，其余保留。25气郁的条目中，Y3应该删除，即B305应该删除，其余保留。26效度评价效度评价问问卷卷的的效效度度是是指指问问卷卷测测量量的的正正确确性性和和有有效效性性，主主要要有有表表面面效度、内容效度、准则效度和结构效度等效度、内容效度、准则效度和结构效度等（1 1）表面效度）表面效度表表面面效效度度是是指指条条目目书书面面表表达达的的意意思思是是否否为为真真正正要要测测定定的的内内容容，这这是是一一个个主主观观指指标标，常常由由专专家家评评阅阅确确定定。有有时时为为了了避避免免应应答答者者回回答答的的“社社会会期期望望偏偏倚倚”，获获得得真真正正的的信信息息，常常需需要要掩掩饰饰条条目目的的真真正正目目的的，这这时时就就要要牺牺牲牲表表面面效效度度而而提提高高其他效度。其他效度。27（2 2）内容效度）内容效度内内容容效效度度是是指指组组成成量量表表的的条条目目是是否否包包括括了了想想要要测测量量的的内内容容的的各各个个方方面面，如如果果包包括括了了各各个个方方面面，则则内内容容效效度度较较好好。与与表表面面效效度度一一样样，内内容容效效度度也是一个主观指标。也是一个主观指标。（3 3）准则效度）准则效度准准则则效效度度是是指指问问卷卷测测量量结结果果与与“金金标标准准”测测量量结结果果的的一一致致性性程程度度。分分析析准准则则效效度度的的通通常常做做法法是是对对问问卷卷测测量量结结果果与与“金金标标准准”测测量量结结果果进进行行相相关关分分析析,，相相关关系系数数越越大大证证明明准准则则效效度度越越好好，一一般般认认为为相相关关系系数数在在0.40.80.40.8比较理想。比较理想。（4 4）结结构构效效度度是是指指问问卷卷是是否否含含有有理理论论上上期期望望的的特特征征，包包括括以以下下几几个个方方面面：问问卷卷测测量量结结果果与与理理论论上上测测量量结结果果的的平平行行程程度度；问问卷卷评评价价的的现现象象与与其其他他现现象象的的独独立立性性；问问卷卷结结果果是是否否符符合合该该问问卷卷要要评评价价现现象象的的有关理论预测。有关理论预测。评评价价问问卷卷结结构构效效度度常常用用的的方方法法是是因因子子分分析析，因因子子分分析析的的目目的的是是想想了了解解属属于于某某二二级级量量表表的的条条目目是是否否如如预预测测那那样样集集中中在在一一个个因因子子里里。做做因因子子分分析析时时，预预测测因因子子的的数数目目需需事事先先确确定定，然然后后再再与与因因子子分分析析的的因因子子数数目目比比较较，一一般般而而言言，如如量量表表的的公公因因子子能能解解释释50%50%以以上上的的变变异异，而而且且每每个个条条目目在在相相应应的的因因子子上上有有足足够够强强度度的的负负荷荷（大大于于等等于于0.40.4），则则认认为该量表具有较好的结构效度。为该量表具有较好的结构效度。28结构效度构编程如下：data b;infile e:TCM.csv dsd firstobs=2;input A1-A10 B1-B4 C1-C2 D1-D5 E1-E4 F1-F2 G1-G3 H1-H5 I1 J1-J32 K1-K7 L1-L6 M1-M5 N1-N3 O1-O3 P1-P3 Q1-Q3 R1-R3 S1-S5 T1-T5 U1-U5 V1-V4 W1-W5 X1-X4 Y1-Y4;proc print;run;proc factor M=PRIN PRIORS=ONE R=V SCORE;var A1-A10;run;29编程编程proc factor M=PRIN PRIORS=ONE R=V SCOREproc factor M=PRIN PRIORS=ONE R=V SCORE的解释的解释分析：分析：1 1、提取初始公因子的主要方法：即在选择项、提取初始公因子的主要方法：即在选择项METHOD=METHOD=或或M=M=后填后填1 1个选择项个选择项PRINCIPALPRINCIPAL：主成分分析方法：主成分分析方法PRINITPRINIT：迭代主因子分析：迭代主因子分析2 2、始始各各变变量量的的公公因因子子方方差差h2h2赋赋初初值值，即即在在PRIORS=PRIORS=后后填填1 1个个选选择择项项，中中括括号号内内为为缩写形式，通常在用主成分分析方法时，才让缩写形式，通常在用主成分分析方法时，才让PRIORS=ONEPRIORS=ONE。3 3、规规定定因因子子轴轴的的旋旋转转方方法法：即即在在选选择择项项POTATE=POTATE=或或R=R=后后填填1 1个个选选择择项项：VARIMAXVVARIMAXV：最大方差旋转法。：最大方差旋转法。4 4、SCORESCORE表示要求算出因子得分模型中的系数。表示要求算出因子得分模型中的系数。30结果如下：1、前两个特征值、前两个特征值3.58819419,1.04773532都大于都大于1，将根据这两个较大的特征值提取，将根据这两个较大的特征值提取 两个相应的初始公因子。两个相应的初始公因子。2、由上累积贡献率可知，前、由上累积贡献率可知，前5个因子已经可以解释个因子已经可以解释86.91%的方差。的方差。31结论：结论：经最大方差旋转法旋转后的前经最大方差旋转法旋转后的前5个的个的因子模型为：因子模型为：x1=0.0295F1+0.74900F2x2=0.75428F1+0.35016F2x3=0.82331F1+0.13716F2x4=0.13099F1+0.63639F2x5=0.73143F1+0.05453F2 从旋转后的因子模型来看，第一公因子从旋转后的因子模型来看，第一公因子支配着支配着x2,x3,x5,第二公因子支配着第二公因子支配着x1,x4。第一公因子反映，可称为，。第一公因子反映，可称为，第二公因子反映，可称为第二公因子反映，可称为 各公因子包含的因子载荷较大的条目有各公因子包含的因子载荷较大的条目有足够的强度的负荷（大于足够的强度的负荷（大于0.4），说明该），说明该调查表有较好的结构效度。调查表有较好的结构效度。32问卷的内容效度检验问卷的内容效度检验:内容效度是指问卷各条目是否测定其内容效度是指问卷各条目是否测定其希望测量的内容。希望测量的内容。内容效度可以用反映同一内容范围的两个不同测验，对同内容效度可以用反映同一内容范围的两个不同测验，对同一组被试施测结果的相关系数来表示。若相关高，表明内一组被试施测结果的相关系数来表示。若相关高，表明内容效度高，若相关低，表明内容效度低。容效度高，若相关低，表明内容效度低。因此，我们从以下三个方面去评价内容效度。因此，我们从以下三个方面去评价内容效度。一、从躯体感受、心理状态、自然的适应能力、社会的适一、从躯体感受、心理状态、自然的适应能力、社会的适应能力等四个维度进行评价应能力等四个维度进行评价二、从精气神、睡眠、饮食、二便、气血津液功能状态的二、从精气神、睡眠、饮食、二便、气血津液功能状态的维度进行评价维度进行评价三、从阴阳气血津液功能状态的维度去评价。三、从阴阳气血津液功能状态的维度去评价。因为各维度下又有不同数量的条目，因此我们对每个维度因为各维度下又有不同数量的条目，因此我们对每个维度每个观测者所有条目算出总分，并按照事先确定的评定方每个观测者所有条目算出总分，并按照事先确定的评定方法划分不同的等级，用法划分不同的等级，用spearman秩相关来描述各个维度之秩相关来描述各个维度之间的相关关系，从而评价问卷的内容效度。间的相关关系，从而评价问卷的内容效度。33注意：注意：a1数据文件事先已被导入数据文件事先已被导入SAS中的中的work文文件夹里，命名为件夹里，命名为a1proc print data=a1;run;ods html;proc corr spearman;var shenti xinli ziran shehui;run;proc corr spearman;var jingqishen shuimian yinshi dabian xiaobian;run;proc corr spearman;var qixu yangxu yinxu shire tanshi xueyu qiyu;run;ods html close;编程如下编程如下：34结果如下：1)对问卷躯体对问卷躯体、心理、心理、自然、自然、社会社会 4 个维度的相关系数检验个维度的相关系数检验显示显示,身体、心理、自然三者之身体、心理、自然三者之间的相关系数均在间的相关系数均在0.40.8以内，以内，但社会维度与其他维度的相关但社会维度与其他维度的相关系数均低于系数均低于0.4,说明从整体来看说明从整体来看,社会维社会维度与其他条目的一致性并不强度与其他条目的一致性并不强,按照健康的定义按照健康的定义,社会维度的指社会维度的指标是不可或缺的标是不可或缺的,这一结果提示这一结果提示该部分条目可能需要修改该部分条目可能需要修改,或者或者需要增加样本量进一步评价。需要增加样本量进一步评价。352)反映精气神、睡眠反映精气神、睡眠、饮食、饮食、大便、小便、大便、小便 5 种状态条目的相关系数检验种状态条目的相关系数检验:睡眠、饮食、大便睡眠、饮食、大便、小便、小便 4 个部分之间的相关系数均小于个部分之间的相关系数均小于 0.4,此结果可此结果可能与样本量偏小、指标的选择或表述不当有关能与样本量偏小、指标的选择或表述不当有关,提示部分条目可能需要进一提示部分条目可能需要进一步修订步修订,同时也需要增大样本量来进一步评价问卷的信度和效度同时也需要增大样本量来进一步评价问卷的信度和效度。36反映阴阳气血津液状态条目的相关系数检验反映阴阳气血津液状态条目的相关系数检验:气虚、阴虚、阳虚、痰湿、湿热、气虚、阴虚、阳虚、痰湿、湿热、气郁六个部分之间的相关系数都接近或大于气郁六个部分之间的相关系数都接近或大于0.4，但血瘀与其他六部分的之间，但血瘀与其他六部分的之间的相关系数偏低的相关系数偏低,同样，此结果可能与样本量偏小、指标的选择或表述不当有同样，此结果可能与样本量偏小、指标的选择或表述不当有关关,提示部分条目可能需要进一步修订提示部分条目可能需要进一步修订,同时也需要增大样本量来进一步评价同时也需要增大样本量来进一步评价问卷的信度和效度问卷的信度和效度。37382024/5/22 周三39