统计学原理硕士列联表和卡方拟合优度非参数检验方法.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,经济、管理类,基础课程,统计学,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,统计学原理硕士列联表和卡方拟合优度非参数检验方法,（优选）统计学原理硕士列联表和卡方拟合优度非参数检验方法,9.1,分类数据与列联表,分类数据,列联表的构造,列联表的分布,定性,数据,数据的类型与列联分析,数 据,定量数据,(,数值型数据,),定性数据,(,品质数据,),离散数据,连续数据,列联分析,.,review:,品质数据,品质随机变量的结果表现为类别,例如：性别,(,男,女,),各类别用符号或数字代码来测度,使用定类或定序尺度,你吸烟吗?,1.是；2.否,你对,某种产品售后服务的满意度,?,1.,满意,；2.,说不好；3.不满意,对品质数据的描述和分析通常使用列联表,可使用,检验,列联表的构造,由两个以上的变量进行交叉分类的频数分布表,行变量的类别用,r,表示，,r,i,表示第,i,个类别,列变量的类别用,c,表示，,c,j,表示第,j,个类别,每种组合的观察频数用,f,ij,表示,表中列出了行变量和列变量的所有可能的组合，所以称为列联表,一个,r,行,c,列的列联表称为,r,c,列联表,列联表的概念,列联表的结构,（,2,列联表,）,列,(,c,j,),合计,j,=1,j,=1,i,=1,f,11,f,12,f,11,+,f,12,i,=2,f,21,f,22,f,21,+,f,22,合计,f,11,+,f,21,f,12,+,f,22,n,列,(,c,j,),行,(,r,i,),列联表的结构,（,r,c,列联表的一般表示,）,列,(,c,j,),合计,j,=1,j,=,2,i,=1,f,11,f,12,r,1,i,=2,f,21,f,22,r,2,:,:,:,:,:,合计,c,1,c,2,n,列,(,c,j,),行,(,r,i,),f,ij,表示第,i,行第,j,列的观察频数,列联表的,一个实际例子,一分公司,二分公司,三分公司,四分公司,合计,赞成该方案,68,75,57,79,279,反对该方案,32,45,33,31,141,合计,100,120,90,110,420,【,例,】,一个集团公司在四个不同的地区设有分公司，现该集团公司欲进行一项改革，此项改革可能涉及到各分公司的利益，故采用抽样调查方式，从四个分公司共抽取,420,个样本单位,(,人,),，了解职工对此项改革的看法，调查结果如下表,中,的分布,边缘分布,行边缘分布,列边缘分布,条件分布与条件频数,变量,X,条件下变量,Y,的分布，或在变量,Y,条件下变量的分布,每个具体的观察值称为条件频数,观察值的分布,边缘分布,行边缘分布,行观察值的合计数的分布,例如，赞成改革方案的共有,279,人，反对改革方案的,141,人,列边缘分布,列观察值的合计数的分布,例如，四个分公司接受调查的人数分别为,100,人，,120,人，,90,人，,110,人,条件分布与条件频数,变量,X,条件下变量,Y,的分布，或在变量,Y,条件下变量,X,的分布,每个具体的观察值称为条件频数,图示,:,观察值的分布,一分公司,二分公司,三分公司,四分公司,合计,赞成该方案,68,75,57,79,279,反对该方案,32,45,33,31,141,合计,100,120,90,110,420,行边缘分布,列边缘分布,条件频数,百分比分布,（概念要点）,条件频数反映了数据的分布，但不适合进行对比,为在相同的基数上进行比较，可以计算相应的百分比，称为百分比分布。,行百分比：行的每一个观察频数除以相应的行合计数（,f,ij/,r,i,）,列百分比：列的每一个观察频数除以相应的列合计数（,f,ij,/,c,j,）,总百分比：每一个观察值除以观察值的总个数（,f,ij,/,n,）,百分比分布,（例示）,一分公司,二分公司,三分公司,四分公司,合计,赞成该方案,24.4%,26.9%,20.4%,28.3%,68.0%,62.5%,63.35,71.8%,16.2%,17.8%,13.6%,18.8%,66.4%,反对该方案,22.7%,31.9%,23.4%,22.0%,32.0%,37.5%,36.7%,28.2%,7.6%,10.7%,7.9%,7.4%,33.6%,合计,23.8%,28.5%,21.5%,26.2%,100%,总百分比,列百分比,行百分比,对品质数据(定类和定序数据)之间相关程度的测度,列联表中每个单元格的期望频数分别为,相关系数（原理分析）,例如，赞成改革方案的共有279人，反对改革方案的141人,列观察值的合计数的分布,H0：地区与原料等级之间独立,变量 X 条件下变量 Y 的分布，或在变量 Y 条件下变量的分布,期望频数的分布一个例子,用于样本齐一性等检验。,期望频数的分布 一个例子（续）,测度 22列联表中数据相关程度的一个量对于22 列联表，系数的值在01之间,从这批原料中随机抽取500件进行检验，结果如下表。,列变量的类别用 c 表示，cj 表示第 j 个类别,V=1表明列联表中的两个变量完全相关,皮尔逊检验的基本步骤,概念要点:期望,频数,假定行变量和列变量是独立的,一个实际频数,f,ij,的期望频数,e,ij,，是总频数的个数,n,乘以该实际频数,f,ij,落入第,i,行 和第,j,列的概率，即,期望频数的分布,一个例子,由于观察频数的总数为,n,，所以,f,11,的期望频数,e,11,应为,例如，第,1,行和第,1,列的实际频数为,f,11,它落在第,1,行的概率估计值为该行的频数之和,r,1,除以总频数的个数,n,，即：,r,1,/,n,；它落在第,1,列的概率的估计值为该列的频数之和,c,1,除以总频数的个数,n,，即：,c,1,/,n,。根据概率的乘法公式，该频数落在第,1,行和第,1,列的概率应为,期望频数的分布,一个例子（续）,根据上述公式计算的前例的期望频数,一分公司,二分公司,三分公司,四分公司,赞成该方案,实际频数,68,75,57,79,期望频数,66,80,60,73,反对该方案,实际频数,32,45,33,31,期望频数,34,40,30,37,9.2,拟合优度检验,统计量,拟合优度检验,皮尔逊拟合优度检验属于非参数检验，是一种非常重要且简便的非参数检验。它既可用于分布拟合检验，也可用于独立性、样本齐一性等检验。,统计量,用于检验列联表中变量之间是否存在显著性差异,用于检验变量之间是否独立,用于样本齐一性等检验。,计算公式为,一个例子,表,9-5,实际频数,(,f,ij,),期望频数,(,e,ij,),f,ij,-,e,ij,(,f,ij,-,e,ij,),2,(,f,ij,-,e,ij,),2,e,ij,68,75,57,79,32,45,33,31,66,80,60,73,34,40,30,37,2,-5,-3,6,-2,5,3,-6,4,25,9,36,4,25,9,36,0.0606,0.3125,0.1500,0.4932,0.1176,0.6250,0.3000,0.9730,合计：,3.0319,统计量的特征,非负,与自由度有关,描述了观测值和期望值之间的接近程度,品质数据的假设检验,品质数据,比例检验,独立性检验,Z,检验,一个总体,检验,Z,检验,检验,两个以上总体,两个总体,的应用1,列联表中的独立性检验,检验列联表中目标变量之间是否存在显著性差异,检验的步骤为,提出假设,H,0,：,P,1,=,P,2,=,=,P,j,(,目标变量的各个比例一致,),H,1,：,P,1,P,2,P,j,不全相等,(,各个比例不一致,),计算检验的统计量,进行决策：,根据显著性水平,和自由度,(r-1)(c-1),查出临界值,2,。若,2,2,，拒绝,H,0,；若,2,2,，接受,H,0,拟合优度检验的例子,（例,9.1,）,提出假设,H,0,：,P,1,=,P,2,=,P,2,=,P,4赞成比例一致,),H,1,：,P,1,P,2,P,3,P,4,不全相等,(,赞成比例不一致,),计算检验的统计量,【,例,9.1】,续前例，检验职工的态度是否与所在单位有关？,(,0.1,),根据显著性水平0.1和自由度(2-1)(4-1)=3查出相应的临界值,2,=6.251。由于,2,=3.0319,2,=6.251，,不能拒绝,H,0,，,职工的态度与所在单位,无,关,。,9.3拟合优度检验,应用小结：,独立性,检验,检验列联表中的行变量与列变量之间是否独立,检验的步骤为,提出假设,H,0,：行变量与列变量独立,H,1,：行变量与列变量不独立,计算检验的统计量,进行决策,根据显著性水平和自由度,(,r,-1)(,c,-1),查出临界值,2,若,2,2,，拒绝,H,0,；若,2,2,，接受,H,0,用于检验变量之间是否独立,1和自由度(2-1)(4-1)=3查出相应的临界值2=6.,Pearson定理是基于实际频数与理论频数之间的差异得出的。,3】一种原料来自三个不同的地区，原料质量被分成三个不同等级。,1】续前例，检验职工的态度是否与所在单位有关？(0.,0319,2,9.448,，拒绝,H,0,9.4,列联表中的相关测量,列联表变量的相关属于品质相关,品质相关,对品质数据,(,定类和定序数据,),之间相关程度的测度,列联表相关测量的指标,相关系数,列联相关系数,V,相关系数,相关系数,测度,22,列联表中数据相关程度的一个量,对于,22,列联表，,系数的值在,0,1,之间,相关系数,计算公式为,相关系数,（原理分析）,一个简化的,22,列联表,因素,Y,因素,X,合计,x,1,x,2,y,1,a,b,a,+,b,y,2,c,d,c,+,d,合计,a,+,c,b,+,d,n,相关系数,（原理分析）,列联表中每个单元格的期望频数分别为,将各期望频数代入,的计算公式得,相关系数,（原理分析）,3.,将,入,相关系数的计算公式得,ad,等于,bc,，,=0,，表明变量,X,与,Y,之间独立,若,b,=0,，,c,=0,，或,a,=0,，,d,=0,，意味着各观察频数全部落在对角线上，此时,|,|,=1,表明变量,X,与,Y,之间完全相关,列联表中变量的位置可以互换，,的符号没有实际意义，故取绝对值即可,列联,相关系数,用于测度大于,22,列联表中数据的相关程度,计算公式为,C,的取值范围是,0,C,1,C,=0,表明列联表中的两个变量独立,C,的数值大小取决于列联表的行数和列数，并随行数和列数的增大而增大,根据不同行和列的列联表计算的列联系数不便于比较,V,相关系数,计算公式为,V,的取值范围是 0,V,1,V,=0表明列联表中的两个变量独立,V,=1表明列联表中的两个变量完全相关,不同行和列的列联表计算的列联系数不便于比较,当列联表中有一,行或者一列为2,时,，min(,r,-1),(,c,-1)=1,此时,V,=,数值分析,一个实例,【,例,】,一种原料来自三个不同地区，原料质量被分成三个不同等级。从这批原料中随机抽取,500,件进行检验，结果如下表。分别计算,系数、,C,系数和,V,系数，并分析相关程度,地区,一级,二级,三级,合计,甲地区,52,64,24,140,乙地区,60,59,52,171,丙地区,50,65,74,189,合计,162,188,150,500,一个实例（续）,解：,已知,n,=500,，根据,前面的计算,19.82,，列联表为,33,结论：,三个系数均不高，表明产地和原料等级之,间的相关程度不高,、,C,V,的比较,同一个列联表，,、,C,、,V,的结果会不同,不同的列联表，,、,C,、,V,的结果也不同,在对不同列联表变量之间的相关程度进行比较时，不同列联表中的行与行、列与列的个数要相同，并且采用同一种系数,分布拟合，是指经验分布与理论概率分布的拟合。,每个具体的观察值称为条件频数,变量 X 条件下变量 Y 的分布，或在变量 Y 条件下变量的分布,H0：地区与原料等级之间独立,结论：三个系数均不高，表明产地和原料等级之,H0：P1=P2=P2 =P4 (赞成比例一致),Pearson检验的应用3总体是否服从某种分布,假定行变量和列变量是独立的,测度 22列联表中数据相关程度的一个量对于22 列联表，系数的值在01之间,C=0表明列联表中的两个变量独立,H0：地区与原料等级之间独立,列联表中每个单元格的期望频数分别为,用于检验变量之间是否独立,根据上述公式计算的前例的期望频数,期望频数的分布一个例子,9.5,列联分析中应注意的问题,条件百分表的方向,c,2,分布的期望值准则,一般是把自变量放在列的位置，条件百分表也多按自变量的方向计算。便于表现原因对结果的影响。,一分公司,二分公司,三分公司,四分公司,合计,赞成,68,75,57,79,279,反对,32,45,33,31,141,合计,100,120,90,110,420,c,2,分布的期望值准则,如果只有两个单元，要求每个单元的期望频数不小于,5,如果有两个以上单元,.,要求,20%,的单元的期望频数不小于,5,。,解决办法：合并单元,Pearson检验的应用2,样本齐一性检验,列,(,c,j,),合计,j,=1,j,=,2,样本,1,f,11,f,12,r,1,样本,2,f,21,f,22,r,2,:,:,:,:,:,合计,c,1,c,2,n,Pearson检验的应用,3,总体是否服从某种分布,卡方检验：,Pearson,定理,Pearson,定理是基于实际频数与理论频数之间的差异得出的。总频数为,n,，,f,i,为第,i,组的频数，,p,i,为观测值落在第,i,组的理论概率。根据概率的相对频数定义，观测值落在第,i,组的概率的估计值为,f,i,/,n,。可以想象，如果随机变量,x,服从某种分布的话，那么把观测值适当分组后，观测值落入每个组内的频率应该与相应组内的理论概率值相近。,皮尔逊,检验是一种非常重要且简便的非参数检验。它既可用于分布拟合检验，也可用于独立性、样本齐一性等检验。,一、什么是分布拟合,分布拟合，是指经验分布与理论概率分布的拟合。,分布拟合检验，是判定根据实际数据提出的假设分布与理论分布是否相符。,皮尔逊,检验的基本步骤,1,、提出关于总体,X,的基本假设,H,0,；,2,、对来自,X,的一组样本值 ，将其分为,r,组：，以,v,i,表示观察值落入第,i,组的个数,实际观测频数；3,、在基本假设,H,0,成立的条件下，计算落入第,i,组的期望个数,理论期望频数；其中,4,、计算检验的统计量,5,、确定假设,H,0,的否定域,在基本假设,H,0,成立的条件下，当样本容量,n,充分大时，统计量,近似服从自由度为,v,=,r,m,-,1,的,分布，其中,r,为组数，,m,为总体分布中的未知参数的个数。,Pearson,检验中分组的个数,Pearson检验统计量的分布的自由度取决于分组的个数，因此，为了避免分组时的任意性，一般要求每个类别的理论频数大于等于5。如果某个类别的频数低于5，那么可以将此类别与其他类别进行合并。,Pearson检验的应用,3,总体是否服从某种分布,一枚骰子是否均匀,收入是否服从对数正态分布,.,一个例子,下面是天津市某图书馆电子阅览室最近一周读者人数的数据。研究者感兴趣的是，一星期中各天来图书馆电子阅览室的读者人数是否有差异？若进行拟合优度假设检验，请将空白处填上合适的数值并写出：检验的原假设和备择假设；所用统计量的具体形式；在原假设下所用统计量的分布；检验的否定域。在,0.05,显著性水平下，一星期中各天来图书馆电子阅览室的读者人数是否有差异？,星期,日,一,二,三,四,五,六,合计,实际人数,70,90,150,130,90,140,100,期望人数,洪锡熙,沈艺峰,厦门大学学报,2000,年第,3,期,案例,1,：,我国上市公司资本结构影响因素的实证分析,规模,&,权益,盈利,&,成长,主要检验统计量的值,2,005,1,=3.841,。,(,),和,(,),的卡方值都显著大于临界值,3.841,因而,0,都被拒绝。这表明它们的行分类与列分类是显著不独立的,即企业负债比例分别与其规模和盈利能力显著相关。,相应的,系数分别为,0.3016,和,0.4439,表示企业规模和盈利能力这两个因素与企业负债比例存在正相关,即企业的规模愈大,或盈利能力愈强,就愈能承受较高的负债水平。,结论,公司权益和成长性这两个因素都不影响企业资本结构,因为相应的卡方值都小于临界值,3.841,且,系数都很接近零。,另外,该文还就上市公司资本结构与行业变量之间的独立性进行了检验,方法与上面完全相同,.,结论,