拟合优度检验.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第七章 拟合优度检验,1,拟合优度检验的应用,总体分布未知，从样本数据中发现规律（,总体分布,），再利用拟合优度检验对,假设的总体分布,进行验证。,2,【,引例,1,】,某地区,在,1500,到,1931,年的,432,年间，共爆发了,299,次战争，具体数据如下（每年爆发战争的次数可以看作一个随机变量,X,）：,战争次数,X,0,1,2,3,4,223,142,48,15,4,发生,X,次战争的年数,3,根据我们对泊松分布产生的一般条件的理解，可以用一个泊松随机变量来近似描述,每年爆发战争的次数。,也就是说，我们可以假设每年爆发战争次数分布,X,近似泊松分布。,现在的问题是：,上面的数据能否证实,X,具有泊松分布的假设是正确的？,4,【,引例,2,】,某钟表厂对生产的钟进行精确性检查，抽取,100,个钟作试验，校准,24,小时后进行检查，将每个钟的误差（快或慢）按秒记录下来。,问该厂生产的钟的误差是否服从正态分布？,5,【,引例,3,】,某工厂制造了一批骰子，声称它是均匀的。,为检验骰子是否均匀，要把骰子实地投掷若干次，统计各点出现的频率与,1/6,的差距。,问题是：,得到的数据能否说明“骰子均匀”的假设是可信的？,6,K,.,皮尔逊,解决这类问题的工具是英国统计学家,K,.,皮尔逊在,1900,年发表的一篇文章中介绍了,2,检验法。,7,拟合优度检验的工具,-,2,检验,2,检验法,是在总体,X,的分布未知时，根据来自总体的样本，检验关于总体分布的假设的一种检验方法。,8,H,0,：总体,X,的分布函数为,F,(,x,),然后根据样本的,经验分布,和所假设的,理论分布,之间的吻合程度来决定是否接受原假设。,这种检验通常称作,拟合优度检验,，它是一种,非参数,检验。,使用,2,检验法,对总体分布进行检验时，,先提出原假设,:,9,拟合优度检验的一般步骤,将总体,X,的取值范围分成,k,个互不重叠的小区间，记作,A,1,A,2,A,k,。,把落入第,i,个小区间,A,i,的样本值的个数记作,f,i,，称为,实测频数,；,所有实测频数之和（,f,1,+,f,2,+,f,k,）等于样本容量,n,。,根据所假设的理论分布，可以算出总体,X,的值落入每个,A,i,的概率,p,i,，,np,i,就是落入区间,A,i,的样本值的,理论频数,。,10,皮尔逊引进如下统计量表示,经验分布,与,理论分布,之间的差异,:,在理论分布,已知的条件下,np,i,是常量,实测频数,理论频数,观测频数,与,理论频数,比较，判断二者不符合程度是否由于机会所造成。,11,统计量 的分布是什么,?,皮尔逊为什么会选用这个统计量,?,两个问题：,12,关于第一个问题，皮尔逊证明了如下,定理,:,若原假设中的理论分布,F,(,x,),已经完全给定，那么当,n,时，统计量：,的分布,渐近,(,k,-1),个自由度的 分布。,如果理论分布,F,(,x,),中有,r,个未知参数需用相应的估计量来代替，那么当,n,时，统计量 的分布渐近,(,k,-1-,r,),个自由度的 分布。,13,皮尔逊定理的几点说明,统计量的选择,自由度的确定,连续性矫正,14,统计量的选择,求,k,个,O,i,T,i,之和，,显然它们恒等于,0,求,k,个,(,O,i,T,i,),2,之和，,得不出相对的不符合程度,O,i,9,、,T,i,6,，,O,i,T,i,3,；,O,i,49,、,T,i,46,，,O,i,T,i,3,。前者的不符合程度远大于后者。,求,k,个,(,O,i,T,i,)/,T,i,2,之和，,但仍有问题,如：,O,i,8,、,T,i,5,以及,O,i,80,、,T,i,50,时,(,O,i,T,i,)/,T,i,都等于,0.6,。,15,统计量的选择,为了解决上述问题，以,T,i,为权求加权值,16,自由度的确定,变量之间存在着一个制约关系：,故统计量 渐近,(,k,-1),个自由度的 分布。,17,在,F,(,x,),尚未完全给定,的情况下，每个未知参数用相应的估计量代替，就相当于增加一个制约条件，因此，自由度也随之减少一个。,若有,r,个未知参数需用相应的估计量来代替，自由度就减少,r,个。,故统计量 渐近,(,k,-1-,r,),个自由度的 分布。,18,如果根据所给的样本值,X,1,X,2,X,n,算得统计量 的实测值落入拒绝域，则拒绝原假设，否则就认为差异不显著而接受原假设。,得拒绝域,:,(,不需估计参数,),(,估计,r,个参数,),根据,皮尔逊,定理，对给定的显著性水平,，,查 分布表可得临界值 ，使得,19,连续性矫正,当,df,1,时应做连续,性矫正，矫正方法如下：,20,皮尔逊定理是在,n,无限增大时推导出来的，因而在使用时要注意,n,要足够大,，以及,np,i,不太小,这两个条件。,根据,计算实践,，要求,n,不小于,50,，以及,np,i,都不小于,5,。否则应适当合并区间，使,np,i,满足这个要求。,皮尔逊定理小结,21,奥地利生物学家孟德尔进行了长达八年之久的豌豆杂交试验，并根据试验结果，运用他的数理知识，发现了,分离规律,。,孟德尔,以遗传学上的一项伟大发现为例，说明统计方法在研究自然界和人类社会的规律性时，是起着积极的、主动的作用。,22,【,例,1,】,子二代,子一代,黄色纯系,绿色纯系,他的一组观察结果为：,黄,70,，绿,27,近似为,2.59:1,，与理论值相近。,根据他的理论，子二代中，黄、绿之比 近似为,3:1,，,23,这里，,n,=70+27=97,，,k,=2,检验孟德尔的,3:1,理论,:,提出假设,H,0,:,O,-,T,=0(,p,1,=3/4,，,p,2,=1/4),理论频数为：,np,1,=72.75,，,np,2,=24.25,实测频数为,70,（,黄,），,27,（,绿,）。,24,自由度为,2-1=1,未落入拒绝域。,故认为试验结果符合孟德尔的,3:1,理论。,按,=0.05,，自由度为,1,，查表得,由于统计量,=0.41583.841,25,【,引例,1,】,某地区,在,1500,到,1931,年的,432,年间，共爆发了,299,次战争，具体数据如下（每年爆发战争的次数可以看作一个随机变量,X,）：,战争次数,X,0,1,2,3,4,223,142,48,15,4,发生,X,次战争的年数,26,【,例,2】,引例,1,，检验每年爆发战争次数分布是否服从泊松分布。,按参数,为,0.69,的泊松分布，计算事件,X=i,的概率,p,i,，,p,i,的估计是：,H,0,：,O,-,T,=0,（,X,服从参数为,的泊松分布）,根据观察结果，得参数,的极大似然估计为：,解：,将有关计算结果列表如下,:,27,2.,因,H,0,所假设的理论分布中有一个,未知参数,，故自由度为,4-1-1=2,。,1.,将,np,i,5,的组予以合并，即将发生,3,次及,4,次战争的组归并为一组。,28,按,=0.05,，自由度为,4-1-1=2,，查表得：,统计量,:,未落入拒绝域。,故认为每年发生战争的次数,X,服从参数为,0.69,的泊松分布。,29,2,检验的另一应用,-,独立性检验,是指研究,两个或两个以上,的,计数资料,（或属性资料）之间是否相互独立的假设检验，先假设所观测的各属性之间没有关联，然后检验这种无关联的假设是否成立。,方法,1,：列联表,2,检验,30,【,例,】,下表给出不同给药方式与给药效果,，问给药方式与给药效果是否有关联。,检验统计量：,？,31,【,例,】,下表给出不同给药方式与给药效果,，求证：给药方式与给药效果有无关联。,若事件,A,和事件,B,是相互独立的，则,P,(,AB,)=,P,(,A,),P,(,B,),32,列联表,2,检验,一般步骤,提出零假设：假设实测数,与,理论数无差异。即,H,0,：,O,T,0,。,计算理论数：若事件,A,和事件,B,是相互独立的,，,则,P,(,AB,)=,P,(,A,),P,(,B,),。,例如：,在给药方式和效果之间是相互独立的前提下，计算口服（事件,B,）有效（事件,A,）的,概率,P,(,BA,),P,(,B,),P,(,A,)=(98/193)(122/193),。其,理论数,T,1,(98/193)(122/193)193=(98)(122)/193,。,每个理论值用,T,ij,表示，,T,ij,=,(i,行总数,)(,j,列总数,)/,总数。,33,列联表,2,检验,一般步骤,计算,2,值：若,2,2,，则拒绝,H,0,。,确定,df,：因为每一行的各理论数受该行总数约束，每一列的各理论数受该列总数约束，所以,df,(,r,-1)(,c,-1),。,给出结论。,34,2.,计算理论数：,1.,零假设,H,0,：,O,T,0,T,ij,=,(i,行总数,)(,j,列总数,)/,总数,35,3.,计算,2,值,36,4.,确定,df,df,(,r,-1)(,c,-1),(2-1)(2-1),1,取,=0.05,，,5.,给出结论：,接受,H,0,，不同给药方式的治疗效果没有显著不同。,注意：本例的,df,=1,应当矫正，矫正后的,2,值更小，不会影响结论，可以不再矫正。,37,r,c,列联表,2,检验,r,c,列联表是,22,表的扩展；反之，,22,表也可以看成是,r,c,列联表的一个特例。,r,c,列联表理论数的计算与,22,列联表相同：,T,ij,=,(i,行总数,)(,j,列总数,)/,总数。,df,=(,r,-1)(,c,-1),。,38,【,例,】,检查鱼的饲养方式与鱼的等级是否有关，设计了如下试验：按不同方式分为三种网箱饲养类型：,A,、,B,、,C,，统计不同饲养方式下鱼的等级情况，得如下数据，试分析。,等级,饲养方式,总数,A,B,C,甲,22,18,16,56,乙,18,16,14,48,丙,11,13,14,38,丁,8,11,10,29,总数,59,58,54,171,39,等级,饲养方式,总数,A,B,C,甲,22,（,19.32,）,18,（,18.99,）,16,（,17.68,）,56,乙,18,（,16.56,）,16,（,16.28,）,14,（,15.16,）,48,丙,11,（,13.11,）,13,（,12.89,）,14,（,12.0,）,38,丁,8,（,10.01,）,11,（,9.84,）,10,（,9.16,）,29,总数,59,58,54,171,2.,计算理论数：,1.,零假设,H,0,：,O,T,0,T,ij,=,(i,行总数,)(,j,列总数,)/,总数,40,3.,计算,2,值,41,等级,饲养方式,总数,A,B,C,甲,22,（,19.32,）,18,（,18.99,）,16,（,17.68,）,56,乙,18,（,16.56,）,16,（,16.28,）,14,（,15.16,）,48,丙,11,（,13.11,）,13,（,12.89,）,14,（,12.0,）,38,丁,8,（,10.01,）,11,（,9.84,）,10,（,9.16,）,29,总数,59,58,54,171,4.,计算,df,：,df,=(,r,-1)(,c,-1),=(4-1)(3-1),=6,42,接受原假设，即商品鱼的规格与饲养方式无关。,5.,结论,43,r,c,列联表,2,检验的局限性,与吻合度检验一样，理论数不得小于,5,。,44,22,列联表的精确检验法,a,b,a,+,b,c,d,c,+,d,a,+,c,b,+,d,N,45,0,4,4,3,2,5,3,6,9,1,3,4,2,3,5,3,6,9,2,2,4,1,4,5,3,6,9,3,1,4,0,5,5,3,6,9,表,1,表,2,表,3,表,4,4,5,3,6,9,46,0,4,4,3,2,5,3,6,9,表,1,4,5,3,6,9,根据组合公式，,9,分解为,4,和,5,，共：,9,分解为,3,和,6,，共：,9,在行间分解为,4,和,5,，在列间分解为,3,和,6,，共：,根据组合公式，,9,分解为,0,，,4,，,3,和,2,，共：,47,0,4,4,3,2,5,3,6,9,表,1,4,5,3,6,9,出现表,1,的概率是：,48,0,4,4,3,2,5,3,6,9,1,3,4,2,3,5,3,6,9,2,2,4,1,4,5,3,6,9,3,1,4,0,5,5,3,6,9,表,1,表,2,表,3,表,4,各列联表的概率：,49,求任一列联表概率的通式：,a,b,a,+,b,c,d,c,+,d,a,+,c,b,+,d,N,注意：,原假设是处理间不存在差异；,如果,P,，接受原假设；,如果,P,，接受备择假设。,50,饲料,未增重,/,只,增重,/,只,总数,A,4,1,5,B,0,6,6,总数,4,7,11,【,例,1】,用两种饲料,A,和,B,饲养小白鼠，一周后测小白鼠增重情况（如下表）。问用,不同饲料,饲养的小白鼠体重是否,存在差异,？,51,饲料,未增重,/,只,增重,/,只,总数,A,4,1,5,B,0,6,6,总数,4,7,11,解：,1.,原假设,H,0,：两种饲料的饲养效果相同,2.,计算,P,值,52,饲料,未增重,/,只,增重,/,只,总数,A,4,1,5,B,0,6,6,总数,4,7,11,解：,3.,结论,双侧检验，,P,值与,/2,比较,P=,0.015 0.025,接受原假设，男女对该药物的反应没区别。,57,适合性检验,独立性检验,变异性检验,2,检验的应用（小结）,58,1.,变异性检验,在,连续型资料,的假设检验中，对,一个假设的总体标准差,的同质性检验。,【,例,】,一个混杂的小麦品种，株高标准差,0,14,cm,，经提纯后随机抽出,10,株，它们的株高为：,90,、,105,、,101,、,95,、,100,、,100,、,101,、,105,、,93,、,97,cm,，考查提纯后的群体是否比原群体整齐？,检验统计量：,59,2.,适合性检验,是指通过一定的理论分布推算出样本的理论数，然后用,实际观测值与理论数,相比较，从而判断实际观测值与理论数之间是否吻合（吻合度检验）。,检验统计量,60,2.,适合性检验,-,二项分布的检验,【,例,1,】,独立分配规律的验证。,子二代,子一代,黄色纯系,绿色纯系,61,2.,适合性检验,-,泊松分布的检验,【,例,2,】,某地区,在,1500,到,1931,年的,432,年间，共爆发了,299,次战争，检验每年爆发战争次数分布是否服从泊松分布（上次课内容）。,62,3.,独立性检验,是指研究,两个或两个以上,的,计数资料,（或属性资料）之间是否相互独立的假设检验，先假设所观测的各属性之间没有关联，然后检验这种无关联的假设是否成立。,63,检验统计量：,64,