方差分析与回归分析.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,第,*,页,李艳,yli,华东师范大学金融与统计学院,数理统计的三大核心：,1,、抽样分布,2,、参数估计（点估计和区间估计）,3,、假设检验,抽样调查,试验设计,1,、调查数据,2,、试验数据,3,、一般数据,抽样调查,多元统计分析,描述性统计、非参数统计、回归分析等,方差分析,时间：,时间序列,寿命：,可靠性统计等,高维：,多元统计分析、回归分析等,收集数据,分析数据,方差分析,一、几个概念,二、单因子方差分析,一、几个概念,影响试验结果的因素,有许多，将在,试验中加以考察而改变状态的因素称为,因子,，常用大写英文字母,A,、,B,、,C,、,等表示。,因子在试验中所取的状态,称为,水平,。因子,A,的水平用代表因子的字母加下标表示，记为,A,1,，,A,2,，,，,A,r,。,在一次试验中每个因子总取一个特定的水平，称,各因子水平的一个组合,为一个,处理,或一个,试验条件,。,衡量试验条件好坏的特性（可以是质量特性也可以是产量特性或其它）称为,指标,，用,y,表示，这就是我们采用的,试验结果,。,质量特性：强度，寿命，,产量特性：收率，亩产量，,其它：成本，时间，,在,每个水平,下，指标,y,是一个随机变量，,指标的全体构成一个总体；,因子有多少个水平就有多少个总体。,该例中含一个因子：,因子,A,：工厂,该因子有三个水平：,A,1,:,甲,A,2,:,乙,A,3,:,丙,试验指标是：,零件强度,这是一个单因子试验的问题。每一水平下的试验结果构成一个总体，现在,需要比较三个总体均值是否一致。,在满足某些条件时，,比较若干个总体均值是否一致,的问题可以用方差分析方法来解决,。,如果在一个试验中仅考察一个因子，这便是,单因子试验问题,；,如果在一个试验中要考察两个或更多的因子，这便是,多因子试验问题,，这将在第三节讨论。,我们这里仅讨论单因子试验中的数据分析方法。,例,.,比较洁霉素和青霉素对于治疗扁桃腺炎的疗效。,因子,A,：抗菌素品种,A,有,2,个水平：,A,1,（结霉素），,A,2,（青霉素）,指标：治疗扁桃腺炎的疗效,目的：比较两种药物疗效,方法：单因子方差分析,二、单因子方差分析,假定因子,A,有,r,个水平，在,A,i,水平下指标服从,正态分布,，其均值为 ，,i,=1,2,r,，,方差为 。,每一水平下的指标全体便构成一个总体，共有,r,个,总体。,这时比较各个总体的问题就变成,比较各个总体的均值是否相同,的问题了，即要检验：,不全相等,备择假设,H,1,：,原假设,H,0,：,当,H,0,不真,时，表示不同水平下的指标的均值有显著差异，此时称因子,A,是,显著的,，否则称因子,A,不显著。,参见,p76,页示意图,。,检验这一假设的统计方法便是方差分析,。,为检验上述假设，需要从每一总体中抽取样本。,设在一个试验中只考察一个因子,A,，它有,r,个水平,，在每一水平下进行,m,次重复试验,，其结果用 表示，,i,=1,2,r,。,在这些假定下检验如下假设：,H,0,：,H,1,：不全相等,方差分析的,实质,是,检验若干个具有相同方差的正态总体的均值是否一致,的一种统计分析方法。,在单因子方差分析中实际上作了三个,假定,：,（,1,）在水平,A,i,下，指标服从正态分布,（2）在不同水平下，各方差相等,（3）各数据,y,ij,相互独立,设在一个试验中只考察一个因子,A,，它有,r,个水平，在每一水平下进行,m,次重复试验，其结果用 表示，,i,=1,2,r,。,常常把数据列成如下表格形式：,表 单因子试验数据表,水平 试验数据 和 均值,A,1,T,1,A,2,T,2,A,r,T,r,m,2,记第,i,水平下的数据均值为 ，总的均值,为 。此时共有,n=rm,个数据，这,n,个数据不全相同，它们的波动可以用总的偏差平方和,S,T,表示,引起数据波动的原因不外如下两个：,一是由于因子,A,的水平不同。,当假设,不真时，各个水平下指标的均值不同，这必然会使试验结果不同，我们可以用,组间偏差平方和,来表示，也称,因子,A,的偏差平方和,：,这里乘以,m,是因为每一水平下进行了,m,次试验。,二是由于存在随机误差。,即使在同一水平下获得的数据间也有差异，这是除了因子,A,的水平外的其他一切原因引起的，我们将它们归结为随机误差，可以用,组内偏差平方和,表示：,可以证明有如下平方和分解式：,平方和,自由度,均方,总的：,组间：,组内：,由随机波动造成的平均误差,由水平不同造成的平均偏差,由随机波动造成的平均误差,由水平不同造成的平均偏差,检验的思想：,若,MS,A,与,MS,e,相当,，说明由水平不同所造成的偏差保持在随机误差范围内，即,水平的不同没有造成指标本质的不同，只涉及随机波动,。,反之，,若,MS,A,远远大于,MS,e,，说明由水平造成的偏差已不是随机波动的范围，而是,因水平不同已导致了指标显著的不同。,当 时拒绝原假设，,认为在显著性水平 上因子,A,是,显著,的。,因此，取检验统计量,:,表 单因子方差分析表,来源 偏差平方和 自由度 均方和,F,比,因子,A =,r,-1,误差,e =n-,r,总计,T =,n,-1,各个偏差平方和的计算,：,进行方差分析的步骤如下：,(1),计算因子,A,的每一水平下数据的和,T,1,，,T,2,，,，,T,r,及总和,T,；,(2),计算各类数据的平方和,(3),依次计算,S,T,，,S,A,，,S,e,；,(4),填写方差分析表；,(5),对于给定的显著性水平 ，将求得的,F,值与,F,分布表中的临界值 比较，当,时认为因子,A,在给定的显著性水平下是显著的，否则认为因子,A,是不显著的。,借助有,统计功能（,stat,）的计算器：,输入数据后可直接得到,样本均值,、,方差,等,用,Excel,：,工具,数据分析,方差分析：单因素方差分析,对上例的分析,(1),计算各类和：,每一水平下的数据和为：,数据的总和为,T=1200,(2),计算各类平方和：,原始数据的平方和为：,每一水平下数据和的平方和为,(3),计算各偏差平方和：,S,T,=121492-1200,2,/12=1492,，,f,T,=3,4,-,1=11,S,A,=485216/4-1200,2,/12=1304,f,A,=3,-,1=2,S,e,=1492-1304=188,f,e,=11,-,2=9,表 单因子方差分析表,来源 偏差平方和 自由度 均方和,F,比,因子,A=1304 =,2,误差,e=188 =,9,总计,T=1492 =,11,(4),列方差分析表：,(5),结论：,如果给定,=0.05,，从,F,分布表查得,由于,F4.26,，所以,在,=0.05,水平上我们的结,论是因子,A,是显著的,。这表明不同的工厂生产,的零件强度有明显的差异,。,当因子,A,是显著时，我们还可以,给出每一水平下指标均值的估计，以便找出最好的水平,。在单因子试验的场合，第,i,个水平指标均值的估计为：,在本例中，三个工厂生产的零件的平均强度的的估计分别为：,由此可见，乙厂生产的零件的强度的均值最大，,如果我们需要强度大的零件，那么购买乙厂的为好,，而从工厂来讲，甲厂与丙厂应该设法提高零件的强度。,为直观起见，可以画一个各水平的均值图：,误差方差的估计,:,这里方差 的估计是,MSe,。,在本例中：的估计是,20.9,。,的估计是,。,例 为测定某化工厂对周围环境的影响，随机选择四个观测点各测定,4,次,SO,2,的含量，计算得到各自的均值与标准差，如下表所示，问在显著性水平,0.05,上各观测点的含量是否有显著差异,？,观测点,一,二,三,四,均值,0.031,0.100,0.079,0.058,标准差,0.009,0.014,0.010,0.011,四个观测点的均值与标准差,主要是计算问题，请参见,p80,若在每一水平下试验次数不同，假定在,A,i,水平下进行了 次试验，那么进行方差分析的步骤仍然同上，只是在计算中有两个改动：,重复数不等的情况,例 某型号化油器原中小喉管的结构使油耗较大，为节约能源，设想了两种改进方案以降低油耗。油耗的多少用比油耗进行度量，现在对用各种结构的中小喉管制造的化油器分别测定其比油耗，数据如表所列，试问中小喉管的结构（记为因子,A,）对平均比油耗的影响是否显著。,表 试验结果,水平 试验结果（比油耗,-220,）,A,1,：原结构,11.0 12.8 7.6 8.3 4.7 5.5 9.3 10.3,A,2,：改进方案,1 2.8 4.5-1.50.2,A,3,：改进方案,2 4.3 6.1 1.43.6,(,这里一切数据均减去,220,不影响,F,比的值,),(1),各水平下的试验次数及数据和分别为：,A,1,：,m,1,=8,T,1,=69.5,A,2,：,m,2,=4,T,2,=6.0,A,3,：,m,3,=4,T,3,=15.4,总的试验次数,n=16,，数据的总和为,T=90.9,(2),计算各类平方和：,(3),计算各偏差平方和：,S,T,=757.41-516.43=240.98,，,f,T,=16-1=15,S,A,=672.07-516.43=155.64,f,A,=3-1=2,S,e,=240.98-155.64=85.34,f,e,=15-2=13,单因子方差分析表,来源 偏差平方和 自由度 均方和,F,比,因子,A=155.64 =,2,误差,e=85.34 =,13,总计,T=240.98 =,15,(4),列方差分析表：,(5),结论：,如果给定,=0.05,，从,F,分布表查得,由于,F3.81,，所以,在,=0.05,水平上我们的结,论是因子,A,是显著的,。这表明不同的中小喉管,结构生产的化油器的平均比油耗有明显的差异,。,我们还可以给出不同结构生产的化油器的平,均比油耗的估计：,这里加上,220,是因为在原数据中减去了,220,的,缘故。,由此可见，,由于比油耗越小越好，从比油耗的角度看，两种改进结构都比原来的好，特别是改进方案,1,。,在本例中误差方差的估计为,6.56,，标准差的估计为,2.56,。,回归分析,一、一元线性回归,二、一元非线性回归,一、一元线性回归,例 合金的强度,y,与合金中的碳含量,x,有关。为了生产出强度满足用户需要的合金，在冶炼时应该如何控制碳含量？如果在冶炼过程中通过化验得到了碳含量，能否预测合金的强度？,这时需要研究两个变量间的关系。首先是收集数据,(,x,i,y,i,),，,i=1,2,n,。,数据表,序号,x y,1 0.10 42.0,2 0.11 43.5,3 0.12 45.0,4 0.13 45.5,5 0.14 45.0,6 0.15 47.5,7 0.16 49.0,8 0.17 53.0,9 0.18 50.0,10 0.20 55.0,11 0.21 55.0,12 0.23 60.0,(,一,),散布图,（二）相关系数,在散布图上,n,个点在一条直线附近，但又不全在一条直线上，称为两个变量有,线性相关关系,，可以用相关系数,r,去描述它们关系的密切程度,其中,r,的取值范围是,-1,1,2.|,r,|=1,的情况：,|,r,|=1,为,完全线性相关,r,=1,，为,完全正线性相关,r,=-1,，为,完全负正线性相关,r,=0,的情况：,不存在,线性,相关,关系相关,与,相当,4.-1,r,0,的情况：,为,负线性相关,占优势,5.0r,0.576,，说明,在显著性水平,0.05,下,，两个变量间,有线性相关关系,，为,正相关,。,（三）一元线性回归方程,1.,一元线性回归方程的求法：,一元线性回归方程,的表达式为,其中,a,与,b,使下列,偏差平方和,达到最小：,通过求导，可知,称这种估计为,最小二乘估计,。,使观测值与回归模型拟合值最接近,求一元线性回归方程的步骤如下：,(1),求变量,x,与,y,的数据和,T,x,T,y,(2),求各变量的平方和与乘积和,(3),求,L,xx,L,xy,(4),求,a,与,b,利用前面的数据，可得：,b,=2.4392/0.0186=130.6022,a,=590.5/12-130.6022,1.90/12=28.5340,(5),写出回归方程：,这表明回归直线过两个点：,(0,a,),与,回归方程有两种表示方法：,2.,回归方程的显著性检验,有两种方法：,一是用方差分析方法，将总的偏差平方和分解成两个部分：回归平方和与残差平方和,总的偏差平方和,：,回归平方和,：,残差平方和,：,且有,S,T,=S,R,+S,E,，其中,它们的,自由度,分别为：,f,T,=n-1,，,f,R,=1,，,f,E,=n-2=f,T,-f,R,来源 偏差平方和 自由度 均方,F,比,回归,S,R,f,R,MS,R,F=MS,R,/MS,E,残差,S,E,f,E,MS,E,T,S,T,f,T,对给定的显著性水平 ，当,时认为回归方程是显著的，即回归方程是有意义的。一般也列成方差分析表。,对上面的例子，作方差分析的步骤如下：,根据前面的计算,(1),计算各类平方和：,S,T,=,L,yy,=335.2292,，,f,T,=12-1=11,S,R,=,bL,xy,=130.6022 2.4392=317.2589,，,f,R,=1,S,E,=335.2292-317.2589=17.9703,，,f,E,=11-1=10,(2),列方差分析表：,来源 偏差平方和 自由度 均方和,F,比,回归,S,R,=317.2589 1 317.2589 176.55,残差,S,E,=17.9703 10 1.7970,T,S,T,=335.2292 11,对给定的显著性水平,=0.05,，有,F,0.95,(1,10)=4.96,由于,F4.96,，所以在,0.05,水平上认为回归方程是显著的,。,2.,回归方程的显著性检验,二是用上述的相关系数,即,对给定的显著性水平 ，当,认为两变量间存在线性相关关系,。,为什么可以用相关系数,r,来判别回归方程的显著性呢？,3.,利用回归方程进行预测,对给定的,x,=,x,0,y,的预测值为,概率为 的预测区间是,其中,当,n,较大，,x,0,与 相差不大，那么可给出近似的预测区间，此时,为,N(0,1),的 分位数,进行预测的步骤如下：,(1),对给出的,x,0,求预测值,上例，设,x,0,=0.16,，则,(2),求 的估计,上例有,(3),求,上例,n=12,，如果求概率为,95%,的预测区间，那么,t,0.975,(10)=2.228,，所以,(4),写出预测区间,上例为,(49.43-3.11,49.43+3.11)=(46.32,52.54),4.,利用回归方程进行控制,如果,y,在,(,y,L,y,U,),内为合格，那么为以概率为 保证其合格，近似地可以将,x,控制在区间,(,x,1,x,2,),内，,x,1,x,2,是下列不等式的解：,对上例，,y,在,(44,54),内为合格，如果要求,以概率为,95%,保证其合格，那么从下列不,等式组可以解得,x,的范围：,解得,x,的范围为,(0.1385,0.1749),二、一元非线性回归,1,可能的曲线回归方程的选择,:,图,2.2-4,2,方程中系数的估计：,通过变换，化为一元线性回归方程,，用前面的最小二乘估计求出。,3,方程的比较：,(1),相关指数,R,，其平方也称为决定系数：,R,越大,说明,残差越小,回归曲线,拟合越好,从总体上给出一个拟合好坏程度的度量。,(2),剩余标准差,s,：,s,为观测点与曲线的平均偏离程度的度量，,s,越小,表明回归方程,效果越好,。,例 炼钢厂出钢水时用的钢包，在使用过,程中由于钢水及炉渣对耐火材料的浸蚀，其容积不断增大。现在钢包的容积用盛满钢水时的重量,y,表示，相应的试验次数用,x,表示。数据如下表，要找出,y,与,x,的定量关系表达式,.,数据表,序号,x y,1 2 106.42,2 3 108.20,3 4 109.58,4 5 109.50,5 7 110.00,6 8 109.93,7 10 110.49,8 11 110.59,9 14 110.60,10 15 110.90,11 16 110.76,12 18 111.00,13 19 111.20,散点图,可用模型有多种，譬如：,(1)1/,y,=,a,+,b,/,x,(,a,0,b,0),(2)y,=,a,+,b,lg(,x,)(,b,0),(3)(,b,0),(4)y,-100=,a,exp(-,b,/,x,)(,b,0),还可以给出其它的模型。,考虑：,1,）如何估计所选方程中的参数？,2,）如何评价所选方程的优劣？,2.,参数估计：,以,(1),来讲，只要令,u=1/x,v=1/y,模型就化为一元线性回归，可以得到,T,u,=2.050883,T,v,=0.118267,=0.537218,，,=0.018835,L,uu,=0.537218-2.050883,2,/13=0.213670,L,uv,=0.018835-2.050883,0.118267,/13=0.000177,从而：,b,=0.000177/0.213670=0.000829,a,=,0.118267/13-0.000829,2.050883/13,=0.008967,可以得到,即,同理可得：,序号,x y u v,拟合值,观测值,-,拟合值,1 2 106.42 0.500000 0.0093967 106.596-0.176,2 3 108.20 0.333333 0.0092421 108.190 0.010,3 4 109.58 0.250000 0.0091258 109.005 0.575,4 5 109.50 0.200000 0.0091324 109.499 0.001,5 7 110.00 0.142857 0.0090909 110.071-0.071,6 8 109.93 0.125000 0.0090967 110.250-0.320,7 10 110.49 0.100000 0.0090506 110.503-0.013,8 11 110.59 0.090909 0.0090424 110.595-0.005,9 14 110.60 0.071429 0.0090416 110.793-0.193,10 15 110.90 0.066667 0.0090171 110.841 0.059,11 16 110.76 0.062500 0.0090285 110.884-0.124,12 18 111.00 0.055556 0.0090090 110.955 0.045,13 19 111.20 0.052632 0.0089928 110.984 0.216,3.,曲线回归方程的比较,对,(1),来讲：,对四个回归方程的比较如下：,方程号,(1)(2)(3)(4),R,2,0.9728,0.8773 0.7851 0.9623,s,0.2292,0.4864 0.6437 0.2696,不论用哪个标准，都是,(1),较好,