高中数学 11(回归分析)课件 北师大版选修1-2 课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,数学：,回归分析,课件,PPT,（北师大版选修,1-2,）,回归分析,5.1 概述,回归分析研究变量与变量之间关系的数学方法。,变量之间的关系：,5.1.1,确定性关系,函数关系，经反复的精确试验或严格的数学推导得到。如,S=,vt,。,数学分析和物理学中的大多数公式属于这种类型。,到方差分析,实际问题中，绝大多数情况下，变量之间的关系不那么简单。如材料的抗拉强度与其硬度之间的关系；材料的性能与其化学成份之间等等。,这些变量之间既存在着密切的关系，又不能由一个（或几个）变量（自变量）的数值精确地求出另一个变量（因变量）的数值，而是要通过试验和调查研究，才能确定它们之间的关系，如,图,5.1,所示，虽然各组数据不是准确地服从,f(x,),关系，但,y,值总还是随,x,的增加而增加。我们称这类变量之间的关系为,相关关系。,5.1.2,相关关系,虽然各组数据不是准确地服从,f(x,),关系，但,y,值总还是随,x,的增加而变化。,5.1 概述,回归分析的主要内容：,应用数学的方法，对大量的测量数据进行处理，从而得出比较符合事物内部规律的数学表达式（数学模型）。,（5,-1,）,待定常数,5.2 最小二乘法原理,假设,x,和,y,是具有某种相关关系的物理量，它们之间的关系可用下式给出：,5.2 最小二乘法原理,同时测量,x，y,的数值，设有,m,对观测结果：,利用观测值，确定 。设,x，y,关系的最佳形式为：,（5,-2,）,（5,-3,）,最佳估计值,如不存在测量误差，则：,（5,-4,）,由于存在测量误差，因而式（5,-3,）与（5,-4,）不相重合，即有：,（5,-5,）,残差误差的实测值,5.2 最小二乘法原理,式（53）中的,x,变化时，,y,也随之变化。如果,m,对观测值中有比较多的,y,值落到曲线（51）上，则所得曲线就能较为满意地反映被测物理量之间的关系，,y,值同时出现的概率最大，则曲线（53）就是曲线（51）的最佳形式。如,图5,.1a,所示。如果误差服从正态分布则概率,P(e,1,e,2,e,m,),为：,（57）,当,P,最大时，求得的曲线就应当是最佳形式。从图5,-1a,中可以看出，显然，此时下式应最小：,（56）,即残差平方和最小，这就是最小二乘法原理的由来。,图5,.1a,5.2 最小二乘法原理,这里假定,x,i,无误差。式（57）可以写成：,（58）,S,最小，就应有：,（59）,即要求求解如,下联立方程组：,（510）,正规方程，最小二乘解。,5.3 直线的回归,5.3.1,一元直线回归分析,对一元线性回归而言，就是配直线的问题，下面通过例题加以分析说明。,例,5.1,研究腐蚀时间与腐蚀深度两个变量之间的关系，可把腐蚀时间作为自变量,x把腐蚀深度作为因变量,y，,将试验数据记录在,表5,-1,中。求出,x,，,y,之间的线性关系。,解：,将,表,5-1,中的,(,x,y,),数据，在直角坐标系中对应地做出一系列的点，可得,图,5.2,，这种图称之为散点图。,与,x,的关系大致呈直线关系，但并不是确定性的关系，而是一种相关关系：,回归系数,（511）,最佳估计值应使其残差平方和最小，残差为：,（512）,图52、表51,表,5-1,试验数据,.,5.3.1,一元直线回归分析,其平方和为：,（513）,平方和最小，即：,（514）,得正规方程组：,（515）,5.3.1,一元直线回归分析,令平均值为：,（516）,由511得：,（517）,（518）,由,式（515）,得：,5.3.1,一元直线回归分析,（519）,式中,（5,20,）,由式,(5-18),和式,(5-19),可以求得回归直线方程式中的常数,a,及回归系数,b,。,令,5-21,便可得到回归系数的另一种表达式：,5-52,的乘积和；,上述回归直线的具体计算，通常都是列表进行的，本节的示例，具体计算见,表,5-2,。,完成表,5-2,的计算，就可得到回归直线方程：,5-23,1）先把数据在,Excel,中成列输入到电子表格中；,2）,全部选择所有数据；,3）点击,图表向导,快捷按钮，按提示一步一步,建立散点图；,5.3.2,利用微软公司的电子表格Microsoft Excel,）在计算机中进行线性回归的方法,1,4,）建立好散点图后，,用鼠标点到图上散点的位置，单击鼠标左键选中所有的散点,，然后单击鼠标右键，出现一个对话框，点击左键选择添加趋势线，出现另一个对话框，在对话框中选择某些功能，回归直线方程就会出现在图上的某一位置。,2.3.2,方差分析,由,x,预报 ，精确度如何？用,方差分析,解决这一问题。,残差可表示如下：,试验得到的数据,回归直线对应的数据,上式可改写成：,（524）,移项得：,两端平方求和得：,（525）,可以证明此项为零，故得：,上式中三项平方和的意义如下：,代表在试验范围内，观测值,y,i,总的波动情况，称此为,总平方和,。,代表,x,变化所引起的,y,值变化大小的量，即,y,i,波动中，可以通过回归方程计算出来的那一部分，称之为,回归平方和,。,上述三个平方和之间的关系，可以用,图5,.14,表示出来。总平方和可以分解成两部分，回归平方和与残差平方和。,是,残差平方和,，表示了回归方程的拟合误差，即观测值,y,i,偏离回归值 的大小。这一部分不能通过回归方程计算出来，它是,y,i,波动中与,x,无关的部分。,由图中可以看出，如果残差平方和很小，则回归平方和总平方和将接近于1。这时，所有的观测点都靠近或落在回归线上，这就表明回归直线的精度较高。,残差平方和是排除了,x,对,y,的线性影响后的剩余部分，,y,值随机波动程度的大小，用它来估计误差。,产生原因：包括随机误差、那些影响很小但尚未考虑的因素。,自由度：,f,总,=,f,回,+,f,残,f,总,=,m,-1,f,回,=1,f,残,=,f,总,f,回,=,m-2,方差：残差平方和除以它的自由度：,标准偏差估算值：,（529）,用,S,衡量随机因素对,y,的影响。,回归方程可作如下预报：,将例,5.1,一元直线回归的方差分析可归纳在表,5-3,中。,回归方程可改写为：,5.3.4,相关性检验,用一个数量性的指标，来衡量两个变量之间线性相关关系的密切程度相关系数,r。,回归平方和,总平方和,（5,-32,）,r,1 时，说明标准误差很小（试验点与回归点几乎吻合），回归方程才有意义。通常 0,r1。,r,取值不同时的散点分布情况示于图5,.15,中，具体分析如下：,（1）,r=0,时。此时,b=0，,即按最小二乘法确定的回归直线平行于,x,轴，这说明,y,的变化与,x,无关。故,x,与,y,之间没有线性关系。通常，散点的分布是完全不规则的，如,图5,.15,（,a）,所示。,（2）0,r1。,这时，,x,与,y,之间存在着一定的线性关系。当,r 0,时,b0，,散点分布有随,x,增加,y,增加的趋势，此时称,x,与,y,是正相关，如,图5,.15,（,b）,所示。当,r,0,时,b,0，,散点图呈,y,随,x,增加而减小的趋势，此时称,x,与,y,为负相关，如,图5,.15,（,c）,所示。当,r,的绝对值比较大时，散点远离回归直线较为分散；当,r,的绝对值较大时，散点分布就靠近直线。,（3）,r=1。,所有的点都在一条直线上，即散点都落在回归直线上。此时，称,x,与,y,完全性相关。实际上，此时,x,与,y,之间有确定性的线性关系。如,图5,.15,（,d）,所示。,图,5.15(a)x,图,5.15(b)x,图,5.15(c)x,图,5.15(d)x,图,5.15(e)x,从上述讨论可以看出，相关系数,r,表示两个随机变量,x,与,y,之间线性相关的密切程度。,r,越大，愈接近于1，,x,与,y,之间的线性相关也就愈密切。但必须指出，相关系数,r,只表示线性相关的密切程度，当,r,很小，甚至等于零时，并不一定说明,x,与,y,之间就不存在其它关系。如,图5,15(e),所示，虽然,r=0，,但从散点分布看，,x,与,y,之间存在着明显的曲线关系，只不过这种关系不是线性关系罢了。,相关系数的绝对值究竟多大才能认为两个变量是相关的呢？或回归方程才有意义呢？,F,检验：,假设：,H,0,：b=0，F,为：,（534）,可见,r,检验与,F,检验的作用是一致的，只用一种即可。,可查表得出,F,a,=（1，,m2），,当：,F F,0.01,特别显著；,F,0.01,F F,0.05,时，显著；,F,0.05,F F,0.10,时，较显著；,F F,0.10,时，不显著。,（1）先把数据在,Excel,中成列输入到电子表格中；,（2）点击下拉菜单的“,工具,”按钮，鼠标箭头移动到“,数据分析,”项下，点击左键，出现数据分析对话框，在对话框中选择“,回归,”，点击“,确定,”按钮，出现回归对话框，按对话框中的提示，选择对话框中的某些功能，即可得出与直线回归有关的很多参数。,（3）利用计算出的参数，即可写出回归方程。,5.3.5,利用,Excel,在计算机中进行线性回归的方法,2,5.4 曲线回归,在实际问题中，变量之间常常不是直线关系。这时，通常是选配一条比较接近的曲线，通过变量变换把非线性方程加以线性化，然后对线性化的方程应用最小乘法求解回归方程。,最小二乘法的一个前提条件是函数,y=,f（x,）,的具体形式为已知，即要求首先确定,x,与,y,之间内在关系的函数类型。函数的形式可能是各种各样的，具体形式的确定或假设，一般有下述两个途径：一是根据有关的物理知识，确定两个变量之间的函数类型；二是把观测数据划在坐标纸上，将散点图与已知函数曲线对比，选取最接近散点分布的曲线公式进行试算。,常见的一些非线性函数及其线性化方法如下。,5.4.1,曲线回归,（1）双曲线，型，见,图5,.23,。,（2）指数曲线，见,图5,.24,。,（3）指数曲线，见,图5,.25,。,（4）幂函数曲线，见,图526,。,图5,.23(a),双曲线,图5,.23(b),双曲线,图5,.24(a),指数曲线,图5,.24(b),指数曲线,图5,.25(a),指数曲线,图5,.25(b),指数曲线,图5,.26(a),幂函数曲线,0,b 1,b=1,图5,.26(b),幂函数曲线,b,1,b=1,1,b 0,c 0,图5,.29(b),对数抛物线,b,0,c 0,如上所述，许多曲线都可以通过变换化为直线，可以按直线拟合的办法来处理。,必须注意！所配曲线的回归中，,r、S、F,等的计算稍有不同。,u、v,等仅仅是为了变量变换，使曲线方程变为直线方程，然而要求的是所配曲线与观测数据拟合较好，所以计算,r、S、F,等时，应首先根据已建立的回归方程，用,x,i,依次代入，得到,y,i,后再计算,残差平方和 及总平方和 ，于是：,（536）,（537）,（538）,下面举例说明曲线回归的一般计算方法。,例,5.2,炼钢厂出钢用钢包在使用过程中，由于钢液及炉渣对耐火材料的浸蚀，其容积不断增大。钢包的容积（用盛满钢水的重量,kg,表示）与相应的使用次数列于,表5,-4,中。求：,x,、,y,之间的关系式：,表,5-4,试验数据,解：,首先按实测数据做散点图，如,图5,.30,所示。,由图可见，最初容积增加很快，以后减慢并趋于稳定。根据这个特点，选用,双曲线,：,(539）,表示容积,y,与使用次数,x,的关系。,（5,-40,）,对新变量,u、v,而言，式（5,-40,）是一个直线方程，因而可用最小二乘法进行拟合计算，求出回归系数,b,和常数项,a。,计算步骤如下：,（1）根据表5,-4,中的数据，计算出,v,、,v,2,、,u,、,u,2,、,uv,和回归系数,b,及常数项,a,列于,表5,-5,中。,(2),得出变换后的回归直线方程式为：,变换回原始曲线方程为：,将原始数据带入回归方程式,(5-42),中，计算标准偏差,S,和相关系数,R,，计算结果见,表,5-6,所示。,由表,5-6,得出的参数可写出最后的回归曲线方程式为：,本例应用最小二乘法，虽然使用双曲线拟合，在计算过程中使残差平方和达到了最小，但这并不足以说明，所配双曲线是对表,5-4,中数据的最佳拟合曲线。因而在配曲线时，最好用不同的函数类型计算后再进行比较，选取其中最优者，即选取相关系数,R,为最大的曲线。此外，在曲线拟合时也可采用分段拟合的方法，即在不同的自变量区间内配以不同的曲线来进行拟合。下面我们采用计算机处理方法，用其它类型的函数进行回归拟合试一试，看会得出什么样的结果？,利用,Excel,对,x、y,的数据作散点图，直接作出回归曲线。,第一步:在,Excel,电子表格中，按列（行）输入,x,与,y,的试验数据。,第二步：对,x,与,y,的试验数据作出散点图。,第三步：在图中选定散点的数据，做多项式的趋势线，即得到相应的回归曲线。,5.4.2,用,Excel,电子表格软件进行曲线回归的方法,5.4.2.1,方法,1,5.4.2.2,方法,2,利用,Excel,对,x、y,的数据求出所有的回归系数及方差分析数据。,第一步:在,Excel,电子表格中，按列（行）输入,x,与,y,的试验数据。,第二步：对,x,数据进行格式化复制,x,2,x,8,。,第三步：在表中选定所有,xx,8,数据，选择“工具”下拉菜单,“,数据分析”，按提示进行操作，即可得出全部计算分析数据。,5.,5,多元回归,5.5.1,基本概念,上面讨论的是只有两个变量的回归问题，其中一个是自变量，另一个是因变量。但在大多数情况下，自变量不是一个而是多个，称这类问题为多元回归问题。,多元回归中最简单且最基本的是多元线性回归。如自变量,x,i,(i=1,2,G)，,进行,m,次试验，所得的数据可以写成两个数组，即两个矩阵：,显然，多元线性统计模型是：,（5,-45,）,多元线性回归分析原理，与一元线性回归分析原理完全相同只是计算上复杂得多。但是用计算机来进行计算工作量与一元线性回归相比，复杂程度并不大。根据最小二乘法，应使残差：,试验值,回归值,最小,下面我们通过例题来说明如何进行多元线性回归。,例,5.3,某种水泥在凝固时放出的热量,y(J/g),与水泥中下列四种化学成分的含量有关：,x,1,3C,a,O Si,2,O,3的含量，%,x,2,2C,a,O S,i,O,2,的含量，%,x,3,3C,a,O Al,2,O,3,的含量，%,x,4,4C,a,O,Al,2,O,3,Fe,2,O,3,的含量，%,原始试验数据如表,5-7,所示：,求解步骤如下：,用,Excel,电子表格,点击下拉菜单“工具”栏,点击“数据分析”项,选择“回归”项,按回归对话框中的提示，进行选择操作，即可得出全部的回归系数、相关系数、标准偏差等数据。,根据计算出的回归系数写出回归方程。,完,5.5.3,多元曲线回归,多元线性回归还可以扩展到更为普遍的情况。假定有：,（5,-54,）,式中，是,x,的已知函数，不含有未知参数,c，,则显然对待定参数,c,而言，该式仍为线性函数。,如下面函数式的格式就是此类函数的一例：,(5-55),一般，常用的统计数学模型为,G1,阶多项式：,（5,-56,）,任何函数至少在一个比较小的范围内可以用多项式任意逼近。因此，在比较复杂的实际问题中，往往不管,y,与各因素的关系如何，而采用多项式进行回归。可见，多项式回归在回归问题中占有特殊的地位。,方法步骤如下：,将数据成列输入到,Excel,电子表格中,根据,x,列的数据分别计算,x,2,、,lnx,、,1/x,、,(lnx),2,。,按顺序排列于,x,列的右则。,点击下拉菜单的“工具”项，点击“数据分析”。,在数据分析对话框中，选取“回归”项，点击确定，出现回归对话框。,按对话框中的提示进行操作，即可得出多项式回归曲线中各项中的系数。然后按,x,x,2,、,lnx,、,1/x,、,(lnx),2,的对应关系代入方程中即得出回归曲线的多项式方程。,