化学试验设计法中的回归分析省公共课一等奖全国赛课获奖课件.pptx

164 多元线性回归多元线性回归 一元线性和非线性回归方法对单原因试验很管用，不过一元线性和非线性回归方法对单原因试验很管用，不过我们在试验中经常碰到是多原因情况。我们在试验中经常碰到是多原因情况。譬如分析化学中常见多组分分析问题，怎样做？譬如分析化学中常见多组分分析问题，怎样做？传统方法是采取传统方法是采取化学掩蔽化学掩蔽或或分离等方法分离等方法，将其转化为单，将其转化为单原因进行研究。原因进行研究。但这么经常费时费劲，还得到不一定是最好条件。但这么经常费时费劲，还得到不一定是最好条件。还有如前面提到均匀设计法数据分析，要求出多个原因还有如前面提到均匀设计法数据分析，要求出多个原因最优水平，怎样做？最优水平，怎样做？在这时就必须采取在这时就必须采取多元回归多元回归。第1页2多元回归有各种，除了多元线性、非线性回归外，其多元回归有各种，除了多元线性、非线性回归外，其它如化学计量学中主成份分析、偏最小二乘法、聚类它如化学计量学中主成份分析、偏最小二乘法、聚类分析等也是比较惯用回归分析方法。分析等也是比较惯用回归分析方法。多元线性回归多元线性回归是一个使用非常广泛校正方法，在是一个使用非常广泛校正方法，在均匀均匀设计设计中就要用到。中就要用到。第2页3对于一个多原因（对于一个多原因（X1、X2、Xn）试验，试验响应指）试验，试验响应指标为标为Y，假如，假如Y与各原因之间为线性关系，则有：与各原因之间为线性关系，则有：（11）这里，这里，b b0 0为常数项，为常数项，b b1 1、b bn n称为多元线性回归偏回归称为多元线性回归偏回归系数。系数。和一元线性回归方法类似，用最小二乘法来确定建立和一元线性回归方法类似，用最小二乘法来确定建立模型系数，从而能够建立起模型系数，从而能够建立起Y对对Xi线性回归方程。线性回归方程。第3页4当当Xi取不一样水平（如取不一样水平（如m个水平）时，经过试验能够个水平）时，经过试验能够得到不一样响应指标值得到不一样响应指标值Yi：（12）注意这里注意这里mn1，想一想为何？，想一想为何？方程组（方程组（12）能够用最小二乘法来确定）能够用最小二乘法来确定b0bn值。值。第4页5即：即：（13）一样，为了得到极小值，对（一样，为了得到极小值，对（13）式求导：）式求导：（14）第5页6方程组（方程组（1414）可变形为：）可变形为：(14)(14)(14)称为正规方程组，其方程数目与未知数数目相称为正规方程组，其方程数目与未知数数目相等。等。第6页7方程组方程组(14)(14)右边系数矩阵为：右边系数矩阵为：X XT TX Xm m而左边为：而左边为：X XT TY Y第7页8所以所以(14)式矩阵形式就是：式矩阵形式就是：XTYXTXB （15）假如假如XTX逆矩阵逆矩阵(XTX)-1存在，则系数矩阵为：存在，则系数矩阵为：B(XTX)-1 XTY (16)假如将（假如将（16）式代入（）式代入（12）式，则有：）式，则有：YXBX(XTX)-1XTY (17)(17)式表示了试验值式表示了试验值Yi与拟和值与拟和值Yi关系，可能很靠近，关系，可能很靠近，也可能不相符，甚至相差很大。因而也需要对拟和也可能不相符，甚至相差很大。因而也需要对拟和结果进行检验。结果进行检验。第8页9对于多元回归分析，通常采取对于多元回归分析，通常采取复相关系数复相关系数r来评价拟来评价拟和值和值Yi和试验值和试验值Yi之间关系。之间关系。依据方差分析思想，将依据方差分析思想，将Y总差方和总差方和ssT（total）分解为）分解为两部分，一部分是由自变量改变引发两部分，一部分是由自变量改变引发Y波动，即回归波动，即回归差方和差方和ssReg（regression）；另一部分是随机误差或其）；另一部分是随机误差或其它未知原因引发波动，即残余差平方和它未知原因引发波动，即残余差平方和ssRes（residual）。）。第9页10（18）ssT、ssReg、ssRes自由度分别是自由度分别是m-1,n,和和m-n-1。（19）r越靠近越靠近1，说明，说明Y与自变量相关性越好。与自变量相关性越好。r在回归分析中是非常主要指标。在回归分析中是非常主要指标。不过应注意：不过应注意：r不不过回归方程中自变量个数不不过回归方程中自变量个数n函数，还与观函数，还与观察水平数察水平数m相关。当相关。当 m相对于相对于n不很大时，常有较大不很大时，常有较大r，尤其是，尤其是当当mn+1时，即使时，即使n个自变量与个自变量与y不相关，也恒有不相关，也恒有r=1(Q=0)。因而在实际计算中，要注意因而在实际计算中，要注意m和和n百分比问题。百分比问题。普通认为，普通认为，m最少为最少为n5倍。倍。第10页1165 多元非线性回归多元非线性回归 多多元元非非线线性性回回归归是是另另一一个个很很惯惯用用回回归归方方法法，其其回回归归原理也和一元非线性回归相同。原理也和一元非线性回归相同。普通有两种方法：普通有两种方法：（1 1）变量代换法。变量代换法。（2 2）非线性最小二乘法，它就是采取最小二乘法）非线性最小二乘法，它就是采取最小二乘法预计非线性模型中参数，从而建立非线性回归模型。预计非线性模型中参数，从而建立非线性回归模型。普通，当我们不知道回归模型时，则多元非线性回归普通，当我们不知道回归模型时，则多元非线性回归可转化成可转化成多元屡次多项式多元屡次多项式进行拟合，这是基于泰勒展进行拟合，这是基于泰勒展开基础。经过这么转换即可对其进行多元非线性拟合开基础。经过这么转换即可对其进行多元非线性拟合。第11页1266 逐步回归分析法介绍（逐步回归分析法介绍（stepwise regression）在上一节中讨论了多元回归分析。当我们不知道指在上一节中讨论了多元回归分析。当我们不知道指标（因变量）和多个原因（自变量）之间关系模型时，标（因变量）和多个原因（自变量）之间关系模型时，怎样进行回归分析？怎样进行回归分析？还有，还有，在一些实际问题中可能有这么情况：参加回在一些实际问题中可能有这么情况：参加回归归n个变量个变量x1、x2、xn 中，单独观察，有些原因与中，单独观察，有些原因与因变量因变量y相关程度很亲密，但当综合观察相关程度很亲密，但当综合观察n个原因与个原因与y相相关性时，这些原因可能显得不太主要。关性时，这些原因可能显得不太主要。第12页13若把这些变量保留，不但增加计算工作量，而且会增加若把这些变量保留，不但增加计算工作量，而且会增加回归方程不稳定性，所以希望从回归方程不稳定性，所以希望从n个变量中选出与个变量中选出与y最亲最亲密、最具代表性变量来描述密、最具代表性变量来描述y改变情况。即希望所得回改变情况。即希望所得回归方程包含一切对归方程包含一切对y作用显著原因，不包含对作用显著原因，不包含对y不显著变不显著变量。量。原因：原因：这些原因与这些原因与n个变量中其它变量之间原来就有个变量中其它变量之间原来就有相关关系，当做回归时，它们对相关关系，当做回归时，它们对y作用被其它因子替作用被其它因子替换了。换了。这时候就要用到这时候就要用到逐步回归分析法逐步回归分析法。逐步回归分析是在。逐步回归分析是在多元回归基础上派生出来一个算法技巧。多元回归基础上派生出来一个算法技巧。第13页14逐步回归方法基本思想：逐步回归方法基本思想：对全部自变量对全部自变量x1,x2,.,xn,按它们对按它们对Y贡献大小进行比贡献大小进行比较，并经过较，并经过F检验法，选择偏回归平方和显著变量进入检验法，选择偏回归平方和显著变量进入回归方程，每一步只引入一个变量，同时建立一个偏回归方程，每一步只引入一个变量，同时建立一个偏回归方程。回归方程。当一个变量被引入后，对原已引入回归方程变量，逐当一个变量被引入后，对原已引入回归方程变量，逐一检验他们偏回归平方和。假如因为引入新变量而使一检验他们偏回归平方和。假如因为引入新变量而使得已进入方程变量变为不显著时，则及时从偏回归方得已进入方程变量变为不显著时，则及时从偏回归方程中剔除。程中剔除。上面介绍是上面介绍是“逐步引入逐步引入”方法。方法。另外还有另外还有“逐步剔除逐步剔除”、“有进有出有进有出”等方法。等方法。第14页15自变量自变量x显著性怎样检验？显著性怎样检验？假定在假定在n个自变量中已经建立了个自变量中已经建立了x1、x2、xL对对y回归方程，对各变量贡献进行比较，找出最小贡献回归方程，对各变量贡献进行比较，找出最小贡献xj，要检验，要检验xj显著性，则可由显著性，则可由xj对对y方差贡献方差贡献Qj来衡来衡量。量。通惯用通惯用Qj与与x1、x2、xL整体方差整体方差Q之比之比Qj/Q来量来量度。度。采取采取F检验：检验：FFa a，说明，说明xj贡献较大，保留；贡献较大，保留；FFa a，则剔除，则剔除xj。第15页16在引入了两个自变量以后，便开始考虑是否有需要剔在引入了两个自变量以后，便开始考虑是否有需要剔除变量。只有当回归方程中全部自变量对除变量。只有当回归方程中全部自变量对Y都有显著都有显著影响而不需要剔除时，再考虑从未选入方程自变量中，影响而不需要剔除时，再考虑从未选入方程自变量中，挑选对挑选对Y有显著影响新变量进入方程。不论引入还是有显著影响新变量进入方程。不论引入还是剔除一个变量都称为一步。剔除一个变量都称为一步。这一过程不停被重复，直至无法剔除已引入变量，也这一过程不停被重复，直至无法剔除已引入变量，也无法再引入新自变量时，逐步回归过程结束。无法再引入新自变量时，逐步回归过程结束。普通逐步回归分析都需要借助专用软件完成。普通逐步回归分析都需要借助专用软件完成。第16页17逐步回归分析逻辑结构图逐步回归分析逻辑结构图输入基本参数、读入原始数据输入基本参数、读入原始数据计算各变量均值、离差矩阵、相关矩阵计算各变量均值、离差矩阵、相关矩阵开始逐步计算开始逐步计算是否为前三步？是否为前三步？是是否否引入处理引入处理剔除处理剔除处理是否剔除？是否剔除？是是否否是否引入？是否引入？否否结束处理，打印计算结果结束处理，打印计算结果对相关阵进行变换对相关阵进行变换是否有待预报样品？是否有待预报样品？否否结束结束预报计算预报计算是是第17页18多元线性回归举例。多元线性回归举例。例例14.已知水泥在凝固过程中放出热量已知水泥在凝固过程中放出热量y(J/g)与以下四与以下四种成份含量相关：种成份含量相关：x1:3CaOSiO2;x2:2CaOSiO2;x3:3CaOAl2O3;x4:4CaOAl2O3Fe2O3;原始数据以下表：原始数据以下表：详细处理理见EXCEL表。表。第18页19试验号试验号mx1x2x3x4y(J/g)172666078.52129155274.331156820104.34113184787.6575263395.961155922105.27371176102.78131224472.59254182293.1102147426115.911140233483.8121160912113.3131068812109.4第19页2067 回归分析法惯用软件介绍回归分析法惯用软件介绍 1.EXCEL2.Origin3.SPSS5.MatLab4.Dabhttp:/ Package for the Social Science)社会科学应用软件包是世界上著名统计分社会科学应用软件包是世界上著名统计分析软件之一。它和析软件之一。它和SAS（Statistical Analysis System，统计分析系统）、，统计分析系统）、BMDP（Biomedical Programs，生物医学程序）并称为国际上最有影响，生物医学程序）并称为国际上最有影响三大统计软件。三大统计软件。Dabhttp:/ Matlab是一个广泛应用于工程计算及数是一个广泛应用于工程计算及数值分析领域新型高级语言值分析领域新型高级语言。q自自 1984 年推向市场以来，历经二十多年年推向市场以来，历经二十多年发展与竞争，现已成为国际公认最优异工发展与竞争，现已成为国际公认最优异工程应用开发环境程应用开发环境。q 在欧美各高等院校，在欧美各高等院校，Matlab 已经成为线性代数、数值分析、已经成为线性代数、数值分析、数理统计、自动控制理论、数字信号处理、时间序列分析、动数理统计、自动控制理论、数字信号处理、时间序列分析、动态系统仿真、图像处理等课程基本教学工具态系统仿真、图像处理等课程基本教学工具。q已成为大学生必须掌握基本技能之一已成为大学生必须掌握基本技能之一。qMatlab 功效强大、简单易学、编程效率高，深受广大科技工功效强大、简单易学、编程效率高，深受广大科技工作者欢迎作者欢迎。第30页31Matlab:Matrix Laboratry，矩阵试验室矩阵试验室所以，所以，Matlab 能成为国际上最流行科学与工程计算能成为国际上最流行科学与工程计算软件工具，是一个含有广泛应用前景全新计算机高软件工具，是一个含有广泛应用前景全新计算机高级编程语言。级编程语言。第31页