最小二乘法与回归分析.pptx

跳转到第一页本课程的教学内容n最小二乘法与回归分析n化学因子分析n人工神经网络n小波分析n独立成分分析n支持向量机分类与回归分析跳转到第一页5.2 回归分析及检验回归分析及检验 n回归分析是研究随机现象中变量之间关系的一种数理统计方法，它在生产实践和科学研究及实验中有着广泛的应用。目前在寻找经验公式，探索新配方，制定新标准，预言效果等方面都已取得不少成绩。n在科学研究及生产实验中，常常会遇到在同一个事物中有多个变量存在，而且它们相互关联，相互制约。这种关联和制约表明它们之间客观存在一定数学的或其他的关系。但要找出它们之间数学关系的数学解析式是非常困难的，有时是不可能的。因此需要用数量统计的方法，在大量的试验中，寻找出隐藏在各变量间的统计规律性或近似的数学模型，这种关系称之谓回归关系。有回归关系的计算方法及理论叫做回归分析。跳转到第一页回归分析的主要内容回归分析的主要内容 n从一组数据出发，确定这些变量间的定量关系式；n对这些关系的可信度进行统计检验；n寻找某一个应变量和哪些自变量有关，其影响程度如何；n利用上述关系，进行预报和控制；n 选择较少的试验点，获得更多的信息，对试验进行较好的设计。跳转到第一页5.2.1 最小二乘法原理最小二乘法原理 设实测数据为(xi,yi)(i=1,2,n)，其近似符合函数y=(x,a1,a2,am)(nm;a1,a2,am是待定系数)当用测定值x=xi(i=1,2,n)代入(4.6-1)可计算出y值，记作 不要求近似函数通过全部观测点，计算值与实测值不一定完全相等，之间的差称为残差不要求近似函数通过全部观测点，计算值与实测值不一定完全相等，之间的差称为残差不要求近似函数通过全部观测点，计算值与实测值不一定完全相等，之间的差称为残差残差的大小是衡量待定参数残差的大小是衡量待定参数a a1 1,a,a2 2,a,am m好坏的重要标志。好坏的重要标志。如何确定残差？如何确定残差？残差和残差和残差绝对值和残差绝对值和残差平方和残差平方和跳转到第一页这样问题就归纳为求多元函数这样问题就归纳为求多元函数Q Q(a a1 1,a,a2 2,a,am m)极小值点极小值点解此方程即得参数解此方程即得参数a aj j(j=1,2,mj=1,2,m)近似函数近似函数 y y(x,a(x,a1 1,a,a2 2,a,am m)这就是这就是曲线拟合曲线拟合的的最小二乘法原理最小二乘法原理最小二乘法原理最小二乘法原理。跳转到第一页应用举例应用举例-1n问题:改变某有色有机酸H2L的溶液的pH，测得溶液的吸光度A，计算该有机酸的离解常数Ka1，Ka2。n解:根据吸光度的加和性可得：H2LHLL 将它们用H+及Ka1、Ka2表示,则有 AH2L、AHL和AL为溶液全部以H2L、HL-或L2-形式存在时的吸光度。其中AH2L和AL都可由实验直接测定，因为在足够高的酸度下，有机酸将全部以H2L形式存在，这时溶液的吸光度即AH2L；同理,在足够高的pH值时,测得的吸光度为AL。所以只剩下AHL不易测准。令令令 y=y=y=(A AAH2LH2LH2LA AA)H HH+222,x,x,x111=A=A=AHHH+,x,x,x222=A=A=AA AALLL,x,x,x333=H HH+,K K Ka1a1a1=a1,K=a1,K=a1,Ka1a1a1 K KKa2a2a2 =a=a=a222,A,A,AHLHLHL K K Ka1a1a1=a aa333这是三元一次方程组,理论上讲只要测得三组数据(pH1,A1),(pH2,A2)和(pH3,A3),就可以解出三元一次方程组,算出a1，a2和a3。但是在实验中，常常带有实验误差，只凭三组测量值进行计算会使结果很不可靠，所以，通常要测量许多组实验数据pH1,A1pH2,A2;pH3A3;pHn,An,得到n个方程,因为n3,该方程组为矛盾方程组,可用最小二乘法求解。跳转到第一页上机作业上机作业n用光度法测定间苯二酚的离解常数Ka1,Ka2,测得溶液的pH和A的数据如下:n n pH 2.90 3.00 3.10 3.20 3.30 3.40 3.50 3.60 3.70n A 0.370 0.374 0.378 0.382 0.387 0.393 0.398 0.403 0.407n n pH 4.28 4.38 4.46 4.54 4.64 4.72 4.78 4.85 4.91n A 0.407 0.403 0.398 0.393 0.387 0.382 0.378 0.374 0.370n n并且测得AH2L=0.353,AL=0.337。n要求：u将由实验测定所得pH和A经换算后得到课堂所讲y,x,a等形式，编程语言任选；u矛盾方程组求解可以编程实现，或由统计软件中的多元线性回归分析而得；u将数据预处理程序及结果、数据处理最后结果等以附件l形式交送至化学信息学网络课堂.跳转到第一页5.2.2 线性回归分析线性回归分析n一元线性回归u通过一组实验数据进行最小二乘法回归处理，求出直线的斜率和截矩，并根据一定的统计方法处理，得到较多的统计信息，对实验数据线性相关性进行检验及进行预报等。平平均均值值 差差方方和和回归分析结果回归分析结果跳转到第一页回归方程检验n相关系数总差方和总差方和(S)=剩余差方和剩余差方和(Q)+回归差方和回归差方和(U)r1。越大，表示相关性越好。r0,正相关,直线的斜率为正;r32kg/mm2，延伸率y233%，且要求有95%的把握满足上述要求，问含碳量在什么范围。合金钢成分及性能实测数据 x(%)y1(kg/mm2)y2(%)x(%)y1(kg/mm2)y2(%)0.03 40.5 40.0 0.15 46.0 40.5 0.04 41.5 34.5 0.16 48.0 33.0 0.05 42.5 41.5 0.17 53.0 37.0 0.06 43.0 37.5 0.18 50.0 36.5 0.07 39.5 36.0 0.20 52.5 37.0 0.08 42.0 40.0 0.21 56.0 31.0 0.09 42.5 34.5 0.23 60.0 32.5 0.10 43.5 39.0 0.24 56.0 32.4 0.11 42.5 31.5 0.25 54.5 35.5 0.12 49.0 41.0 0.26 61.5 33.3 0.13 43.0 37.5 0.29 59.5 31.0 0.14 49.0 40.0 0.32 64.0 32.0 解 将例实测数据进行线性回归处理得如下结果：对抗拉强度抗拉强度：回归方程 y1=85.6093x+36.02 剩余标准差 1=2.3673 显著性检验 F=205.7 相关系数 r=0.9504 对延伸率延伸率：回归方程 y2=-25.1589x+39.89 剩余标准差 2=2.7970 显著性检验 F=12.72 相关系数 r=0.6050 若有95%的把握的把握满足题中条件，则应 85.6093x+36.02+22.3673 32 85.6093x+36.02-22.3673 32 -25.1589x+39.89+22.770 33 -25.1589x+39.89-22.770 33 解之得 0.0083xm)n多元线性回归方程的检验多元线性回归方程的检验 总差方和总差方和(S)=剩余差方和剩余差方和(Q)+回归差方和回归差方和(U)n复相关系数复相关系数 方差比方差比 剩余标准偏差剩余标准偏差S的自由度 fS=n-1 U的自由度 fU=m Q的自由度 fQ=n-m-1 跳转到第一页n例7 N,N-二甲基-2-溴苯乙胺衍生物是肾上腺阻断剂当Y和Z接上不同的取代基,其生物活性是不一样的,Y和Z取代基的结构信息参数通常取其疏水值和电子参数,其结果如下表所示。跳转到第一页跳转到第一页跳转到第一页REGRESS Multiple linear regression using least squares.b=REGRESS(y,X)returns the vector of regression coefficients,b,in the linear model y=Xb,(X is an nxp matrix,y is the nx1 vector of observations).跳转到第一页B,BINT,R,RINT,STATS=REGRESS(y,X,alpha)uses the input,ALPHA to calculate 100(1-ALPHA)confidence intervals for B and the residual vector,R,in BINT and RINT respectively.The vector STATS contains the R-square statistic along with the F and p values for the regression.