数值分析最小二乘法市公开课一等奖百校联赛获奖课件.pptx

一、最小二乘法定义一、最小二乘法定义 第第3 3章章 函数迫近与曲线拟合函数迫近与曲线拟合 4 4 曲线拟合最小二乘法曲线拟合最小二乘法 二、求解方法二、求解方法三、求解步骤三、求解步骤 四、举例四、举例 第1页一、最小二乘法定义一、最小二乘法定义1.“曲线拟合曲线拟合”问题问题已已 知知：一一 组组 试试 验验 数数 据据（xi，yi）(i=0,1,m)，且观察数据有误差且观察数据有误差求求：自自变变量量x与与因因变变量量y之之间间函函数数关关系系y=F(x)，不不要要求求y=F(x)经经过过全全部部点点，而而只只要要求求在在给给定点上误差定点上误差按按某种标准某种标准最小。最小。第2页(1)使残差最大绝对值为最小使残差最大绝对值为最小(2)使残差绝对值之和为最小使残差绝对值之和为最小(3)使残差平方和为最小使残差平方和为最小最小二乘法最小二乘法度度量量标标准准不不一一样样，将将造造成成不不一一样样拟拟合合结结果果，惯惯用准则有以下三种：用准则有以下三种：第3页2.多项式拟合普通定义多项式拟合普通定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求：在函数类在函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小，即即这里这里第4页3.普通定义普通定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求：在函数类在函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小，即即这里这里第5页4.广义定义广义定义通常把最小二乘法通常把最小二乘法 都考虑为加权平方和都考虑为加权平方和 即即其中其中注：权函数在实际问题中有主要作用！注：权函数在实际问题中有主要作用！第6页二、求解方法二、求解方法求求S S*(x)(x)求以下多元函数最小值求以下多元函数最小值由由多多元元函函数数求求极极值值必必要要条件条件第7页展开展开法方程法方程第8页解方程组解方程组第9页三、求解步骤三、求解步骤确定拟合曲线形式确定拟合曲线形式确定变量对应数据确定变量对应数据确定法方程确定法方程求解法方程求解法方程最困难！最困难！第10页四、举例四、举例例例1.已知一组试验数据以下，求它拟合曲线已知一组试验数据以下，求它拟合曲线.xi12345fi44.5688.5i21311解解依依据据所所给给数数据据，在在坐坐标标纸纸上上标标出出，从从图图中中看看到到各各点点在在一一条条直直线线附附近近，故故可可选选择择线性函数作拟合曲线，即令线性函数作拟合曲线，即令第11页得法方程为得法方程为解得解得于是所求拟合曲线为于是所求拟合曲线为第12页例例2.在在某某化化学学反反应应里里，依依据据试试验验所所得得生生成成物物浓浓度度与与时时间间关关系系以以下下表表，求求浓浓度度y与与时时间间t拟拟合合曲曲线线y=F(t).t12345678Y4.006.408.008.809.229.509.709.86t910111213141516y10.00 10.20 10.32 10.42 10.50 10.55 10.58 10.60第13页解解依依据据所所给给数数据据，在在坐坐标标纸纸上上标标出出，得得下下列列图图ty从从图图中中能能够够看看出出开开始始时时浓浓度度增增加加较较快快，以以后后逐逐步步减减弱弱，到到一一定定时时间间就就基基本本稳稳定定在在一一个个数数值值上上，即即当当t时时，y趋趋于于某某个个常常数数，故故有有一一水水平平渐渐近近线线。另另外外 t=0 时时，反反应应未未开开始始，浓浓度为度为0。概括起来为。概括起来为第14页依据这些条件，可构想两种形式函数关系：依据这些条件，可构想两种形式函数关系：y=F(t)是双曲线型是双曲线型y=F(t)是指数形式是指数形式 b0第15页y=F(t)是双曲线型是双曲线型为了确定为了确定a、b，令，令于是可用于是可用 x 线性函数线性函数 拟合数拟合数据据 。可由原始数可由原始数据据 计算出来。计算出来。第16页可求得可求得 代入法方程得代入法方程得解得解得从而得到从而得到第17页于于是是由由 计计算算出出 ，拟拟合合数数据据 曲线仍设为曲线仍设为y=F(t)是指数形式是指数形式 为了确定为了确定a 与与b，对上式两边取对数得，对上式两边取对数得令令第18页得法方程得法方程解得解得从而得到从而得到第19页请回答请回答:怎样比较这两个数学模型好坏呢？怎样比较这两个数学模型好坏呢？答答：只只要要分分别别计计算算这这两两个个数数学学模模型型误误差差，从中挑选误差较小模型即可。从中挑选误差较小模型即可。第20页本例经过计算可得本例经过计算可得而均方误差为而均方误差为由此可知第二个模型很好。由此可知第二个模型很好。第21页结论：结论：选择拟合曲线数学模型，并不一定开始就选择拟合曲线数学模型，并不一定开始就能选好，往往需要经过分析若干模型后，能选好，往往需要经过分析若干模型后，经过实际计算才能选到很好模型，如本例经过实际计算才能选到很好模型，如本例指数模型就比双曲线模型好得多。指数模型就比双曲线模型好得多。第22页例例3.用最小二乘法解超定方程组用最小二乘法解超定方程组解解欲欲求求（x,y）使使得得其其尽尽可可能能使使四四个个等等式式成成立，即使立，即使到达最小到达最小第23页则（则（x,y）应满足）应满足即即解得解得所以用最小二乘法解得超定线性方程组解为所以用最小二乘法解得超定线性方程组解为第24页第三章第三章 补充补充 迫近问题发展迫近问题发展第25页对对基基于于经经验验数数据据预预计计函函数数依依赖赖关关系系方方法法研研究究（从从实实例例学学习习研研究究）已已经经有有很很长长历历史史了了。这这些些研研究究是是由由两两个个伟伟大大数数学学家家开开始始：他他们们是是高高斯斯（Gauss,1777-1855）和和 拉拉 普普 拉拉 斯斯（Laplace,1749-1827），他他们们提提出出了了从从天天文文学学和和物物理理学学中中观观察察结结果果预预计计依依赖赖关关系系两两种种不不一样方法。一样方法。迫近问题发展迫近问题发展第26页高高斯斯提提出出了了最最小小二二乘乘法法，而而拉拉普普拉拉斯斯提提出出了了最最小小模模方方法法。从从那那时时起起就就有有了了下下面面问问题题：那那种种方方法法更更加加好好呢呢？在在19世世纪纪和和20世世纪纪初初，人人们更趋向于最小二乘法。们更趋向于最小二乘法。在在1953年年，L.Le Cam定定义义了了ML方方法法一一致致收收敛敛一一些些充充分分条条件件后后，人人们们发发觉觉：假假如如离离散散数数据据点点噪噪声声是是服服从从高高斯斯（正正态态）规规律律，则则最最小小二二乘乘法法给给出出最最好好结结果果；若若噪噪声声是是服服从从拉拉普普拉拉斯规律，则最小模法给出最好结果。斯规律，则最小模法给出最好结果。第27页 但但遗遗憾憾是是，在在实实际际中中噪噪声声形形式式往往往往是是未未知知。在在上上个个世世纪纪60年年代代，Tukey说说明明了了在在现现实实情情况况中中，噪噪声声形形式式与与高高斯斯或或拉拉普普拉拉斯斯规规律律都都相相去去甚甚远。远。回到起点！回到起点！第28页作业：作业：习题习题 16 16，1717，1818(数据有删减数据有删减)第29页