曲线拟合和最小二乘法市公开课一等奖百校联赛获奖课件.pptx

第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 第五章第五章 曲线拟合与最小二乘法曲线拟合与最小二乘法 假如已知函数假如已知函数f(x)f(x)在若干点在若干点x xi i(i=1,2,n)(i=1,2,n)处处值值y yi i,便可依据插值原理来建立插值多项式作为便可依据插值原理来建立插值多项式作为f(x)f(x)近似。近似。但在科学试验和生产实践中，往往会碰到这么一个情况，但在科学试验和生产实践中，往往会碰到这么一个情况，即节点上函数值并不是很准确，这些函数值是由试验或即节点上函数值并不是很准确，这些函数值是由试验或观察得到数据，不可防止地带有测量误差，假如要求所观察得到数据，不可防止地带有测量误差，假如要求所得近似函数曲线准确无误地经过全部点得近似函数曲线准确无误地经过全部点(x(xi i,y,yi i),),就会使曲线就会使曲线保留着一切测试误差。当个别数据误差较大时保留着一切测试误差。当个别数据误差较大时,插值效果插值效果显然是不理想。另外显然是不理想。另外,由试验或观察提供数据个数往往很由试验或观察提供数据个数往往很多多,假如用插值法假如用插值法,势必得到次数较高插值多项式，这么势必得到次数较高插值多项式，这么计算起来很烦琐。计算起来很烦琐。第1页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作为此为此,我们希望从给定数据我们希望从给定数据(x(xi i,y,yi i)出发出发,结构一个近结构一个近似函数似函数 ,不要求函数不要求函数 完全经过全部数据完全经过全部数据点，只要求所得近似曲线能反应数据基本趋势，点，只要求所得近似曲线能反应数据基本趋势，如图如图5-15-1所表示。所表示。图图5-1 5-1 曲线拟合示意图曲线拟合示意图 换句话说换句话说:求一条曲线求一条曲线,使数据点均在离此曲线上方使数据点均在离此曲线上方或下方不远处或下方不远处,所求曲线称为拟合曲线所求曲线称为拟合曲线,它既能反应它既能反应数据总体分布数据总体分布,又不至于出现局部较大波动又不至于出现局部较大波动,更能反更能反应被迫近函数特征应被迫近函数特征,使求得迫近函数与已知函数从使求得迫近函数与已知函数从总体上来说其偏差按某种方法度量到达最小总体上来说其偏差按某种方法度量到达最小,这就这就是最小二乘法。是最小二乘法。第2页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 与与函函数数插插值值问问题题不不一一样样,曲曲线线拟拟合合不不要要求求曲曲线线经经过过全全部部已已知知点点,而而是是要要求求得得到到近近似似函函数数能能反反应应数数据据基基本关系。在某种意义上本关系。在某种意义上,曲线拟合更有实用价值。曲线拟合更有实用价值。在对给出试验在对给出试验(或观察或观察)数据数据作作曲曲线线拟拟合合时时,怎怎样样才才算算拟拟合合得得最最好好呢呢？普普通通希希望望各各试试验验(或或观观察察)数数据据与与拟拟合合曲曲线线偏偏差差平平方方和和最最小小,这这就就是是最小二乘原理。最小二乘原理。两种迫近概念两种迫近概念:插值插值:在节点处函数值相同在节点处函数值相同.拟合拟合:在数据点处误差平方和最小在数据点处误差平方和最小第3页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 函函数数插插值值是是插插值值函函数数P(x)P(x)与与被被插插函函数数f(x)f(x)在在节节处处函函数数值值相相同同,即即 而而曲曲线线拟拟合合函函数数 不不要要求求严严格格地地经经过过全全部部数数据据点点 ,也也就就是是说说拟拟合合函函数数 在在x xi i 处偏差处偏差(亦称残差）亦称残差）不都严格地等于零。不过不都严格地等于零。不过,为了使近似曲线能尽可能反为了使近似曲线能尽可能反映所给数据点改变趋势映所给数据点改变趋势,要求要求 按某种度量标准按某种度量标准最小。若记向量最小。若记向量 ,即要求向量即要求向量 某种范某种范数数 最小最小,如如 1-1-范数范数 或或-范数范数即即 第4页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作或或 最小。为了便于计算、分析与应用，通常要求最小。为了便于计算、分析与应用，通常要求 2-2-范数范数 即即 为最小。这种要求误差（偏差）平方和最小拟合称为最小。这种要求误差（偏差）平方和最小拟合称为为曲线拟合最小二乘法。曲线拟合最小二乘法。第5页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 （1 1）直线拟合）直线拟合设设已已知知数数据据点点 ,分分布布大大致致为为一一条条直直线线。作作拟拟合合直直线线 ,该该直直线线不不是是经经过过全全部部数数据据点点 ,而是使偏差平方和而是使偏差平方和为最小，其中每组数据与拟合曲线偏差为为最小，其中每组数据与拟合曲线偏差为依依据据最最小小二二乘乘原原理理，应应取取 和和 使使 有有极极小小值值，故故 和和 应满足以下条件：应满足以下条件：第6页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作即得以下正规方程组即得以下正规方程组 (5.1)例例5.1 5.1 设有某试验数据以下：设有某试验数据以下：1 2 3 4 1 2 3 4 1.36 1.37 1.95 2.28 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963 14.094 16.844 18.475 20.963 用最小二乘法求以上数据拟合函数用最小二乘法求以上数据拟合函数 解解:把表中所给数据画在坐标纸上把表中所给数据画在坐标纸上,将会看到数据点将会看到数据点分布能够用一条直线来近似地描述分布能够用一条直线来近似地描述,设所求设所求 。第7页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作拟合直线为拟合直线为 记记x x1 1=1.36,x=1.36,x2 2=1.37,x=1.37,x3 3=1.95=1.95x x4 4=2.28,y=2.28,y1 1=14.094,y=14.094,y2 2=16.844,y=16.844,y3 3=18.475,y=18.475,y4 4=20.963=20.963则正规方程组为则正规方程组为 其中其中 将以上数据代入上式正规方程组将以上数据代入上式正规方程组,得得解得解得 即得拟合直线即得拟合直线 第8页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作（2 2）多项式拟合）多项式拟合 有有时时所所给给数数据据点点分分布布并并不不一一定定近近似似地地呈呈一一条条直直线线,这这时时仍仍用用直直线线拟拟合合显显然然是是不不适适当当,可可用用多多项项式式拟拟合合。对于给定一组数据对于给定一组数据寻求次数不超出寻求次数不超出m(mN)m(mN)多项式，多项式，来拟合所给定数据，与线性拟合类似，使偏差来拟合所给定数据，与线性拟合类似，使偏差平方和平方和为最小为最小第9页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作因因为为Q Q能能够够看看作作是是关关于于 (j=0,1,2,j=0,1,2,m)m)多多元元函函数数,故故上上述述拟拟合合多多项项式式结结构构问问题题可可归归结结为为多元函数极值问题。令多元函数极值问题。令得得 即有即有 第10页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作这是关于系数这是关于系数 线性方程组，通常称为正规方程组。线性方程组，通常称为正规方程组。能够证实，正规方程组有惟一解。能够证实，正规方程组有惟一解。例例5.2 5.2 设某试验数据以下：设某试验数据以下：1 2 3 4 5 6 1 2 3 4 5 6 0 1 2 3 4 5 0 1 2 3 4 5 5 2 1 1 2 3 5 2 1 1 2 3用最小二乘法求一个多项式拟合这组数据用最小二乘法求一个多项式拟合这组数据 (5.2)(5.2)第11页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作解：将已给数据点描在坐标系中，能够看出这些点解：将已给数据点描在坐标系中，能够看出这些点 靠近一条抛物线，所以设所求多项式为靠近一条抛物线，所以设所求多项式为 由法方程组（由法方程组（5.25.2）,经计算得经计算得 N N=6=6 其法方程组为其法方程组为 解之得解之得 所求多项式为所求多项式为 第12页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作（3 3）可化为线性拟合非线性拟合）可化为线性拟合非线性拟合 有些非线性拟合曲线能够经过适当变量替换转化为有些非线性拟合曲线能够经过适当变量替换转化为线性曲线，从而用线性拟合进行处理，对于一个实际线性曲线，从而用线性拟合进行处理，对于一个实际曲线拟合问题，普通先按观察值在直角坐标平面上描曲线拟合问题，普通先按观察值在直角坐标平面上描出散点图，看一看散点分布同哪类曲线图形靠近，然出散点图，看一看散点分布同哪类曲线图形靠近，然后选取相靠近曲线拟合方程。再经过适当变量替换转后选取相靠近曲线拟合方程。再经过适当变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变化为线性拟合问题，按线性拟合解出后再还原为原变量所表示曲线拟合方程。量所表示曲线拟合方程。表表5-15-1列举了几类经适当变换后化为线性拟合求解曲列举了几类经适当变换后化为线性拟合求解曲线拟合方程及变换关系线拟合方程及变换关系 第13页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作表表5-15-1 曲线拟合方程曲线拟合方程 变换关系变换关系 变换后线性拟合方程变换后线性拟合方程第14页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作几个常见数据拟合情况。图几个常见数据拟合情况。图(a)(a)表示数据靠近于表示数据靠近于直线，故宜采取线性函数直线，故宜采取线性函数 拟合；图拟合；图(b)(b)数数据分布靠近于抛物线。可采拟合；二次多项式据分布靠近于抛物线。可采拟合；二次多项式 拟合；拟合；(a)(a)(b)(b)第15页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作图图(c)(c)数据分布特点是开始曲线上升较快随即逐数据分布特点是开始曲线上升较快随即逐渐变慢渐变慢,宜采取双曲线型函数宜采取双曲线型函数 或指数型函或指数型函数数 图图(d)(d)数据分布特点是开始曲线下降快数据分布特点是开始曲线下降快,随即随即逐步变慢逐步变慢,宜采取宜采取 或或 或或等数据拟合。等数据拟合。(c)(c)(d)(d)第16页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作例例5.3 5.3 设某试验数据以下设某试验数据以下:1 2 3 4 5 6 1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3 2.0 1.0 0.9 0.6 0.4 0.3用最小二乘法求拟合曲线用最小二乘法求拟合曲线 解解:将已给数据点描在坐标系中下列图所表示将已给数据点描在坐标系中下列图所表示,能够看能够看出这些点靠近指数曲线出这些点靠近指数曲线,因而可取指数函数因而可取指数函数作为拟合函数作为拟合函数.对函数对函数两边取对数得两边取对数得.令令 得得 则就得到线性模型则就得到线性模型 第17页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作则正规方程组为则正规方程组为 其中其中 将以上数据代入上式正规方程组，得将以上数据代入上式正规方程组，得解得解得 由由 得得 ,由由 得得于是得到拟合指数函数为于是得到拟合指数函数为 第18页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 （4 4）超定方程组最小二乘解）超定方程组最小二乘解设线性方程组设线性方程组Ax=bAx=b中，中，,b ,b 是是m m维已知向维已知向量，量，x x是是n n维解向量，当维解向量，当m mn n，即方程组中方程，即方程组中方程个数多于未知量个数时，称此方程组为超定方程个数多于未知量个数时，称此方程组为超定方程组。普通来说，超定方程组无解（此时为矛盾方组。普通来说，超定方程组无解（此时为矛盾方程组程组),),这时需要寻求方程组一个这时需要寻求方程组一个“最近似最近似”解解.记记 ,称使称使 ,即即 最小解最小解 为方程组为方程组Ax=bAx=b最小二乘最小二乘解。解。第19页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作定理定理5.15.1 是是Ax=bAx=b最小二乘解充分必要条件为最小二乘解充分必要条件为 是是 解解.证实证实:充分性充分性 若存在若存在n n维向量维向量 ,使使 任取一任取一n n维向量维向量 ,令令 ,则则 ,且且 所以所以 是是Ax=bAx=b最小二乘解。最小二乘解。第20页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作必要性必要性:r:r第第i i个分量为个分量为,记记由多元函数求极值必要条件，可得由多元函数求极值必要条件，可得即即 由线性代数知识知由线性代数知识知,上式写成矩阵形式为上式写成矩阵形式为 它是关于线性方程组它是关于线性方程组,也就是我们所说正规方程或法方程也就是我们所说正规方程或法方程组。能够证实假如组。能够证实假如A A是列满秩是列满秩,则方程组（则方程组（5.35.3）存在惟一）存在惟一解解 （5.35.3）第21页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作例例5.4 5.4 求超定方程组求超定方程组 最小二乘解最小二乘解,并求并求误差平方和。误差平方和。解解:方程组写成矩阵形式为方程组写成矩阵形式为 正规方程组为正规方程组为 第22页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作即即 解得解得 此时此时 误差平方和为误差平方和为 第23页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 我们已经讨论了最小二乘意义下曲线拟合问我们已经讨论了最小二乘意义下曲线拟合问题题,因为方程比较简单因为方程比较简单,实际中应用广泛实际中应用广泛,尤其是因为尤其是因为任何连续函数最少在一个较小邻域内能够用多项任何连续函数最少在一个较小邻域内能够用多项式任意迫近式任意迫近,所以用多项式作数据拟合所以用多项式作数据拟合,有它特殊主有它特殊主要性。从而在许多实际问题中要性。从而在许多实际问题中,不论详细函数关系不论详细函数关系怎样怎样,都可用多项式作近似拟合都可用多项式作近似拟合,但用多项式拟合时但用多项式拟合时,当当n n较大时较大时(n7),(n7),其法方程系数矩阵条件数普通较其法方程系数矩阵条件数普通较大大,所以往往是病态所以往往是病态,因而给求解工作带来了困难。因而给求解工作带来了困难。第24页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作这组基函数就称为点集这组基函数就称为点集 上上 正交函数集。这正交函数集。这种情况下法方程组系数矩阵是对角阵，显然轻易求解。种情况下法方程组系数矩阵是对角阵，显然轻易求解。关于正交函数求法本书从略，同学们可参考其它书籍。关于正交函数求法本书从略，同学们可参考其它书籍。近年来近年来,产生一些直接解线性最小二乘问题新方法，产生一些直接解线性最小二乘问题新方法，比如正交三角化方法。另外比如正交三角化方法。另外,假如能选取基函数假如能选取基函数 使得使得 时时,第25页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作本章小结本章小结 本章介绍曲线拟合与最小二乘法都是实用性很本章介绍曲线拟合与最小二乘法都是实用性很强方法。它们处理实际问题即使各式各样，但抽象强方法。它们处理实际问题即使各式各样，但抽象为数学问题却有它共性，即利用已知数据去寻求某为数学问题却有它共性，即利用已知数据去寻求某个较为简单函数个较为简单函数P(x)P(x)来迫近来迫近f(x)f(x)。插值法和曲线拟合。插值法和曲线拟合最小二乘法分别给出了寻求这种近似函数两类不一最小二乘法分别给出了寻求这种近似函数两类不一样标准，以及结构近似函数几个详细方法。其中插样标准，以及结构近似函数几个详细方法。其中插值法要求近似函数在已知数据点必须与值法要求近似函数在已知数据点必须与f(x)f(x)完全一致，完全一致，曲线拟正当不要求点点一致而只须满足一定整体迫曲线拟正当不要求点点一致而只须满足一定整体迫近条件。近条件。第26页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 曲线拟合最小二乘法是处理试验数据惯用方法。本章主要介曲线拟合最小二乘法是处理试验数据惯用方法。本章主要介绍了最小二乘法基本原理和线性最小二乘问题求解方法。多项式绍了最小二乘法基本原理和线性最小二乘问题求解方法。多项式拟合是线性最小二乘拟合问题一个特殊情况拟合是线性最小二乘拟合问题一个特殊情况,其特点是拟合多项式其特点是拟合多项式形式简单形式简单,但当但当n n较大时较大时,法方程组往往是病态。用离散正交多项式法方程组往往是病态。用离散正交多项式进行曲线拟合进行曲线拟合,不用解线性方程组不用解线性方程组,只需按递推式进行计算只需按递推式进行计算,防止了防止了法方程组病态所造成麻烦法方程组病态所造成麻烦,而且当迫近次数增加一次时而且当迫近次数增加一次时,只要在原基只要在原基础上增加一项础上增加一项,使计算程序十分简单。关于非线性最小二乘曲线拟使计算程序十分简单。关于非线性最小二乘曲线拟合问题合问题,普通求解比较困难普通求解比较困难,但对一些特殊情形但对一些特殊情形,能够转换为线性最能够转换为线性最小二乘拟合问题。在实际计算时小二乘拟合问题。在实际计算时,要选择合理拟合多项式次数要选择合理拟合多项式次数,有时有时是十分困难。普通可对数据作分析是十分困难。普通可对数据作分析,比如在方格低上作草图比如在方格低上作草图,从草图从草图中观察应作几次多项式精度很好。以选择最正确拟合多项式次数。中观察应作几次多项式精度很好。以选择最正确拟合多项式次数。第27页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作本章作业本章作业本章作业本章作业5.1 5.25.1 5.2，5.45.4，5.55.5本章作业第28页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作第29页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作第30页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作第31页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作第32页第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作第33页