高等数值分析曲线拟合省公共课一等奖全国赛课获奖课件.pptx

高等数值分析曲线拟合XXX.11.27第1页主要内容u拟合基本概念和最小二乘原理u解线性超定方程组u最小二乘拟合问题普通解法线性组合模型下最小二乘拟合普通解法惯用线性组合模型最小二乘解u广义最小二乘拟合问题第2页 为了测定两个变量x和y之间函数关系，能够经过试验得到一系列离散数据点 ，然而这些数据点可能存在一定观察误差。怎样利用这些带误差数据点得到变量之间函数关系呢？拟合基本概念和最小二乘原理第3页x把数据点在坐标图上描出，得到散点图因为数据量大，高次插值会引发严重误差，分段插值则会使函数非常复杂，而且保留了原始数据误差。利用线性函数拟合插值观察到 x 和y 之间大致呈线性关系我们不要求迫近函数经过全部数据点，而是希望迫近函数形式相对简单，而且与各数据点偏差在某种标准下最小化，这就是拟合。第4页插值与拟合这两类函数迫近方法比较插值拟合适用条件给定一系列原始数据点原始数据普通比较准确数据量少给定一系列原始数据点原始数据普通带有一定误差数据量较大迫近函数经常采取多项式作为插值函数当数据点较多时，采取单个高次多项式进行插值会引发龙格现象，产生震荡，所以需要采取分段、样条等插值方法，此时插值函数是一个分段函数。能够依据实践者经验知识和实际应用需要，选择简单、适当函数类型进行拟合。拟合函数能够是多项式、三角函数、指数函数等各种不一样形式。特点插值函数y=(x)必须经过全部插值点，即对任意，有不要求拟合函数y=p(x)一定经过数据点，而要求p(x)能反应数据点改变趋势，即偏差在某种度量标准(如最小二乘标准)下最小图标第5页 评价拟合函数数 y=p(x)与原始数据之间偏差情况（以下列图）通常有以下几个方法：(1)使拟合函数与各个原始数据偏差绝对值最大值最小化，即最小化值。其中 为原始数据。这实际上对应于向量-范数 (2)使拟合函数与各个数据偏差绝对值之和最小化，即最小化值。这实际上对应于向量r 1-范数。(3)使拟合函数与各个数据偏差平方和最小化，即最小化值。这实际上对应于向量r 2-范数平方。第6页定义定义1 1 最小二乘拟合问题最小二乘拟合问题 给定数据点 选择适当函数类型，求该函数类型中一个函数 ，使得 p(x)在各个数据点上偏差 平方和最小化，即 这个最小化问题即为最小二乘拟合问题最小二乘拟合问题，拟合函数 p(x)称为上述试验数据最小二乘解最小二乘解，求拟合函数 p(x)过程则称为曲线拟合最小二曲线拟合最小二乘法乘法。第7页例1、已知气压存在伴随海拔高度上升而下降关系，表1给出了在某地粗略测得不一样海拔高度时气压值。利用这些数据，试寻找气压与海拔高度之间所满足大致关系。表1 气压与海拔高度关系表第8页解解:(1)取海拔高度为自变量x，气压为因变量y，依据表1所给40个数据点做出如图1所表示散点图，观察x 与y 之间分布规律。图1 气压与海拔高度散点图第9页 设y=ax+b,把40个数据点代入，得到方程组 0a+b=1011.5 20a+b=1011 780a+b=949.9 依据最小二乘原理，把问题转换为最小化问题，使拟合函数与数据点偏差平方和最小化，即 (2)从散点图能够看出y 与 x 大致成线性关系，不妨设拟合函数为 y=ax+b。转换2个未知数，40个方程，无解！这个问题就可解了！这类方程个数大于未知数个数方程组称为超定方程超定方程组，普通来说是无解。第10页(3)解函数最小化问题。依据微积分中求极值原理，对求最小值，相当于分别对a，b求偏导数，其值都为0，得到以下方程组这个方程组称为上述拟合问题正规方程组。解这个方程组得到a=-0.077 249 1,b=1010.87。所以，所求拟合函数为 y=-0.077 249 1x+1010.87第11页(4)观察拟合函数对原始数据拟合情况，决定拟合结果能否被接收。本例中拟合函数以下列图2所表示。能够看到，该拟合函数能大致反应原始数据点改变趋势。图2 拟合函数图示第12页经过上述例子能够看到，给定一组带有误差试验数据，采取最小二乘原理，对数据进行拟合基本步骤包含：步骤：作散点图，观察试验数据普通趋势，选择适当拟合函数类型。步骤：观察拟合函数对数据拟合效果，假如拟合效果不理想，则选择新拟合函数类型，按照上述过程重新拟合。步骤：依据拟合函数类型，选择适当方法，求最小二乘解。步骤：依据最小二乘拟合原理，把问题转换为使拟合函数与原始数据之间偏差平方和最小问题。第13页解线性超定方程组 方程个数大于未知数个数方程组称为超超定方程组定方程组。普通而言，超定方程组是无解（这时也称为矛盾方程组），所以，需要用最小二乘原理来求出超定方程组最小二乘解。第14页不妨设线性超定方程组为其中有 mn。记则超定方程组能够写成 Ax=b 矩阵形式。第15页 因为上述超定方程组 Ax=b 在普通情况下无解，所以需要寻找最小二乘解，也就是要找到一组 使得最小化。用矩阵形式来描述，就是要使即向量 Ax-b 2-范数平方最小化。为了得到线性超定方程组最小二乘解，有以下定理：定理定理1：x*是超定方程组 Ax=b 最小二乘解充分必要条件是 x*是方程组 解。第16页定理定理1：x*是超定方程组 Ax=b 最小二乘解充分必要条件是 x*是方程组 解。证实：先证实充分性。记(x,y)为向量 x 和 y 内积。依据向量内积及2-范数定义，可知设x*是方程组 解，并设 是任意一个 n 维向量，则有又因为 x*是方程组 解，所以 代入上式得也就是说，对任意 n 维向量 ，都有 ，所以x*是该超定方程组最小二乘解。第17页证实：下面证实必要性。定理定理1：x*是超定方程组 Ax=b 最小二乘解充分必要条件是 x*是方程组 解。若向量 是超定方程组 Ax=b 最小二乘解，则有求线性超定方程组最小二乘解基本方法：求线性超定方程组最小二乘解基本方法：求超定方程组 Ax=b 最小二乘解 求方程组 解 到达最小值。依据多元函数求极值条件，对各个变量偏导数值为0，即改写得依据线性代数中矩阵相乘法则，上面式子就对应于定理证毕！第18页例2、已知超定方程组求出其最小二乘解。解：方程组系数矩阵和右端项为解方程组得，即该超定方程组最小二乘解是有定理1可知，求超定方程组最小二乘解对应于解下面方程组即第19页最小二乘拟合问题普通解法 为了便于讨论，不妨假设离散最小二乘拟合问题原始数据是 ，拟合函数类型为，对任意函数，有以下形式其中，x 是函数变量，是函数中待定系数。所能表示拟合函数类型是各种多样，比如：(1)多项式函数：(2)三角函数：(3)对数函数：(4)指数函数：(5)双曲函数：最小二乘拟合问题求解目标就是确定待定系数值，得到拟合函数，简记为p(x)，使值最小化。第20页一、线性组合模型下最小二乘拟合普通解法一、线性组合模型下最小二乘拟合普通解法 下面分别从“利用偏导数求多元函数极值利用偏导数求多元函数极值”以及“求线性超定方程组求线性超定方程组最小二乘解最小二乘解”这两种思绪出发，探索线性组合模型下最小二乘拟合普通解法。给定 n+1 个关于 x 线性无关连续函数 ，拟合函数p(x)是由 线性组合所组成，即这类函数称为广义多项式，以这种类型函数作为拟合函数最小二乘拟合问题称为线性组合模型最小二乘拟合，函数 称为该线性组合模型基函数。线性组合函数类型在实践中很常见，多项式函数 和对数函数 等都属于这一类。第21页1 1、基于偏导数求多元函数极值方法、基于偏导数求多元函数极值方法线性模型最小二乘拟合问题能够转化为使函数最小化问题。对于任意待定系数，上式都是一个关于线性函数。所以，依据求多元函数极值原理，能够对上式各个待定系数分别求偏导数，使其值均为0，从而得到以为未知数方程组第22页化简并移项得记则任意两个向量和内积就是第23页向量与向量内积是这个方程组 Gt=h 称为对应拟合问题正规方程组正规方程组。当 线性无关时，系数矩阵 G 行列式不为0，所以上述方程组有唯一解，即对应线性拟合问题有唯一解。那么方程组可简记为Gt=h其中第24页2 2、基于解线性超定方程组方法、基于解线性超定方程组方法把全部数据点代入拟合函数 ，以为未知数，能够得到一个含有m+1 个方程，n+1 个未知数超定方程组把方程组系数矩阵、未知向量和右端项记为依据定理1，上述超定方程组最小二乘解对应于方程组解。第25页3 3、方法小结、方法小结步骤：计算系数矩阵步骤：计算列向量 h步骤：解上述方程组比较上述两种思绪得到方程组Gt=h 和，依据矩阵乘法运算法则，轻易得到，也就是说，不论采取偏导数求解多元函数极值问题方法，还是采取解线性超定方程组方法，线性组合模型最小二乘拟合问题最终都能够被转换为解正规方程组Gt=h 问题。总而言之，解线性组合模型最小二乘拟合问题基本步骤可概括以下：给定拟合函数：数据点：第26页二、惯用线性组合模型最小二乘解二、惯用线性组合模型最小二乘解依据上面介绍方法，下面详细讨论两类惯用满足线性组合模型最小二乘拟合问题。1 1、多项式模型、多项式模型令式中基函数为 ，能够得到多项式函数以多项式函数作为拟合函数类型拟合问题称为多项式拟合。依据上述讨论结果，把 代入 Gt=h,能够得到方程组第27页为了使方程组关系愈加清楚，记则上式所表示正规方程组能够简写为所以，求解多项式拟合问题只需要执行下面两个步骤：计算 以及 值，得到正规方程组；解正规方程组，求得 值。第28页例3、给定以下一组试验数据：试求对上述数据作最小二乘拟合得到二次多项式。序号012345678x1345678910y2781011111098解：设二次拟合多项式是则其对应正规方程组是其中值以下表3所表示第29页表3把这些值代入正规方程组，得第30页解方程可得，即拟合多项式是图4二次拟合函数图示拟合函数以下列图4所表示，可见函数对数据拟合情况比较理想。第31页2 2、对数模型、对数模型令式中基函数为 ，得到以下形式对数函数依据 Gt=h,可得正规方程组解此方程即可得到上述模型最小二乘拟合解。第32页序号01234x12345y0.050.641.101.331.64例4、给定以下一组试验数据：采取形如拟合函数，求其最小二乘解。解：上述拟合问题最小二乘解对应于方程组解。把试验数据代入以上方程，得第33页解方程组得，即拟合函数为：图5对数拟合函数图示图5给出了拟合函数图示。第34页广义最小二乘拟合问题定义定义2 2 连续性最小二乘拟合问题连续性最小二乘拟合问题 给定在区间 a,b 内定义连续函数 y=f(x)，选择一个函数类型，对任意函数，有以下形式其中 x 是函数变量，是函数中系数，求函数简记为p(x)，使得该拟合函数满足值最小化。即最小化函数 p(x)与原函数 f(x)在区间 a,b 内误差平方积分，这就是连续型最小二乘拟合问题，也被称为函数最正确平方迫近问题。第35页离散型：离散型：已知离散数据点 对每个点 都有一个正权重值 ，表示该数据点主要程度。确定参数 ，得到拟合函数p(x)，使得带权最小二乘函数值最小化，这个问题称为离散型带权最小二乘拟合问题。定义定义3 3 带权最小二乘拟合问题带权最小二乘拟合问题广义最小二乘拟合问题就是上述各类最小拟合问题集合。连续型：连续型：已知在区间 a,b 内定义连续函数 y=f(x)，并有在区间 a,b 内定义连续权重函数(x)。(x)非负可积，表示函数在区间 a,b 内各个部分主要程度。确定参数 ，得到拟合函数 p(x)，使得带权最小二乘函数值最小化，这个问题称为连续型带权最小二乘拟合问题。第36页第37页