最小二乘法市公开课一等奖百校联赛获奖课件.pptx

最小二乘法线性拟合最小二乘法线性拟合朱刚强朱刚强.03.0121第1页n 在处理数据时，常要把试验取得一系列数据点描成曲线表反应物物理理量量间间关关系系。为了使曲线能代替数据点分布规律，则要求所描曲线是平滑，既要尽可能使各数据点对称且均匀分布在曲线两侧。因为目测有误差，所以，同一组数据点不一样试验者可能描成几条不一样曲线(或直线)，而且似乎都满足上述平滑条件。那么，终究哪一条是最曲线呢？这一问题就是“曲线拟合”问题。普通来说，“曲线拟合”任务有两个：2第2页n一一 是物理量y与x间函数关系已已经经确确定定，只有其中常数未定（及详细形式未定）时，依据数据点拟合出各常数最正确值。n二二 是在物理量y与x间函数关系未未知知时时，从函数点拟合出y与x函数关系经验公式以及求出各个常数最正确值。3第3页处理问题方法n寻找变量之间直线关系方法很多。于是，再接下来则是从众多方法中，寻找一个优良方法，利用方法去求出线性模型y=a+bx+u中截距a=?；直线斜率b=?正是是本章介绍最小二乘法。n所得直线可靠吗？怎样衡量所得直线可靠性？n最终才是怎样利用所得规律变量线性关系？4第4页最小二乘法产生历史n最小二乘法最早称为回归分析法。由著名英国生物学家、统计学家道尔顿（F.Gallton）达尔文表弟所创。n早年，道尔顿致力于化学和遗传学领域研究。n他研究父亲们身高与儿子们身高之间关系时，建立了回归分析法。5第5页父亲身高与儿子身高之间关系研究n1889年F.Gallton和他朋友K.Pearson搜集了上千个家庭身高、臂长和腿长统计n企图寻找出儿子们身高与父亲们身高之间关系详细表现形式n下列图是依据1078个家庭调查所作散点图（略图）6第6页n从图上虽可看出，个子高父亲确有生出个子高儿子倾向，一样地，个子低父亲确有生出个子低儿子倾向。得到详细规律以下：n如此以来，高伸进了天，低缩入了地。他百思不得其解，同时又发觉某人种平均身高是相当稳定。最终得到结论：儿子们身高回复于全体男子平均身高，即“回归”见1889年F.Gallton论文普用回归定律。n后人将此种方法普遍用于寻找变量之间规律 7第7页最小二乘法地位与作用n现在回归分析法已远非道尔顿本意，已经成为探索变量之间关系最主要方法，用以找出变量之间关系详细表现形式。n以后，回归分析法从其方法数学原理误差平方和最小出发，改称为最小二乘法最小二乘法。8第8页最小二乘法思绪n1为了准确地描述Y与X之间关系，必须使用这两个变量每一对观察值，才不至于以点概面。n2Y与X之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间关系。n3什么是最好？找出判断“最好”标准。最好指是找一条直线使得这些点到该直线纵向距离和（平方和）最小。9第9页第一节第一节 一元线性拟合一元线性拟合10第10页n1.已知函数为线性关系，其形式为：n y=a+bx （1）n式中a,b为要用试验数据确定常数。这类方程叫线性回归方程，方程中待定常数a,b叫线性回归系数。n由试验测得数据是n x=x1,x2,.xn 时，n 对应y值是y=y1,y2,.yn1.函数形式已知数学推证过程11第11页n因为试验数据总是存在着误差，所以，把各组数据代入(1)式中，两边并不相等。对应作图时，数据点也并不能准确地落在公式对应直线上，如图所表示。由图一还能够看出第i个数据点与直线偏差为：(1)n假如测量时，使x较之y偏差很小，以致能够忽略（即xi很小）时，我们能够认为x测量是准确，而数据偏差，主要是y偏差，因而有：12第12页n我们目标是依据数据点确定回归常数a和b，而且希望确定a和b能使数据点尽可能靠近直线能使v尽可能小。因为偏差v大小不一，有正有负，所以实际上只能希望总偏差（）最小。n所谓最小二乘法就是这么一个法则，按照这个法则，最好地拟合于各数据点最正确曲线应使各数据点与曲线偏差平方和为最小。13第13页n首先，求偏差平方和，将式两边平方后相加，得：n显然，是a,b函数。按最小二乘法，当a,b选择适当，能使为最小时y=a+bx才是最正确曲线。由最小二乘法确定a和b 14第14页n依据二元函数求极值法二元函数求极值法，把式对a和b分别求出偏导数。得：15第15页n令等于零，得：n解方程，得：n n 16第16页n公式式中：n从不难求出对a,b二阶偏导数为：17第17页n所以式求出a,b可使为极小值。因而由a,b所确定曲线y=a+bx就是用最小二乘法拟合最正确曲线。n因为已知函数形式为非线性时非线性时，可用变量代换法“曲线改直曲线改直”使函数变为线性关系线性关系，因而最小二乘法就有更普遍意义。18第18页2.经验公式线性回归函数形式未知 n因为经验公式函数形式是未知，因而恰当地选择经验公式函数形式就成了曲线拟合中主要问题。n在进行经验公式回归时，必须先确定函数形式。确定函数形式普通是依据理论推断或者从试验数据改变趋势来推测判断。n如依据试验得到一组数据 （或其在x y坐标上数据点）初步判断经验公式为线性关系时，即可用最小二乘法按，式求出b,a值，并进而拟合出直线线性关系式：y=a+bx 回归方程。19第19页3.回归方程精度和相关系数 n用最小二乘法确定a,b存在误差。n总结经验公式时，我们初步分析判断所假定函数关系是正确，为了处理这些问题，就需要讨论回归方程精度精度和相关性相关性。n为了预计回归方程精度，深入计算数据点 偏离最正确直线y=a+bx大小，我们引入概念剩剩下下标标准准差差 ，它反应着回归方程与各数据点拟合程度。20第20页n剩下标准差 n公式中：21第21页nR称为相关系数。其值可正可负，普通有：na:当R=1时，=,即各数据点与最正确直线完全重合。nb：0Ra是零结果，即a=0.n所以,I-U间为线性关系即所测电阻为一线性电阻。n由表二数据得回归方程为y=bx,即I=1.993u（mA）其剩下标准差为 =0.06n而且:31第31页 第二节 二元线性回归 n已知函数形式(或判断经验公式函数形式)为 式中，均为独立变量，故是二元线性回归。n若有试验数据：32第32页n对应y值是 y=y1,y2,.yn。与一元线性回归讨论方法类似，求出总偏差：n对a,b1和 b2求偏导数，并令其等于零后，解方程则可得：33第33页n公式中：34第34页n 分别是y,x1和x2算术平均值。一样可证，由 式求出b2,b1和a所确定正是满足 最小二乘法最小条件最正确曲线。n对应剩下标准差:其中:35第35页n 成为全相关系数。且 .愈靠近于1，则表示所得回归方程比较理想。反之，愈靠近于0，则说明所得回归方程没有多大实际意义。n依据统计方法也能够求出b1,b2及a标准误差，它们分别为:36第36页 第三节 非线性回归37第37页设由试验取得了两个变量x,y一组数据(xi,yi),且由数据点在x，y坐标中分布规律能够判断出两个变量间成非线性关系。怎样用一条曲线（数学关系式）才能最正确地代替数据点分布规律呢？（1）依据数据点分布尽可能准确地绘出一条曲线，并和已经有确切数学表示式曲线相比较，寻找合 适数学关系式（2）进行变量替换，将 使非线性关系 线性化，在38第38页（3）用线性关系曲线拟合方法，求相关系数r，斜率B0 和截距A0，求出后反变换，就可计算出数学关系式 中常数,若 ，不能拟合成线性关系曲线，须重新寻找适当数学关系式数据点分布应是线性分布，可用来反应分布规律39第39页函数关系式举例40第40页非线性回归方程非线性回归方程n步骤步骤:(1)确定函数类型确定函数类型（如双曲线、指数曲线、对数曲线等（如双曲线、指数曲线、对数曲线等）(2)求解相关函数中未知参数求解相关函数中未知参数 曲线问题曲线问题 直线问题（变量代换）直线问题（变量代换）回归曲线回归曲线 回归多项式回归多项式直线问题直线问题-跟前面所讲一致，先计算相关系数跟前面所讲一致，先计算相关系数R,判断能否能判断能否能拟合线性关系曲线，若能够求最正确直线斜率拟合线性关系曲线，若能够求最正确直线斜率B，截距，截距A，然，然后再进行反变换，就能够计算出数学关系中常数，最终得到最后再进行反变换，就能够计算出数学关系中常数，最终得到最正确曲线。正确曲线。41第41页Back42第42页160165170175180185140150160170180190200YX儿子们身高向着平均身高“回归”，以保持种族稳定Back43第43页XYBackYXBack44第44页表二Xu(V)0.001.002.003.004.005.00YI(mA)0.002.004.016.057.859.60Xu(V)6.007.008.009.0010.00YI(mA)11.8313.7516.0218.1019.94表一Back45第45页