3.1最小二乘法市公开课获奖课件省名师优质课赛课一等奖课件.ppt

国防科学技术大学航天与材料工程学院国防科学技术大学航天与材料工程学院-11-5第三章第三章 参数预计参数预计(1)1/30内容介绍内容介绍 参数预计是依据试验测得样本推断参数预计是依据试验测得样本推断未知参数数值，包含参数预计未知参数数值，包含参数预计准则准则和预和预计计算法算法。l 准则准则：最小二乘、最大似然、最小方差、最小风险、最：最小二乘、最大似然、最小方差、最小风险、最小预报均方误差等。小预报均方误差等。l 算法算法：迭代算法、递推算法。：迭代算法、递推算法。什么是参数预计？什么是参数预计？2/30内容介绍内容介绍 3.1 最小二乘预计准则3.2 最小二乘预计迭代算法3.3 最小二乘预计递推算法3/30学习目标学习目标本章学习目标本章学习目标1、掌握最小二乘参数辨识方法基本原理2、掌握惯用最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识4/303.13.1 最小二乘预计准则最小二乘预计准则一、最小二乘法介绍一、最小二乘法介绍二、标准最小二乘预计二、标准最小二乘预计三、加权最小二乘预计三、加权最小二乘预计5/303.1 3.1 最小二乘预计准则最小二乘预计准则最小二乘法奠定了系统辨识参数预计理论基石，美国著名统计学家斯蒂格勒甚至说“最最小小二二乘乘法法于于数数理理统统计计科科学学正正如如微微积积分分之之于于数数学学。”为何要学习最小二乘法？为何要学习最小二乘法？6/3018初，天文学家皮亚齐发觉了谷神星。18末，天文兴趣者奥博斯，在高斯预 言时间里，再次发觉谷神星。18高斯又成功地预测了智神星轨道。高斯自己独创了一套行星轨道计算 理论。高斯仅用1小时就算出了谷神星 轨道形状，并进行了预测1794年，高斯提出了最小二乘思想。3.1 3.1 最小二乘预计准则最小二乘预计准则最小二乘法是怎么来？最小二乘法是怎么来？1777.4.30-1853.2.237/30一、最小二乘法介绍一、最小二乘法介绍二、标准最小二乘预计二、标准最小二乘预计三、加权最小二乘预计三、加权最小二乘预计3.1 3.1 最小二乘预计准则最小二乘预计准则8/30离散型线性系统观察方程：其中 为观察矢量，是待估参数；测量噪声 为零均值白噪声，观察矩阵 。3.1 3.1 最小二乘预计准则最小二乘预计准则9/30观察数据:用最小二乘法确定a,b 经过计算确定一些经验公式类型方法经过计算确定一些经验公式类型方法:3.1 3.1 最小二乘预计准则最小二乘预计准则10/30每次得到 i 个观察量，进行 j 次观察，这里有 m=ij，若观察方程有解，则要求mn，实际上我们碰到大量问题都满足这一条件。3.1 3.1 最小二乘预计准则最小二乘预计准则11/303.1 3.1 最小二乘预计准则最小二乘预计准则准则函数以下：求使J最小 ，即得预计值 。为何叫为何叫“最小二乘最小二乘”？最小二乘思想就是寻找一个最小二乘思想就是寻找一个 预计值预计值 ，使得各次测量，使得各次测量 与由预计与由预计 确定量测确定量测预计预计 之差平方和最小。之差平方和最小。“最小二乘最小二乘”基本思想是什么？基本思想是什么？最小二乘预计是在残差二乘方准则函数极小意义下最优预计12/30 因准则函数是二次型，所以，求其最小值，可令 ，在 存在情况下，则有：其中 称之为信息矩阵。信息矩阵为正定Hermite二次型矩阵。3.1 3.1 最小二乘预计准则最小二乘预计准则13/30性质：1、无偏预计2、预计误差3、残差4、协方差矩阵3.1 3.1 最小二乘预计准则最小二乘预计准则一致性一致性有效性有效性渐进渐进正态性正态性14/30例子：经过试验确定热敏电阻阻值和温度间关系 当测量没有任何误差时，仅需2个测量值。每次测量总是存在随机误差。3.1 3.1 最小二乘预计准则最小二乘预计准则15/30 使使 最小最小/*minimax problem*/太复杂太复杂 使使 最小最小不可导，求解困难不可导，求解困难 使使 最小最小测量误差平方和最小测量误差平方和最小常见做法：常见做法：3.1 3.1 最小二乘预计准则最小二乘预计准则16/30依据最小二乘准则有3.1 3.1 最小二乘预计准则最小二乘预计准则套用公式17/303.1 3.1 最小二乘预计准则最小二乘预计准则18/303.1 3.1 最小二乘预计准则最小二乘预计准则 最小二乘参数辨识方法能够预计系统方程参数，其观察误差二次型函数能够检验试验操作人员操作技能。深入思索：最为检验操作技能标准，它是否是完备？观察误差二次型函数：19/30一、最小二乘法介绍一、最小二乘法介绍二、标准最小二乘预计二、标准最小二乘预计三、加权最小二乘预计三、加权最小二乘预计3.1 3.1 最小二乘预计准则最小二乘预计准则为何还要学习为何还要学习加权最小二乘预计？加权最小二乘预计？20/303.1 3.1 最小二乘预计准则最小二乘预计准则 普通最小二乘预计精度不高原因之一是对测量数据同等对待 各次测量数据极难在相同条件下取得 有测量值置信度高，有测量值置信度低问题 对不一样置信度测量值采取加权方法分别对待 置信度高，权重取得大些；置信度低，权重取小些21/30准则函数取为：其中 为对角正定加权阵。3.1 3.1 最小二乘预计准则最小二乘预计准则22/30加权最小二乘预计值为：其中 。假如已知测量噪声为零均值白噪声，加权最小二乘参数预计值协方差矩阵：3.1 3.1 最小二乘预计准则最小二乘预计准则23/30u ，这种加权最小二乘预计就是普通最小二乘预计。u ，这种加权最小二乘预计称为马尔可夫最小二乘预计。u ，这种加权最小二乘预计称为渐消记忆最小二乘预计。u加权最小二乘预计仅用于事先能够预计方程误差对参数预计影响。3.1 3.1 最小二乘预计准则最小二乘预计准则24/30例3.2：两仪器不相关，同时测量物理量x，得值y1和y2，已知仪器误差均值为零，方差分别为r和4r，即D(v1)=r，D(v2)=4r，预计物理量，并求出预计值方差。解：首先写出观察方程：3.1 3.1 最小二乘预计准则最小二乘预计准则25/30最小二乘预计：加权最小二乘预计：3.1 3.1 最小二乘预计准则最小二乘预计准则26/30u离散线性系统观察方程u最小二乘预计准则u最小二乘解u最小二乘解统计特征u加权最小二乘解总结总结27/30作业：例题：3.1，3.2，3.3，3.4；习题：3-1，3-2，3-3。3.1 3.1 最小二乘预计准则最小二乘预计准则28/30参考书目Gauss,Carl Friedrich,Translated by G.W.Stewart.1995.Theory of the Combination of Observations Least Subject to Errors:Part One,Part Two,Supplement.Philadelphia:Society for Industrial and Applied Mathematics.Plackett,R.L.1949.A Historical Note on the Method of Least Squares.Biometrika.36:458460.Stephen M.Stiger,Gauss and the Invention of Least Squares.The Annals of Statistics,Vol.9,No.3(May,1981),465-474.Plackett,Robin L.1972.The Discovery of the Method of Least Squares.Plackett,Robin L.1972.The Discovery of the Method of Least Squares.Belinda B.Brand,Guass Method of Least Squares:A historically-based introduction.August http:/www.stetson.edu/efriedma/periodictable/html/Ga.htmlhttp:/