系统辨识极大似然估计.pptx

第第6章章 极大似然法估计极大似然法估计1 1、极大似然法、极大似然法p德国德国著名数学家、物理学家、天文学家、著名数学家、物理学家、天文学家、大地测量学大地测量学家家p被认为是最重要的数学家，是近代数学奠被认为是最重要的数学家，是近代数学奠基者之一基者之一p和牛顿、阿基米德被誉为有史以来的最伟和牛顿、阿基米德被誉为有史以来的最伟大的大的3位数学家，有位数学家，有“数学王子数学王子”之称之称 卡尔卡尔.弗里德里希弗里德里希.高斯高斯（17771855）p根据概率的方法能够导出由观测数据来确定系统参根据概率的方法能够导出由观测数据来确定系统参数的一般方法数的一般方法p应用贝叶斯定理讨论了参数的估计法。应用贝叶斯定理讨论了参数的估计法。p英国实验遗传学家兼统计学家英国实验遗传学家兼统计学家p把渐进一致性、渐进有效性等作为参把渐进一致性、渐进有效性等作为参数估计量应具备的基本性质数估计量应具备的基本性质p在在1912年提出了极大似然法年提出了极大似然法Ronald Aylmer Fisher(18901962)1 1、极大似然法、极大似然法6.16.1 极大似然法极大似然法 辨识准则辨识准则以观测值的出现概率最大为准则以观测值的出现概率最大为准则思路思路设一随机试验已知有若干个结果设一随机试验已知有若干个结果,，如果在一次如果在一次试验中发生了，则可认为当时的条件最有利于发生，试验中发生了，则可认为当时的条件最有利于发生，故应如此选择分布的参数故应如此选择分布的参数，使发生的概率最大，使发生的概率最大 。基本思想基本思想构造一个以构造一个以数据和未知参数数据和未知参数为自变量的为自变量的似然函数似然函数，当这个，当这个函数在某个参数值上达到极大时，就得到了系统模型参数函数在某个参数值上达到极大时，就得到了系统模型参数的估计值的估计值1 1、极大似然法、极大似然法极大似然法辨识的物理意义极大似然法辨识的物理意义 根据一组确定的随机序列根据一组确定的随机序列 yN，设法，设法找到参数找到参数估计值估计值 ，它使得，它使得随机变量随机变量 y 在在 条件下的概条件下的概率密度函数最大可能地逼近随机变量率密度函数最大可能地逼近随机变量 y 在在 (真值真值)条件条件下的概率密度函数，即：下的概率密度函数，即：1 1、极大似然法、极大似然法一极大似然原理一极大似然原理观测数据：观测数据：y1,y2,yN；联合概率密度联合概率密度P(Y|)；待估计的参数待估计的参数时，该观测值时，该观测值y1,y2,yN的可能性最大；的可能性最大；当当构造一个以数据和未知参数为自变量的构造一个以数据和未知参数为自变量的似然函数似然函数，极，极大化这个似然函数，获得模型的参数估计值大化这个似然函数，获得模型的参数估计值接近于真实接近于真实的可能性最大的可能性最大当观测结果为当观测结果为y1,y2,yN的条件下，的条件下，以观测值的出现概率最大作为准则以观测值的出现概率最大作为准则似然函数如何选择？似然函数如何选择？1 1、极大似然法、极大似然法已知参数已知参数的条件下，观测量的概率密度为的条件下，观测量的概率密度为P(Y|)，观测数，观测数据据y1,y2,yN似然函数似然函数的极大似然估计的极大似然估计等价于等价于但一般不容易得到解析解，需采用数值方法得到其近似解但一般不容易得到解析解，需采用数值方法得到其近似解似然函数的选择似然函数的选择各观测量各观测量y1,y2,yN由随机变量由随机变量y的独立样本所组成，观测量的独立样本所组成，观测量是独立的是独立的观察值概率分布密度函数的乘积观察值概率分布密度函数的乘积1 1、极大似然法、极大似然法例例1.已知独立同分布的随机过程已知独立同分布的随机过程x(k)在在条件下随条件下随机变量机变量x的概率密度为的概率密度为求参数求参数的极大似然估计的极大似然估计解：解：1 1、极大似然法、极大似然法例例2.x(k)是独立分布随机序列，其概率密度是独立分布随机序列，其概率密度求求a的极大似然估计的极大似然估计解：解：1 1、极大似然法、极大似然法说明说明p若随机变量观测值若随机变量观测值的的概率密度函数概率密度函数已知已知，可以容易的，可以容易的求出参数的极大似然求出参数的极大似然估计估计p极大似然估计量都具有良好的渐近性质，但无偏性不极大似然估计量都具有良好的渐近性质，但无偏性不是所有极大似然估计量都具有的性质是所有极大似然估计量都具有的性质p适用于适用于(k)相关情况；相关情况；p当系统信噪比较小时有较好的估计效果；当系统信噪比较小时有较好的估计效果；p算法稳定度好；算法稳定度好；p实际工程中广泛使用。实际工程中广泛使用。1 1、极大似然法、极大似然法6.2 6.2 动态系统模型参数的极大似然估计动态系统模型参数的极大似然估计1.白噪声情况白噪声情况系统差分方程：系统差分方程：系统估计残差为：系统估计残差为：2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计(k)为高斯白噪声，方差为为高斯白噪声，方差为2 高斯分布概率密度函数高斯分布概率密度函数：似然函数似然函数L L为为：2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计可见在可见在(k)为高斯白噪声序列为高斯白噪声序列这一特殊情况下，这一特殊情况下，极大似然辨极大似然辨识与一般最小二乘法辨识有相同结果识与一般最小二乘法辨识有相同结果。2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计2.2.有色噪声情况有色噪声情况式中：式中：系统差分方程系统差分方程2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计因为因为(k)为高斯白噪声，为高斯白噪声，故而故而e(k)可假设为零均值的高斯白噪声。可假设为零均值的高斯白噪声。则似然函数则似然函数L为：为：由由记记2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计讨论讨论：y(k)出现的概率最大，亦即出现的概率最大，亦即J达到极小值。即使对概率密度不达到极小值。即使对概率密度不作任何假设，使作任何假设，使J极小也是极有意义的。因此，极小也是极有意义的。因此，ML估计就变成估计就变成了如何求取了如何求取J极小的算法。可见，极小的算法。可见，使使L为最大的估计值，等价于为最大的估计值，等价于使使J为极小的估计值。为极小的估计值。求求J的极小值问题只能采用的极小值问题只能采用循环迭代方法循环迭代方法。常用的迭代算法有：常用的迭代算法有：拉格朗日乘子法和牛顿拉格朗日乘子法和牛顿-拉卜森法拉卜森法。2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计称为称为J J的梯度矩阵的梯度矩阵称为称为J J的海赛矩阵的海赛矩阵牛顿牛顿-拉卜森法的迭代公式：拉卜森法的迭代公式：注意：注意：上式中上式中J J的的梯度矩阵和海赛矩阵梯度矩阵和海赛矩阵，依不同辨识对象，需进行，依不同辨识对象，需进行详细推导，推导出矩阵中每个元素的具体表达式。详细推导，推导出矩阵中每个元素的具体表达式。2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计Newton-Raphson 迭代计算迭代计算步骤步骤(1)初始值的选定初始值的选定任意取值任意取值用基本用基本LS辨识获取辨识获取(2)计算预测误差计算预测误差(残差残差)及及J值值指标函数指标函数J值：值：预测误差：预测误差：误差方差估计值：误差方差估计值：2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计(3)(3)计算梯度矩阵及海赛矩阵计算梯度矩阵及海赛矩阵当估值比较接近真值当估值比较接近真值时，时，e(k)接近于接近于0，后一项可忽略后一项可忽略，则，则海赛矩阵为：海赛矩阵为：2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计(4)按牛顿按牛顿-拉卜森迭代公式计算新的估计值拉卜森迭代公式计算新的估计值(5)计算残差方差比计算残差方差比则终止迭代则终止迭代返回返回(2)进行循环迭代，若：进行循环迭代，若：2 2、动态系统、动态系统模型参数的极大似然估计模型参数的极大似然估计6.3 6.3 递推极大似然法递推极大似然法递推递推MLML算法算法的特点：的特点：按不同的估计方法，可得不同的递推极大似然算法。按不同的估计方法，可得不同的递推极大似然算法。常用的有按牛顿常用的有按牛顿-拉卜森法、二次型函数逼近法的递推拉卜森法、二次型函数逼近法的递推MLML算法算法 (1)(1)其性能介于递推广义最小二乘法与离线其性能介于递推广义最小二乘法与离线MLML法之间；法之间；(2)(2)收敛性好收敛性好，以概率，以概率1 1收敛于局部极小值；收敛于局部极小值；(3)(3)在高噪声时，采用递推在高噪声时，采用递推MLML效果效果好。好。递推极大似然法递推极大似然法自学自学3 3、递推极大似然法、递推极大似然法