系统辨识第四章.pptx

1系统辨识基础2系统辨识系统辨识第一章第一章 模型方法与辨识模型方法与辨识第二章第二章 脉冲响应辨识脉冲响应辨识 第三章第三章 最小二乘辨识最小二乘辨识第四章第四章 极大似然辨识极大似然辨识第五章第五章 时间序列建模与随机时间序列建模与随机逼近辨识逼近辨识第六章第六章 模型阶次的辨识模型阶次的辨识第七章第七章 闭环系统辨识闭环系统辨识3第四章第四章 极大似然辨识极大似然辨识 前言前言 4-1 极大似然原理极大似然原理 4-2 动态系统模型参数的极大似然估计动态系统模型参数的极大似然估计 4-3 极大似然估计的一致性极大似然估计的一致性 4-4 预报误差参数辨识法预报误差参数辨识法4第四章第四章 极大似然辨识极大似然辨识 极大似然法，是一种适用范围非常广泛的传统辨识方法，1906年，由R.A.Fisher提出。极大似然估计方法在随机系统参数估计、故障检测及容错控制等方面，有广泛应用。把这种经典的估计方法用于动态过程或动态系统辨识，可以获得良好的估计性质。极大似然法要求已知输出量的条件概率密度函数，建立随机观测数据与未知参数之间的概率特性和统计关系，通过使条件概率密度函数为极大的准则，求出未知参数的估计值。因而，极大似然辨识法是一种概率性的参数估计方法。54-1 极大似然原理极大似然原理一、似然函数一、似然函数67 可见，条件概率密度函数与似然函数有不同的物理含义，但其数学表达形式一致，即891011二、极大似然估计求法二、极大似然估计求法 极大似然估计定义12似然方程与对数似然方程似然方程与对数似然方程故可通过由于1314正态独立同分布随机过程均值与方差的极大似然估计正态独立同分布随机过程均值与方差的极大似然估计15取对数似然函数16用对数似然方程：令有17令 0因故得：18求出19验证：20例4-1解21相应的对数似然函数22且23例4-2解24相应的对数似然函数254-2 动态系统模型参数的极大似然估计动态系统模型参数的极大似然估计一、第一、第1种模型噪声情况种模型噪声情况设动态系统差分方程为26式中2728噪声的联合概率密度函数噪声的联合概率密度函数29向量方程误差的似然函数向量方程误差的似然函数则向量方程误差为（残差）3031输出观测向量的似然函数输出观测向量的似然函数根据随机向量变换法则，可以导出32模型参数的极大似然估计模型参数的极大似然估计观测向量Y的对数似然函数为33得：整理：3435两点注意事项两点注意事项36二、第二、第2种模型噪声情况种模型噪声情况设动态系统的差分方程为：37因z(k)是v(k)与v(k-1)的线性组合，故z(k)也是零均值正态分布噪声序列，但不再是无关序列。38噪声的统计特性均值39方差阵联合概率密度函数40观测向量的似然函数观测向量的似然函数模型参数的极大似然估计模型参数的极大似然估计41有表明：此时模型参数的极大似然估计正好等于模型参数的马尔可夫估计。424-3 极大似然估计的一致性极大似然估计的一致性 动态系统极大似然估计的一致性问题，经常转换为预报误差方程的预报误差估计的一致性问题。因为一大类含噪声的线性系统的差分方程或状态方程，可以转化为预报误差方程，而预报误差方程与似然函数之间可以建立起直接的联系，所得结果具有较宽的适用范围。根据输入和输出数据，可得相应集合43构造预报误差方程：因此，预报误差方程中的44可见，预报误差方程代表一大类含噪声的线性动态系统。假设：45噪声的条件期望取性能指标为(残差平方和的均值)4647下面给出简要证明。由预报误差模型，预报误差：由预报误差方程知：因而预报误差48式中49(噪声方差)05051于是有从而证明了预报误差估计和正态条件下的极大似然估计具有一致性，都是真实参数 的一致估计。524-4 预报误差参数辨识法预报误差参数辨识法 极大似然法要求已知数据的概率分布，通常都假设数据服从正态(高斯)分布。然而，实际问题中的数据不一定都是正态分布的。当数据的概率分布不知道时，无法应用极大似然估计。预报误差参数辨识法不要求数据概率分布先验知识，是一种更加一般的参数辨识方法，也是极大似然估计的一种推广。业已证明，当数据的概率服从正态分布时，预报误差估计法等价于极大似然法（Goodwin澳大利亚教授,1977）.53一、预报误差准则预报误差模型54则预报误差模型：预报误差模型表明：k时刻的输出，可以用k时刻以前的数据来“预报”。55这种预报，可使预报误差范数平方的条件期望最小，即 显然，这种“最好”的输出预报，应是“最好”模型的输出。由最优控制理论知，“最好”输出预报，应是使某一个预报误差准则(即性能指标)为极小而获得。56预报误差准则常用的误差准则有如下两种：57而在多入-多出情况下58二、预报误差法与极大似然法之间的关系预报误差模型的似然函数应用Bayes公式，得条件概率密度函数59由预报误差模型60必有故61幅值相乘相角相加62预报误差协方差 已知时的似然函数由似然函数63根据矩阵迹的运算性质：故已令有(样本协方差)64表明：65预报误差协方差 未知时的似然函数取负对数似然函数，有根据矩阵迹的微分运算法则：6667以 代替 ，负对数似然函数为68：当 为正态分布不相关随机向量时，等价于 取极小，又等价于第2种预报误差准则 取极小。在这种意义下，极大似然法与预报误差法也是等价的。结论预报误差法与极大似然法等价。或者说，极大似然法是预报误差法的特例。在上式中,右端各项为正,必有：等价于 .由于似然函数 取极大,69三、预报误差参数估计方法(Newton-Raphson法)预报误差参数估计法实质 由于预报误差准则 或 一般都是参数的非线性函数，故令 极小化求 的方法，归纳为极小化 的最优化算法。若预报误差 的协方差阵 已知，则取作为预报误差准则，且取权阵 ；若 未知，则应选 为预报误差准则。70预报误差准则极小化的最优化算法根据NewtonRaphson原理，的最优化算法归纳为如下迭代方程：式中：第 次迭代的参数估计值；预报误差准则 关于 的梯度；71 Hessian矩阵；迭代步长，使显然，上述最优化算法的关键是：关于 的梯度及Hessian矩阵的具体计算式；利用一维搜索法求 ，使。72梯度与Hessian矩阵的计算设 的协方差矩阵已知，即 已知，取权阵，而(n为系统阶次)因而：由矩阵运算公式：73其中可得梯度向量 的第i个元素为：(代入 表达式)74Hessian矩阵 的第i行，第j列的元素为：代入 表达式略去75需要指出：计算Hessian矩阵元素时，忽略了e(k)关于 的二阶导数，目的是简化Hessian矩阵计算，并可保证Hessian矩阵正定性。式中 为 的维数，即待辨识的参数个数，且 (预报误差模型)76Newton-Raphson法迭代计算步骤设置初始状态 和步长 ，赋 ；计算 和 ，77计算梯度 和Hessian矩阵利用一维搜索法，求步长 ，使78计算给定迭代精度正小数 ，若则停止迭代；否则，赋 ，返回 。