系统辨识课件.pptx

近代辨识近代辨识：最小二乘法、极大似然法辨识对象：辨识对象：以单输入单输出系统差分方程为模型辨识内容：辨识内容：系统模型参数和系统模型阶次n学习内容：学习内容：各种参数估计算法的推导、特点、流程、优缺点及适用范围第3章 最小二乘法辨识3.1 基本的最小二乘估计解决问题：解决问题：在模型阶次n已知的情况下，根据系统的输入输出数 据，估计出系统差分方程的各项系数。式中，x(k)为理论输出值，y(k)为实际观测值，n(k)为观测噪声。则有：1.1.基于输入基于输入/输出数据的系统模型描述输出数据的系统模型描述 SISO系统的差分方程为将x(k)代入上式，可得输入输出数据方程为：则当前输出为：设观测数据有(n+N)个，令k分别等于n+1,n+N,则有：上式写成向量形式为：记为：输出向量输出向量 测量矩阵测量矩阵 参数矩阵参数矩阵 噪声矩阵噪声矩阵 数据长度数据长度N(注：实际数据个数为n+N)若N=(2n+1)且=0，则上式中的阵为(2n+1)(2n+1)的方阵。由此，可解得的唯一解为：而在实际工程中，肯定不等于0，且N(2n+1)，即方程个数远大于未知数，故而上述的解不成立。当前任务：当前任务：在存在噪声和数据长度N(2n+1)的情况下，如何进行参数的估计。(3.1)即2.2.基本的最小二乘法基本的最小二乘法(LS)(LS)辨识准则：辨识准则：残差平方和最小。为模型的计算值，即(1)残差e(2)指标函数J故而，最小二乘法辨识就是使J最小的参数估计方法。即有：下面我们推导估计值的计算方法。J取得最小值，也即J为极值，则有：其中,为(2n+1)(2n+1)的方阵。若其逆阵存在，则：(3.2)上式即为最小二乘法的参数估计结果。上式即为最小二乘法的参数估计结果。讨论：理论上，偏导为0只能说明J取得极值。可能为极大 值，也可能为极小值。也即T为正定阵。而阵为测量矩阵，它由输入/输出数据组成，故而“T为正定阵”必与输入信号u(k)密切相关。因此，需要讨论LS方法对输入信号的要求。使J为极小值的条件为：3.3.最小二乘法对输入信号的要求最小二乘法对输入信号的要求主要讨论对输入信号u(k)的要求。其中，则当N时，有：于是有：J取得极小值T正定R正定Ru正定。因此：J J取得极小值的必要条件为取得极小值的必要条件为R Ru u为正定阵为正定阵。这就是最小二乘法对输入信号的要求。定义：如果序列u(k)的(n+1)阶方阵Ru是正定的，则称序列u(k)为(n+1)阶持续激励信号。因此，最小二乘法对输入信号的要求为：u(k)u(k)为为(n+1)(n+1)阶持续激励信号阶持续激励信号 哪些输入信号u(k)的Ru是强对角线占优矩阵？以下输入信号均能满足Ru正定的要求：(1)白噪声序列；(2)伪随机二位式噪声序列；(3)有色噪声随机信号序列。工程上常用“伪随机二位式噪声序列”、“有色噪声随机信号序列”作为输入信号。考查若Ru为强对角线占优矩阵，则Ru正定。4.4.最小二乘估计的概率性质最小二乘估计的概率性质最小二乘估计的概率性质主要有以下四方面：(1)估计的无偏性；(2)估计的一致性；(3)估计的有效性；(4)估计的渐进正态性。我们主要讨论前两项：无偏性和一致性。(1)(1)估计的无偏性估计的无偏性无偏性估计的定义：若，则称 是参数的无偏估计。下面讨论无偏估计的条件。(3.3)LSLS无偏估计的充要条件为：无偏估计的充要条件为：下面讨论无偏估计的充分条件。考查充要条件由上式可知：y(k)只与(k),(k-1),(k-2)相关，而与(k+1),(k+2),(k+3)不相关。若(k)为零均值不相关随机序列，且与u(k)无关。则由上式可知，T与不相关。则有：可见，在上述条件下我们得到了参数的无偏估计。(k)为零均值不相关随机序列，且与u(k)无关。LSLS无偏估计的充分条件为：无偏估计的充分条件为：(2)(2)一致性估计一致性估计一致性估计的定义：若，则称 是参数的一致性估计。若参数估计值以概率1收敛于真值，则称估计值具有一致性。或采用下述定义：式中，为估计误差 的方差。下面讨论一致性估计的充分条件。估计误差的方差为：一致性估计的充分条件为：一致性估计的充分条件为：同样，假设(k)为零均值不相关随机序列，且与u(k)无关。则T与不相关,且有：(k)为零均值不相关随机序列，且与u(k)无关。(3)(3)估计值的有效性估计值的有效性有效性的定义：有效性的定义：若参数估计误差的方差达到最小值，则称该估计值是有效估计值。LSLS有效估计值的充分条件：有效估计值的充分条件：(k)是零均值且服从正态分布的白噪声序列。(4)(4)估计值的渐近正态性估计值的渐近正态性渐近正态性的定义：渐近正态性的定义：若参数估计值服从正态分布，则称该估计值是渐近正态的。LSLS渐近正态性的充分条件：渐近正态性的充分条件：(k)是零均值且服从正态分布的白噪声序列。(5)(5)基本最小二乘估计存在问题基本最小二乘估计存在问题无偏性和一致性估计的充分条件均为：(k)为零均值不相关随机序列，且与u(k)无关。考查相关也就是说即使在n(k)为白噪声的条件下，(k)为相关随机序列。故而基本最小二乘估计是有偏估计基本最小二乘估计是有偏估计，必须对基本最小二乘法进行改进。1.1.递推算法推导递推算法推导3.2 递推最小二乘法解决问题：解决问题：(n+N)组观测数据时的参数估计值已知，现在又得 到了一组新的观测值(u(n+N+1),y(n+N+1)，如何 采用最小二乘法进行在线估计新的估计值问题。假设已获取了数据长度为N的I/O数据，则由LS估计有：记：，则可写成：现获得了一组新的I/O数据值：u(n+N+1)、y(n+N+1)。需推导出的计算公式，即(n+N+1)时刻的观测值y(n+N+1)可表示为：则上式可写为：则由最小二乘(LS)可得(n+N+1)时刻的参数估计值为：则输入输出方程可写成分块矩阵形式：(3.4)上式记为：现在的主现在的主要任务是要任务是求解矩阵求解矩阵的逆的逆矩阵求逆引理：矩阵求逆引理：若相应矩阵的逆均存在，则有对照，令：则有考查矩阵的维数：可见，矩阵求逆运算转化为求标量的倒数运算。将代入的表达式，经整理有：(3.5)由由(3.5)(3.5)式可得式可得LSLS的递推算法：的递推算法：递推过程：(3.6)上述递推算法的运行需获取两个初值：初值获取方法：证明：基本最小二乘离线算法与递推算法的结果完全一致证明：基本最小二乘离线算法与递推算法的结果完全一致.注：注：