第6章梯度校正参数辩识方法[1]....ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,.,第,6,章,梯度校正参数辩识方法,2,6.1,引言,6.2,确定性问题的梯度校正参数辨识方法,6.3,随机性问题的梯度校正参数辨识方法,6.4,状态方程的参数辨识,6.5,差分方程的参数辨识,6.6,随机逼近法,3,6.1,引言,最小二乘类参数辩识递推算法,新的参数估计值,=,老的参数估计值,+,增益矩阵,新息,梯度校正参数辨识的递归算法的结构如同上式，但其基本思想与最小二乘类算法不同，它是通过沿着如下准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小：,其中 代表模型输出与系统输出的偏差。,4,本章主要讨论的问题：,确定性问题的梯度校正参数辨识方法；,随机性问题的梯度校正参数辨识方法；,梯度校正参数辨识方法在动态过程辨识中的应用；,随机逼近法。,5,6.2,确定性问题的梯度校正参数辩识方法,确定性问题的输入和输出都是可以准确的测量，没有噪声。,设过程的输出,参数 的线性组合,如果输出 和输入 是可以准确测量的，则 式过程称作确定性过程,6,确定性过程,置,过程,7,若过程参数的真值记作,则,在离散时间点可写成,其中,8,例如,用差分方程描述的确定性过程,可以化成,9,现在的问题,如何利用输入输出数据 和,确定参数 在 时刻的估计值,使准则函数,式中,10,解决上述问题的方法,可以是梯度校正法，通俗地说最速下降法,沿着 的负梯度方向不断修正 值,直至 达到最小值,11,梯度校正参数辨识方法的参数估计递推形式可以由下式给出,-,维的对称阵，称作加权阵,-,准则函数 关于 的梯度,12,当准则函数 取 式时,13,式可写成,-,确定性问题的,梯度校正参数估计递推公式,其中权矩阵的选择至关重要，它的作用是用来控制各输入分量对参数估计值的影响程度。,14,权矩阵 的作用是用来控制各输入分量对参数估计的影响程度的，一般地，我们选择权矩阵的形式为,只要适当选择 ，就能控制各输入分量 对参数估计值的影响。例如，如果选择,意味着输入分量 对参数估计值的影响较 弱，显然这种情况 对参数估计值的影响最小。如果选择,则各输入分量的加权值相同，它们对参数估计值的影响是相同的。,15,定理,6.1,:,确定性问题的梯度校正参数辨识方法的参数估计递推公式为：,并且权矩阵选取如下形式：,如何合理地选择权矩阵，由下面的定理给出。,16,如果,R(k),满足如下条件：,（,1,）,（,2,）,N,个 中至少存在一个 ，使得,或,（,3,）,17,（,4,）与 不正交,那么不管参数估计值的初始值如何选取，参数估计值 总是大范围一致渐近收敛的，即,注意：,条件,1,确定了权的选择范围，条件,2,是推导条件,3,的前提，条件,3,是保证参数估计全局一致收敛的条件。,证明思路,根据定义，参数估计值的偏差为,可得,设标量函数,可以证明,V,是上述动态方程的,Lyapunov,函数，利用,Lyapunov,稳定性定理可以证明，当条件（,2,）、（,3,）成立时，上述方程在平衡状态 点上是大范围一致渐近稳定的。,（,a,），对于所有的 ；,（,b,），对于所有的 ；,（,c,）当 时，有 ；,（,d,），对所有的 。,由定理给定的条件可知（,a,）、（,b,）和（,c,）一定满足。,20,权矩阵的选择,一般的选择,或者,21,最佳权矩阵的选择（,Lyapunov,最佳权矩阵）,22,注意,权矩阵 的作用是控制各输入分量对参数估计的影响程度；,若 与 正交，或,k,大于一定的值后 与正交，则得不到全局稳定性，即 时，,不趋于零。,23,6.3,随机性问题的梯度校正参数辩识方法,随机性问题的提法,确定性问题的梯度校正法与其他辩识方法相比,最大的优点：计算简单,缺点：如果过程的输入输出含有噪声，这种方法不能用,随机性问题的梯度校正法,特点：计算简单，可用于在线实时辩识,缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性,随机性问题,24,设输入输出均含噪声的随机性问题如下图：,系统模型,参数,h(k),s(k),x(k),y(k),w(k),z(k),25,设过程的输出,模型参数 的线性组合,输入输出数据含有测量噪声,26,其中,和 为零均值的不相关随机噪声,27,置,则,28现在的问题,利用输入输出数据 和,确定参数 在 时刻的估计值,使准则函数,其中,29,随机性辨识问题的分类,第一类随机性辨识问题,要求测量噪声,w,(,k,),是统计独立的,系统参数,+,+,+,+,-,模型参数,辨识算法,+,30,此问题满足以下条件,（,1,）；即 与 相互独立，的方差不必已知；,（,2,），为正定常数矩阵，不必已知；,（,3,）输入向量的测量噪声 是零均值，协方差为 的不相关离散随机向量，且与 和 是统计独立的。即,第二类问题测量噪声,w(k,),中有一部分分量与,h(k,),是相关的。,31,系统参数,+,+,+,+,+,-,模型参数,辨识算法,动态环节,32,此问题满足以下条件,（,1,）；其中 是测量噪声，,是扰动噪声，扰动噪声通过动态环节与 相关。已知 ，其方差不必先知。,（,2,），为正定常数矩阵，不必已知；,（,3,）输入向量的测量噪声 是零均值，协方差为 的不相关离散随机向量，且与 和 是统计独立的。即,33,第三类随机性辨识问题,此问题不仅 与 相关，而且 也和 相关。,第三类随机性辨识问题,34,系统参数,+,+,+,+,+,-,模型参数,辨识算法,动态环节,35,随机性问题的梯度校正参数辨识方法,基本思想与确定性问题一样，也是利用最速下降法原理，从给定的初始值 出发，沿着准则函数 的负梯度方向修正参数估计值 ，直至准则函数 达到最小值 。基本公式：,（,A,）,注意，此式给出的参数估计是渐近有偏估计，注意步长选择的原则是使第一、二类随机性辨识问题的条件（条件方差）：,满足。,36,定理,6.2,：对于第二类随机性辨识问题，利用（,A,）式所获得的参数估计值是渐近有偏的估计值，即：,其中：是过程的真实参数，且,37,推论,6.1,：对于第一类随机性辨识问题，当输入向量不含测量噪声时，利用（,A,）式所获得的参数估计值是渐近无偏的估计值，即,38,1.,第一类随机性辨识问题的梯度校正渐近无偏估计算法,由第一类问题的条件，有，因此,而,因此，修正（,A,）式，在（,A,）式的右边增加一项,39,此时有：,即 是 的渐近无偏估计。由此可以得到第一类随机性辨识问题的梯度校正渐近无偏估计算法如下：,（,P,）,注意：是已知的，,l,步长的选择必须满足条件（,2,）。,40,2.,第二类随机性辨识问题的梯度校正渐近无偏估计算法,由第二类问题的条件，有 ，为了获得参数的渐近无偏估计，必须在（,A,）式中增加两项，即需要增加 ：和 两项。于是可得第二类随机性辨识问题的梯度校正渐近无偏估计算法如下：,注意：此时要求 和 已知。,（,B,）,41,如果 与 之间具有以下的线性关系：,其中：是,N,维向量，,M,是,n,阶方阵。,此时可用 来估计 ，即取 ，由此，（,B,）式可以写成：,此时有：,因此（,C,）式可以作为第二类随机性辨识问题的梯度校正渐近无偏估计算法，此时的 和,M,为参变量，由实际问题可以唯一确定。,（,C,）,42,3.,步长间隔的选择,选择的基本原则：,使输入向量 与参数估计值 不相关。,由估计式（,P,）和（,C,），我们有：,其中 代表函数关系,当 时：,当 时,43,以此类推，得到：,由此可知，时刻的参数估计值 与时刻 以前的信息，即输入向量 、输入测量噪声,及输出测量噪声 是相关的。,44,由此，选择步长间隔,l,使输入向量 与参数估计值 不相关的问题，可以转变成选择步长间隔,l,使,与时刻 以前的信息不相关的问题。,根据第一、二类随机性辨识问题的条件，已知 与 时刻以前的 和 是不相关的，所以只要选择,l,，使得 与 不相关，就可以使得条件（,2,）成立，保证估计式（,P,）和（,C,）都是渐近无偏估计,。,45,结论：选择,l,，必须使得输入向量 与,统计不相关。,一般做法：过程是,n,阶的差分方程形式，则步长,l,选择不能低于阶次,n,。,46,4.,权矩阵的选择,估计式（,P,）和（,C,）是第一、二类随机性辨识问题的渐近无偏估计式，只要选择步长,l,，使得 与 不相关即可。但此时估计式并不是均方一致估计或依概率一致估计，即有：,但,(D),两式不一定成立。,47,问题：如何选择权矩阵使得（,D,）式成立？,定理,6.3,：假设步长选择满足 与 不相关，且,如果权矩阵选择如下形式,（,E,）,48,满足：,则由（,P,）和（,C,）给出的参数估计值 在均方意义下一致收敛或依概率,1,收敛。,49,注意：,条件（,E,）是比较弱的条件，一般问题都能满足；,中的 可取,可以分段选择 ，加快收敛速度。,50,6.4,状态方程的参数辨识（梯度校正法）,要解决的关键问题：为了处理第二类随机辨识问题，其梯度校正渐近无偏递推估计算法为：,其中：，用 来估计 ，其中 ，因此如何选择参变量 和方阵,M,是用此方法的关键。,51,考虑,SISO,过程，状态方程描述如下：,（,A,）,其中：,为均值为零，方差为 的白噪声；为噪声模型的参数，为已知；和 为未知待辨识的参数。,52,设输入、输出变量 和 对应的测量值可以记为：,其中：和 分别为均值为零、方差为 和 的白噪声，且 和 统计独立。,53,将状态方程（,A,）变换为差分方程，我们有：,其中：,54,若记：,则有：,55,这样就将状态方程模型辨识问题化为第二类随机梯度校正参数辨识问题，因此可得参数的渐近无偏估计算法：,并且参变量 和方阵,M,满足：,注意：向量 可由输入、输出测量数据 和 获得；步长,l,取大于,n,的值，以保证 和 不相关。,下面讨论参变量 和方阵,M,的具体求法,:,(1),求解状态方程（,A,）得：,及输出变量,58,(,2),确定,与,的函数关系。,由（,B,）及（,1,）的结果，注意到白噪声,和 的统计特性，我们有：,将上面的式子写成矩阵形式，即有：,其中：,上面的矩阵,M,为,2n,阶对称矩阵，并且可由噪声模型参数向量 唯一确定，参数 亦可由噪声模型参数向量 唯一确定。,7.5,差分方程的参数辨识,下面直接辨识差分方程模型：,所有关于噪声的假设同上一节，并且噪声模型的参数已知，同上一节的推导过程一样，由：,因此，有：,最后，我们得到：,注意：当 时，上式 不能化为待辨识参数的线性形式，因此不能确定参变量 和方阵,M,。此时，如果在上式中，利用 代替,P,，则直接用以下算法：,估计模型参数 。,当 ，上式 可以化为待辨识参数的线性形式，因此可以利用算法,估计模型参数 。,例如：当 时我们有：,因此有：,其中：,72,7.5,随机逼近法,随机逼近法,梯度校正法的一种类型,颇受重视的参数估计方法,73,随机逼近原理,考虑如下模型的辩识问题,-,均值为零的噪声,模型的参数辩识,通过极小化 的方差来实现,即求参数 的估计值使下列准则函数达到极小值,74,准则函数的一阶负梯度,令其梯度为零,75,原则上,由 式可以求得使 的参数估计值,但，因为 的统计性质不知道,因此 式实际上还是无法解的,76,如果,式左边的数学期望用平均值来近似,则有,这种近似使问题退化成最小二乘问题,77,研究 式的随机逼近法解,设 是标量，是对应的随机变量,是 条件下 的概率密度函数,则随机变量 关于 的条件数学期望为,记作,它是 的函数，称作,回归函数,78,对于给定的,设下列方程，具有唯一的解,当 函数的形式及条件概率密度函数 都不知道时，求上述方程的解析解是困难的，可以利用,随机逼近法求解。,79,随机逼近法,利用变量 及其对应的随机变量,通过迭代计算,逐步逼近方程（,29,）式的解,80,常用的,迭代算法,Robbins,Monro,算法,Kiefer,Wolfowitz,算法,Robbins,Monro,算法,其中：称为收敛因子。如果满足：,则由（,C,）确定的 在均方意义下收敛于方程（,29,）式的解。,（,D,）,（,C,）,一般 取：,另外：当满足以下条件时,由（,C,）确定的满足：,Kiefer,Wolfowitz,算法：,目的：确定回归函数 的极值点。,若收敛因子 满足条件（,D,），则由（,E,）确定的收敛到回归函数的极值点。,（,E,）,考察准则函数 的极值问题，若 在点上 取得极值，则 的迭代算法为：,若收敛因子满足条件（,D,），则 在均方意义下收敛于真值 ，即,（,F,）,随机逼近参数估计方法,考察参数辨识问题：,设准则函数为：,其中：为标量函数；表示时刻,k,以前的输入输出数据集合。,（,G,）,准则函数的一阶负梯度为：,则参数辨识问题（,G,）可以归结为求解以下方程,由随机逼近原理，可得：,其中 为满足条件（,D,）的收敛因子。,若具体的准则函数取则有：,下面考察以下参数辨识问题：,其中：是均值为零，方差为 的白噪声，输入输出带有噪声，即,（,H,）,其中 和 分别是均值为零，方差为 和 的白噪声，并且 、和 两两不相关，且,令：,则模型（,H,）化为最小二乘格式：,其中的噪声具有以下性质：,取准则函数：,利用随机逼近原理，可得参数值的随机逼近算法：,收敛因子必须满足条件（,D,），一般取 或,注意，（,I,）式算法所获得的参数估计是有偏的估计，因为有：,因为,（,I,）,由此可以得到修正的无偏算法（,RSAA,）,可以证明由（,J,）获得的估计值在均方意义下是一致收敛的，即,（,J,）,随机牛顿法,研究随机逼近法的估计公式：,假定取定收敛因子 ，则当搜索点接近准则函数的极小值时，这种算法的收敛速度变得很慢，为此我们可以采用如下牛顿算法：,（,K,）,其中：表示准则函数 的关于 的二阶导数，称为,Hessian,矩阵，它是一对称矩阵。,若准则函数 是一确定性函数，则牛顿算法（,K,）有较快的收敛速度和辨识精度。若准则函数取回归函数，即 ，则,Hessian,矩阵不易求，因此牛顿算法不能适用。一般来说，对于随机问题，我们采用以下随机牛顿算法,其中：,且,R,(,k,),是,Hessian,矩阵在 点上的近似形式，在特定的准则函数下，它可以用随机逼近法确定。,下面考察以下辨识问题：,取准则函数：,则有：,且,Hessian,矩阵为：,设 是,Hessian,矩阵在,k,时刻的估计值，则有,由,Robbins,Monro,算法，得 的随机逼近算法：,于是得到模型的随机牛顿算法（,SNA,）如下：,其中为满足条件（,D,）的收敛因子。,