系统辨识与参数估计.ppt

Chapter 3 System Identification and Parameter EstimationChapter 3 System Identification and Parameter Estimation第三章第三章第三章第三章 系统辨识与参数估计系统辨识与参数估计系统辨识与参数估计系统辨识与参数估计3.1 Introduction 概述概述 3.1.1 What is the Model of Dynamic System?3.1.1 What is the Model of Dynamic System?什么是模型？什么是模型？什么是模型？什么是模型？uuTheory model and experiment model Theory model and experiment model 理论模型与实验模型理论模型与实验模型uuModeling from Theory and Analysis:Modeling from Theory and Analysis:educeeduce system model according to system model according to physical,chemical or other natural rules.physical,chemical or other natural rules.理论（分析）建模：根据已知的物理论（分析）建模：根据已知的物理、化学规律推导理、化学规律推导uuIn practice,Theory Modeling is not easy.In practice,Theory Modeling is not easy.现实中理论建模存在困难现实中理论建模存在困难uuExperiment Modeling:Fit the model to experimental data according to an Experiment Modeling:Fit the model to experimental data according to an optimized criterion.optimized criterion.实验建模：按一定准则的数据拟和实验建模：按一定准则的数据拟和uuExperiment model:holisticExperiment model:holistic approach approach,complementcomplemented by theory model ed by theory model 实验建模的特点：整体性、可用机理模型弥补（互补）实验建模的特点：整体性、可用机理模型弥补（互补）Chapter 3 System Identification and Parameter Estimation Chapter 3 System Identification and Parameter Estimation 第三章第三章 系统辨识与参数估计系统辨识与参数估计 2 23.1.2 System Identification and Parameter Estimation 系统辨系统辨识与参数估计识与参数估计uSystem Identification:is the experimental approach to process modeling,and the modeling method for identification of dynamical systems from input/output data,which confirm a model in a set of models that presents the dynamic characteristics of the system under an optimized criterion.系统辨识系统辨识：根据系统的输入、输出数据，从一类模型中确定出一个在某中意义下最能代表该系统的数学模型。uThree essentials:an input/output dada,a set of models,and an optimized criterion 三个要素三个要素：输入/输出数据、模型集、最优准则uParameter Estimation:a simplified system identification problem when the model structure is known,only its parameters is unknown.参数估计参数估计：结构已知。参数未知时，系统辨识问题的简化Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 33.1.3 Development of System Identification 系统辨识系统辨识的发展的发展uModern Control Theory is based on known a mathematic model of dynamic process.现代控制理论建立在数学模型已知的前提下uThe obstacle using Modern Control Theory in practice:It is not easy to obtain a mathematic model of dynamic process,thus the theory deviates from the practice.实际应用中的障碍：数学模型并不容易获得，造成理论与实际脱节uSystem Identification and Parameter Estimation just fill up this gap between the theory and the practice.系统辨识/参数估计正是为了弥合这一差距Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 43.1.4 System identification includes the following steps 系统辨系统辨识识的步骤的步骤uExperiment design:Its purpose is to obtain good experimental data,it includes the choice of the measured variables and of the character of the input signals.实验设计实验设计：如何获取尽可能多的信息，包括检测信号和输入信号的选取。uSelection of model structure:A suitable model structure is chosen using prior knowledge and trial and error.模型结构模型结构：根据先验知识和试凑确定模型的结构。uChoice of the criterion to fit:A suitable cost function is chosen,which reflects how well the model fits the experimental data.最优准则最优准则：选择能反应模型对实验数据拟合程度的目标函数。uParameter estimation:An optimization problem is solved to obtain the numerical values of the model parameters.参数估计参数估计：得到模型参数数值解的优化问题。uModel validation:The model is tested in order to reveal any inadequacies.校验与确认校验与确认：测试模型以发现存在的问题。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 53.1.5 System identification methods 系统辨识系统辨识的方法的方法uMethod:There are many system identification methods,but the least squares estimation is used most frequently.方法方法：有多种方法，其中最小二乘法最常用。uOff-line identification:complete estimation one time based on the data set in a long period.离线辨识离线辨识：将一定时间内积累的采样数据集中进行一次辨识计算.uOn-line identification:complete recursive estimation one time based on new data in every sampling interval.It is able to decrease calculating time spending and memory occupancy,and easy to find out system actuality.在线辨识在线辨识：每个采样周期都根据新的采样数据进行一次递推辨识计算，节省计算时间和内存空间，便于及时掌握系统现状。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 63.2 Linear Difference Equation Model 线性差分方程模型线性差分方程模型3.2.1 Difference equation model of linear constant SISO system 线性定常单输入单输出系统的差分方程模型线性定常单输入单输出系统的差分方程模型 (3.1)Here 其中 (3.2)(3.3)3.2.2 The model of noise 噪声模型噪声模型(1)Random variable 随机变量随机变量 x Mathematic description:probability density function 数学描述数学描述：概率密度函数Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 7uMathematical expectation of random variable 数学期望（均值）数学期望（均值）E(x)uVariance of random variable 方差（二阶中心距）方差（二阶中心距）D(x)(3.4)（2）Steady random sequence:Statistical character is independent of time 平稳随机序列平稳随机序列：各个时刻随机变量的统计特征相同，即统计特征与时间无关（3）White noise:is an independent steady random sequence.Random variable is independent of time,and can be described by E(x)and D(x).白噪声白噪声：独立平稳随机序列。各个时刻随机变量独立，可由均值和方差两个特征描述。均值=0，方差=2（常数）因为其功率谱密度在整个频率范围内为常数，类似白光的光谱，故称为白噪声。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 8（4）Non-white noise:is formed when white noise goes through a linear filter.非白噪声非白噪声：白噪声经过一线性滤波器后形成非白噪声uMoving average model 滑动平均（滑动平均（MA）模型）模型 (3.5)(3.6)is a white noise sequence 为白噪声序列uAuto regressive model 自回归（自回归（AR）模型）模型 (3.7)uAuto regressive moving average model 自回归滑动平均（自回归滑动平均（ARMA）模）模型型 (3.8)Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 93.2.3 Mathematical Model of the process with random disturbance 受随机干扰的过程数学模型（受随机干扰的过程数学模型（CARMA）(3.9)In other form 可改写为：(3.10)Here,A,B,C is different from(3.9)此时，A,B,C均不同于(3.9)CARMA model is based on following hypothesis:the disturbance is a an independent steady random sequence with zero means and rational spectral density.CARMA模型是基于下述假设下述假设：干扰为具有有理谱密度的零均值平稳序列Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 10Fig 3.1 CARMA model 图3.1 CARMA模型At any time,the model output y(k)is linear with unknown parameter ai,bi,ci,di and the model error is the white noise at this time,when previous input,output and noise and input at this time are known.在任意时刻，只要已知该时刻及其之前的输入；在任意时刻，只要已知该时刻之前的输出、噪声；则模型输出y(k)与未知参数ai、bi、ci、di成线性关系，且误差为该时刻的白噪声。3.3 Least Squares Estimation of Linear Difference Equation Model 线性差分方程模型的最小二乘法线性差分方程模型的最小二乘法3.3.1 The principle of Least Squares Estimation(LSE)最小最小二乘法原理二乘法原理After the square difference of model output and observation value is multiplied by precision measurement,the result should be least.一个数学模型的未知参数应按下述原则进行选择：各实测值与模型计算值之差的平方乘以度量其精度的数值后，所得的和值应最小。Example:(3.12)y(t)：observation value 观测值；：the vector of unknown parameters 未知参数向量；：observable or known function depended on other variables 由其它变量决定的已知函数或可观测的.Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 11The couple observation value can be get by experiments.成对的观测值 可以由试验得到。Example 3.1 Model 模型 observation value 实测数据Then LSE is to solve the estimation value of unknown parameter a and b with the least error function 最小二乘法估计就是以 最小为目标函数由方程组求未知参数a、b的估计值。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 12-1.01 1.020.01-0.010.991.01-0.990.01-0.020.0100.01-1.030.50.250.131.070.54-0.73-0.36When we estimate parameters,(3.12)is rewrite as follows:参数估计时，（3.12）可以改写为 We assume remnant error 引入残差 And 且Least square error can be defined as follows:最小二乘误差可表示为：（3.13）Here，式中Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 13When is in existence,we have and is an exact solution of the parameter vector.当 存在时，此时参数向量 的解是精确的。Theorem 3.1：(Least squares estimation)定理定理3.1：（最小二乘估计The parameter is satisfied with ,which let Least square error（3.13）is minimum.If the matrix is a nonsingular matrix,this minimum is unique and 使最小二乘误差（3.13）式最小的参数 满足 ，如果矩阵 非奇异，则此最小值是唯一的，由下式给出。证明：From(3.13)(3.15)The matrix is non-negatively definite,then V must be get the minimum:由于矩阵 非负定（等价于 非奇异），所以 V 有一最小值：Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 14At ,let ,then:当 时，即 （3.16）When is in existence,we have：只要 存在，即有 （3.17）Example 3.2：Least squares estimation of Example 3.1 例3.1的最小二乘估计The observation value can be formed a data vector as follows:原实测数据可以构成如下数据向量Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 15 In fact,least squares estimation can be used when experiment data is fitted by a model,which is in a linear recursive form .实际上，只要是用一个模型来拟合实验数据，而该模型又可以写成线性回归形式 ，就可以用最小二乘法求解。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 16Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 173.3.2 Least Squares Estimation(LSE)of ARMA Model Parameters 最小二乘估计最小二乘估计 (3.18)Rewrite it in difference equation:写成差分方程 (3.19)That is:即 (3.20)Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 18Suppose na=nb=n.We measure N times(set k=n+1,n+2,n+N)假定na=nb=n，进行N次测量（令k=n+1,n+2,n+N），则 Rewrite it in matrix equation:写成矩阵形式 (3.21)Here:式中 Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 19The least squares estimation is:最小二乘估计为：3.3.3 Statistical Characteristics of Least Squares Estimation(LSE)最小二乘估计的统计特性最小二乘估计的统计特性uUnbiased Estimation:An estimator is called unbiased Estimator if its mathematical expectation is equal of the real value of the estimated variable.无偏性无偏性：称某一估计是一个无偏的估计，它的数学期望应等于被估计量的真值。In LSE:Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 20Then its mathematical expectation:两边取数学期望：When is white noise,the right second item is zero.uEfficient Estimation:For a unbiased Estimation,it is called Efficient Estimation if the variance of any other estimator is bigger than its.有效性有效性：对无偏估计而言，一个估计算法称为有效的算法，就是任一种其它算法所得到的估计的方差都要比有效算法所得到的估计的方差大（即方差最小）。In LSE:Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 21When is white noise:uConsistent Estimation:An Estimation is called Consistent Estimation,if the Estimation is converged at its actual value with 100%probability when sample amount N is increased infinitely.一致性：当样本N无限增大时，估计值 以概率1收敛于真值 ，则这样的估计称为一致性估计。当N很大时，一致性估计总是无偏的，但逆定理不成立。In LSE:Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 22Conclusion:When the equation error is white noise,Least Squares Estimation is a Non-biased,Efficient and Consistent Estimation结论：在方程误差为白噪声的条件下，用最小二乘法估计参数所得到的参数的最小二乘估计是无偏的、有效的和一致的。3.4 Recursive Least Squares Estimation(RLSE)递推最小递推最小二乘估计二乘估计3.4.1 Why we need RLSE 为什么需要递推最小二乘估计为什么需要递推最小二乘估计Batch Algorithm:calculate once in every sampling period 成批处理算法：每增加一次测量，根据所得到的测量数据，观测矩阵 及伪逆 都要重新计算一遍。More calculating spending 随着观测数据增加，要求存储容量将不断增大，且由于存在矩阵求逆运算，计算时间也不断增加Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 233.4.2 Principle of RLSE 递推最小二乘估计基本原理递推最小二乘估计基本原理Assume input/output data at time k are known,we can estimate parameters:设k时刻已获得输出，输入数据，并由此获得参数的估计值测量：At time k+1 而对于k+1时刻，有 Can be calculated from at time k and consisted of new data?于是提出，是否可以根据上一步的 和由新增加数据Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 243.4.3 Recursive Formula of RLSE 递推公式递推公式Lemma 3.1 引理引理3.1Assume A,B,C and D are matrix with respective proper dimension,we have:设A、B、C、D是适当维数的矩阵 (3.22)Prove:证明：Two sides are multiplied by from rightChapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 25At time k:在 k 时刻：(3.23)In whichChapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 26At time k+1:在 k+1 时刻：(3.24)In whichChapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 27At time k:在 k 时刻Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 28According to Lemma 3.1:根据引理3.1：(3.27)Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 29Take(3.27)in to above expression:将(3.27)式代入上式得：Simplify the expression in the big bracket in above expression 上式大括号中的两项可以简化为：(3.28)（3.27）and(3.28)are the recursive formula of RLSE.（3.27）与(3.28)就是最小二乘估计的递推公式。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 30Estimation at time k+1 is equal to the estimation at time k plus a revised quantity.The revised quantity is consisted of three parts:容易看出，k1时刻的参数估计值 等于 k 时刻的参数估计值 加上一个修正量。该修正量包括三个部分（乘积）：uPart One:Error of Prediction 第一部分：预报误差 是k1时刻新接收到输出值（实测值），与 的乘积则表示用 k 时刻得到的参数预报出的k1时刻的输出（模型值）。如果预报与实测相等，说明 k 时刻所估计的参数就是参数的真值，不用再做修正，即表现为（3.28）式最后一项为0，即 Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 31uPart Two:Gain Factor 第二部分：增益因子 （3.29）注意，它是一个标量，因此省掉了费时的矩阵求逆运算，计算效率大大提高。增益因子与预报误差的乘积确定出有多少输出误差需要经过修正参数来实现，至于哪一个参数调整多少需有第三部分，即加权系数来决定。uPart Three:Weighing Coefficient 第三部分：加权系数 is called the covariance matrix of estimation ,which is associated with covariance of ,and is a measure of estimating accuracy.的物理意义：与参数估计值 的协方差存在着联系是参数估计精确程度的一种度量，通常称 为参数估计 的协方差阵。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 32当 k 趋向于无穷时，趋向于0。In fact,the value of will be very small after estimating less than a hundred periods if an estimation algorithm has good convergence.事实上，如果算法有良好的收敛性，递推估计几十步之后，的值已很小了 （注意：每一时刻都要更新）是一个方阵（2n+1 维，同参数个数），而 则是 2n+1 维的列向量，与参数个数一致，表示给每个参数的调整加一定的权（每个参数每次调整的权不一定相同）。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 33综上所述，递推最小二乘估计公式的物理意义就是：Based on previous parameter estimation and new sample data,continuous recursive calculating can be implemented by the prediction error times weighing factor with different extent to every parameter.Parameter estimation will be available if a converged algorithm is used.根据最新得到的数据，在原有参数估计值的基础上，对预报误差乘上加权增益因子，不同程度的修正每个参数，这样不断的递推更新，只要算法是收敛的，就一定能得到合乎要求的估计参数。递推最小二乘估计的公式可整理为：Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 343.4.4 Recursive Calculation of RLSE 递推计算过程递推计算过程1.Form the data vector 由 k+1 时刻的观测值 以及前2n个时刻的观测值形成向量 （数据向量，2n+1维，与参数个数一致）2.Calculating from(3.30)由（3.30）式，用 及 计算3.Calculating from(3.31)由（3.31）式计算4.Calculating from(3.32)由（3.32）式计算协方差矩阵 ，为下一步递推计算作准备。5.Return to step 1 and continue until parameter estimation is converged.回到第一步，直到参数收敛Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 35How to choice the initial value of ,for recursive calculation.递推初值的选择递推初值的选择1.From the initial N couples data 取最初 N 组数据（），即 N 个数据向量 和对应的 ，对参数进行成批处理的最小二乘估计。以此作为起始值，从 N+1 时刻进行递推计算。2取 为0或任意值，其中 为充分大的实数，为单位阵。特点：u方法一：初始值比较精确，开始递推就可获得较好的估计值，缺点是运算量大；u方法二：简单，便于应用，但递推的最初几步参数估计的误差较大。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 363.5 Real-time Recursive Estimation of Slow Time-Varying Parameters 慢时变参数的实时递推估计慢时变参数的实时递推估计3.5.1 Introduction to the problem 问题的提出问题的提出uIn LSE,every observation value contributes equably to the estimation.最小二乘估计的一个特点：参数估计算法对所有观测数据是同等看待的，或者说所有观测数据对参数估计提供的信息是同等重要的。uWhen the parameter is time-varying,That is unreasonable.当被估计参数是未知常数时，这样处理是合理的；但当对象参数时变，或当作某一非线性系统的局部近似，随着时间变化或工作点变化，模型参数也发生变化。一句话参数在不断变化，这种新旧数据一视同仁的方法就不适合了。uLater the data are,more they should contribute to the estimation 这是因为系统不断变化，那么越新的数据就越能反映当前系统的特性和信息。所以新旧数据对参数估计所提供的信息应是有区别的。Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 37uAs a on-line estimation algorithm,RLSE is not satisfying in following parameter change.递推最小二乘估计是一种在线算法，在线估计的一个重要的