中科院现代数字信号处置完全版ppt培训课件.ppt

中科院现代数字信号中科院现代数字信号处置课件完全版处置课件完全版现代数字信号处理第一章预修课程n概率论与数理统计n信号与系统n数字信号处理1n随机过程课程讨论的主要问题1n对信号特性的分析研究对象：确定性信号随机信号；研究目的：提取信号中的有用信息；主要内容：随机信号的统计特性；随机信号的参数建模；功率谱估计（经典谱估计和现代谱估计）；时频分析（短时傅立叶变换、维格纳变换、小波变换）课程讨论的主要问题2n信号处理技术研究目的：提高信号质量；主要内容：维纳滤波理论（平稳条件下）；卡尔曼滤波理论（非平稳条件下）；自适应滤波理论；课程特点n现代数字信号处理的基本概念、基本理论和分析方法；结合有关问题，介绍其在相关领域的应用。课程讲述线索n本课程采用对不同处理对象的线索来讲解：确定性信号随机信号；平稳信号处理非平稳信号处理;时域频域时频分析;n根据处理对象和应用背景的不同而选择相应的处理方法 课程主要内容n第一章 时域离散随机信号的分析 n第二章 维纳滤波和卡尔曼滤波 n第三章 自适应数字滤波器 n第四章 功率谱估计 n第五章 时频分析成绩评定n课堂成绩 n闭卷考试 教材及参考书n教材：教材：张贤达，现代信号处理第二版，清华大学出版社，北京，2002。丁玉美，数字信号处理时域离散随机信号处理，西安电子科技大学出版社，2002。n参考书参考书：胡广书，数字信号处理理论、算法与实现第二版，清华大学出版社，北京，2003。Roberto Cristi,Modern Digital Signal Processing,Thomson-Brooks/Cole，2004。Dimitris G.Manolakis,etc,Statistical and Adaptive Signal Processing,Mc Graw Hill,2000。第一章 时域离散随机信号的分析 n1.1 随机信号随机信号 n1.2 时域统计表达时域统计表达n1.3 Z域及频域的统计表达域及频域的统计表达 n1.4 随机序列数字特征的估计随机序列数字特征的估计 n1.5 平稳随机序列通过线性系统平稳随机序列通过线性系统 n1.6 时间序列信号模型时间序列信号模型 1.1 随机信号n信号的分类n随机变量及其统计描述n随机信号及其统计描述1.1.1 信号的分类n信号的分类：确定性信号随机信号平稳随机信号非平稳随机信号1.1.2 随机变量n随机变量的统计描述：概率分布函数：概率密度函数：均值（一阶矩）：均方值（二阶原点矩）：方差（二阶中心矩）：协方差：n几种特殊分布的随机变量的概率密度：均匀分布：高斯分布：N个实随机变量 的联合高斯分布的概率密度：其中，1.1.3 随机信号n实际应用中，常常把随时间变化而变化的随机变量，称为随机过程。n随机信号的特点：在任何时间的取值都是随机的（不能确切已知）取值服从概率分布规律（统计特性确定，但未知）n随机信号定义：一个随机信号X(t)是依赖时间t的一族随机变量，或者说它是所有可能的样本函数的集合。图1.1.1n部接收机的输出噪声X(t)=xi(t),i=1,2,3,X(t)是是所有可能样本函数的集合所有可能样本函数的集合X(t1)=xi(t1),i=1,2,3,X(t)=X(t1),X(t2),X(t3),X(t)是依赖时间是依赖时间t的一族随机变量的一族随机变量n如果对随机信号X(t)进行等间隔采样，或者说将X(t)进行时域离散化,得到随机变量X(t1),X(t2),X(t3),所构成的集合称为时域离散随机信号。n用n取代tn，随机序列用X(n)表示，即随机序列是随n变化的随机变量序列。图1.1.2n部接收机输出噪声的时域离散化X(n)是依赖时间是依赖时间n的一族随机变量的一族随机变量样本函数xi(t)或样本序列xi(n)随机信号X(t)或X(n)随机变量X(t1),X(t2),X(t3),特定时刻n随机信号的统计描述：一维概率分布函数：一维概率密度函数：u上述两式只描述随机序列在某一时刻n的统计特性，而对于随机序列，不同n的随机变量之间并不是孤立的。二维概率分布函数:对于连续随机变量,其二维概率密度函数为以此类推,N维概率分布函数为对于连续随机变量,其N维概率密度函数为数学期望(统计平均值):均方值:方差：一般均值、均方值和方差都是n的函数,但对于平稳随机序列,它们与n无关,是常数。式中E表示求统计平均值,体现了信号的集合平均。连续形式：离散形式：自相关函数：自协方差函数：对于零均值随机序列，这种情况下，自相关函数和自协方差函数没有什么区别。，则互相关函数定义为互协方差函数定义为 同样,当时，如果C(Xm,Yn)=0，则称信号Xm与Yn互不相关。1.2 平稳随机信号的时域统计表达 n平稳随机信号的定义n平稳随机信号相关函数的性质 n平稳随机信号的各态遍历性 1.2.1 平稳随机信号的定义n狭义(严)平稳随机序列：随机信号的统计特性不随时间平移而变化。n广义(宽)平稳随机序列：随机信号的均值和方差不随时间变化而变化，其相关函数与时间起点无关，仅是时间差的函数。均值、均值、方差和均方值均与时间无关方差和均方值均与时间无关：自相关函数与自协方差函数是时间差的函数自相关函数与自协方差函数是时间差的函数:对于两个各自平稳且联合平稳的随机序列,其互相关函数为显然,对于自相关函数和互相关函数,下面公式成立:如果对于所有的m，满足公式：Rxy(m)=0，则称两个随机序列互为正交正交。如果对于所有的m，满足公式:Cxy(m)=0，则称两个随机序列互不相关互不相关。Rxx(m)是Hermitian对称的1.2.2 实平稳随机信号相关函数的性质（1）自相关函数和自协方差函数是m的偶函数,用下式表示:（2）Rxx(0)数值上等于随机序列的平均功率：（3）相关性随时间差的增大越来越弱：（4）大多数平稳随机序列内部的相关性随着时间差的变大，愈来愈弱：（5）的特性的特性mm1.2.3 平稳随机信号的各态遍历性n集合平均集合平均：由随机序列X(n)的无穷样本 在相应时刻n对应相加来实现的。由上可知，集合平均要求对大量的样本进行平均,实际中这种做法是不现实的。n时间平均时间平均：设x(n)是平稳随机序列X(n)的一条样本曲线，其时间平均值为类似地，其时间自相关函数为n各态遍历性各态遍历性：对一平稳随机信号，如果它的所有样本函数在某一固定时刻的一阶和二阶统计特性（集合平均）和单一样本函数在长时间内的统计特性（时间平均）一致，则称其为各态遍历信号。n意义：单一样本函数随时间变化的过程可以包括该信号所有样本函数的取值经历。n直观理解：只要一个实现时间充分长的过程能够表现出各个实现的特征，就可以用一个实现来表示总体的特性。x(n)=EX(n)x(n)x*(n+m)=EX(n)X*(n+m)1.3 平稳随机信号的Z域及频域的统计表达 n相关函数的Z变换n平稳随机信号的功率密度谱1.3.1 相关函数的Z变换n平稳随机序列是非周期函数，且是能量无限信号能量无限信号，无法直接利用傅里叶变换进行分析。n由前面对自相关函数和自协方差函数的讨论可知：n当 时，Rxx(m)是收敛序列。这说明虽然无限能量信号本身的z变换与傅氏变换不存在，但它的自协方差序列和自相关序列（当 时）的z变换与傅氏变换却是存在的,其Z变换变换用Pxx(z)表示如下:且因为将上式进行Z变换，得到：如果z1是其极点，1/z*1也是极点。Pxx(z)的收敛域包含单位圆，因此Rxx(m)的傅里叶变换存在。n令z=exp(j),可以得到Rxx(m)的傅立叶变换如下所示：将m=0代入上式，得到随机序列的平均功率；功率谱密度（简称功率谱）功率谱密度（简称功率谱）维纳维纳辛钦定理（辛钦定理（Wiener-Khinchin Theorem）1.3.2 平稳随机信号的功率密度谱n有限时间段随机信号x(t)的功率谱分布为：n功率谱：协方差函数的Fourier变换（1）功率谱是功率谱是的偶函数：的偶函数：n 实、平稳随机序列功率谱的性质（2）功率谱是实的非负函数，功率谱是实的非负函数，即即Pxx()0n功率谱的分类：平谱（白噪声谱）平谱（白噪声谱）：一个平稳的随机序列w(n)，如果其功率谱 在 的范围内始终为一常数。白噪声序列在任意两个不同的时刻是不相关的白噪声序列在任意两个不同的时刻是不相关的。若w(n)是高斯型的，那么它在任意两个不同时刻又是相互独立的。线谱线谱：由一个或多个正弦信号所组成的信号的功率谱。若x(n)有L个正弦组成，即 其中，是均匀分布的随机变量，可以求出 此即为线谱，它是相对与平谱的另一个极端情况。ARMA谱谱：既有峰点又有谷点的连续谱，这样的谱可以由一个ARMA模型来表征。.白噪声谱白噪声谱线谱线谱ARMA谱谱1.4 随机序列数字特征的估计n估计准则估计准则n均值的估计均值的估计n方差的估计方差的估计n自相关函数的估计自相关函数的估计1.4.1 估计准则n估计方法估计方法：矩估计法、最大似然估计法、贝叶斯估计、最小均方误差估计、最大后验估计，最小二乘估计、EM算法等。n估计准则估计准则：无偏性、有效性、一致性假定对随机变量x观测了N次，得到N个观测值：x0,x1,x2,xN-1，希望通过这N个观测值估计参数，称为真值，它的估计值用表示。是观测值的函数，假定该函数关系用F表示，(1.4.1)如果估计值接近真值的概率比较大，则说明这是一种比较好如果估计值接近真值的概率比较大，则说明这是一种比较好的估计方法。的估计方法。图1.4.1估计量的概率密度曲线1.偏移性偏移性令估计量的统计平均值与真值之间的差值为偏移B，其公式为如果B=0，称为无偏估计无偏估计。如果B0，则称为有偏估计有偏估计。如果随着观察次数N的加大，能够满足下式：则称为渐近无偏估计渐近无偏估计，这种情况在实际中是经常有的。u 在许多情况下，一个有偏但渐进无偏的估计具有比一个无偏的估计好得多的分析和计算性质。2.有效性有效性估计量的方差估计量的方差如果两个估计量的观察次数相同，又都是无偏估计，哪一个估计量在真值附近的摆动更小一些，即估估计计量量的的方方差差更更小小一一些，些，就说这一个估计量的估计更有效。就说这一个估计量的估计更有效。如果和都是x的两个无偏估计值，对任意N，它们的方差满足下式：式中(1.4.4)则称比更有效。一般希望当N时，。3.一致性一致性均方误差均方误差估计量的均方误差用下式表示：如果估计量的均方差随着观察次数的增加趋于0，即估估计计量量随随N的加大，在均方意义上趋于它的真值，则称该估计是一致估计的加大，在均方意义上趋于它的真值，则称该估计是一致估计。上式表示，随随N的的加加大大，偏偏移移和和估估计计量量方方差差都都趋趋于于零零，是是一一致致估估计计的的充充分分必必要要条条件件。通通常常对对于于一一种种估估计计方方法法的的选选定定，往往往往不不能能使使上上述述的的三三种种性性能能评评价价一一致致，此此时时只只能能对对它它们们折折衷衷考考虑，虑，尽量满足无偏性和一致性。尽量满足无偏性和一致性。常数常数估计量的均方误差与估计量的方差和偏移的关系推导如下：1.4.2 均值的估计n假设已取得样本数据：xi(i=0,1,2,N-1)，均值的估计量用下式计算：式中N是观察次数。1.偏移偏移 因此B=0，说明这种估计方法是无偏估计。2.估计量的方差与均方误差估计量的方差与均方误差 先假设数据内部不相关先假设数据内部不相关，那么以上式表明，估计量的方差随观察次数N增加而减少，当时，估计量的方差趋于0。这种情况下估计量的均方误差为这样，当N时，B=0,，是一致估计。如果数据内部存在关联性如果数据内部存在关联性，会使一致性的效果下降，估计量的方差比数据内部不存在相关情况的方差要大，达不到信号方差的1/N。1.4.3 方差的估计n已知N点样本数据xi(i=0,1,2,N-1)，假设数据之间不存在相关性，且信号的均值mx已知，方差用下式估计,可以证明这是无偏一致估计：数数据据之之间间不不存存在在相相关关性性，均均值值也也不不知知道道的的情情况况下下，方方差差的的估估计方法计方法。方差估计用下式计算：1.偏移性偏移性式中的第二项已经推出，式中的第三项推导如下：由此可以得到u上式表明，该估计方法，是有偏估计，但是渐进无偏上式表明，该估计方法，是有偏估计，但是渐进无偏。为了得到无偏估计，可以用下式计算：之间的关系是和还可以证明它也是一致估计。1.4.4 自相关函数的估计n 无偏自相关函数的估计无偏自相关函数的估计估计公式为0mN-11-Nm匹配滤波器最小均方误差准则误差绝对值的期望值最小 误差绝对值的三次或高次幂的期望值最小x(n)=s(n)+v(n)Wiener滤波器的一般结构滤波器的一般结构 2、维纳滤波和卡尔曼滤波简介n维纳(Wiener)滤波与卡尔曼(Kalman)滤波以估计的结果与信号真值之间的误差的均方值最小作为最优准则。假设信号的真值与估计值间的误差为：均方误差最小即误差的平方的统计平均值最小：最小3、本章讨论的主要内容n主要内容：维纳滤波器（FIR维纳滤波器和IIR维纳滤波器）、维纳预测器、卡尔曼滤波。n分析思路：在均方误差最小的前提下，求得系统的单位脉冲响应h(n)或传递函数H(z)，进而计算滤波器的最小均方误差2.2 离散维纳滤波器的时域解离散维纳滤波器的时域解n本节要解决的主要问题及方法本节要解决的主要问题及方法n正交性原理正交性原理n维纳维纳霍夫方程霍夫方程nFIR维纳滤波器的时域解维纳滤波器的时域解1、本节要解决的主要问题及方法本节要解决的主要问题及方法n要解决的问题：要解决的问题：寻求在均方误差最小情况下的单位脉冲响应h(n)或传递函数H(z)的表达式，这一过程称为设计维纳滤波器的过程。n解决方法：解决方法：实质是求解维纳霍夫(Wiener-Hopf)方程，即 本节讨论维纳滤波器的时域求解方法，即在时域本节讨论维纳滤波器的时域求解方法，即在时域求最小均方误差下的求最小均方误差下的 。2、维纳滤波器时域求解的方法维纳滤波器时域求解的方法n因果维纳滤波器的输出y(n)：n=0,1,2,设期望信号为d(n)，误差信号e(n)及其均方值E|e(n)|2分别为e(n)=d(n)-y(n)=s(n)-y(n)k=0,1,2,记梯度算子为k=0,1,2,n要使均方误差为最小，须满足上式展开为又将上述4式代入得 分分析析：上式说明，若使滤波器的均方误差达到，则误差信号与输入信号正交，这就是通常所说的正交性原理。n正交性原理：正交性原理：n正交性原理的重要意义：提供了一个数学方法，用以判正交性原理的重要意义：提供了一个数学方法，用以判断线性滤波系统是否工作于最佳状态。断线性滤波系统是否工作于最佳状态。正正交交性性原原理理的的引引理理：最最佳佳状状态态时时，由由滤滤波波器器输输出出定定义义的的期期望望响应的估计响应的估计yopt(n)与估计误差与估计误差eopt(n)正交：正交：3、维纳维纳霍夫方程霍夫方程将输入信号分配进去，得到k=0,1,2,维纳维纳-霍夫（霍夫（WienerHopf）方程：）方程：k=0,1,2,4、FIR维纳滤波器的时域解nFIR维纳滤波器的维纳维纳滤波器的维纳-霍夫方程霍夫方程当h(n)是一个长度为M的因果序列时，FIR维纳滤波器的维纳-霍夫方程表述为k=0,1,2,M-1(2.2.21)把k的取值代入(2.2.21)式，得到当k=0时，h0rxx(0)+h1rxx(-1)+hM-1rxx(-M+1)=rxd(0)当k=1时，h0rxx(1)+h1rxx(0)+hM-1rxx(-M+2)=rxd(1)当k=M-1时，h0rxx(M-1)+h1rxx(M-2)+hM-1rxx(0)=rxd(M-1)(2.2.22)定义（2.2.22）式可以写成矩阵形式矩阵形式，即对上式求逆，得到这里涉及到计算相关矩阵和逆矩阵，计算量可能较大。n FIR维纳滤波器的估计误差的均方值维纳滤波器的估计误差的均方值假定所研究的信号都是零均值的，滤波器为FIR型，长度等于M，结论：在所有在所有N阶阶FIR滤波器中，最优滤波器的均方误差值是滤波器中，最优滤波器的均方误差值是最小的，从这个意义上说，它是最优的。最小的，从这个意义上说，它是最优的。其阶数越高，采用的已知信息就越多，它的最小均方误差就越小，但相应的计算量也越大。例例1 假设有一实的广义平稳随机信号s(n)的自相关函数（序列）为 ,且伴随有实的噪声w(n)，方差为，与s(n)无关。试设计一个M=2的FIR维纳滤波器来估计s(n)，并计算最小均方误差。n解：已知由此，M=2最佳FIR维纳滤波器如下：n或者，利用下式求解k=0,1当k=0时，2h0+0.6h11当k=1时，0.6h0+2h10.6估计该滤波器的输出误差的最小均方值：经过此滤波器以前的均方误差为 2.3 离散维纳滤波器的离散维纳滤波器的z域解域解n本节要解决的主要问题及方法本节要解决的主要问题及方法n白化滤波器白化滤波器n非因果非因果IIR维纳滤波器的维纳滤波器的Z域解域解n因果因果IIR维纳滤波器的维纳滤波器的Z域解域解1、本节要解决的主要问题及方法本节要解决的主要问题及方法n待解决的问题：待解决的问题：当h(n)是物理可实现的因果序列时，所得到的Wiener-Hopf方程将存在k0的约束，不能直接转到Z域求解。这使得在要求满足物理可实现条件下，求解维纳-霍夫方程成为一个十分困难的问题。n解决方法：解决方法：采用将观测序列x(n)白化的方法，求解Wiener-Hopf方程的Z域解。n若不考虑滤波器的因果性，维纳霍夫方程可以改写为设定d(n)=s(n)，对上式两边做Z变换，得到Sxs(z)=Hopt(z)Sxx(z)x(n)=s(n)+v(n)假设信号和噪声不相关，即rsv(m)=0，则Sxs(z)=Sss(z)Sxx(z)=Sss(z)+Svv(z)n对于因果IIR维纳滤波器，其维纳霍夫方程为k=0,1,2,因为存在k0的约束，使得上式不能直接转到Z域求解。如有可能将其转化为非因果问题，则求解会大大简化。如果滤波器的输入是白噪声，即x(n)=w(n)，w(n)是方差为的白噪声，由于则因果IIR维纳滤波器的维纳霍夫方程变为：k=0,1,2,k=0,1,2,由此可见，只要将输入信号转化为白噪声，就可以解得因果IIR维纳滤波器的单位脉冲响应。2、白化滤波器、白化滤波器n任何具有有理功率谱密度的随机信号都可以看成是由一白色噪声w(n)激励某个物理网络所形成。x(n)的时间序列信号模型 一般把信号转化为白噪声的过程称为白白化化，对应的滤波器称为白化滤波器白化滤波器。x(n)的白化滤波器如果B(z)是一个最小相移网络函数，那么1/B(z)显然也是一个物理可实现的最小相移网络，因此可以利用上式白化x(n)。利用白化x(n)的方法求解维纳-霍夫方程 n利用白化x(n)的方法求解维纳-霍夫方程:于是，在最小均方于是，在最小均方误误差准差准则则下，求最佳下，求最佳Hopt(z)的的问题问题就就归结归结为为求最佳求最佳G(z)的的问题问题了。了。G(z)当然也需分因果性或非因果性的当然也需分因果性或非因果性的约约束情况加以束情况加以讨论讨论。如果已知信号的Pxx(z)，即可由下式求得B(z)。n计算计算Hopt(z)：3、非因果非因果IIR维纳滤波器的求解维纳滤波器的求解(2.3.9)求求满满足最小均方足最小均方误误差条件下的差条件下的g(k)：为求得相对于g(k)的最小均方误差值，令-k-kZ变换后非因果非因果IIR维纳滤波器的最佳解：维纳滤波器的最佳解：s(n)=s(n)*(n)，x(n)=w(n)*b(n)rxs(m)=rws(m)*b(-m)Sxs(z)=Sws(z)B(z-1)非因果IIR维纳滤波器的复频域最佳解的一般表达式假定信号与噪声不相关，即当Es(n)v(n)=0时可以得到：Sxs(z)=Sss(z)Sxx(z)=Sss(z)+Svv(z)信号和噪声不相关时，非因果IIR维纳滤波器的复频域最佳解和频率响应分别为n由上式可知：当噪声为0时，Hopt=1，信号全部通过；当信号为0时，Hopt=0，噪声全部被抑制掉；当即有信号又有噪声时，Hopt1，大小随Pvv的增加而减小，从而达到降低噪声影响的目的。Pss(ej)0,Pvv(ej)=0Pss(ej)0,Pvv(ej)0Pss(ej)=0,Pvv(ej)0图2.3.6非因果维纳滤波器的传输函数的幅频特性n 计算最小均方误差计算最小均方误差E|e(n)|2min：第一项根据围线积分法求逆Z变换的公式,rss(m)用下式表示:得出 第二项由帕塞伐尔定理：取y(n)=x(n),有因此得到 假定信号与噪声不相关，Es(n)v(n)=0，又因为实信号的自相关函数是偶函数，即rss(m)=rss(-m)，则Sxs(z)=Sss(z)，Sxx(z)=Sss(z)+Svv(z)；Sss(z)=Sss(z-1)4 4、因果因果IIRIIR维纳滤波器的求解维纳滤波器的求解n 若维纳滤波器是一个因果滤波器，要求g(n)=0n0则滤波器的输出信号估计误差的均方值E|e(n)|2=E|s(n)-y(n)|2类似于（2.3.9）式的推导，得到要使均方误差取得最小值，当且仅当令因果维纳滤波器的复频域最佳解为维纳滤波的最小均方误差为 非因果情况时，滤波器的最小均方误差为 对于因果情况，比较两式，可以看出非因果情况的E|e(n)|2min一定小于等于因果情况E|e(n)|2min。因果维纳滤波器设计的一般方法：(1)根据观测信号x(n)的功率谱求出它所对应信号模型的传输函数，即采用谱分解的方法得到B(z)，Sxx(z)=2wB(z)B(z-1)。(2)求的Z反变换，取其因果部分再做Z变换，即舍掉单位圆外的极点，得(3)积分曲线取单位圆，计算Hopt(z),E|e(n)|2min。例例 2.3.1已知信号和噪声不相关，即rsv(m)=0，噪声v(n)是零均值、单位功率的白噪声（2v=1,mv=0)，求Hopt(z)和E|e(n)|2min。解解 根据白噪声的特点得出Svv(z)=1,由噪声和信号不相关，得到rxx(m)=rss(m)+rvv(m)。考虑到B(z)必须是因果稳定的系统，得到(1)、首先分析物理可实现情况:因为取其因果部分取单位圆为积分围线，上式等于单位圆内的极点 的留数之和，即 未经滤波器的均方误差所以通过因果维纳滤波器后均方误差下降8/3(2.7)倍。(2)、对于非物理可实现情况有令单位圆内有两个极点0.8和0.5,应用留数定理，有结论：比较两种情况下的最小均方误差,可以看出非物理可实现情况的最小均方误差小于物理可实现情况的均方误差。维纳滤波部分的总结：n主要内容：主要内容：FIR维纳滤波求解、非因果IIR维纳滤波求解、因果IIR维纳滤波求解；n知识点：知识点：最小均方误差准则、正交性原理、维纳霍夫方程、白化滤波器；n结论：结论：在所有N阶FIR滤波器中，最优滤波器的均方误差值是最小的，从这个意义上说它是最优的；与非最优滤波相比，最优滤波的优势在于能对滤波的质量（逼近的好坏）做出评价；E|e(n)|2min与Sss(z)和Svv(z)重叠部分大小有关；最小均方误差比较：非因果IIR因果IIRFIR维纳滤波的最小均方误差2.4 维维 纳纳 预预 测测n本节讨论的主要问题及方法本节讨论的主要问题及方法n预测的可能性预测的可能性n维纳预测的计算维纳预测的计算n纯预测纯预测n一步线性预测的时域解一步线性预测的时域解1、本节讨论的主要问题及方法、本节讨论的主要问题及方法n讨论的主要问题：本节将讨论维纳预测器，以观测到的全部过去数据来估计当前或将来的值n解决方法：以均方误差最小为估计原则 图2.4.1(b)维纳预测器图2.4.1(a)维纳滤波器2、预测的可能性、预测的可能性n信号可以预测是由于信号内部存在关联性。数据间关联越密切，预测越准确；完全不关联，则无法预测。输入：输出：x(n)在各不同时间点上的值的相关性是起因于B(z)的惯性。由观测到的x(n)的所有过去值和当前值来估计将来值时：如果，则仅由B(z)的惯性决定，如果，则将由B(z)的惯性和共同决定；n随机信号预测的特点：随机信号预测的特点：以信号的统计特性作为预测的主要依据；不可能作预测误差为零的绝对精确的预测；实际信号通常带有噪声干扰，使得预测和滤波联系在一起，成为带滤波的预测。3 3、维纳预测的计算维纳预测的计算 同理，要使预测误差的均方值为最小，须满足其中，hk表示h(k)。即n 非因果维纳预测器的最佳解为n 因果维纳预测器的最佳解为维纳预测的最小均方误差为 维纳预测的求解和维纳滤波器的求解方法是一致的。4 4、纯预测纯预测n 假假设设x(n)=s(n)+v(n)，纯纯预预测测问问题题是是在在v(n)=0情情况况下下对对s(n+N),N0的预测，此时的预测，此时x(n)=s(n)。因果情况下，假设s(n)与v(n)不相关，纯预测情况下的输入信号的功率谱及维纳预测器的最佳解分别为纯预测器的最小均方误差为应用复卷积定理取y(n)=x(n)得到 可以看到，随着N增加，E|e(n+N)|2min也增加。这一点也容易理解，当当预预测测的的距距离离越越远远，预预测测的的效效果果越越差差，偏偏差差越越大大，因而因而E|e(n+N)|2min越大。越大。例例2.4.1已知其中-1a1，求:(1)最小均方误差下的s(n+N)；(2)E|e(n+N)|2min。解解（1）、求B(z)：首先对Sxx(z)进行功率谱分解。因为所以（2）、求H(z)：求出B(z)的Z反变换对于因果维纳预测器有：图2.4.1纯预测维纳滤波器 由Hopt(z)=aN，此时可以把纯预测的维纳滤波器看作是一个线性比例放大器（如图2.4.1所示）。u为什么预测值只与当前值s(n)有关，而和s(n+1)、s(n+2)无关呢？将x(n)看成由白噪声(n)通过B(z)产生的，根据x(n)的信号模型可以写出x(n)的时间序列模型所对应的输入输出方程x(n)=(n)+ax(n-1)以上推导结果从统计意义上讲，当N0时，白噪声信号(n+N)对x(n)无影响。将信号x(n)通过纯预测维纳滤波器，随着时间的递增，基于和x的均值等于零，正说明的影响就统计平均来讲等于零。当当mx=0，估估计计 时时，只只需需要要考考虑虑系系统统B(z)的的惯惯性性而而可可认认为为 ，这这样样估估计计出出来来的的结结果果将将有有最最小小均均方方误误差。差。那么Sxx(z)在z=1处有一个极点，而现在在z1处无极点，故有（3）、求E|e(n+N)|2min结论：由上式可知，N越大，误差越大，如果N=0则没有误差。5、一步线性预测的时域解一步线性预测的时域解n 一一步步线线性性预预测测：采用p个最近的采样值来预测时间序列下一时刻的值，包括前向预测和后向预测两种。前前向向预预测测：在噪声v(n)=0的情况下，已知x(n-1),x(n-2)，,x(n-p),预测当前时刻x(n)；后后向向预预测测：在噪声v(n)=0的情况下，已知x(n)，x(n-1)，x(n-p+1)基础上，估计x(n-p)。图2.4.2前后向预测数据之间的关系（1）、前向预测）、前向预测n设定系统的单位脉冲响应为h(n)，其输出信号为令apk=-h(k)，则n 前向预测误差为其中,ap0=1,一步前向预测器结构图 n前向预测误差的均方值为：或Ee(n)x*(n-l)=0l=1,2,p即 由于预测器的输出 是输入信号的线性组合，故预测误差与预测的信号值同样满足正交性原理：n 前向预测误差的最小均方值为：将方程组写成矩阵形式（Yule-Walker方程）方程）维纳霍夫方程 Yule-Walker方程 前向预测误差为 AR信号模型为对比两式可知，（2）、后向预测）、后向预测n假设前、后向预测器具有相同的系数，即 n 后向预测误差为n后向预测误差的均方值为：或Eb(n)x*(n-p+l)=0l=1,2,p即 由于预测器的输出 是输入信号的线性组合，故预测误差与预测的信号值同样满足正交性原理：n 后向预测误差的最小均方值为：同理，可以得到下面方程组：将方程组写成Yule-Walker方程方程形式Yule-Walker方程具有以下特点：(1)除了第一个方程外，其余都是齐次方程;(2)与维纳-霍夫方程相比，不需要知道rxs(m)。(3)由方程组的p+1个方程，可以确定apk,k=1,2,p和Ee2(n)min，共计p+1个未知数。n Levinson-Durbin算法算法 Levinson-Durbin算法首先由一阶AR模型开始，一阶AR模型(p=1)的Yule-Walker为由该方程解出：然后增加一阶，即令p=2，得到由上面方程解出：然后令p=3,4,以此类推，可以得到Levinson-Durbin的一般递推公式如下：例例2.4.2已知x(n)为AR模型，求AR模型参数（包括模型阶数和系数）。rxx(m)=0.8|m|解解首先对Sxx(z)做傅里叶反变换，得到x(n)的自相关函数rxx(m),（1）、采用试验的方法确定模型阶数p。首先取p=2，各相关函数值由上式计算计算得到a1=-0.8，a2=0,2=0.36（2）、如果取p=3，可计算出a1=-0.8,a2=a3=0,2=0.36，说明AR模型的阶数只能是一阶的。（3）、采用谱分解的方法，即对Sxx(z)进行谱分解，得到的模型也是一阶的，其时间序列模型和差分方程为2.5 卡尔曼卡尔曼(Kalman)滤波滤波 n本节讨论的主要问题及方法本节讨论的主要问题及方法n卡尔曼滤波的状态方程和量测方程卡尔曼滤波的状态方程和量测方程n卡尔曼滤波的递推算法卡尔曼滤波的递推算法n发散问题及其抑制发散问题及其抑制1、本节讨论的主要问题及方法、本节讨论的主要问题及方法n讨论的主要问题：本节将主要讨论卡尔曼滤波的状态方程和量测方程，及其递推算法。n解决方法：利用状态方程和递推方法寻找最小均方误差下状态变量 的估计值 ，即2、卡尔曼滤波的状态方程和量测方程卡尔曼滤波的状态方程和量测方程 假设某系统k时刻的状态变量为xk，状态方程和量测方程（也称为输出方程）表示为 Ak为状态转移矩阵，描述系统状态由时间k-1的状态到时间k的状态之间的转移；Ck为量测矩阵，描述状态经其作用，变成可量测或可观测的；xk为状态向量，是不可观测的；yk为观测向量；wk为过程噪声；vk为量测噪声。图2.5.1卡尔曼滤波器的信号模型假设状态变量的增益矩阵A不随时间发生变化，wk,vk都是零均值白噪声，方差分别是Qk和Rk，并且初始状态x0与wk,vk都不相关，且噪声向量wk,vk也互不相关，即其中3、卡尔曼滤波的递推算法卡尔曼滤波的递推算法 n基本思想：先不考虑输入信号k和观测噪声vk的影响，得到状态变量和输出信号（即观测数据）的估计值和再用输出信号的估计误差加权后校正状态变量的估计值，使状态变量估计误差的均方值最小。当不考虑观测噪声和输入信号时，状态方程和量测方程为：输出信号的估计误差（新息）为：为了提高状态估计的质量，用输出信号的估计误差 来校正状态变量其中，Hk为增益矩阵，实质是一加权矩阵。校正后状态变量的估计误差及其均方值分别为：未经校正的状态变量估计误差的均方值为：卡尔曼滤波要求状态变量的估计误差的均方值Pk为最小，因此卡卡尔尔曼曼滤滤波波的的关关键键就就是是要要得得到到Pk与与Hk的的关关系系式式，即即通通过过选选择择合适的合适的Hk,使使Pk取得最小值。取得最小值。n 递推步骤：1.计算状态变量的估计值：2.计算状态变量的估计误差 ：由上式可以看出，状态变量的估计误差 由三部分组成，可记为其中3.计算状态变量估计误差的均方值Pk：其中，根据假设的条件，状态变量的增益矩阵A不随时间发生变化，起始时刻为0，则 xk-1仅依赖于x0,0,1,k-2,与k-1不相关，即 又仅依赖于xk-1,vk-1，而与vk不相关，即由此可知，也就是说，Pk仅有其中的三项不为零，化简成4.计算未经误差校正的状态变量估计误差的均方值Pk：由上面推导结果可以看出，Pk是一对称矩阵，满足Pk=(Pk)T。把Pk代入Pk,5.计算增益矩阵H Hk 分析上式，可以发现第一项和第三项均与H Hk无关，第二项为一半正定阵，因此使Pk最小的Hk应满足6.计算状态变量估计误差的最小均方误差矩阵7.卡尔曼递推公式总结如下：n假设初始条件Ak,Ck,Qk,Rk,yk,xk-1,Pk-1已知，其中x0=Ex0,P0=varx0,那么，递推流程见图2.5.2。图2.5.3求的卡尔曼滤波一步递推算法n卡尔曼滤波的特点：采用递推的方式，不要求存储全部的观测数据，便于实时计算；Hk,Pk,Pk与观测数据yk无关，可以事先计算好并存储；Pk与Qk，Rk是紧密相关的：Rk增大时，Hk变小；（量测噪声大时，增益应取小些，以便减弱量测噪声的影响）P0减小或Qk1变小或两者都变小时，Pk变小，Pk变小，Hk变小；（P0减小说明初始估计较好，Qk1变小表示状态转移的随机波动小，故新观测值对状态预测的校正影响减弱，增益应取小些）n例例x(t)是一个时不变的标量随机变量，y(t)=x(t)+v(t)是观测数据，其中v(t)为白噪声。若用Kalman滤波器自适应估计x(t)，试设计Kalman滤波器。构造状态空间方程设计x(t)的更新公式例例 已知在k=0时开始观察yk,yk=xk+vk，用卡尔曼过滤的计算公式求xk，并与维纳过滤的方法进行比较。解解(1)由x(n)功率谱及量测方程，确定卡尔曼递推算法。首先对Sxx(z)进行功率谱分解，确定x(n)的信号模型B(z)，从而确定Ak。根据Sxx(z)=2B(z)B(z-1)，得出由此可以得到卡尔曼滤波的状态方程为：由量测方程yk=xk+vk,确定Ck=1，将参数矩阵Ak,Ck,Rk代入卡尔曼递推公式得到 另由题目可知，(2)求出卡尔曼滤波的输出。由卡尔曼递推公式，以及,P0=varx0=1,可得到Pk,Hk,Pk及 （k表示迭代次数），迭代流程为：表表2.5.1 Kalman滤波迭代结果滤波迭代结果 (3)求出卡尔曼滤波的稳态解。消去Pk，可以得到Pk的递推关系:要求的是稳态解，因此将Pk,Pk-1都用P代替,得到 根据P，可以确定达到稳态后的卡尔曼滤波的状态方程:(4)用维纳滤波（因果维纳滤波）的方法分析。采用功率谱分解的方法，得到x(n)的时间序列信号模型的传输函数H(z):上式说明x是一阶AR模型，对H(z)做Z反变换得到比较可以看出卡尔曼滤波的稳态解与维纳解是相等的。卡尔曼滤波的稳态解与维纳解是相等的。n维纳滤波维纳滤波：维纳滤波中则采用物理意义较为间接的频率域语言；根据全部过去的和当前的观察数据来估计信号的当前值；解是以均方误差最小条件下所得到的系统的传递函数H(z)或单位样本响应h(n)的形式给出的，或者说其信号模型是从信号与噪声的相关函数得到的；适用于一维平稳随机信号。n卡尔曼滤波：卡尔曼滤波：卡尔曼滤波中采用物理意义较为直观的时间域语言；采用递推算法，用前一个估计值和最近一个观察数据(它不需要全部过去的观察数据)来估计信号的当前值；解是以估计值(常常是状态变量值)形式给出的，或者说其信号模型是从状态方程和量测方程得到的；适用于多维和非平稳随机信号。4、应用举例-1n 假设一运动目标在x，y平面上沿y=x方向运动，由于外界干扰，其运动轨迹发生了偏移。试采用Kalman滤波方法跟踪估计其运动状态。受到噪声干扰的运动轨迹解：解：定义其在x，y方向的运动状态分别为：x方向位移为x1k，速度为x3k；y方向位移为x2k，速度为x4k；n由此可得其状态方程为：n设其量测矩阵为：由此可得量测方程为：Kalman滤波后的运动轨迹Kalman滤波的跟踪性能 n 应用举例-2假设雷达跟踪的目标为飞行器，发射的脉冲时间间隔为T，(k)和(k+1)表示对平均距离R的偏差。假定偏差是统计随机的，均值为零,那么可以写出距离方程式中，表示速度。用u表示加速度，则可以得到加速度方程假定加速度u(k)是零均值的平稳白噪声，即满足 为了后面叙述方便，定义x(k)表示第k个雷达回波脉冲获得的目标距离，z(k)表示在第k个雷达脉冲进行数据处理