中科院现代数字信号处置完全版培训课件.ppt

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,第二章 维纳滤波和卡尔曼滤波,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,第三章 自适应数字滤波器,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,第四章 功 率 谱 估 计,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,现代数字信号处理,第一章,预修课程,概率论与数理统计,信号与系统,数字信号处理1,随机过程,课程讨论的主要问题1,对信号特性的分析,研究对象,：,确定性信号,随机信号；,研究目的：,提取信号中的有用信息；,主要内容,：,随机信号的统计特性；,随机信号的参数建模；,功率谱估计（经典谱估计和现代谱估计）；,时频分析（短时傅立叶变换、维格纳变换、小波变换）,课程讨论的主要问题2,信号处理技术,研究目的：提高信号质量；,主要内容：,维纳滤波理论（平稳条件下）；,卡尔曼滤波理论（非平稳条件下）；,自适应滤波理论；,课程特点,现代数字信号处理的基本概念、基本理论和分析方法；结合有关问题，介绍其在相关领域的应用。,课程讲述线索,本课程采用对不同处理对象的线索来讲解：,确定性信号,随机信号；,平稳信号处理,非平稳信号处理,;,时域,频域,时频分析,;,根据处理对象和应用背景的不同而选择相应的处理方法,课程主要内容,第一章 时域离散随机信号的分析,第二章 维纳滤波和卡尔曼滤波,第三章 自适应数字滤波器,第四章 功率谱估计,第五章 时频分析,成绩评定,课堂成绩,闭卷考试,教材及参考书,教材：,张贤达，,现代信号处理,第二版，清华大学出版社，北京，,2002,。,丁玉美，,数字信号处理,时,域离散随机信号处理,，西安电子科技大学出版社，,2002,。,参考书,：,胡广书，,数字信号处理理论、算法与实现,第二版，清华大学出版社，北京，,2003,。,Roberto Cristi,Modern Digital Signal Processing,Thomson-Brooks/Cole,，,2004,。,Dimitris G.Manolakis,etc,Statistical and Adaptive Signal Processing,Mc Graw Hill,2000,。,第一章 时域离散随机信号的分析,1.1,随机信号,1.2,时域统计表达,1.3 Z,域及频域的统计表达,1.4,随机序列数字特征的估计,1.5,平稳随机序列通过线性系统,1.6,时间序列信号模型,1.1 随机信号,信号的分类,随机变量及其统计描述,随机信号及其统计描述,1.1.1 信号的分类,信号的分类：,确定性信号,随机信号,平稳随机信号,非平稳随机信号,1.1.2 随机变量,随机变量的统计描述：,概率分布函数：,概率密度函数：,均值（一阶矩）：,均方值（二阶原点矩）：,方差（二阶中心矩）：,协方差：,几种特殊分布的随机变量的概率密度：,均匀分布：,高斯分布：,N,个实随机变量 的联合高斯分布的概率密度：,其中，,1.1.3 随机信号,实际应用中，常常把随时间变化而变化的随机变量，称为随机过程。,随机信号的特点：,在任何时间的取值都是随机的（不能确切已知）,取值服从概率分布规律（统计特性确定，但未知）,随机信号定义：一个随机信号,X,(,t,),是依赖时间,t,的一族随机变量，或者说它是所有可能的样本函数的集合。,图,1.1.1,n,部接收机的输出噪声,X,(,t,)=,x,i,(,t,),i,=1,2,3,X,(,t,),是,所有可能样本函数的集合,X,(,t,1,)=,x,i,(,t,1,),i,=1,2,3,X,(,t,)=,X,(,t,1,),X,(,t,2,),X,(,t,3,),X,(,t,),是依赖时间,t,的一族随机变量,如果对随机信号,X,(,t,),进行等间隔采样，或者说将,X,(,t,),进行时域离散化,得到随机变量,X,(,t,1,),X,(,t,2,),X,(,t,3,),所构成的集合称为,时域离散随机信号,。,用,n,取代,t,n,，随机序列用,X(n),表示，即随机序列是随,n,变化的随机变量序列。,图,1.1.2,n,部接收机输出噪声的时域离散化,X(,n,),是依赖时间,n,的一族随机变量,样本函数,x,i,(,t,),或样本序列,x,i,(,n,),随机信号,X,(,t,),或,X,(,n,),随机变量,X,(,t,1,),X,(,t,2,),X,(,t,3,),特定时刻,随机信号的统计描述：,一维概率分布函数,：,一维概率密度函数：,上述两式只描述随机序列在某一时刻,n,的统计特性，而对于随机序列，不同,n,的随机变量之间并不是孤立的。,二维概率分布函数,:,对于连续随机变量,其二维概率密度函数为,以此类推,N,维概率分布函数为,对于连续随机变量,其,N,维概率密度函数为,数学期望,(,统计平均值,):,均方值,:,方差：,一般均值、均方值和方差都是,n,的函数,但对于平稳随机序列,它们与,n,无关,是常数。,式中,E,表示求统计平均值,体现了信号的集合平均。,连续形式：,离散形式：,自相关函数：,自协方差函数：,对于零均值随机序列，,这种情况下，自相关函数和自协方差函数没有什么区别。,，则,互相关函数定义为,互协方差函数定义为,同样,当 时，,如果,C,(,X,m,Y,n,)=0,，则称信号,X,m,与,Y,n,互不相关。,1.2,平稳随机信号的时域统计表达,平稳随机信号的定义,平稳随机信号相关函数的性质,平稳随机信号的各态遍历性,1.2.1 平稳随机信号的定义,狭义,(,严,),平稳随机序列：,随机信号的统计特性不随时间平移而变化。,广义,(,宽,),平稳随机序列,：,随机信号的均值和方差不随时间变化而变化，其相关函数与时间起点无关，仅是时间差的函数。,均值、方差和均方值均与时间无关,：,自相关函数与自协方差函数是时间差的函数,:,对于两个各自平稳且联合平稳的随机序列,其互相关函数为,显然,对于自相关函数和互相关函数,下面公式成立,:,如果对于所有的,m,，满足公式：,R,xy,(,m,)=0,，则称两个随机序列互为,正交,。,如果对于所有的,m,，满足公式,:,C,xy,(,m,)=0,，则称两个随机序列,互不相关,。,R,xx,(m),是,Hermitian,对称的,1.2.2,实平稳随机信号相关函数的性质,（,1,）自相关函数和自协方差函数是,m,的偶函数,用下式表示,:,（,2,）,R,xx,(0),数值上等于随机序列的平均功率：,（,3,）相关性随时间差的增大越来越弱：,（,4,）大多数平稳随机序列内部的相关性随着时间差的变大，,愈来愈弱：,（,5,）,的特性,的特性,m,m,1.2.3 平稳随机信号的各态遍历性,集合平均,：,由随机序列,X(,n,),的无穷样本 在相应时刻,n,对应相加来实现的。,由上可知，集合平均要求对大量的样本进行平均,实际中这种做法是不现实的。,时间平均,：,设,x,(,n,),是平稳随机序列,X,(,n,),的一条样本曲线，其时间平均值为,类似地，其时间自相关函数为,各态遍历性,：,对一平稳随机信号，如果它的所有样本函数在某一固定时刻的一阶和二阶统计特性（集合平均）和单一样本函数在长时间内的统计特性（时间平均）一致，则称其为各态遍历信号。,意义：单一样本函数随时间变化的过程可以包括该信号所有样本函数的取值经历。,直观理解：只要一个实现时间充分长的过程能够表现出各个实现的特征，就可以用一个实现来表示总体的特性。,x,(,n,)=,E,X,(,n,),x,(,n,),x,*,(,n,+,m,)=,E,X,(,n,),X,*,(,n+m,),1.3,平稳随机信号的,Z,域及频域的统计表达,相关函数的Z变换,平稳随机信号的功率密度谱,1.3.1,相关函数的,Z,变换,平稳随机序列是非周期函数，且是,能量无限信号,，无法直接利用傅里叶变换进行分析。,由前面对,自相关函数和自协方差函数的讨论可知：,当 时，,R,xx,(,m,),是收敛序列。,这说明虽然无限能量信号本身的,z,变换与傅氏变换不存在，但它的自协方差序列和自相关序列（当 时）的,z,变换与傅氏变换却是存在的,其,Z,变换,用,P,xx,(,z,),表示如下,:,且,因为,将上式进行,Z,变换，得到：,如果,z,1,是其极点，,1/,z,*,1,也是极点。,P,xx,(,z,),的收敛域包含单位圆，因此,R,xx,(,m,),的傅里叶变换存在。,令,z,=exp(j,),可以得到,R,xx,(,m,),的傅立叶变换如下所示：,将,m,=0,代入上式，得到,随机序列的平均功率；,功率谱密度（简称功率谱）,维纳,辛钦定理（,Wiener-Khinchin Theorem,）,1.3.2,平稳随机信号的功率密度谱,有限时间段随机信号,x,(,t,),的功率谱分布为：,功率谱：协方差函数的,Fourier,变换,（,1,）功率谱是,的偶函数：,实、平稳随机序列功率谱的性质,（,2,）功率谱是实的非负函数，即,P,xx,(,)0,功率谱的分类：,平谱（白噪声谱）,：一个平稳的随机序列,w,(,n,),，如果其功率谱 在 的范围内始终为一常数。,白噪声序列在任意两个不同的时刻是不相关的,。若,w,(,n,),是高斯型的，那么它在任意两个不同时刻又是相互独立的。,线谱,：由一个或多个正弦信号所组成的信号的功率谱。若,x,(,n,),有,L,个正弦组成，即,其中，,是均匀分布的随机变量，可以求出,此即为线谱，它是相对与平谱的另一个极端情况。,ARMA,谱,：既有峰点又有谷点的连续谱，这样的谱可以由一个,ARMA,模型来表征。,.,.,白噪声谱,线谱,ARMA,谱,1.4,随机序列数字特征的估计,估计准则,均值的估计,方差的估计,自相关函数的估计,1.4.1,估计准则,估计方法,：矩估计法、最大似然估计法、贝叶斯估计、最小均方误差估计、最大后验估计，最小二乘估计、,EM,算法等。,估计准则,：无偏性、有效性、一致性,假定对随机变量,x,观测了,N,次，得到,N,个观测值：,x,0,x,1,x,2,x,N,-1,，希望通过这,N,个观测值估计参数,，称,为真值，它的估计值用表示。是观测值的函数，假定该函数关系用,F,表示，,(1.4.1),如果估计值接近真值的概率比较大，则说明这是一种比较好,的估计方法。,图,1.4.1,估计量的概率密度曲线,1.,偏移性,令估计量的统计平均值与真值之间的差值为偏移,B,，其公式为,如果,B,=0,，称为,无偏估计,。,如果,B,0,，则称为,有偏估计,。,如果随着观察次数,N,的加大，能够满足下式：,则称为,渐近无偏估计,，这种情况在实际中是经常有的。,在许多情况下，一个有偏但渐进无偏的估计具有比一个无偏的估计好得多的分析和计算性质。,2.,有效性,估计量的方差,如果两个估计量的观察次数相同，又都是无偏估计，哪一个估计量在真值附近的摆动更小一些，即,估计量的方差更小一些，就说这一个估计量的估计更有效。,如果和都是,x,的两个无偏估计值，对任意,N,，它们的方差满足下式：,式中,(1.4.4),则称比更有效。一般希望当,N,时，。,3.,一致性,均方误差,估计量的均方误差用下式表示：,如果估计量的均方差随着观察次数的增加趋于,0,，即,估计量随,N,的加大，在均方意义上趋于它的真值，则称该估计是一致估计,。,上式表示，,随,N,的加大，偏移和估计量方差都趋于零，是一致估计的充分必要条件,。,通常对于一种估计方法的选定，往往不能使上述的三种性能评价一致，此时只能对它们折衷考虑，尽量满足无偏性和一致性。,常数,估计量的均方误差与估计量的方差和偏移的关系推导如下：,1.4.2,均值的估计,假设已取得样本数据：,x,i,(,i,=0,1,2,N,-1),，均值的估计量用下式计算：,式中,N,是观察次数。,1.,偏移,因此,B,=0,，说明这种估计方法是无偏估计。,2.,估计量的方差与均方误差,先假设数据内部不相关,，那么,以上式表明，估计量的方差随观察次数,N,增加而减少，当,时，估计量的方差趋于,0,。这种情况下估计量的均方误差为,这样，当,N,时，,B,=0,，是一致估计。,如果数据内部存在关联性,，会使一致性的效果下降，估计量的方差比数据内部不存在相关情况的方差要大，达不到信号方差的,1/,N,。,1.4.3,方差的估计,已知,N,点样本数据,x,i,(,i,=0,1,2,N,-1),，假设数据之间不存在相关性，且信号的均值,m,x,已知，方差用下式估计,可以证明这是无偏一致估计：,数据之间不存在相关性,，,均值也不知道的情况下，方差的估计方法,。方差估计用下式计算：,1.,偏移性,式中的第二项已经推出，式中的第三项推导如下：,由此可以得到,上式表明，该估计方法，是有偏估计，但是渐进无偏,。,为了得到无偏估计，可以用下式计算：,之间的关系是,和,还可以证明它也是一致估计,。,1.4.4,自相关函数的估计,无偏自相关函数的估计,估计公式为,0,m,N,-1,1-,N,m,匹配滤波器,最小均方误差准则,误差绝对值的期望值最小,误差绝对值的三次或高次幂的期望值最小,x,(,n,)=,s,(,n,)+,v,(,n,),Wiener,滤波器的一般结构,2,、维纳滤波和卡尔曼滤波简介,维纳,(Wiener),滤波与卡尔曼,(Kalman),滤波以估计的结果与信号真值之间的误差的均方值最小作为最优准则。,假设信号的真值与估计值间的误差为：,均方误差最小即误差的平方的统计平均值最小：,最小,3,、本章讨论的主要内容,主要内容：维纳滤波器（,FIR,维纳滤波器和,IIR,维纳滤波器）、维纳预测器、卡尔曼滤波。,分析思路：在均方误差最小的前提下，求得系统的单位脉冲响应,h,(,n,),或传递函数,H,(,z,),，进而计算滤波器的最小均方误差,2.2,离散维纳滤波器的时域解,本节要解决的主要问题及方法,正交性原理,维纳,霍夫方程,FIR,维纳滤波器的时域解,1,、,本节要解决的主要问题及方法,要解决的问题：,寻求在均方误差最小情况下的单位脉冲响应,h,(,n,),或传递函数,H,(,z,),的表达式，这一过程称为设计维纳滤波器的过程。,解决方法：,实质是求解维纳霍夫,(,Wiener-Hopf,),方程，即,本节讨论维纳滤波器的时域求解方法，即在时域求最小均方误差下的,。,2,、维纳滤波器时域求解的方法,因果维纳滤波器的输出,y,(,n,),：,n,=0,1,2,设期望信号为,d,(,n,),，误差信号,e,(,n,),及其均方值,E,|,e,(,n,)|,2,分别为,e,(,n,)=,d,(,n,)-,y,(,n,)=,s,(,n,)-,y,(,n,),k,=0,1,2,记梯度算子为,k,=0,1,2,要使均方误差为最小，须满足,上式展开为,又,将上述,4,式代入得,分析：,上式说明，若使滤波器的均方误差达到，则误差信号与输入信号正交，这就是通常所说的正交性原理。,正交性原理：,正交性原理的重要意义：提供了一个数学方法，用以判断线性滤波系统是否工作于最佳状态。,正交性原理的引理：最佳状态时，由滤波器输出定义的期望响应的估计,y,opt,(,n,),与估计误差,e,opt,(,n,),正交：,3,、,维纳,霍夫方程,将输入信号分配进去，得到,k,=0,1,2,维纳,-,霍夫（,Wiener,Hopf,）方程：,k=,0,1,2,4,、,FIR,维纳滤波器的时域解,FIR,维纳滤波器的维纳,-,霍夫方程,当,h,(,n,),是一个长度为,M,的因果序列时，,FIR,维纳滤波器的维纳,-,霍夫方程表述为,k=,0,1,2,M,-1,(2.2.21),把,k,的取值代入,(2.2.21),式，得到,当,k,=0,时，,h,0,r,xx,(0)+,h,1,r,xx,(-1)+,+,h,M-1,r,xx,(-,M,+1)=,r,xd,(0),当,k,=1,时，,h,0,r,xx,(1)+,h,1,r,xx,(0)+,+,h,M-1,r,xx,(-,M,+2)=,r,xd,(1),当,k=M,-1,时，,h,0,r,xx,(,M,-1)+,h,1,r,xx,(,M,-2)+,+,h,M-1,r,xx,(0)=,r,xd,(,M,-1),(2.2.22),定义,（,2.2.22,）式可以写成,矩阵形式,，即,对上式求逆，得到,这里涉及到计算相关矩阵和逆矩阵，计算量可能较大。,FIR,维纳滤波器的估计误差的均方值,假定所研究的信号都是零均值的，滤波器为,FIR,型，长度等于,M,，,结论：,在所有,N,阶,FIR,滤波器中，最优滤波器的均方误差值是最小的，从这个意义上说，它是最优的。,其阶数越高，采用的已知信息就越多，它的最小均方误差就越小，但相应的计算量也越大。,例,1,假设有一实的广义平稳随机信号,s,(,n,),的自相关函数（序列）为,且伴随有实的噪声,w,(,n,),，方差为 ，与,s,(,n,),无关。试设计一个,M,=2,的,FIR,维纳滤波器来估计,s,(,n,),，并计算最小均方误差。,解：已知,由此，,M,=2,最佳,FIR,维纳滤波器如下：,或者，利用下式求解,k=,0,1,当,k,=0,时，,2,h,0,+0.6,h,1,1,当,k,=1,时，,0.6,h,0,+2,h,1,0.6,估计该滤波器的输出误差的最小均方值：,经过此滤波器以前的均方误差为,2.3,离散维纳滤波器的,z,域解,本节要解决的主要问题及方法,白化滤波器,非因果,IIR,维纳滤波器的,Z,域解,因果,IIR,维纳滤波器的,Z,域解,1,、,本节要解决的主要问题及方法,待解决的问题：,当,h,(,n,),是物理可实现的因果序列时，所得到的,Wiener-Hopf,方程 将存在,k,0,的约束，不能直接转到,Z,域求解。这使得在要求满足物理可实现条件下，求解维纳,-,霍夫方程成为一个十分困难的问题,。,解决方法：,采用将观测序列,x,(,n,),白化的方法，求解,Wiener-Hopf,方程的,Z,域解。,若不考虑滤波器的因果性，维纳霍夫方程可以改写为,设定,d,(,n,)=,s,(,n,),，对上式两边做,Z,变换，得到,S,xs,(,z,)=,H,opt,(,z,),S,xx,(,z,),x,(,n,)=,s,(,n,)+,v,(,n,),假设信号和噪声不相关，即,r,sv,(,m,)=0,，则,S,xs,(,z,)=,S,ss,(,z,),S,xx,(z)=,S,ss,(,z,)+,S,vv,(,z,),对于因果,IIR,维纳滤波器，其维纳霍夫方程为,k=,0,1,2,因为存在,k,0,的约束，使得,上式不能直接转到,Z,域求解。如有可能将其转化为非因果问题，则求解会大大简化。,如果滤波器的输入是白噪声，即,x,(,n,)=,w,(,n,),，,w,(,n,),是方差为,的白噪声，由于,则因果,IIR,维纳滤波器的,维纳霍夫方程变为：,k=,0,1,2,k=,0,1,2,由此可见，只要将输入信号转化为白噪声，就可以解得因果,IIR,维纳滤波器的单位脉冲响应。,2,、白化滤波器,任何具有有理功率谱密度的随机信号都可以看成是由一白色噪声,w,(,n,),激励某个物理网络所形成。,x,(,n,),的时间序列信号模型,一般把信号转化为白噪声的过程称为,白化,，对应的滤波器称为,白化滤波器,。,x,(,n,),的白化滤波器,如果,B,(,z,),是一个最小相移网络函数，那么,1/,B,(,z,),显然也是一个物理可实现的最小相移网络，因此可以利用上式白化,x,(,n,),。,利用白化,x,(,n,),的方法求解,维纳,-,霍夫方程,利用白化,x,(,n,),的方法求解,维纳,-,霍夫方程,:,于是，在最小均方误差准则下，求最佳,H,opt,(,z,),的问题就归结为求最佳,G,(,z,),的问题了。,G,(,z,),当然也需分因果性或非因果性的约束情况加以讨论。,如果已知信号的,P,xx,(,z,),，即可由下式求得,B,(,z,),。,计算,H,opt,(,z,),：,3,、非因果,IIR,维纳滤波器的求解,(2.3.9),求满足最小均方误差条件下的,g,(,k,),：,为求得相对于,g,(,k,),的最小均方误差值，令,-,k,-,k,Z,变换后,非因果,IIR,维纳滤波器的最佳解：,s,(,n,)=,s,(,n,)*,(,n,),，,x,(,n,)=,w,(,n,)*,b,(,n,),r,xs,(,m,)=,r,ws,(,m,)*,b,(-,m,),S,xs,(,z,)=,S,ws,(,z,),B,(,z,-1,),非因果,IIR,维纳滤波器的复频域最佳解的一般表达式,假定信号与噪声不相关，即当,E,s,(,n,),v,(,n,),=0,时可以得到：,S,xs,(,z,)=,S,ss,(,z,),S,xx,(,z,)=,S,ss,(,z,)+,S,vv,(,z,),信号和噪声不相关时，非因果,IIR,维纳滤波器的复频域最佳解和频率响应分别为,由上式可知：,当噪声为,0,时，,H,opt,=1,，信号全部通过；,当信号为,0,时，,H,opt,=0,，噪声全部被抑制掉；,当即有信号又有噪声时，,H,opt,1,，大小随,P,vv,的增加而减小，从而达到降低噪声影响的目的。,P,ss,(e,j,)0,P,vv,(e,j,)=0,P,ss,(e,j,)0,P,vv,(e,j,)0,P,ss,(e,j,)=0,P,vv,(e,j,)0,图,2.3.6,非因果维纳滤波器的传输函数的幅频特性,计算最小均方误差,E,|,e,(,n,)|,2,min,：,第一项根据围线积分法求逆,Z,变换的公式,r,ss,(,m,),用下式表示,:,得出,第二项由,帕塞伐尔定理：,取,y,(,n,)=,x,(,n,),有,因此,得到,假定信号与噪声不相关，,E,s,(,n,),v,(,n,),=0,，又因为实信号的自相关函数是偶函数，即,r,ss,(,m,)=,r,ss,(-,m,),，则,S,xs,(,z,)=,S,ss,(,z,),，,S,xx,(,z,)=,S,ss,(,z,)+,S,vv,(,z,),；,S,ss,(,z,)=,S,ss,(,z,-1,),4,、因果,IIR,维纳滤波器的求解,若维纳滤波器是一个因果滤波器，,要求,g,(,n,)=0,n,0,则滤波器的输出信号,估计误差的均方值,E,|,e,(,n,)|,2,=,E,|,s,(,n,)-,y,(,n,)|,2,类似于（,2.3.9,）式的推导，得到,要使均方误差取得最小值，,当且仅当,令,因果维纳滤波器的复频域最佳解为,维纳滤波的最小均方误差为,非因果情况时，滤波器的最小均方误差为,对于因果情况，,比较两式，可以看出非因果情况的,E,|,e,(,n,)|,2,min,一定小于等于因果情况,E,|,e,(,n,)|,2,min,。,因果维纳滤波器设计的一般方法：,(1),根据观测信号,x,(,n,),的功率谱求出它所对应信号模型的传输函数，即采用谱分解的方法得到,B,(,z,),，,S,xx,(,z,)=,2,w,B,(,z,),B,(,z,-1,),。,(2),求的,Z,反变换，取其因果部分再做,Z,变换，即舍掉单位圆外的极点，得,(3),积分曲线取单位圆，计算,H,opt,(,z,),E,|,e,(,n,)|,2,min,。,例,2.3.1,已知,信号和噪声不相关，即,r,sv,(,m,)=0,，噪声,v,(,n,),是零均值、单位功率的白噪声（,2,v,=1,m,v,=0),，求,H,opt,(,z,),和,E,|,e,(,n,)|,2,min,。,解,根据白噪声的特点得出,S,vv,(,z,)=1,由噪声和信号不相关，得到,r,xx,(,m,)=,r,ss,(,m,)+,r,vv,(,m,),。,考虑到,B,(,z,),必须是因果稳定的系统，得到,(1),、首先分析物理可实现情况,:,因为,取其因果部分,取单位圆为积分围线，上式等于单位圆内的极点,的留数之和，即,未经滤波器的均方误差,所以通过因果维纳滤波器后均方误差下降,8/3(2.7),倍。,(2),、,对于非物理可实现情况有,令,单位圆内有两个极点,0.8,和,0.5,应用留数定理，有,结论：比较两种情况下的最小均方误差,可以看出非物理可实现情况的最小均方误差小于物理可实现情况的