信号检测和估计理论统计估计理论.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信号检测和估计理论统计估计理论,内容提要,5.1,引言,5.2,随机参量的贝叶斯估计,5.3,最大似然估计,5.4,估计量的性质,5.5,矢量估计,5.7,线性最小均方误差估计,5.8,最小二乘估计,5.1,引言,信号的参量估计,若信号中被估计的量是,随机参量,或,非随机未知参量,，则称这种估计为信号的参量估计。,在观测时间内一般不随时间变化,静态估计,信号的波形估计或状态估计,若被估计的是随机过程或非随机的未知过程。,信号的波形、参量随时间变化,动态估计,5.1,引言,研究内容：,信号的参量估计,若信号中被估计的量是,随机参量,或,非随机未知参量,，则称这种估计为信号的参量估计。,理论基础：,随机变量与数理统计,(,2.2,P.8,),随机噪声理论,(,2.6,P.46,),5.1,引言,基本思想,信号模型,的差异；,先验知识与数据之间的关系,；,估计准则,与估计方法；,估计的评价指标。,数,据,模,型,复杂性：足以描述数据的基本特征,简单：允许估计量是最佳的，且易于实现,5.1,引言,-,信号处理中的估计,在雷达、声呐、语音、图像分析、生物医学、通信、自动控制等领域，都涉及到参数估计的问题。例如,雷达系统,被动声呐系统,语音识别系统,由时域信号转换为线性预测编码语音模型，,模型的参数决定了谱包络。,5.1,引言,-,估计的数学问题,确定估计量后，建立数据的数学模型,例,1,：,实际问题中，未给出,PDF,，要选择一个与问题的约束与先验知识,一致，且在数学上容易处理的,PDF,。例,2-,道琼斯指数：,参数确定但未知,-,经典估计,参数为随机变量,-,贝叶斯估计,20,世纪,90,年代,5.1.2,数学模型和估计量构造,四个组成部分：参量空间、概率映射、观测空间和估计准则。,概率映射函数 ，完整地描述了含有被估计矢量信息时观测矢量的统计特性。,5.1.3,估计量性能的评估,单次观测量为标量，被估计量为标量（单参量）,单次观测量为矢量，被估计量为矢量（多参量）,最佳估计准则定义：充分利用先验知识，使构造的估计量具有,最优性质,的估计准则。,被估计参量（随机或非随机）的先验知识（,P.264,）,被估计量及其均值、方差和均方误差的表示（,P.264,）,观测向量为长列向量,5.1.3,估计量性能的评估,例子：非随机未知单参量的估计,5.1.3,估计量性能的评估,例子：非随机未知单参量的估计,经典估计与贝叶斯估计,From Steven M.Key-page253-259,上述估计假定参数取值范围：,考虑到物理条件的限制：,经典估计与贝叶斯估计,From Steven M.Key-page253-259,贝叶斯最小均方误差估计：,令其为零,后验概率均值,=1,经典估计与贝叶斯估计,From Steven M.Key-page253-259,短数据记录对后验,PDF,的影响,大数据记录对后验,PDF,的影响,经典估计与贝叶斯估计,From Steven M.Key-page253-259,后验概率均值：在,先验知识,和,由数据贡献的知识,之间进行折衷。,例如，当,N,增加时，后验,PDF,变得更加集中，,MMSE,估计量（最小均方误差）对先验知识的依赖越来越小，对数据的依赖越来越多，数据把先验知识“擦除”了。,参数估计的贝叶斯方法：假设要估计的参数是随机变量 的一个实现。,(1),指定一个先验,PDF ;,(2),观测到数据后，后验,PDF,概括了对参数的了解。,(3),利用先验知识通常能改善估计精度。,经典估计与贝叶斯估计,From Steven M.Key-page253-259,利用先验知识通常能改善估计精度；,在贝叶斯估计中，先验,PDF,的选择是很关键的。,错误的选择将导致差的估计量，类似与在经典估计量问题中使用不正确的数据模型设计估计量。,围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明,先验,PDF,。,一般说来，除非先验概率是建立在物理约束的基础上，否则还是,使用经典估计比较合适。,贝叶斯准则：,二元信号检测的贝叶斯准则（,P.70,）,M,元信号检测的贝叶斯准则（,P.93,）,5.2,随机参量的贝叶斯估计,在信号参量的估计中，我们用类似的方法提出,贝叶斯估计准则,，即使估计的,平均代价最小,。适用于随机参量情况。,代价函数的一般形式：,满足,（,1,）非负性；（,2,）误差 时最小。,5.2,随机参量的贝叶斯估计,三种典型的代价函数：,5.2.1,常用代价函数和贝叶斯估计概念,平均代价,条件平均代价,贝叶斯公式,上述条件平均代价函数 对 求最小，,即可以求得随机参量 的贝叶斯估计量 。,5.2.2,贝叶斯估计量的构造,1,、最小均方误差估计（条件均值，代价函数参见图,(a),）,对 求偏导，并令结果为零。,5.2.2,贝叶斯估计量的构造,1,、最小均方误差估计（条件均值，代价函数参见图,(a),）,二阶偏导数 ，上式求得的估计量，,可以使平均代价,C,达到最小：,最小平均代价,是,条件方差,对所有观测量的统计平均。,5.2.2,贝叶斯估计量的构造,1,、最小均方误差估计（条件均值，代价函数参见图,(a),）,估计量 是后验概率密度函数 的均值 。,将后验概率转化,为先验概率表达,5.2.2,贝叶斯估计量的构造,2,、条件中值估计（条件中值，代价函数参见图,(b),）,称为条件中值估计，或条件中位数估计,（,Conditional Median Estimation,），,估计量 是 的点。,3,、最大后验估计（条件众数，最大后验，代价函数参见图,(c),）,5.2.2,贝叶斯估计量的构造,等效于使 最大,估计量 是后验概率密度函数 取最大值的点。,5.2.2,贝叶斯估计量的构造,例,5.2.1,单随机参量的贝叶斯估计（最佳估计的不变性）,贝叶斯公式,5.2.3,最佳估计的不变性,如果被估计量的后验概率密度函数 是高斯型的，则在三种典型代价函数下，使平均代价最小的估计量是一样的，都等于最小均方误差估计量，即,它们的均方误差都是最小的，这就是最佳估计的不变性。但是，代价函数的选择常常带有,主观性,，而后验概率密度函数 也不一定能满足高斯型的要求。,希望能够放宽条件，也能获得均方误差最小的估计。,5.2.3,最佳估计的不变性,两种情况下最小均方误差估计所具有,最佳估计不变性。,5.2.3,最佳估计的不变性,情况,情况,最大似然估计常用来,估计未知的非随机参量,。,最大似然估计定义：使似然函数 最大的 值作为估计量的参量估计方法,(,Maximum Likelihood Estimation,),。,5.3.1,最大似然估计原理,最大似然函数的基本原理是：对于某个选定的 ，考虑 落在一个小区域内的概率 ，取 最大的那个 作为估计量 。,似然函数是在给定 后,得到的，可以画出它与被估,计量 的关系曲线。,5.3,最大似然估计,PDF,作为未知参数的函数（固定），称之为似然函数。,根据最大似然估计原理，可得如下最大似然估计量,或,5.3.2,最大似然估计量的构造,对比（,5.2.19,）式，,相当于最大似然估计用于,估计没有任何先验知识的随机参量 ，,假定 为均匀分布，上式第二项为零，最大后验概率估计转化,为最大似然估计。,例,5.3.1,同例,5.2.1,，但不利用被估计量的先验分布知识，而把其看成是未知非随机参量,观测矢量 的似然函数为：,5.3.2,最大似然估计量的构造,带先验知识的贝叶斯估计：,(1),最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；,(2),当 为未知随机参量时，计算似然函数 相对容易；,(3),对于绝大多数实用的最大似然估计，观测数据足够多时，,其性能是最优的；,(4),最然似然估计具有不变性。,5.3.2,最大似然估计量的构造,带先验知识的贝叶斯估计：,最大似然估计的不变性：,1,、如果参量 的最大似然估计量为 ，那么函数 的最大似然估计量 ，在 是 的,一对一变换,时有,2,、如果 不是 的一对一变换，而是,一对多变换,，则首先应找出在 取值范围内所有变化参量的似然函数 中具有最大值的一个，记为 ，即,然后，通过 求出 的最大似然估计量 ，就是函数,的最大似然估计量。,5.3.3,最大似然估计的不变性,估计量是随机变量,主要性质,无偏性,有效性,一致性,充分性,克拉美,-,罗不等式,(Cramer-Rao),克拉美,-,罗界（均方误差下界）,5.4,估计量的性质,2,、估计量的有效性,则称估计量 比 有效。,克拉美,-,罗不等式,克拉美,-,罗界（在,5.4.2,小节讨论）,无偏有效估计量,的定义（,P.277,）,5.4.1,估计量的主要性质,1,、估计量的无偏性,估计量方差,估计误差方差,均方误差,5.4.1,估计量的主要性质,3,、估计量的一致性,4,、估计量的充分性,若被估参量的估计量为 。如果以 为参量的似然,函数 能够分解表示为,则称 充分估计量，运用了观测量 中的全部关于,的信息。,无偏有效估计量必然是充分估计量。,一致估计量,均方一致估计量,均方误差准则（,MSE,）：,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,度量估计量偏移真值的平方偏差的统计平均值。,约束,偏差为零,方差,偏差,最小方差无偏估计,(MVU),：,Cramer-Rao,下限,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,对无偏估计量确定一个下限：,判断是否是,MVU,估计量；,为比较无偏估计量的性能提供标准；,不可能求得方差小于下限的无偏估计量,（用于信号处理的可行性研究）,引入：依赖于未知参数的,PDF,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,观测到上述单个样本，其中 。,显然有：，方差为 。,图,(b),的,PDF,与,A,的相关性较弱。直观的看：,似然函数的”尖锐”性,，决定了,估计未知参数的精度。,PDF,受未知参数的影响越大，所得到的估计越好,。,考察由对数似然函数在其峰值处的负的二阶导数，,来,度量“尖锐”性。,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,一阶导数：,曲率更一般的度量：,负的二阶导数：,曲率随方差 的减少而增加。在本例中：,假定,PDF,满足“正则”条件：,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,Page25 from Steven M.Key,CRLB,定理（,Cramer-Rao,下限定理）：,且对于某个函数,g,和,I,，当且仅当,则，任何无偏估计量 的方差必定满足：,时，对所有 达到下限的无偏估计量可以求得：,1,、非随机参量情况,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,推论,最大似然估计公式,推导：两边对,theta,求偏导,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,1,、非随机参量情况（续，克拉美,-,罗不等式的推导,P.364,）,Cauchy-Schwarz Inequality,无偏估计,不等式取等号条件：,1,、非随机参量情况（续，另一种形式）,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,另一种形式克拉美,-,罗不等式的推导过程,两边对,theta,求二阶偏导,2,、随机参量情况（第一种形式）,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,关系常数,k,与随机参量的二阶统计量有关,推导：两边对,theta,求偏导,2,、随机参量情况（续，第二种形式）,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,推论,最大后验估计公式,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,2,、随机参量情况（续，第二种形式）,若随机参量 的任意无偏估计量 也是有效的，,则该估计量一定是 的最大后验估计量 。,无偏且达到,CRLB,的估计量可以有效地使用数据，称其为有效的。如左图所示。,MVU,（最小方差无偏）估计量可能是也可能不是有效的，如图,(b),所示，没有,达到,CRLB,，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的,方差，因此 是,MVU,估计量。,Page28-29 from Steven M.Key,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,2,、随机参量情况（续，第二种形式）,当达到,CRLB,时，,方差是,Fisher,信息的倒数，,即信息越多，下限越低，,具有信息测度的基本性质：,非负性；,对独立观测的可加性。,将下限表达式中的分母称为数据,X,的,Fisher,信息 ，即,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,关于对独立观测的可加性：,N,个,IID,观测的,CRLB,是单次观测的,1/N,倍。,对于独立观测,对于同分布观测,对于非独立的样本，可能有：,例,5.4.1,非随机参量的最大似然估计量的性质,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,（,1,）无偏性,（,2,）有效性,（,3,）一致性（随观测次数的增加，估计质量有所提高）,例,5.4.1,非随机参量的最大似然估计量的性质（续）,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,（,4,）充分性估计量利用了观测量中所有有关信息。,例,5.4.2,随机参量的贝叶斯估计量的性质,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,（,1,）无偏性,（,2,）有效性,先验知识,之前求取的贝叶斯估计量,例,5.4.2,随机参量的贝叶斯估计量的性质（续）,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,（,3,）一致性,（,4,）充分性,5.4.3,有效估计量均方误差与 的关系,1,、非随机参量情况,2,、随机参量情况,两边对,theta,求偏导,两边求均值,两边对,theta,求偏导，并求均值,5.4.4,非随机参量函数估计的克拉美,-,罗界,推导：两边对,theta,求偏导,未知随机参量 的函数 ，其估计量 是 的,任意无偏估计量，有：,5.4.4,非随机参量函数估计的克拉美,-,罗界,由柯西,-,施瓦兹不等式得（参见,(5B.6),式）,其克拉美,-,罗不等式推导过程,5.4.4,非随机参量函数估计的克拉美,-,罗界,例,5.4.3,非随机参量,线性,函数的最大似然估计量的性质,5.4.4,非随机参量函数估计的克拉美,-,罗界,例,5.4.4,非随机参量,非线性,函数的最大似然估计量的性质,非线性函数的最大似然估计量 是有偏估计，但是,渐进无偏的,。,根据最大似然函数估计的不变性：,5.4.2,克拉美,-,罗不等式与克拉美,-,罗界,Page31 from Steven M.Key,非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。,如果数据记录足够大，非线性变换可以近似保持有效性。,要估计的参数是某个基本参数的函数，例如下述两个典型的情况：,线性关系：例如,非线性关系：例如,若：，,CRLB,：,Steven P3133,5.4.5,估计量性质的总结,关于估计量性质的几个基本概念性问题,有效估计量一定是建立在无偏的基础上的。因为克拉美,-,罗不等式以及不等式取等号的条件，都是,在任意无偏估计量基础上推导,的。所以检验一个估计量的性质，首先要检验它的无偏性，只有,在无偏性的基础上，才能进一步检验它的有效性,。,只有无偏的和有效的估计量，其估计的均方误差才能达到克拉美,-,罗界，并可通过计算克拉美,-,罗界求得该估计量的均方误差。,虽然，例,5.4.1,中的最大似然估计量和例,5.4.2,中的贝叶斯估计量都是无偏有效估计量。但是，,非随机参量的最大似然估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量,。它可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是有偏的。,5.5,矢量估计,在许多实际问题中，要求我们同时估计信号的多个参量，这就是,矢量估计,。本节将把单参量估计的概念、方法和性能评估等推广到信号参量的矢量估计中。,类似于单参量估计的情况，矢量估计也可分为,随机矢量和非随机矢量两种情况。,M,维矢量,估计矢量的的误差矢量：,5.5,矢量估计,矢量参数的,CRLB,对每个元素的方差设置下限：,其中 是 的,Fisher,矩阵，有：,关于直线拟合的一个例子：,其中，是,WGN,，参数矢量是 。,5.5,矢量估计,似然函数为：,5.5,矢量估计,由上式可得：,总结：,（,1,）的,CRLB,相对于,B,是已知的情况有所增加；,B,已知时，有,（,2,）对于 ，,CRLB,随着估计更多的参数而增加；,（,3,）对于 ，,B,更容易估计，其,CRLB,随 而减少；,A,的,CRLB,与 有关；,（,4,）表明 对,B,的变化比对,A,的变化敏感。,5.5.1,随机矢量的贝叶斯估计,1,、最小均方误差估计,条件平均代价,各个分量估计误差的平方和,为使平均代价 最小，要求每个参量 估计的均方误差最小。,矢量形式：,5.5.1,随机矢量的贝叶斯估计,2,、最大后验估计,最大后验估计的另一种形式,5.5.2,非随机矢量的最大似然估计,被估计的矢量是非随机矢量，,或者是完全缺少先验知识的随机矢量,。,是 阶矩阵 的第,i,行第,j,列元素。,5.5.3,矢量估计量的性质,1,、非随机矢量情况,（,1,）无偏性,（,2,）有效性,若对所有的 ，估计的偏矢量 的每一个分量都为零，则 为无偏估计矢量。,5.5.3,矢量估计量的性质,矩阵,J,通常称为,费希尔信息矩阵,，它表示从观测数据中获得的信息。,当,M=1,，矩阵,J,退化成标量。,若对于,M,维非随机矢量 的任意无偏估计矢量 中的每一个参量,都满足 ，则该估计称为联合有效估计。,是 的均方误差下界，即克拉美,-,罗界。,5.5.3,矢量估计量的性质,例,5.5.1,非随机二维矢量的估计问题,5.5.3,矢量估计量的性质,例,5.5.1,非随机二维矢量的估计问题,关于本例题的讨论和关于习题,5.17,的讨论：,（,1,）矢量估计的性能一般来说要低于单参量估计的性能；,（,2,）矢量估计中的参量 越多，估计量的性能,可能会越低，除非各估计量之间是互不相关的。,5.5.3,矢量估计量的性质,2,、随机矢量情况,费希尔信息矩阵,J,T,由两部分组成。,J,D,是,数据信息矩阵,，它表示从观测数据中获得的信息；,J,P,是,先验信息矩阵,，它表示从先验知识中获得的信息。,均方误差阵,C-R,不等式,（,1,）无偏性,（,2,）有效性,设有,M,维非随机矢量 ，现在需要估计,M,维矢量,的,L,维函数 。设,L,维估计矢量 是,L,维矢量函数,的任意无偏估计矢量。则估计矢量 的均方误差阵 满足不等式,式,(5.5.23),是矢量函数估计的克拉美,-,罗不等式，,不等式的右边就是克拉美,-,罗界；,式,(5.5.24),是克拉美,-,罗不等式取等号的条件。,其中，,J,是费希尔信息矩阵。,5.5.4,非随机矢量函数估计的克拉美,-,罗界,L,M,M,M,M,L,L,M,M,M,M,1,5.5.4,非随机矢量函数估计的克拉美,-,罗界,例,5.5.3,高斯噪声背景中的信噪比估计问题（,函数估计,）,线性函数,估计性质的不变性：如果,M,维非随机矢量 的任意无偏估计 是有效的；那么，其,L,维线性矢量函数 的估计矢量 是无偏有效的。证明如下,如果 是,非线性函数,，则对于有限的观测次数,N,，不再保持这种不变性。,5.5.4,非随机矢量函数估计的克拉美,-,罗界,线性模型,Steven M.Key page70-,大量的信号处理问题都可以转化为线性模型构造解决。,可以通过构造线性模型，寻找最佳估计量。,对于之前提到的直线拟合的例子：,有：,线性模型,在,线性观测模型,下 和 一般高斯噪声背景下 研究：,非随机矢量 的最大似然估计；,一般高斯随机矢量 的贝叶斯估计；,已知随机矢量 的均值矢量 和协方差矩阵 ：,伪贝叶斯估计估计,指定 先验,PDF,线性最小均方误差估计,限定估计量是观测量的线性函数,线性,最小二乘估计：直接利用观测模型，不需要先验知识。,线性模型,（,1,）若 为非随机矢量：,高斯随机噪声,线性模型,（,1,）若 为非随机矢量：,对照,CRLB,定理：,d(UV)/dX=(dU/dX)V+(dV/dX)U,线性模型,（,1,）若 为非随机矢量：,信息矩阵：,线性模型,（,2,）若 为随机矢量：,最小均方误差估计,最大后验概率估计,二者具有,等同性,矩阵反演公式：,线性模型,（,3,）随机矢量的伪贝叶斯估计：,若被估计量 的均值矢量 与协方差矩阵 已知，,PDF,函数未知。,假定随机矢量 为高斯分布，则伪贝叶斯估计矢量：,最大似然估计量的均方误差,非负定,伪贝叶斯估计矢量的均方误差阵 小于等于,不利用先验知识的最大似然估计矢量的均方误差阵。,线性模型举例,曲线拟合,傅里叶分析,系统辨识,Page73-79,5.7,线性最小均方误差估计,如果关于观测信号矢量和被估计矢量的,概率密度函数未知,，,（,1,）仅知道观测信号矢量和被估计随机矢量的,前二阶矩知识（局部信息）,，即均值矢量、协方差矩阵和互协方差矩阵；,（,2,）,限定估计量是观测量的线性函数,。,上述情况下，要求估计量的均方误差达到最小。求得的估计量即为,线性最小均方误差估计量,。,线性最小均方误差估计量所具有的重要性质,正交性：,估计的误差矢量与观测矢量正交，常称为,正交性原理,。,5.7.1,线性最小均方误差估计准则,单参量估计,线性最小均方误差估计的估计规则，就是,把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。,矢量估计,N,M M1,M1,M,N N1,5.7.2,线性最小均方误差估计矢量的构造,=0,令,5.7.2,线性最小均方误差估计矢量的构造,参见附录,5G,=0,参考协方差矩阵定义,（见,P18,）,令,5.7.2,线性最小均方误差估计矢量的构造,1,、估计矢量是观测矢量的线性函数,2,、估计矢量的无偏性,3,、估计矢量均方误差阵的最小性,5.7.3,线性最小均方误差估计矢量的性质,添项，配方,5.7.3,线性最小均方误差估计矢量的性质,4,、估计的误差矢量与观测矢量的,正交性,正交性原理表明，线性最小均方误差估计量是被估计矢量在,观测矢量上的,正交投影,。,5,、最小均方误差估计与线性最小均方误差估计的关系,非线性,vs,线性观测模型；线性模型且为联合高斯分布条件下等同。,线性最小均方误差估计矢量的性质,Setven M.Key page 311-312 -,概念更清楚,使,MSE,最小 等价于 使误差矢量 的长度平方最小。,显然，当 与 张成的子空间正交时，,误差矢量的长度最小。,5.7.3,线性最小均方误差估计矢量的性质,例,5.7.1,线性最小均方误差估计,5.7.4,线性最小均方误差递推估计,1,、递推估计的基本思想,新息,非递推估计算法的缺点：,a.,计算量大，效率低；,b.,求解高维矩阵逆阵，出现,病态矩阵,无法求逆。,2,、递推估计的公式,证明用到正交投影引理,和引理,（,P402,）,5.7.4,线性最小均方误差递推估计,3,、递推估计的过程,初始条件 和 确定后，就可以从第一次观测开始进行递推估计,第,1,步，求出修正的增益矩阵 ；,第,2,步，求出估计矢量的均方误差阵 ；,第,3,步，确定,新息,，前乘增益矩阵 ，结果加到 上，获得估计矢量 。,然后进行第二次观测，继续这个运算过程，实现递推估计。,5.7.4,线性最小均方误差递推估计,4,、递推估计的特点和性质,递推估计算法的优点：,算法效率高；,只需对低阶矩阵求逆；,被估计随机变量的前二阶矩先验知识未知，也可确定某一初始条件后运行算法；,递推算法在获得估计矢量的同时，也获得了反映估计精度的估计矢量的,均方误差阵,（对其求迹即可得到估计矢量的均方误差）；,修正,增益矩阵,与,观测噪声矢量的协方差矩阵,成反比。,5.7.4,线性最小均方误差递推估计,例,5.7.2,线性最小均方误差估计（递推算法）,5.7.4,线性最小均方误差递推估计,5.29,若观测值,计算可得：,测量中，若发现 ，明显不合理，应当剔除，并补充一个,合理数值，如：,若,:,线性最小均方误差递推估计思想,Gram-Schmidt,正交化方法,线性代数的几何意义,page134/174,线性最小均方误差递推估计思想,Steven M.Key page319,5.7.5,单参量的线性最小均方误差估计,已知被估计参量（标量）和观测矢量前二阶矩知识,观测噪声矢量的前二阶矩知识已包含在观测矢量的前二阶矩知识中。可得单参量的线性最小均方误差估计和均方误差阵如下,均方误差阵（矩阵）已退化成均方误差（标量）。,N,1,N,N,1,N,5.7.6,观测噪声不相关时的单参量估计,令,5.7.6,观测噪声不相关时的单参量估计,两边分别乘以,并令,5.7.6,观测噪声不相关时的单参量估计,与例,5.2.1,结果相同,若,5.7.6,观测噪声不相关时的单参量估计,例,5.7.3,线性最小均方误差估计（时变观测，观测噪声不相关）,与例,5.7.2,结果相同,5.7.7,观测噪声相关时的单参量估计,自回归平滑随机过程,ARMA,产生相关噪声的常用模型,5.7.7,观测噪声相关时的单参量估计,g,k,没有通式解，可用数值方法近似求解,5.7.7,观测噪声相关时的单参量估计,例子：考虑 的情况,当噪声 间互不相关时，即 有,5.8,最小二乘估计,5.8.1,最小二乘估计方法,最小二乘估计是,1795,年高斯提出的一种估计方法。,该方法不需要任何先验知识，只需要关于被估计量的观测信号模型,，就可实现信号参量 的估计。最小二乘估计法最小化如下的代价函数,(,误差平方和,),对于,M,维被估计矢量 ，设信号模型为 ，最小二乘估计代价函数如下,根据信号模型线性与否，可分为线性,最小二乘估计,和非线性,最小二乘估计,。,5.8.2,线性最小二乘估计,线性最小二乘估计,构造规则：,构造公式：,估计量性质：,5.8.2,线性最小二乘估计,例,5.8.1,求二维矢量 的线性最小二乘估计,两次观测：,观测方程：，即信号模型,最小二乘估计量：,5.8.3,线性最小二乘加权估计,线性最小二乘加权估计,矩阵不等式：,5.8.3,线性最小二乘加权估计,例,5.8.2,求单参量的最小二乘估计和最小二乘加权估计,两次观测：,已知观测噪声特性：,观测方程：,最小二乘估计量：,最小二乘加权估计量：,5.8.4,线性最小二乘递推估计,线性最小二乘递推估计,5.8.4,线性最小二乘递推估计,线性最小二乘递推估计,(,续,),5.8.5,单参量线性最小二乘估计,线性观测方程,观测系数矩阵,观测噪声满足条件,单参量最小二乘估计,5.8.5,单参量线性最小二乘估计,习题,5.33,5.8.5,单参量线性最小二乘估计,习题,5.33,5.8.6,非线性最小二乘估计,1.,参量变换方法,2.,参量分离方法,5.9,信号波形中的参量估计,观测到的信号波形为：,噪声信号为高斯白噪声。,借助第,4,章，随机过程的正交级数展开，观测信号的似然函数为：,最大似然估计量是下列方程的解：,5.9,信号波形中的参量估计,费舍尔信息矩阵：,其中：,单参量最大似然估计：,