第三章多元正态分布.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第三章 多元正态分布,3.1,多元正态分布的定义,3.2,多元正态分布的性质,3.3,复相关系数和偏相关系数,3.4,极大似然估计及估计量的性质,3.5,和,(,n,1),S,的抽样分布,*,3.6,二次型分布,3.1,多元正态分布的定义,一元,正态分布,N,(,2,),的概率密度函数,为,若随机向量,的概率密度函数为,则称,x,服从,p,元正态分布,，记作,x,N,p,(,),，其中，参数,和,分别为,x,的均值和协差阵。,例,3.1.1,（二元正态分布）,设,x,N,2,(,),，这里,易见，,是,x,1,和,x,2,的相关系数。当,|,|0),作如下的剖分：,则子向量,x,1,和,x,2,相互独立，当且仅当,12,=0,。,该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。,（,7,）,设,x,N,p,(,),0,，则,例,3.2.5,设,x,N,3,(,),，其中,则,x,2,和,x,3,不独立，,x,1,和,(,x,2,x,3,),独立。,*,（,8,）略,*,（,9,）略,*,（,10,）略,（,11,）,设,x,N,p,(,),0,，作如下剖分,则给定,x,2,时,x,1,的条件分布为 ，其中,12,和,112,分别是,条件数学期望,和,条件协方差矩阵,，,112,通常称为,偏协方差矩阵,。,这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。,例,3.2.7,设,x,N,3,(,),，其中,试求给定,x,1,+2,x,3,时,的条件分布。,3.3,复相关系数和偏相关系数,一、复相关系数,二、偏相关系数,一、复相关系数,（简单）,相关系数度量了一个随机变量,x,1,与另一个随机变量,x,2,之间线性关系的强弱。,复相关系数度量了一个随机变量,x,1,与一组随机变量,x,2,x,p,之间线性关系,的强弱。,将,x,(0),剖分如下：,x,1,和,x,2,的线性函数 间的最大相关系数称为,x,1,和,x,2,间的,复,(,或,多重,),相关系数,(multiple correlation coefficient),，记作,12,p,它度量了一个变量,x,1,与一组,变量,x,2,x,p,间的相关程度。,可推导出,例,3.3.1,随机变量,x,1,x,p,的任一线性函数,F,=,l,1,x,1,+,l,p,x,p,与,x,1,x,p,的复相关系数为,1,。,证明,二、偏相关系数,将,x,(0),剖分如下：,称 为给定,x,2,时,x,1,的,偏协方差矩阵,。记 ，称 为,偏协方差,，它是剔除了 的（线性）影响之后，,x,i,和,x,j,之间的协方差。,给定,x,2,时,x,i,和,x,j,的,偏相关系数,（,partial correlation coefficient,）,定义为,其中 。,ij,k,+1,p,度量了剔除,x,k+,1,x,p,的（线性）影响之后，,x,i,和,x,j,间相关关系的强弱。,对于多元正态变量,x,，由于,112,也,是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而,ij,k,+1,p,同时也度量了在,x,k+,1,x,p,值给定的条件下,x,i,和,x,j,间相关关系的强弱。,3.4,极大似然估计及估计量的性质,本课程第二章和第三章前三节的内容属概率论的范畴。,从第三章,3.4,开始的内容属数理统计的范畴，特点是推断和分析从样本出发。,一、样本,x,1,x,2,x,n,的联合概率密度,二、,和,的极大似然估计,三、相关系数的极大似然估计,四、估计量的性质,设,x,N,p,(,),0,，,x,1,x,2,x,n,是从总体,x,中抽取的一个,简单随机样本,（今后简称为,样本,），即满足：,x,1,x,2,x,n,独立，且与总体分布相同。,令,称之为（样本）,数据矩阵,或,观测值矩阵,。,一、样本,x,1,x,2,x,n,的联合概率密度,极大似然估计,是通过似然函数来求得的，,似然函数,可以是样本联合概率密度,f,(,x,1,x,2,x,n,),的任意正常数倍，我们不妨取成相等，记为,L,(,),。可具体表达为：,二、,和,的,极大似然估计,一元正态情形：,多元正态情形：,其中 称为,样本均值向量,（简称为,样本均值,），,称为,样本离差矩阵,。,三、相关系数的极大似然估计,1.,简单相关系数,2.,复相关系数,3.,偏相关系数,1.,简单相关系数,相关系数,ij,的极大似然估计为,其中,。称,S,为,样本协方差矩阵,、,r,ij,为,样本相关系数,、,为,样本相关矩阵,。,2.,复相关系数,将,x,(0),S,剖分如下：,则复相关系数,12,p,的极大似然估计为,r,12,p,称之为,样本复相关系数,。其中,3.,偏相关系数,将,x,(0),S,剖分如下：,则偏相关系数,ij,k,+1,p,的极大似然估计为,r,ij,k,+1,p,，称之为,样本偏相关系数,，其中,。,四、估计量的性质,1.,无偏性,2.,有效性,3.,一致性,4.,充分性,1.,无偏性,设 是未知参数,（可以是一个向量或矩阵）的一个估计量，如果 ，则称估计量 是被估参数,的一个,无偏估计,，否则就称为,有偏的,。,样本均值 是总体均值,的无偏估计，即有,由于 ，故 不是,的无偏估计。,若将该估计量稍加修正为,则,S,将是,的一个无偏估计，即有,E,(,S,)=,。,3.5,和,(,n,1),S,的抽样分布,一、的抽样分布,二、,(,n,1),S,的抽样分布,一、的抽样分布,1.,正态总体,设,x,N,p,(,),0,，,x,1,x,2,x,n,是从总体,x,中抽取的一个样本，则,2.,非正态总体（,中心极限定理,）,设,x,1,x,2,x,n,是来自总体,x,的一个样本，,和,存在，则当,n,很大且,n,相对于,p,也很大时，上式近似地成立。,