第二章-多元正态分布的参数估计讲解学习.ppt

单击此处编辑母版标题样式,第二章_多元正态分布的参数估计,例,1,（二元正态分布）,设,X,N,2,(,),，这里,易见，,是,X,1,和,X,2,的相关系数。当,|,|0),作如下的剖分：,则子向量,X,1,和,X,2,相互独立，当且仅当,12,=0,。,该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。,（,7,）设,X,N,p,(,),0,，则,例,4,设,X,N,3,(,),，其中,则,X,2,和,X,3,不独立，,X,1,和,(,X,2,X,3,),独立。,（,8,）设,X,N,p,(,),0,，作如下剖分,则给定,X,2,时,X,1,的条件分布为 ，其中,12,和,112,分别是条件数学期望和条件协方差矩阵，,112,通常称为偏协方差矩阵。,这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。,例,5,设,X,N,3,(,),，其中,试求给定,X,1,+2,X,3,时,的条件分布。,2.3,复相关系数和偏相关系数,一、复相关系数,二、偏相关系数,一、复相关系数,相关系数度量了一个随机变量,x,1,与另一个随机变量,x,2,之间线性关系的强弱。,复相关系数度量了一个随机变量,X,1,与一组随机变量,X,2,X,p,之间线性关系,的强弱。,将,X,(0),剖分如下：,X,1,和,X,2,的线性函数 间的最大相关系数称为,X,1,和,X,2,间的,复,(,或,多重,),相关系数,(multiple correlation coefficient),，记作,12,p,它度量了一个变量,X,1,与一组变量,X,2,X,p,间的相关程度。,可推导出,例,4,随机变量,X,1,X,p,的任一线性函数,F,=,l,1,X,1,+,l,p,X,p,与,X,1,X,p,的复相关系数为,1,。,证明,:,二、偏相关系数,将,X,(0),剖分如下：,称 为给定,X,2,时,X,1,的,偏协方差矩阵,。记 ，称 为,偏协方差,，它是剔除了 的（线性）影响之后，,X,i,和,X,j,之间的协方差。,给定,X,2,时,X,i,和,X,j,的,偏相关系数,（,partial correlation coefficient,）,定义为,:,其中 。,ij,k,+1,p,度量了剔除,X,k+,1,X,p,的（线性）影响之后，,X,i,和,X,j,间相关关系的强弱。,对于多元正态变量,X,，由于,112,也,是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而,ij,k,+1,p,同时也度量了在,X,k+,1,X,p,值给定的条件下,X,i,和,X,j,间相关关系的强弱。,2.4,极大似然估计及估计量的性质,一、样本,X,1,X,2,X,n,的联合概率密度,二、,和,的极大似然估计,三、相关系数的极大似然估计,四、估计量的性质,设,X,N,p,(,),0,，,X,1,X,2,X,n,是从总体,X,中抽取的一个,简单随机样本,（今后简称为,样本,），即满足：,X,1,X,2,X,n,独立，且与总体分布相同。,令,称之为（样本）,数据矩阵,或,观测值矩阵,。,一、样本,X,1,X,2,X,N,的联合概率密度,极大似然估计,是通过似然函数来求得的，,似然函数,可以是样本联合概率密度,f,(,x,1,x,2,x,n,),的任意正常数倍，我们不妨取成相等，记为,L,(,),。可具体表达为：,二、,和,的,极大似然估计,一元正态情形：,多元正态情形：,其中 称为,样本均值向量,（简称为,样本均值,），,称为,样本离差矩阵,。,三、相关系数的极大似然估计,1.,简单相关系数,2.,复相关系数,3.,偏相关系数,1.,简单相关系数,相关系数,ij,的极大似然估计为,:,其中,。称,S,为,样本协方差矩阵,、,r,ij,为,样本相关系数,、,为,样本相关矩阵,。,2.,复相关系数,将,X,(0),S,剖分如下：,则复相关系数,12,p,的极大似然估计为,r,12,p,称之为,样本复相关系数,。其中,3.,偏相关系数,将,X,(0),S,剖分如下：,则偏相关系数,ij,k,+1,p,的极大似然估计为,r,ij,k,+1,p,，称之为,样本偏相关系数,，其中,3.5,和,(,N,1),S,2,的抽样分布,一、的抽样分布,二、,(,n,1),S,的抽样分布,一、的抽样分布,1.,正态总体,设,X,N,p,(,),0,，,X,1,X,2,X,n,是从总体,X,中抽取的一个样本，则,2.,非正态总体（,中心极限定理,）,设,X,1,X,2,X,n,是来自总体,X,的一个样本，,和,存在，当,n,很大且,n,相对于,p,也很大时，上式近似地成立。,二、均值向量与协差阵的最大似然估计,三、估计量的性质,1.,无偏性,2.,有效性,3.,一致性,4.,充分性,充分统计量,1,充分性的概念,例,1,为研究某种产品的合格品率，我们对该产品进行检查，从该产品中随机抽取,10,件进行观测，发现除第三、六件产品不合格外，其余,8,件产品都是合格品。这样的观测结果包含了,两,种信息：,(1),10,件产品有,8,件是合格品；,(2)2,件不合格品分别是第三和第六件。,第二种信息对了解该产品合格品率是没有什么帮助的。一般地，设我们对该产品进行,n,次观测，得到,x,1,x,2,x,n,，,每个,x,j,取值非,0,即1，合格为,1,，不合格为0。令,T,=,x,1,+,x,n,，,T,为观测到的合格品数。在这种场合仅仅记录使用,T,不会丢失任何与合格品率,有关的信息，统计上将这种“,样本加工不损失信息,”称为“,充分性,”。,样,本,x=,(,x,1,x,2,x,n,),有一个样本分布,F,(,x,)，,这个分布包含了样本中一切有关,的信息。,统计量,T,=,T,(,x,1,x,2,x,n,),也有一个抽样分布,F,T,(,t,)，,这个分布,包含了统计量,T,中一切有关,的信息,.,当我们期望用统计量,T,代替原始样本且不损失任何有关,的信息时，也就是期望抽样分布,F,T,(,t,),像,F,(,x,),一样概括了有关,的一切信息,.,这即是说在统计量,T,取值为,t,的情况下样本,x,的条件分布,F,(,x,|,T,=,t,),已不含,的信息，这正是统计量具有充分性的含义。,定义,(,充分统计量,),设,x,1,x,2,x,n,是来自某个总体的样本，总体分布函数为,F,(,x,;,)，,统计 量,T,=,T,(,x,1,x,2,x,n,),称为,的充分统计量，如果在给定,T,的取值后，,x,1,x,2,x,n,的条件分布与,无关,.,例,2,设总体为二点分布 为样本,令,则,T,是,的充分统计量,;,若,则,S,不是,的充分统计量,.,下面我们给出几个例子,根据定义来验证一个统计量是不是充分的,.,在一般场合直接由定义出发验证一个统计量是充分统计量比较困难,.,奈曼,(Neyman),给出了一个简单的判别方法,-,因子分解定理,.,充分性原则,：在充分统计量存在的场合，任何统计推断都 可以基于充分统计量进行，这可以简化统计推断的程序,称该原则为充分性原则,.,四、,WISHART,分布,通过上面的理论分析知道，多元正态总体均值向量和协差阵的最大似然估计分别是样本均值向量和样本协差阵。利用,SPSS,软件可以迅速地计算出多元分布的样本均值向量、样本离差阵和样本协差阵。下面通过一个实例来说明多元正态分布参数估计的,SPSS,实现过程。,从沪深两市上市公司中随机抽取,300,家公司，取其三个反映收益情况的三个财务指标：每股收益率（,eps,）、净资产收益率（,roe,）和总资产收益率（,roa,）。现要求对这三个指标的均值和协差阵进行估计。,均值向量的估计,在,SPSS,中计算样本均值向量的步骤如下：,1.,选择菜单项,AnalyzeDescriptive StatisticsDescriptives,，打开,Descriptives,对话框，如图,2.1,。将待估计的三个变量移入右边的,Variables,列表框中。,图,2.1 Descriptives,对话框,2.,单击,Options,按钮，打开,Options,子对话框，如图,2.2,所示。在对话框中选择,Mean,复选框，即计算样本均值向量。单击,Continue,按钮返回主对话框。,图,2.2 Options,子对话框,3.,单击,OK,按钮，执行操作。则在结果输出窗口中给出样本均值向量，如表,2.2,。即样本均值向量为（,0.175,，,0.044,，,0.026,）。,表,2.2,样本均值向量,协差阵的估计,在,SPSS,中计算样本协差阵的步骤如下：,1.,选择菜单项,AnalyzeCorrelateBivariate,，打开,Bivariate Correlations,对话框，如图,2.3,。将三个变量移入右边的,Variables,列表框中。,图,2.3 Bivariate Correlations,对话框,2.,单击,Options,按钮，打开,Options,子对话框，如图,2.4,。选择,Cross-product deviations and covariances,复选框，即计算样本离差阵和样本协差阵。单击,Continue,按钮，返回主对话框。,图,2.4 Options,子对话框,3.,单击,OK,按钮，执行操作。则在结果输出窗口中给出相关分析表。表中,Pearson Correlation,给出皮尔逊相关系数矩阵，,Sum of Squares and Cross-products,给出样本离差阵，,Covariance,给出样本协差阵。,值得注意的是，这里给出的样本协差阵是,S,/(,n,-1),，而不是,S,/,n,。,表,2.3,样本相关系数矩阵、离差阵与协差阵,EXERCISES,4.1;4.3;4.8,；,4.13,；,4.14,；,4.15,；,4.19,；,4.35,；,4.41,此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢,