高级统计学1.多元正态分布.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,一,章,多元正态分布,目录 上页 下页 返回 结束,1.1,多元分布的基本概念,1.2,统计距离,1.3,多元正态分布,1,.4,均值向量和协方差阵的估计,1,.5,常用分布及抽样分布,1,第一章 多元正态分布,一元正态分布在统计学的理论和实际应用中都有着重要的地位。同样，在多变量统计学中，多元正态分布也占有相当重要的位置。原因是：,许多随机向量确实遵从正态分布，或近似遵从正态分布；,对于多元正态分布，已有一整套统计推断方法，并且得到了许多完整的结果。,目录 上页 下页 返回 结束,2,第一章 多元正态分布,多元正态分布是最常用的一种多元概率分布。除此之外，还有多元对数正态分布，多项式分布，多元超几何分布，多元 分布、多元 分布、多元指数分布等。,本章从多维变量及多元分布的基本概念开始，着重介绍多元正态分布的定义及一些重要性质。,目录 上页 下页 返回 结束,3,第一章 多元正态分布,多元分布的基本概念,统计距离,多元正态分布,均值向量和协方差阵的估计,常用分布及抽样分布,目录 上页 下页 返回 结束,4,1.1,多元分布的基本概念,目录 上页 下页 返回 结束,1.1.1,随机向量,1.1.2,分布函数与密度函数,1.1.3,多元变量的独立性,1.1.4,随机向量的数字特征,5,1.1.1,随机向量,表示对同一个体观测的 个变量。若观测了 个个体，则可得到如下表,1-1,的数据，称每一个个体的 个变量为一个样品，而全体 个样品形成一个样本。,假定所讨论的是多个变量的总体，所研究的数据是同时观测 个指标（即变量），又进行了 次观测得到的，把这 个指标表示为 常用向量,目录 上页 下页 返回 结束,6,记,它表示第,个样品的观测值。竖看表,1-1,第,j,列的元素,表示对第,j,个变量,X,j,的,n,次观测数值。,n,2,1,变量,序号,目录 上页 下页 返回 结束,1.1.1,随机向量,7,因此,样本资料矩阵可用矩阵语言表示为,:,定义,1.1,设 为 个随机变量，由它们组成的向量 称为随机向量。,目录 上页 下页 返回 结束,1.1.1,随机向量,若无特别说明，本书所称向量均指列向量,8,定义,1.2,设 是一随机向量，它的多元分布函数是,式中，,并记成 。,1.1.2,分布函数与密度函数,描述随机变量的最基本工具是分布函数，类似地描述随机向量的最基本工具还是分布函数。,目录 上页 下页 返回 结束,9,1.1.2,分布函数与密度函数,目录 上页 下页 返回 结束,定义,1.3,：设,=,若存在一个非负的函数,使得,对一切 成立，则称,（或,）有分布密度,并称,为连续型随机向量。,一个,维变量的函数,能作为,中某个随机向量的分布密度，当且仅当,10,1.1.3,多元变量的独立性,目录 上页 下页 返回 结束,定义,1.4,：两个随机向量,X,和,Y,称为是相互独立的，若,对一切 成立。,注意,:,在上述定义中，和 的维数一般是不同的。,（,1,）若,F,(,x,y,),为,(,X,Y,),的联合分布函数，,G(,x,),和,H(,y,),分别为,X,和,Y,的分布函数，则,X,与,Y,独立当且仅当,（,2,）若,(,X,Y,),有密度,f,(,x,y,),，用,g,(,x,),和,h,(,y,),分别表示,X,和,Y,的分布密度，则,X,和,Y,独立当且仅当,11,1.1.4,随机向量的数字特征,是一个,维向量，称为均值向量,.,目录 上页 下页 返回 结束,当,A,、,B,为常数矩阵时，由定义可立即推出如下性质：,1,、随机向量,的均值,设 有 个分量。若,存在，,定义随机向量,的均值为,),(,P,P,m,),(,),6,.,1,),(,),(,(,2,1,2,1,X,=,=,=,X,E,X,E,X,E,E,m,m,12,1.1.4,随机向量的数字特征,目录 上页 下页 返回 结束,2,、,随机向量,X,的,协方差阵,称它为,p,维随机向量,X,的协方差阵，简称为,X,的协方差阵。,称,|,cov(,X,X,),|,为,X,的广义方差，它是协差阵的行列式之值。,13,目录 上页 下页 返回 结束,1.1.4,随机向量的数字特征,3,、随机向量,X,和,Y,的,协差阵,设 分别为,维和,维随机向量，它们之间的协方差阵定义为一个,矩阵，其元素是,，,即,当,A,、,B,为常数矩阵时，由定义可推出协差阵有如下性质：,14,目录 上页 下页 返回 结束,1.1.4,随机向量的数字特征,（,3,）设,X,为,n,维随机向量，期望和协方差存在，记,则,对于任何随机向量,来说，其协差阵都是对称阵，同时总是非负定（也称半正定）的。大多数情形下是正定的。,15,目录 上页 下页 返回 结束,1.1.4,随机向量的数字特征,若随机向量 的协差阵存在,且每个分量的方差大于零，则,X,的相关阵定义为,:,r,ij,也称为分量,X,i,与,X,j,之间的（线性）相关系数。,4,、随机向量,X,的相关阵,16,在数据处理时，为了克服由于指标的量纲不同对统计分析结果带来的影响，往往在使用某种统计分析方法之前，常需将每个指标,“,标准化,”,，即做如下变换,目录 上页 下页 返回 结束,1.1.4,随机向量的数字特征,17,1.2,统计距离和马氏距离,目录 上页 下页 返回 结束,1.,欧氏,距离,2.,马氏,距离,18,1.2,统计距离和马氏距离,1.,欧氏距离,在多指标统计分析中,距离的概念十分重要,样品间的不少特征都可用距离去描述。,大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离,.,如几何平面上的点,P=(x,1,x,2,),到原点,O=(0,0),的欧氏距离,依勾股定理有,目录 上页 下页 返回 结束,19,1.2,统计距离和马氏距离,但就大部分统计问题而言，欧氏距离是不能令人满意的。,目录 上页 下页 返回 结束,这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这就产生了各种距离。,欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，,“,距离,”,的大小竟然与指标的单位有关。,20,1.2,统计距离和马氏距离,目录 上页 下页 返回 结束,例如，横轴,x,1,代表重量（以,kg,为单位），纵轴,x,2,代表长度（以,cm,为单位）。有四个点,A,、,B,、,C,、,D,见图,1.1,，它们的坐标如图,1.1,所示,这时,显然,AB,比,CD,要长。,21,1.2,统计距离和马氏距离,目录 上页 下页 返回 结束,现在，如果,x,2,用,mm,作单位，,x,1,单位保持不变，此时,A,坐标为（,0,，,50,），,C,坐标为（,0,，,100,），则,结果,CD,反而比,AB,长！这显然是不够合理的。,22,1.2,统计距离和马氏距离,目录 上页 下页 返回 结束,因此，有必要建立一种距离，这种距离要能够,体现各个变量在变差大小上的不同，以及有时存在着的相关性,，还,要求,距离与各变量所用的单位无关。看来我们选择的距离要依赖于样本方差和协方差。,因此，采用“统计距离”这个术语，以区别通常习惯用的欧氏距离。最常用的一种统计距离是印度统计学家马哈拉诺比斯（,Mahalanobis,）于,1936,年引入的距离，称为“,马氏距离,”。,23,1.2,统计距离和马氏距离,目录 上页 下页 返回 结束,下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异。,设有两个一维正态总体 。若有一个样品,，其值在,A,处，,A,点距离,哪个总体近些呢？,图,1-2,24,1.2,统计距离和马氏距离,目录 上页 下页 返回 结束,由图,1-2,可看出,从绝对长度来看,A,点距左面总体,G,1,近些,即,A,点到,1,比,A,点到,2,要“近一些”（这里用的是欧氏距离，,比较的是,A,点坐标与,1,到,2,值之差的绝对值），,但从概率观点来看，,A,点在,1,右侧约,4,1,处，,A,点在,2,的左侧约,3,2,处，若,以标准差的观点来衡量，,A,点离,2,比,A,点离,1,要“近一些”,。,显然，后者是从概率角度上来考虑的，因而更为合理些，它是用坐标差平方除以方差（或说乘以方差的倒数），从而化为无量纲数，推广到多维就要乘以协方差阵的逆矩阵,-1,，这就是马氏距离的概念，以后将会看到，这一距离在多元分析中起着十分重要的作用。,25,1.2,统计距离和马氏距离,2.,马氏距离,设,X,、,Y,从均值向量为,，协方差阵为的总体,G,中抽取的两个样品。,),(,),(,),(,1,/,2,Y,X,Y,X,Y,X,-,-,=,-,d,m,),(,),(,),(,1,/,2,X,X,X,-,-,=,-,G,d,m,目录 上页 下页 返回 结束,定义,X,、,Y,两点之间的马氏距离为,:,定义,X,与总体,G,的马氏距离为,:,26,1.2,统计距离和马氏距离,设,E,表示一个点集，,d,表示距离，它,E,E,是到,0,),的函数，可以证明,马氏距离符合如下距离的四条基本公理,:,；,（,1,）,，,（,2,）,当且仅当 ；,（,3,）,（,4,）,目录 上页 下页 返回 结束,27,1.3,多元正态分布,多元正态分布是一元正态分布的推广。,迄今为止,多元分析的主要理论都是建立在多元正态总体基础上的,多元正态分布是多元分析的基础。另一方面，许多实际问题的分布常是多元正态分布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于多元正态分布。,本节将介绍多元正态分布的定义，并简要给出它的基本性质。,目录 上页 下页 返回 结束,28,1.3,多元正态分布,目录 上页 下页 返回 结束,1.3.1,多元正态分布的定义,1.3.2,多元正态分布的性质,1.3.3,条件分布和独立性,29,1.3.1,多元正态分布的定义,|,为协差阵的行列式。,目录 上页 下页 返回 结束,定义,1.5,：若,p,元随机向量,的概率密度函数为：,则称 遵从,p,元正态分布，也称,X,为,p,元正态变量。记为,30,定理,1.1,将正态分布的参数,和赋于了明确的统计意义。,多元正态分布不止定义,1.5,一种形式，更广泛地可采用特征函数来定义，也可用一切线性组合均为正态的性质来定义等，有关这些定义的方式参见文献,3,。,目录 上页 下页 返回 结束,1.3.1,多元正态分布的定义,定理,1.1,：设,则,31,1.3.2,多元正态分布的性质,目录 上页 下页 返回 结束,若正态随机向量,的协方差阵是对角阵,则,X,的各分量是相互独立的随机变量。,容易验证，,，但显然 不是正态分布。,2.,多元正态分布随机向量,X,的任何一个分量子集的分布（称为,X,的边缘分布）仍然遵从正态分布。而反之则不一定成立，即若一个随机向量的任何边缘分布均为正态，并不能导出它是多元正态分布。,例如，设,有分布密度,32,1.3.2,多元正态分布的性质,目录 上页 下页 返回 结束,多元正态向量,X,=,（,X,1,X,2,X,p,),的任意线性变换仍然遵从多元正态分布。,若设,X,N,p,(,),，而,m,维随机向量,Z,m,1,=,AX,+,b,，,其中,A=,(,a,ij,),是,m,p,阶的常数矩阵，,b,是,m,维的常向量。,那么，,m,维随机向量,Z,也是正态的，且,Z,N,m,(,A,+,b,A,A,),。,即,Z,遵从,m,元正态分布。,33,第一次结束,34,4.,若,X,N,p,(,),，则,d,2,若为定值，随着,X,的变化,其轨迹为一椭球面，是,X,的密度函数的等值面。若,X,给定，则,d,2,为,X,到,的马氏距离。,1.3.2,多元正态分布的性质,35,1.3.3,条件分布和独立性,目录 上页 下页 返回 结束,其中，,X,(1),，,(1),为,q,1,，,11,为,q,q,.,设,p,2,将,X,、,和,剖分如下：,我们希望求给定,X,(2),时,X,(1),的条件分布，即,(,X,(1),|,X,(2),),的分布。下一个定理指出：,正态分布的条件分布仍为正态分布。,36,目录 上页 下页 返回 结束,1.3.3,条件分布和独立性,定理,1.2,：设,，,0,，则,其中,37,目录 上页 下页 返回 结束,1.3.3,条件分布和独立性,定理,1.3,：设,，,0,，将,X,，,，,剖分如下：,则 有如下的条件均值和条件协差阵的递推公式：,其中，,38,定理,1.2,和定理,1.3,在,20,世纪,70,年代中期为国家标准部门制定服装标准时有成功的应用，见参考文献,3,。在制定服装标准时需抽样进行人体测量，现从某年龄段女子测量取出部分结果如下：,X,1,：身高，,X,2,：胸围，,X,3,：腰围，,X,4,：上体长，,X,5,：臀围，已知它们遵从,N,5,(,),，其中,服装标准例子,39,服装标准例子,40,服装标准例子,41,再利用（,1.30,）式得,服装标准例子,42,这说明,若已知一个人的上体的长和臀围,则身高、胸围和腰围的条件方差比原来的方差大大缩小。,此时我们可看到,服装标准例子,43,在定理,1.2,中，我们给出了对,X,、,和,作形如,(1.25),式剖分时条件协差阵 的表达式及其与非条件协差阵的关系，令 表示 的元素，则可以定义偏相关系数的概念：,定义,1.6,：当 给定时，与 的偏相关系数为：,目录 上页 下页 返回 结束,1.3.3,条件分布和独立性,44,1.3.3,条件分布和独立性,在上面制定服装标准的例子中，给定,X,4,和,X,5,时，偏相关系数为：,45,目录 上页 下页 返回 结束,1.3.3,条件分布和独立性,其中，,证明参见文献,3.,定理,1.4,：设,，,0,，将,X,，,，,剖分如下：,46,1,.4,均值向量和协方差阵的估计,上节已经给出了多元正态分布的定义和有关的性质,在实际问题中,通常可以假定被研究的对象是多元正态分布,但,分布中的参数,和,是未知的,一般的做法是通过样本来估计。,目录 上页 下页 返回 结束,47,1,.4,均值向量和协方差阵的估计,1.,均值向量的估计,在一般情况下,如果样本资料阵为：,目录 上页 下页 返回 结束,48,1,.4,均值向量和协方差阵的估计,即均值向量,的估计量,就是样本均值向量,.,这可由极大似然法推导出来。推导过程参见文献,3,。,目录 上页 下页 返回 结束,设样品 相互独立,同遵从于,p,元正态分布,而且,0,则总体参数均值,的估计量是,49,1,.4,均值向量和协方差阵的估计,2.,协方差阵的估计,总体参数协差阵,的极大似然估计是,目录 上页 下页 返回 结束,50,1,.4,均值向量和协方差阵的估计,目录 上页 下页 返回 结束,这里,L,是离差阵，它是每一个样品（向量）与样本均值（向量）的离差积形成的,n,个,阶对称阵的和。,但 不是,的无偏估计，为了得到无偏估计我们常用样本协差阵 作为总体协差阵的估计。,51,1,.5,常用分布及抽样分布,多元统计研究的是多指标问题，为了了解总体的特征，通过对总体抽样得到代表总体的样本，但因为信息是分散在每个样本上的，就需要对样本进行加工，把样本的信息浓缩到,不包含未知量的样本函数中,，,这个函数称为统计量,，如前面介绍的样本均值向量 、样本离差阵 等都是统计量。,统计量的分布称为抽样分布,.,在数理统计中常用的抽样分布有 分布、分布和 分布,.,在多元统计中,与之对应的分布分别为,Wishart,分布、,分布和,Wilks,分布,.,目录 上页 下页 返回 结束,52,1,.5,常用分布及抽样分布,1.5.2,分布与 分布,1.5.1,分布与,Wishart,分布,1.5.3,中心分布与,Wilks,分布,目录 上页 下页 返回 结束,53,1.5.1,分布与,Wishart,分布,在数理统计中,若,(),且相互独立,则 所服从的分布为自由度为 的 分布,(chi squared distribution),记为,.,目录 上页 下页 返回 结束,54,1.5.1,分布与,Wishart,分布,分布的概率密度：,55,1.5.1,分布与,Wishart,分布,分布有几个重要的性质,:,1,、若,且相互独立,则,称为相互独立 的,具有可加性,.,56,4.,设,(),且相互独立,为 个 阶对称阵,且,(,阶单位阵,),记,则 为相互独立的 分布的充要条件为,.,此时,.,这个性质称为,Cochran,定理,在方差分析和回归分析中起着重要作用,.,目录 上页 下页 返回 结束,1.5.1,分布与,Wishart,分布,57,(1.32),定义,1.7,设 相互独立,且,记,则随机矩阵：,所服从的分布称为自由度为 的 维非中心,Wishart,分布,记为,其中,目录 上页 下页 返回 结束,1.5.1,分布与,Wishart,分布,称 为非中心参数,当 时称为中心,Wishart,分布,记为,58,由,Wishart,分布的定义知,当 时,退化为,此时中心,Wishart,分布就退化为,由此可以看出,Wishart,分布实际上是 分布在多维正态情形下的推广,.,下面不加证明的给出,Wishart,分布的,5,条重要性质,:,个随机样本,为样本均值,样本离差阵为,维正态总体,1.,若,是从,中抽取的,，则,.,相互独立,.,和,(1),(2),目录 上页 下页 返回 结束,1.5.1,分布与,Wishart,分布,59,3.,若,为非奇异阵,则,为任一,4.,若,元常向量,满足,则,目录 上页 下页 返回 结束,1.5.1,分布与,Wishart,分布,2.,若,且相互独立,则,60,特别的,设 和 分别为 和 的第 个对角元,则：,5.,若,为任一 元非零常向量,比值,目录 上页 下页 返回 结束,1.5.1,分布与,Wishart,分布,61,1.5.2,分布与 分布,在数理统计中,若,X,N,(0,1),Y,2,(,n,),且,X,与,Y,相互独立,则称 服从自由度为,n,的,t,分布,又称为学生分布,(student distribution),记为,T,t,(,n,).,目录 上页 下页 返回 结束,如果将,T,平方,即,则,T,2,F(1,n,),即,t,(,n,),分布的平方服从第一自由度为,1,第二自由度为,F,的中心分布,.,62,中心 分布可化为中心 分布,其关系为,:,显然,当 时,有,.,定义,1.8,设,与相互独立,则称随机变量,(1.33),所服从的分布称为第一自由度为 第二自由度为 的中心 分布,记为,目录 上页 下页 返回 结束,1.5.2,分布与 分布,63,1.5.3,中心分布与,Wilks,分布,在数理统计中,若,X,2,(,m,),Y,2,(,n,),且与相互独立,则称,所服从的分布为第一自由度为,m,第二自由度为,n,的中心,F,分布,.,记为,F,F,(,m,n,),.,F,分布本质上是从正态总体,N,(,2,),随机抽取的两个样本方差的比,.,目录 上页 下页 返回 结束,64,所服从的分布称为维数为,第一自由度为 第二自由度为 的,Wilks,分布,记为,(1.34),定义,1.9,设,且 与 相互独立,则称随机变量,目录 上页 下页 返回 结束,1.5.3,中心分布与,Wilks,分布,65,目录 上页 下页 返回 结束,The end!,Thanks!,66,