多元正态分布教育课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多元正态分布PPT讲座,2,多元正态分布及参数估计,基础知识,统计距离和马氏距离,多元正态分布,均值向量和协方差阵的估计,几种常用的抽样分布,3,基础知识,随机向量,分布密度函数,多元变量的独立性,随机向量的数字特征,4,一元分布,一、一元随机变量与概率分布函数,二、概率分布函数的类型,三、随机变量的数字特征,四、一些重要的一元分布二项分布、泊松分布、正态分布,随机变量,（,random variable,）,5,复习,：,（一元统计中的分布和密度函数,）,设 是一个随机变量，称 为 的概率分布函数或称为分布函数，记为 。,离散型随机变量 的概率分布列,：,在有限或可列个值 上取值，记为,，且 。,连续型随机变量 的密度函数：,存在一个非负函数 ，使得对一切实数 有,，称 为 的概率密度函数或密度函数。且 满足：,(1),，,(2),。,7,随机向量,随机向量,:,由多个随机变量组成的向量。,n,个样品，,p,个指标,数据表：变量为列，样品为行。,8,分布函数与密度函数,9,分布函数与密度函数,设,若存在一个非负函数,f(.),，使得,对一切 成立，则称,X,有分布密度,f(.),，并称,X,为连续型随机向量。,性质：,，对于任意,x,属于,p,维实数空间。,边缘分布函数及边缘密度函数,用途,：,判断,边缘密度,随机变量的,独立性,独立的充分必要条件：,或,特别的 中 与 独立的,多元向量的独立性,12,多元向量的独立性,两个随机向量,X,和,Y,是相互独立的，则,，对一切,x,y,成立。,若,F(x,y),为,(X,Y),的联合分布函数，,G(x),和,H(y),分别为,X,和,Y,的分布函数，则,X,和,Y,独立当且仅当,F(x,y)=G(x)H(y),若,f(x,y),为,(X,Y),的密度函数，g(x),和,h(y),分别为,X,和,Y,的分布密度，则,X,和,Y,独立当且仅当,f(x,y)=g(x)h(y),类似地，若它们的联合分布等于各自分布的乘积，则,p,个随机变量是相互独立的。,13,随机向量的数字特性,随机向量的均值,性质,14,协方差矩阵,1,、定义：设 和 分别为 维和 维随机向量，则其协方差矩阵为,15,16,1),若,(x,1,x,2,，,x,p,),和,(y,1,y,2,，,y,q,),不相关。则,性质,17,若,X=Y,且各分量相互独立，则协方差矩阵除主对角线上的元素外均为零，即协方差阵为方差,D(x),18,2,）随机向量,X,的协方差矩阵,是非负定矩阵。,证：设,a,为任意与,X,有相同维数的常数向量，则,3,）,设,A,是常数矩阵，,b,为常数向量，则,D(AX+b)=AD(X)A,；,19,4),若,(x,1,x,2,，,x,p,),和,(y,1,y,2,，,y,q,),分别是,p,和,q,维随机,向量,，,A,和,B,为常数矩阵，则,5),若,(k,1,k,2,，,k,n,),是,n,个不全为零的常数，,(x,1,x,2,，,x,n,),是相互独立的,n,维随机,向量,，则,若 的协方差阵存在，且每一个分量的方差大于,0,，则称随机向量 的相关阵为,其中 。,相关系数矩阵,22,多元正态分布,多元正态分布函数及其特征,抽样分布,23,多元正态分布,多元正态分布在多元统计分析中占有重要的地位，是多元统计分布的基础。,多元正态分布具有良好的性质：,有些现象服从多元正态分布,许多多元统计分布的抽样分布是近似正态分布,24,多元正态分布,它是一元正态分布的推广,设随机向量 服从,P,维正态分布，则有，,二元正态分布,设,x,N,2,(,),，这里,易见，,是,x,1,和,x,2,的相关系数。当,|,|0,则有：,给定 ，,多元正态分布的性质,总结起来，多元正态随机向量具有下列性质：,的分量的线性组合服从正态分布；,的分量的任一子集，仍服从正态分布；,具有零协方差的分量相互独立；,两个多元正态随机向量独立等价于协方差阵为,0,；,多元正态随机向量的线性组合仍然是正态的。,多元正态分布性质,31,条件分布和独立性,若,将,X,，作如下划分：,(p=2),定理,1,若,则,其中：,32,条件分布和独立性,若,将,X,，作如下划分：,定理,2,则,其中：,例题：,例,1,对于 ，求,的分布。,例,2,若 ，求 的分布。,例,3,设 ，其中,。,问：是否独立？和 也独立？,复相关系数和偏相关系数,一、复相关系数,二、偏相关系数,一、复相关系数,（简单）,相关系数度量了一个随机变量,x,1,与另一个随机变量,x,2,之间线性关系的强弱。,复相关系数度量了一个随机变量,x,1,与一组随机变量,x,2,x,p,之间线性关系,的强弱。,将,x,(0),剖分如下：,x,1,和,x,2,的线性函数 间的最大相关系数称为,x,1,和,x,2,间的,复,(,或,多重,),相关系数,(multiple correlation coefficient),，记作,12,p,它度量了一个变量,x,1,与一组,变量,x,2,x,p,间的相关程度。可推导出,偏相关系数,将,x,(0),剖分如下：,称 为给定,x,2,时,x,1,的,偏协方差矩阵,。记 ，称 为,偏协方差,，它是剔除了 的（线性）影响之后，,x,i,和,x,j,之间的协方差。,给定,x,2,时,x,i,和,x,j,的,偏相关系数,（,partial correlation coefficient,）,定义为,其中 。,ij,k,+1,p,度量了剔除,x,k+,1,x,p,的（线性）影响之后，,x,i,和,x,j,间相关关系的强弱。,对于多元正态变量,x,，由于,112,也,是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而,ij,k,+1,p,同时也度量了在,x,k+,1,x,p,值给定的条件下,x,i,和,x,j,间相关关系的强弱。,多元样本的概念及表示法,总体：,在多元分析中，仍然将所研究的对象的全体称,为总体，它也是由,(,有限或无限个,),个体所组成。,我们这里的 维总体,(,元总体,),指的是构成总,体的个体是具有 个需要观测的指标的个体。,由于从总体中随机抽取的一个个体，其 个指,标观测值事先未知，完全依赖于抽取的个体。因,此 维总体可用一个 维向量来表示。,例如：,一个三元总体用 表示。,样本：,多元分析中的总体是多元总体，因此从 维总,体中随机抽取的 个个体：，,若 相互独立且与总体同分布，,则称 为该总体的一个多元随机样,本，简称为简单随机样本。其中每个 为形如,的 维向量，为第 个样,品对第 个指标的观察值。,注：因为每个观测值在实验之前不能实现确定，所以我们依然把它们看成随机变量。,将全部的观测结果用一个 阶矩阵 表示，得到,为一个随机矩阵,(,样本矩阵,),。一旦观测值取定就是一个数据矩阵。,多元样本的数字特征,设 为来自 元总体的样本，其中,。,1,、,样本均值向量的定义：,矩阵形式表示为,均值向量,的几何解释,2,、样本离差阵定义,矩阵形式表示为：,证明：,3,样本协方差的定义：,4,样本相关阵的定义：,其中,46,样本统计量的极大似然估计,设,X,1,X,2,X,n,是来自总体,X,的样本，则,分别是 的极大似然估计量。,和 的基本性质：,1,，即 是 的无偏估计。,，即 不是 的无偏估计。,，即 是 的无偏估计,2,，分别是 和 的有效估计。,3,，分别是 和 的相合估计。,补充,48,在一元正态随机变量中，我们曾经讨论了,分布,，在多元,正态随机变量也有类似的样本分布。,维沙特分布（,Wishart,相当,于一元统计中的 分布。,1928,年由,Wishart,推导出来的。,维沙特（,Wishart,）分布,几种常用的抽样分布,49,定义 维沙特（,Wishart,）分布的统计量,设 个随机向量,独立同分布于 ，则,服从自由度为 的非中心维沙特分布，记为,，当,时，称为中心维沙特分布，记为,50,定理,1,：若 ，且 ，则 的分布密度,为,特别，当 和 时，服从 分布。,维沙特,（,Wishart,）,分布的密度函数,当,p=1,时，,退化为 ，此时中心,维沙特分布退化为,，维沙特分布是卡方分布的推广。,51,维沙特,(Wishart),分布有如下的性质：,（,1,）若,1,和,2,独立其分布分别 和 ，则 的分布为 ，即维沙特,(Wishart),分布有,可加性,。,（,2,），,C,为,mp,阶的矩阵，则 的分布为 分布。,多元正态分布的随机样本,52,的分布为自由度为 的维沙特分布,和 是相互独立的,53,定义：,称,T,2,服从参数为,P,和,n,的非中心霍特林（,Hotelling),分布，,当 时，服从自由度为,n,的中心霍特林分布，记为,。,霍特林,（,Hotelling),分布,定理,：,54,定理,：,设 是来自多元正态总体 的简单随机样本，有,55,维尔克斯分布,若 ，则称协差阵的行列式 为广义方差，称 为样本广义方差。其中,定义 若 ，,且,A,1,和A,2,相互独立，则称,为维尔克斯（,wilks,）统计量，的分布称为维尔克斯分布，简记为,补充：二次型分布,欧氏距离,在多指标统计分析中,距离的概念十分重要,样品间的不少特征都可用距离去描述。大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离,.,如几何平面上的点,p=(x1,x2),到原点,O=(0,0),的欧氏距离,依勾股定理有,统计距离,但就大部分统计问题而言，欧氏距离是不能令人满意的。这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这就产生了各种距离。,欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，,“,距离,”,的大小竟然与指标的单位有关。,例如，横轴 代表重量（以,kg,为单位），纵轴,代表长度（以,cm,为单位）。有四个点,A,、,B,、,C,、,D,见图,1.1,，它们的坐标如图,1.1,所示,目录 上页 下页 返回 结束,这时,显然,AB,比,CD,要长。,结果,CD,反而比,AB,长！这显然是不够合理的。,现在，如果,用,mm,作单位，,单位保持不变，此时,A,坐标为（,0,，,50,），,C,坐标为（,0,，,100,），则,因此，有必要建立一种距离，这种距离要能够体现各个变量在变差大小上的不同，以及有时存在着的相关性，还要求距离与各变量所用的单位无关。看来我们选择的距离要依赖于样本方差和协方差。因此，采用,“,统计距离,”,这个术语，以区别通常习惯用的欧氏距离。最常用的一种统计距离是印度统计学家马哈拉诺比斯（,Mahalanobis,）于,1936,年引入的距离，称为,“,马氏距离,”,。,下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异。,设有两个一维正态总体 。若有一个样品，其值在,A,处，,A,点距离哪个总体近些呢？由图,1-2,图,1-2,马氏距离,设,X,、,Y,从均值向量为,，协方差阵为的总体,G,中抽取的两个样品，定义,X,、,Y,两点之间的马氏距离为,(1.21),),(,),(,),(,1,/,2,Y,X,Y,X,Y,X,-,-,=,-,d,m,X,G,(1.22),),(,),(,),(,1,/,2,X,X,X,-,-,=,-,G,d,m,的马氏距离为,与总体,定义,设 表示一个点集，表示距离，它 是到 的函数，可以证明,马氏距离符合如下距离的四条基本公理,:,；,（,1,）,，,（,2,）当且仅当 ；,（,3,）,（,4,）,65,马氏距离和欧式距离之间的差别,马氏距离,欧氏距离,66,马氏距离有如下的特点：,2,、马氏距离是标准化后的变量的欧式距离,1,、马氏距离不受计量单位的影响,;,67,3,、若变量之间是相互无关的，则协方差矩阵为对角矩阵,68,此时的马氏距离为,