第一章-多元正态分布-PPT.ppt

第一章第一章 多元正态分布多元正态分布第一章第一章 多元正态分布多元正态分布1.1 多元分布的基本概念多元分布的基本概念1.2 统计距离和马氏距离统计距离和马氏距离1.3 多元正态分布多元正态分布1.4 均值向量和协方差阵的估计均值向量和协方差阵的估计1.5 常用分布及抽样分布常用分布及抽样分布2第一章第一章 多元正态分布多元正态分布n一元正态分布在统计学的理论和实际应用中都有着重要的地位。同样，在多变量统计学中，多元正态分布也占有相当重要的位置。原因是：许多随机向量确实遵从正态分布，或近似遵从正态分布；对于多元正态分布，已有一整套统计推断方法，并且得到了许多完整的结果。3第一章第一章 多元正态分布多元正态分布 多元正态分布是最常用的一种多元多元正态分布是最常用的一种多元概率分布。除此之外，还有多元对数正概率分布。除此之外，还有多元对数正态分布，多项式分布，多元超几何分布，态分布，多项式分布，多元超几何分布，多元多元 分布、多元分布、多元 分布、多元指数分布、多元指数分布等。本章从多维变量及多元分布的分布等。本章从多维变量及多元分布的基本概念开始，着重介绍多元正态分布基本概念开始，着重介绍多元正态分布的定义及一些重要性质。的定义及一些重要性质。41.11.1多元分布的基本概念多元分布的基本概念1.1.1 随机向量随机向量1.1.2 分布函数与密度函数分布函数与密度函数1.1.3 多元变量的独立性多元变量的独立性1.1.4 随机向量的数字特征随机向量的数字特征51.1.1 1.1.1 随机向量随机向量 表示对同一个体观测的表示对同一个体观测的 个变量。若观测了个变量。若观测了 个个体，则可得到如下表个个体，则可得到如下表1-11-1的数据，称每一个个的数据，称每一个个体的体的 个变量为一个样品，而全体个变量为一个样品，而全体 个样品形成一个样品形成一个样本。个样本。假定所讨论的是多个变量的总体，所研究的数假定所讨论的是多个变量的总体，所研究的数据是同时观测据是同时观测 个指标（即变量），又进行了个指标（即变量），又进行了 次次观测得到的，把这观测得到的，把这 个指标表示为个指标表示为 常常用向量用向量6 横看表横看表1-11-1，记，记 ，它表示第它表示第 个样品的观测值。竖看表个样品的观测值。竖看表1-1,1-1,第第 列的元素列的元素 表示对表示对 第个变量第个变量 的的n n次观测数值。下面为表次观测数值。下面为表1-11-1n 21 变量变量序号序号1.1.1 1.1.1 随机向量随机向量71.1.1 1.1.1 随机向量随机向量n因此因此,样本资料矩阵可用矩阵语言表示为样本资料矩阵可用矩阵语言表示为:若无特别说明，本书所称向量均指列向量若无特别说明，本书所称向量均指列向量定义定义1.1 设设 为为p个随机变量，由它们组成个随机变量，由它们组成的向量的向量 称为随机向量。称为随机向量。8大家学习辛苦了，还是要坚持继续保持安静继续保持安静91.1.21.1.2 分布函数与密度函数分布函数与密度函数 描述随机变量的最基本工具是分布函数，类似地描述描述随机变量的最基本工具是分布函数，类似地描述随机向量的最基本工具还是分布函数。随机向量的最基本工具还是分布函数。多元分布函数的有关性质此处从略。多元分布函数的有关性质此处从略。定义定义1.2 设设 是是P 维随机向量，它的多元分布维随机向量，它的多元分布函数是函数是式中：式中：101.1.21.1.2 分布函数与密度函数分布函数与密度函数 定义1.3：设 =,若存在一个非负的函数 ,使得 对一切对一切 成立，则称成立，则称 （或（或 ）有分布）有分布密度密度 并称并称 为连续型随机向量。为连续型随机向量。11 若若 有密度有密度 ，用，用 分别表示分别表示 和和 的分布密度，则的分布密度，则 和和 独立当且仅当独立当且仅当 (1.5)(1.5)1.1.31.1.3 多元变量的独立性多元变量的独立性 对一切对一切 成立。若成立。若 为为 的联合分布函数，的联合分布函数，分别为分别为X X和和Y Y的分布函数，则的分布函数，则X与与Y 独立当且仅当独立当且仅当 （1.41.4）定义定义1.4：两个随机向量：两个随机向量 X 和和 Y 称为是相互独立的，若称为是相互独立的，若注意注意:在上述定义中，在上述定义中，和和 的维数一般是不同的。的维数一般是不同的。121.1.4 1.1.4 随机向量的数字特征随机向量的数字特征1 1、随机向量、随机向量 X X的均值的均值 设设 有有P P个分量。若个分量。若 存在，我们定义随机向量存在，我们定义随机向量X X的均值为的均值为:当当 为常数矩阵时，由定义可立即推出如下性质：为常数矩阵时，由定义可立即推出如下性质：.(1.6)131.1.4 1.1.4 随机向量的数字特征随机向量的数字特征2、随机向量、随机向量 自协方差阵自协方差阵141.1.4 1.1.4 随机向量的数字特征随机向量的数字特征当当A A、B B为常数矩阵时，由定义可推出协差阵有如下性质：为常数矩阵时，由定义可推出协差阵有如下性质：3 3、随机向量、随机向量X X 和和Y Y 的协差阵的协差阵 设设 分别为分别为 维和维和 维随机向量，它们之间的协方差阵定义为一个维随机向量，它们之间的协方差阵定义为一个 矩矩阵，其元素是阵，其元素是 ，即即 151.1.4 1.1.4 随机向量的数字特征随机向量的数字特征（3）设）设X为为 维随机向量，期望和协方差存在记维随机向量，期望和协方差存在记 则则 对于任何随机向量对于任何随机向量 来说，来说，其协差阵其协差阵都是对称阵，同时总是非负定（也称都是对称阵，同时总是非负定（也称半正定）的。大多数情形下是正定的。半正定）的。大多数情形下是正定的。161.1.4 1.1.4 随机向量的数字特征随机向量的数字特征 4 4、随机向量、随机向量X X 的相关阵的相关阵 若随机向量 的协差阵存在,且每个分量的方差大于零，则X X的相关阵定义为:也称为分量 与 之间的（线性）相关系数。17 在数据处理时，为了克服由于指标的量纲不同对统计分在数据处理时，为了克服由于指标的量纲不同对统计分析结果带来的影响，往往在使用某种统计分析方法之前，常析结果带来的影响，往往在使用某种统计分析方法之前，常需将每个指标需将每个指标“标准化标准化”，即做如下变换，即做如下变换1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征何为标准化？何为标准化？标准化的作用？标准化的作用？181.2 1.2 统计距离和马氏距离统计距离和马氏距离欧氏距离欧氏距离马氏距离马氏距离191.2 1.2 统计距离和马氏距离统计距离和马氏距离欧氏距离欧氏距离 在多指标统计分析中,距离的概念十分重要,样品间的不少特征都可用距离去描述。大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离.如几何平面上的点P=(x1,x2)到原点O=(0,0)O=(0,0)的欧氏距离,依勾股定理有201.2 1.2 统计距离和马氏距离统计距离和马氏距离 但就大部分统计问题而言，欧氏距离是不能令人满意的。这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这就产生了各种距离。欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，“距离”的大小竟然与指标的单位有关。211.2 1.2 统计距离和马氏距离统计距离和马氏距离 例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见图1.1，它们的坐标如图1.1所示221.2 1.2 统计距离和马氏距离统计距离和马氏距离这时显然AB比CD要长。结果CD反而比AB长！这显然是不够合理的。现在，如果 用mm作单位，单位保持不变，此时A坐标为（0，50），C坐标为（0，100），则231.2 1.2 统计距离和马氏距离统计距离和马氏距离 因此，有必要建立一种距离，这种距离要能够体现各个变量在变化大小上的不同，以及有时存在着的相关性，还要求距离与各变量所用的单位无关。看来我们选择的距离要依赖于样本方差和协方差。因此，采用“统计距离”这个术语，以区别通常习惯用的欧氏距离。最常用的一种统计距离是印度统计学家马哈拉诺比斯（Mahalanobis）于1936年引入的距离，称为“马氏距离”。241.2 1.2 统计距离和马氏距离统计距离和马氏距离 下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异。设有两个一维正态总体 。若有一个样品，其值在A处，A点距离哪个总体近些呢？由图1-2图1-2251.2 1.2 统计距离和马氏距离统计距离和马氏距离 由图1-2可看出,从绝对长度来看,A点距左面总体G1近些,即A点到 比A点到 要“近一些”（这里用的是欧氏距离，比较的是A点坐标与 到 值之差的绝对值），但从概率观点来看，A点在 右侧约4 处，A点在 的左侧约3 处，若以标准差的观点来衡量，A点离 比A点离 要“近一些”。显然，后者是从概率角度上来考虑的，因而更为合理些，它是用坐标差平方除以方差（或说乘以方差的倒数），从而化为无量纲数，推广到多维就要乘以协方差阵的逆矩阵 ，这就是马氏距离的概念，以后将会看到，这一距离在多元分析中起着十分重要的作用。1m261.2 1.2 统计距离和马氏距离统计距离和马氏距离马氏距离马氏距离 设X、Y从均值向量为从均值向量为，协方差阵为，协方差阵为的总体的总体G中抽取的两个样品，定义X、Y两点之间的马氏距离为两点之间的马氏距离为(1.21)()(),(1/2YXYXYX-=-1dXG(1.22)()(),(1/2X)(XX-=-1Gdm的马氏距离为与总体定义271.2 1.2 统计距离和马氏距离统计距离和马氏距离 设设 表示一个点集，表示一个点集，表示距离，它是表示距离，它是 到到 的函数，可以证明的函数，可以证明,马氏距离符合如下距离的四条基本公马氏距离符合如下距离的四条基本公理理:；（1 1），（2 2）当且仅当当且仅当 ；（3 3）（4 4）28 1.3 1.3 多元正态分布多元正态分布 多元正态分布是一元正态分布的推广。迄今多元正态分布是一元正态分布的推广。迄今为止为止,多元分析的主要理论都是建立在多元正态多元分析的主要理论都是建立在多元正态总体基础上的总体基础上的,多元正态分布是多元分析的基础。多元正态分布是多元分析的基础。另一方面，许多实际问题的分布常是多元正态分另一方面，许多实际问题的分布常是多元正态分布或近似正态分布，或虽本身不是正态分布，但布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于多元正态分布。它的样本均值近似于多元正态分布。本节将介绍多元正态分布的定义，并简要给本节将介绍多元正态分布的定义，并简要给出它的基本性质。出它的基本性质。29 1.3 1.3 多元正态分布多元正态分布1.3.1多元正态分布的定义多元正态分布的定义1.3.2多元正态分布的性质多元正态分布的性质1.3.3条件分布和独立性条件分布和独立性301.3.1 多元正态分布的定义n一元正态分布N(,2)的概率密度函数为n若随机向量 的概率密度函数为则称x服从p元正态分布，记作xNp(,)，其中，参数和分别为x的均值和协差阵。31例1.3.1（二元正态分布）n设xN2(,)，这里易见，是x1和 x2的相关系数。当|0)作如下的剖分：371.3.2 多元正态分布的性质 则子向量x1和x2相互独立，当且仅当12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。n（7）设xN p(,),0，则n例1.3.4 设xN3(,)，其中则x2和x3不独立，x1和(x2,x3)独立。n*（8）略381.3.2 多元正态分布的性质n*（9）略*（10）略n（11）设xN p(,),0，作如下剖分则给定x2时x1的条件分布为 ，其中12和112分别是条件数学期望和条件协方差矩阵，112通常称为偏协方差矩阵。391.3.2 多元正态分布的性质这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。40 1.3.3 1.3.3 条件分布和独立性条件分布和独立性 我们希望求给定我们希望求给定 的条件分布，即的条件分布，即 的分布。下一个定理指出：的分布。下一个定理指出：正态分布的条件分布仍为正态分布。正态分布的条件分布仍为正态分布。设设 p p2,2,将将X X、和和剖分如下：剖分如下：41证明参见文献证明参见文献33。1.3.3 1.3.3 条件分布和独立性条件分布和独立性定理定理1.21.2：设：设 ，00，则，则 42 (1.28)(1.28)1.3.3 1.3.3 条件分布和独立性条件分布和独立性定理定理1.31.3：设：设 ，00，将，将X X，剖分如下：剖分如下：43则则 有如下的条件均值和条件协差阵的递推公式：有如下的条件均值和条件协差阵的递推公式：(1.29)(1.29)(1.30)(1.30)其中其中 ，证明参见证明参见33 1.3.3 1.3.3 条件分布和独立性条件分布和独立性2,1 )|()3()(3=iEiiXX44 在定理在定理1.21.2中，我们给出了对中，我们给出了对X X、和和作形如作形如(1.25)(1.25)式剖分时条件协差阵式剖分时条件协差阵 的表达式及其与非的表达式及其与非条件协差阵的关系，令条件协差阵的关系，令 表示表示 的元素，的元素，则可以定义偏相关系数的概念如下：则可以定义偏相关系数的概念如下：定义定义1.61.6：当：当 给定时，给定时，与与 的偏相关系数为：的偏相关系数为：1.3.3 1.3.3 条件分布和独立性条件分布和独立性45 1.3.3 1.3.3 条件分布和独立性条件分布和独立性 定理定理1.41.4：设：设 将将X X、按同样方按同样方式剖分为式剖分为 其中，其中，证明参见文献证明参见文献3461 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计 上节已经给出了多元正态分布的定上节已经给出了多元正态分布的定义和有关的性质义和有关的性质,在实际问题中在实际问题中,通常可通常可以假定被研究的对象是多元正态分布以假定被研究的对象是多元正态分布,但分布中的参数但分布中的参数和和是未知的是未知的,一般一般的做法是通过样本来估计。的做法是通过样本来估计。471 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计均值向量的估计均值向量的估计 在一般情况下在一般情况下,如果样本资料阵为：如果样本资料阵为：481 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计 即均值向量即均值向量的估计量的估计量,就是样本均值向量就是样本均值向量.这可这可由极大似然法推导出来。推导过程参见文献由极大似然法推导出来。推导过程参见文献33。设样品设样品 相互独立相互独立,同遵从于同遵从于P P元正态分元正态分布布 ,而且而且 ,0,0,则总体参数均值则总体参数均值的估计的估计量是量是491 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计协方差阵的估计协方差阵的估计总体参数协差阵总体参数协差阵的极大似然估计是的极大似然估计是501 1.4 .4 均值向量和协方差阵的估计均值向量和协方差阵的估计 其中其中L L是离差阵，它是每一个样品（向量）与是离差阵，它是每一个样品（向量）与样本均值（向量）的离差积形成的样本均值（向量）的离差积形成的n n个个 阶对阶对称阵的和。同一元相似，称阵的和。同一元相似，不是不是的无偏估计，为的无偏估计，为了得到无偏估计我们常用样本协差阵了得到无偏估计我们常用样本协差阵 作为总体协差阵的估计。作为总体协差阵的估计。511 1.5.5常用分布及抽样分布常用分布及抽样分布 多元统计研究的是多指标问题多元统计研究的是多指标问题,为了了解总体的为了了解总体的特征特征,通过对总体抽样得到代表总体的样本通过对总体抽样得到代表总体的样本,但因为信但因为信息是分散在每个样本上的息是分散在每个样本上的,就需要对样本进行加工就需要对样本进行加工,把把样本的信息浓缩到不包含未知量的样本函数中样本的信息浓缩到不包含未知量的样本函数中,这个这个函数称为统计量函数称为统计量,如前面介绍的样本均值向量如前面介绍的样本均值向量 、样、样本离差阵本离差阵 等都是统计量等都是统计量.统计量的分布称为抽样分统计量的分布称为抽样分布布.在数理统计中常用的抽样分布有在数理统计中常用的抽样分布有 分布、分布、分布分布和和 分布分布.在多元统计中在多元统计中,与之对应的分布分别为与之对应的分布分别为WishartWishart分布、分布、分布和分布和WilksWilks分布分布.521 1.5.5常用分布及抽样分布常用分布及抽样分布1.5.2 分布与分布与 分布（霍特林分布）分布（霍特林分布）1.5.1 分布与分布与Wishart分布（维希特分布）分布（维希特分布）1.5.3 中心分布与中心分布与Wilks分布分布（威尔克（威尔克斯分布）斯分布）53分布有两个重要的性质分布有两个重要的性质:1.5.1 分布与分布与Wishart分布分布 在数理统计中在数理统计中,若若 (),(),且相互独立且相互独立,则则 所服从的分布为自由度为所服从的分布为自由度为 的的 分布分布(chi squared(chi squared distribution),distribution),记为记为 .1 1、若、若 ,且相互独立且相互独立,则则称为相互独立称为相互独立 的的具有可加性54 2.2.设设 (),(),且相互独立且相互独立,为为 个个 阶对称阵阶对称阵,且且 (阶单位阵阶单位阵),),记记 ,则则 为相互独立的为相互独立的 分布的充要条件分布的充要条件为为 .此时此时 ,.,.这个性质称为Cochran定理（次方分布的分解定理）,在方差分析和回归分析中起着重要作用.1.5.1 分布与分布与Wishart分布分布55 (1.32)(1.32)定义定义1.7 1.7 设设 相互独立相互独立,且且 ,记记 ,则随机矩阵：则随机矩阵：所服从的分布称为自由度为所服从的分布称为自由度为 的的 维非中心维非中心WishartWishart分布分布,记为记为 其中,称为非中心参数,当 时称为中心Wishart分布,记为am1.5.1 分布与分布与Wishart分布分布56 由由WishartWishart分布的定义知分布的定义知,当当 时时,退化为退化为 ,此时中此时中心心WishartWishart分布就退化为分布就退化为 ,由此可以看出由此可以看出,Wishart,Wishart分布分布实际上是实际上是 分布在多维正态情形下的推广分布在多维正态情形下的推广.下面不加证明的给出下面不加证明的给出WishartWishart分布的分布的5 5条重要性质条重要性质:个随机样本个随机样本,为样本均值为样本均值,样本离差阵为样本离差阵为维正态总体维正态总体1.1.若若 是从是从中抽取的中抽取的,则则.相互独立相互独立.和和(1)(1)(2)(2),1.5.1 分布与分布与Wishart分布分布571.5.1 分布与分布与Wishart分布分布3.3.若若,为非奇异阵为非奇异阵,则则,为任一为任一4.4.若若元常向量元常向量,满足满足则则 2.2.若若 且相互独立且相互独立,则则58特别的特别的,设设 和和 分别为分别为 和和 的第的第 个对角元个对角元,则：则：5.5.若若 ,为任一为任一 元非零常向量元非零常向量,比值比值1.5.1 分布与分布与Wishart分布分布591.5.2 1.5.2 分布与分布与 分布分布 在数理统计中在数理统计中,若若 ,且且 与与 相互独立相互独立,则称则称 服从自由度为服从自由度为 的的 分布分布,又称为学生分布又称为学生分布(student distribution),记为记为 .如果将如果将 平方平方,即即 ,则则 ,即即 分布的平方服从第一自由度为分布的平方服从第一自由度为1第二自由度为第二自由度为 的中心的中心分布分布.60中心中心 分布可化为中心分布可化为中心 分布分布,其关系为其关系为:显然显然,当当 时时,有有 .定义定义1.8 1.8 设设 ,与与相互独立相互独立,则称随机变量则称随机变量 (1.33)所服从的分布称为第一自由度为所服从的分布称为第一自由度为 第二自由度为第二自由度为 的中的中心心 分布分布,记为记为 1.5.2 1.5.2 分布与分布与 分布分布611.5.3 1.5.3 中心分布与中心分布与WilksWilks分布分布 在数理统计中在数理统计中,若若 ,且与相互且与相互独立独立,则称则称 所服从的分布为第一自由度为所服从的分布为第一自由度为 第第二自由度为二自由度为 的中心的中心 分布分布.记为记为 .分布分布本质上是从正态总体本质上是从正态总体 随机抽取的两个样本方随机抽取的两个样本方差的比差的比.62 所服从的分布称为维数为所服从的分布称为维数为 ,第一自由度为第一自由度为 第二第二自由度为自由度为 的的Wilks Wilks 分布分布,记为记为 (1.34)定义定义1.9 1.9 设设 ,且且 与与 相互独立相互独立,则称随机变量则称随机变量1.5.3 1.5.3 中心分布与中心分布与WilksWilks分布分布631.5.3 1.5.3 中心分布与中心分布与WilksWilks分布分布 由于分布在多元统计中的重要性,关于它的近似分布和精确分布不断有学者进行研究,当和中的一个比较小时,分布可化为F分布,表1-2列举了常见的情况.表1-2641.5.3 1.5.3 中心分布与中心分布与WilksWilks分布分布 当 不属于表1-2情况时,Bartlett指出用 分布来近似表示,即 近似服从 .Rao 后来又研究用F分布来近似,即651.5.3 1.5.3 中心分布与中心分布与WilksWilks分布分布近似服从 ,其中 不一定是整数,用与它最近的整数来作为F分布的第二自由度.66