概率统计与随机过程-知识点总结--最终版.pdf

-1-概率统计与随机过程概率统计与随机过程知识总结知识总结第第 1 章章 随机事件及其概率随机事件及其概率一、随机事件与样本空间一、随机事件与样本空间1、随机试验、随机试验我们将具有以下三个特征的试验称为随机试验随机试验，简称试验试验，（1）重复性重复性：试验可以在相同的条件下重复进行；（2）多样性多样性：试验的可能结果不止一个，并且一切可能的结果都已知；（3）随机性随机性：在每次试验前，不能确定哪一个结果会出现。随机试验一般用大写字母大写字母 E 表示，随机试验中出现的各种可能结果称为试验的基本结果基本结果。2、样本空间、样本空间随机试验 E 的所有可能结果组成的集合称为试验的样本空间样本空间，记为 S，样本空间中的元素，即 E 的每个基本结果，称为样本点样本点。3、随机事件、随机事件称随机试验 E 的样本空间 S 的子集为 E 的随机事件随机事件，简称事件事件。随机事件通常利用大写字母 A、B、C 等来表示。在一次试验中，当且仅当这一子集（事件）中的某个样本点出现时，称这一事件发生这一事件发生。特别地，将只含有一个样本点的事件称为基本事件基本事件；样本空间 S 包含所有的样本点，它在每次试验中都发生，称 S 为必然事件必然事件；事件（）不包含任何样本点，它在每次试验中都不发生，称为不可能事件不可能事件。S 4、随机事件间的关系及运算、随机事件间的关系及运算（1）包含关系包含关系：若，则称事件 A 包含事件 B，也称事件 B 含在事件 A 中，它表示：BA若事件 B 发生必导致事件 A 发生。（2）相等关系相等关系：若且，则称事件 A 与事件 B 相等，记为。BAABAB（3）事件的和事件的和：称事件或为事件 A 与事件 B 的和事件和事件。|ABx xAxB事件发生意味着事件 A 发生或事件 B 发生，即事件 A 与事件 B 至少有一件发生。AB类似地，称为 n 个事件的和事件，称为可列个事件1niiA12nAAA、1iiA的和事件。12 AA、（4）事件的积事件的积：称事件且为事件 A 与事件 B 的积事件积事件。|ABx xAxB事件发生意味着事件 A 发生且事件 B 发生，即事件 A 与事件 B 都发生。AB简记为 AB。AB类似地，称为 n 个事件的积事件，称为可列个事件1niiA12nAAA、1iiA的积事件。12 AA、（5）事件的差事件的差：称事件且为事件 A 与事件 B 的差事件差事件。|ABx xAxB事件发生意味着事件 A 发生且事件 B 不发生。（）ABABABAAB（6）互不相容（互斥关系）互不相容（互斥关系）：若，则称事件 A 与事件 B 互不相容互不相容，又称事件AB A 与事件 B 互斥互斥。事件 A 与 B 互不相容意味着事件 A 与 B 不可能同时发生。-2-（7）互逆关系（对立关系）互逆关系（对立关系）：若且，则称事件 A 与事件 B 互为逆互为逆ABSAB 事件事件，又称事件 A 与事件 B 互为对立事件对立事件，记为或。ABBA注意注意：事件 A 的对立事件记为；基本事件是两两互不相容的；A对立事件与互斥事件的关系：对立一定互斥，但互斥不一定对立对立一定互斥，但互斥不一定对立。事件的运算满足的规律：事件的运算满足的规律：交换律：交换律：；ABBAABBA结合律：结合律：；ABCABCABCABC分配律：分配律：；()()()ABCABAC()()()ABCABAC对偶律：对偶律：(德德摩根律摩根律)ABABABAB二、随机事件的概率二、随机事件的概率1、频率、频率在相同的条件下，将一个试验重复进行 n 次，在这 n 次试验中，记事件 A 发生的次数为次，称比值为事件 A 在这 n 次试验中发生的频率频率，记为。ANANn nfA频率描述了事件发生的频繁程度。频率描述了事件发生的频繁程度。频率所具有的三个性质：性质性质 1：非负性；01nfA性质性质 2：规范性；1nfS 性质性质 3：可加性 如果事件两两互不相容，则12,kAAA。1212 nknnnkfAAAfAfAfA2、概率的公理化定义、概率的公理化定义设 E 是随机试验,S 是它的样本空间,对于 E 的每一事件 A 赋予一个实数,记为 P(A),称为事件事件 A 的概率，的概率，且满足以下三条公理：非负性：非负性：对于任意事件 A,有 P(A)0;规范性：规范性：对于必然事件 S,有 P(S)=1;可列可加性可列可加性：设 A1,A2,.是两两互不相容事件,即对于 ij,AiAj=f,i,j=1,2,.,则有P(A1A2.)=P(A1)+P(A2)+.3、概率的性质、概率的性质性质性质 1 对不可能事件，有 P()=0.性质性质 2(有限可加性有限可加性)若 A1,A2,.,An是两两互不相容的 n 个事件,则有P(A1A2.An)=P(A1)+P(A2)+.+P(An)性质性质 3(逆事件的概率逆事件的概率)对任意事件 A,有()1()P AP A 性质性质 4 设 A,B 是两个事件,若 BA,则有 P(A-B)=P(A)-P(B)P(A)P(B)性质性质 5 对于任意事件 A,P(A)1-3-性质性质 6(加法公式加法公式)对任意两个事件 A,B 有 P(AB)=P(A)+P(B)-P(AB)性质性质 6 的推论：的推论：P AB P AP B性质性质 6 的推广：的推广：P ABC P AP BP CP ABP ACP BCP ABC1niiPA 1niiP A1,iji j nP A A1,ijki j k nP A A A 1121nnP A AA 三、古典概率模型三、古典概率模型1、古典概率模型、古典概率模型若随机试验满足下述两个条件：(1)它的样本空间只含有有限个样本点，即基本事件数有限；(2)每个样本点出现的可能性相同.称这种试验为古典概率模型古典概率模型，简称古典概型古典概型，又称为等可能概率模型等可能概率模型。若事件 A 包含 k 个基本事件，即，则有 12 kiiiAeeeL()P Akn AS包含的基本事件数中的基本事件总数四、条件概率、全概率公式与贝叶斯公式四、条件概率、全概率公式与贝叶斯公式1、条件概率、条件概率设 A、B 是两个事件，且 P(B)0,则称(1)为在事件 B 发生的条件下,事件()(|)()P ABP A BP BA 的条件概率条件概率.2、条件概率的性质、条件概率的性质条件概率具备概率定义的三个条件：|PA（1）非负性：）非负性：对于任意的事件 B，；|0P B A（2）规范性：）规范性：；|1P S A（3）可列可加性：）可列可加性：设是两两互斥事件，则有：。12,B B11iiiiPB AP B A3、乘法公式、乘法公式由条件概率的定义：即得乘法定理乘法定理：()(|)()P ABP A BP B若 P(B)0，则 P(AB)=P(B)P(A|B)；若 P(A)0，则 P(AB)=P(A)P(B|A).乘法定理可以推广到多个事件的积事件的情况，-4-设 A、B、C 为三个事件，且，且，0P AB|P ABCP C AB P B A P A一般地，设有 n 个事件并且，则由条件概率的12,2,nA AAn1210nP A AA定义可得：1212-1112-2312211|nnnnnP A AAP A A AAP AA AAP AA AP AA P A4、样本空间的划分、样本空间的划分定义：定义：设 S 为试验 E 的样本空间,B1,B2,.,Bn为 E 的一组事件,若（1）；,1,2,ijB Biji jn L（2）12nBBBSUUL U则称为样本空间的一个划分。12,nB BBLS5、全概率公式、全概率公式定理：定理：设试验 E 的样本空间为 S，A 为 E 的事件，B1,B2,.,Bn为 S 的一个划分，且则恒有全概率公式全概率公式：()0(1,2,),iP BinL1122()()()()()()()nnP AP A B P BP A B P BP A B P BL 1|niiiP BP A B6、贝叶斯公式、贝叶斯公式定理：设试验 E 的样本空间为 S，A 为 E 的事件，B1,B2,.,Bn为 S 的一个划分，且()0,P A 则（贝叶斯公式）（贝叶斯公式）()0,(1,2,),iP BinL1()()(),1,2,.()()iiinjjjP A B P BP B AinP A B P BLn=2 时，两个公式的简化：时，两个公式的简化：全概率公式：全概率公式：()(|)()(|)()P AP A B P BP A B P B贝叶斯公式：贝叶斯公式：(|)()(|)(|)()(|)()P A B P BP B AP A B P BP A B P B7、条件概率、条件概率与积事件概率与积事件概率的区别的区别()P B A()P AB表示在样本空间 S 中，AB 发生的概率，而表示在缩小的样本空间中，()P AB()P B AASB 发生的概率，用古典概率公式，则，()AABP B AS中基本事件数中基本事件数()ABP ABS中基本事件数中基本事件数-5-一般来说，比大。()P B A()P AB五、事件的独立性五、事件的独立性1、事件的相互独立性、事件的相互独立性定义：定义：设 A，B 是两事件，如果满足等式，则称事件 A，B 相互独立，相互独立，()()()P ABP A P B简称 A，B 独立独立。说明：说明：(1)事件 A 与 事件 B 相互独立,是指事件 A 的发生与事件 B 发生的概率无关.(2)两事件相互独立与两事件互斥的关系：两事件相互独立与两事件互斥二者之间没有必然联系()()()P ABP A P BAB （3）事件事件 A、B 独立的充要条件为：独立的充要条件为：或|,0P A BP AP B|,0P B AP BP A三事件两两相互独立的概念三事件两两相互独立的概念定义：定义：设是三个事件，如果满足等式则称事件两两两两,A B C()()(),()()(),()()(),P ABP A P BP BCP B P CP ACP A P C,A B C相互独立相互独立。三事件相互独立的概念三事件相互独立的概念定义：定义：设是三个事件，如果满足等式则称事件,A B C()()(),()()(),()()(),()()()(),P ABP A P BP BCP B P CP ACP A P CP ABCP A P B P C相互独立相互独立。,A B C注意：注意：三个事件相互独立 三个事件两两相互独立推广：推广：设是 n 个事件，如果对于任意，任意，12,nA AAL(1)kkn121kiiinL具有等式，则称为相互独立的事件相互独立的事件。1212()()()()kkiiiiiiP A AAP A P AP ALL12,nA AAL结论：结论：若事件相互独立，则其中任意个事件也是相互独立的。12,(2)nA AAn L(2)kkn2、几个重要定理、几个重要定理定理一：定理一：设是两事件，且，若相互独立，则反之亦,A B()0P A,A B()().P B AP B然。-6-定理二：定理二：若相互独立，则下列各对事件，与，与，与也相互独立。,A BABABAB推广：推广：n 个事件相互独立，则将中任意多个事件换成12,(2)nA AA n L12,nA AAL它们的对立事件，所得的 n 个事件仍相互独立。3、事件的独立性在可靠性问题中的应用、事件的独立性在可靠性问题中的应用所谓系统（元件）的可靠性可靠性是指系统（元件）正常工作的概率系统（元件）正常工作的概率。补充：排列与组合知识补充：排列与组合知识1、加法原理、加法原理设完成一件事有 m 种方式，第 i 种方式有 ni 种方法，则完成这件事共有:n1n2nm 种不同的方法。2、乘法原理、乘法原理设完成一件事有 m 个步骤，第 i 种步骤有 ni 种方法，则完成这件事共有:n1n2 nm 种不同的方法。3、排列公式、排列公式（1）从 n 个不同元素中不放回（不重复）地选取 m 个元素进行排列，称为选排列选排列，则所有不同排列的总数为：()(1)(1)()mmnnnAPn nnmnm L L！（2）当 n=m 时，称为全排列全排列，其计算公式为：nnnPAn ！（3）有重复排列:从 n 个不同元素中有放回（可重复）地取 m 个元素进行排列，称为可可重排列重排列，其总数为 nm。4、组合公式、组合公式（1）从 n 个不同元素中不重复地选取 m 个元素，组成一组(不管其顺序)，称为从 n 个不同元素中选取 m 个元素的组合组合。则所有不同组合的总数为：()mnnnCmm nm ！选排列与选组合的关系：选排列与选组合的关系：!mmnnAC m 说明：说明：选组合也等价于：如果把 n 个不同的元素分成两组，一组 m 个，另一组 n-m 个，组内元素不考虑顺序，那么不同分法的总数为：!()!nmnm（2）多组组合：把 n 个不同元素分成 k 组(1 k n)，使第 i 组有 ni 个元素，若组内元素不考虑顺序，那么不同分法的总数为：1kiinn1!knnnL（3）常用组合公式：常用组合公式：，kn knnCC11kkknnnCCC0kkik in mnmiCC C02.ninniC-7-第第 2 章章 随机变量及其分布随机变量及其分布一、随机变量一、随机变量1、随机变量的概念、随机变量的概念定义：定义：设 E 是随机试验，它的的样本空间为 S=e.如果对于每一个有一个实数,eSX(e)与之对应，这样 X=X(e)是定义在样本空间 S 上的实值单值函数.称 X=X(e)为随机变量随机变量.说明：说明：(1)随机变量与普通的函数不同；(2)随机变量的取值具有一定的概率规律；(3)随机变量与随机事件的关系2、随机变量的分类、随机变量的分类(1)离散型：离散型：随机变量所取的可能值是有限多个或无限可列个,叫做离散型随机变量离散型随机变量.(2)连续型：连续型：随机变量所取的可能值可以连续地充满某个区间,叫做连续型随机变量连续型随机变量.二、离散型随机变量的概率分布离散型随机变量的概率分布1、离散型随机变量的分布律离散型随机变量的分布律定义：定义：设离散型随机变量 X 所有可能取的值为 xk(k=1,2,.),X 取各个可能值的概率，即事件X=xk的概率，为 PX=xk=pk,k=1,2,.，称此为离散型随机变量离散型随机变量 X 的分布律的分布律。说明：说明：（1）；（2）0,1,2,kpkL11kkp离散型随机变量的分布律也可表示为：1212nnxxxXpppLLLLXx1x2.xn.pkp1p2.pn.2、常见离散型随机变量的概率分布、常见离散型随机变量的概率分布 （1）两点分布）两点分布设随机变量 X 只可能取 0 与 1 两个值,它的分布律为：X01pk1-pp则称 X 服从服从(01)分布分布或两点分布两点分布.（2）等可能分布）等可能分布如果随机变量 X 的分布律为：X1a2a.nakp1n1n.1n其中（），（），则称 X 服从等可能分布服从等可能分布.ijaaij（3）二项分布）二项分布n 重伯努利试验重伯努利试验：设实验 E 只有两个可能结果：及，则称 E 为伯努利试验伯努利试验。AA-8-设，此时，将 E 重复地进行 n 次，则称这一串重复的()(01)P App()1P Ap 独立试验为 n 重伯努利试验重伯努利试验。用 X 表示 n 重伯努利试验中事件 A 发生的次数，则=，k=0,1,.，nP Xk(1)kn knppk 得 X 的分布律为：X01.k.nkpnq11nnpq .kn knp qk .np称 X 服从参数为服从参数为 n 和和 p 的二项分布，记为的二项分布，记为 Xb(n,p)显然：00()1nnkn knkknP Xkp qpqk 注意：注意：当 n=1 时，二项分布就是(0-1)分布Possion 定理定理设，则对固定的 k，0nnplim(1)!kkkn knnnnC ppek0,1,2,k LPoisson 定理说明若 X B(n,p),则当 n 较大，p 较小,而适中,则可以用np近似公式：近似公式：(1),0,1,2,!kkkn knC ppekkL（4）泊松分布）泊松分布设随机变量 X 所有可能取的值为 0,1,2,且概率分布为：e,0,1,2,!kP XkkkL其中0 是常数,则称 X 服从参数为服从参数为的的 泊松分布泊松分布,记作记作 X().（5）几何分布）几何分布若随机变量 X 的分布律为：X12.k.kppqp.1kqp.其中，则称 X 服从几何分布服从几何分布。1pq说明：说明：几何分布可作为描述某个试验“首次成功”的概率模型.三、随机变量的分布函数三、随机变量的分布函数1、分布函数的概念、分布函数的概念-9-定义：定义：设 X 是一个随机变量，x 是任意实数，函数为 X 的分布函数的分布函数。()F xP Xx性质：性质：（1）；0()1,(,)F xx （2）；1212()(),()F xF xxx（3），；()lim()0 xFF x()lim()1xFF x（4），即任一分布函数处处右连续，即任一分布函数处处右连续，000lim()(),()xxF xF xx 010121220,(),1,.xxpxxxF xpxxxxx重要公式重要公式（1）；（2）()()P aXbF bF a1()P XaF a 四、连续型随机变量及其分布四、连续型随机变量及其分布1、概率密度的概念与性质、概率密度的概念与性质定义：定义：如果对于随机变量 X 的分布函数 F（x），存在非负函数，使得对于任意实数 x 有则称 X 为连续型随机变量为连续型随机变量，其中 f(x)称为 X 的概率密度函数的概率密度函数，简称为()()d,xF xf tt概率密度概率密度。性质：性质：（1）；（2）；()0f x()d1f xx这两条性质是判定一个函数 f(x)是否为某一随机变量的概率密度的充要条件充要条件（3）1221()()P xXxF xF x ；()P XaF a()daf xx1P XaP Xa 1()F a（4）若 f(x)在点 x 处连续,则有；()()F xf x（5）对于任意可能值 a,连续型随机变量取 a 的概率等于零.即：0.P Xa由此（5）可得：P aXbP aXbP aXb.P aXb连续型随机变量取值落在某一区间的概率与区间的开闭无关连续型随机变量取值落在某一区间的概率与区间的开闭无关2、常见连续型随机变量的分布、常见连续型随机变量的分布（1）均匀分布）均匀分布-10-设连续型随机变量 X 具有概率密度：1,()0,axbf xba其它则称 X 在区间在区间(a,b)上服从均匀分布上服从均匀分布，记作 X U(a,b)均匀分布的意义均匀分布的意义在区间(a,b)上服从均匀分布的随机变量 X，落在区间(a,b)中任意等长度的子区间内的可能性是相同的。概率密度函数图形概率密度函数图形分布函数分布函数0,(),1,.xaxaF xaxbbaxb(2)指数分布指数分布设连续型随机变量 X 具有概率密度:其中为常数，e,0,()0,0.xxf xx0则称 X 服从参数为服从参数为的指数分布的指数分布。概率密度函数图形概率密度函数图形注：注：1分布函数分布函数1e,0,()0,0.xxF xx如 X 服从指数分布,则任给 s,t 有 PXs+t|X s=PX t（无记忆性）（无记忆性）（3）正态分布）正态分布(或高斯分布或高斯分布)设连续型随机变量 X 具有概率密度:22()21()e,2x f xx 其中为常数，则称 X 服从参数为服从参数为的正态分布或高斯分布，的正态分布或高斯分布，,(0),-11-记作记作。2(,)XN 正态概率密度函数的几何特征正态概率密度函数的几何特征（1）曲线关于对称；（2）当时，取得最大值；xx()f x12（3）当时，；（4）曲线在处有拐点；x ()0f x x（5）曲线以轴为渐近线；x（6）当固定，改变的大小时，图形的形状不变，只是沿着轴作平移变换；()f xx（7）当固定，改变的大小时，图形的对称轴不变，而形状在改变，越小，()f x图形越高越瘦，越大，图形越矮越胖。正态分布的分布函数正态分布的分布函数22()21()ed2t xF xt标准正态分布标准正态分布当正态分布中的时，这样的正态分布称为标准正态分布，记为标准正态分布，记为2(,)N 0,1(0,1)N标准正态分布的概率密度表示为：标准正态分布的概率密度表示为：221()e,2xxx 标准正态分布的分布函数表示为：标准正态分布的分布函数表示为：221()ed,.2txxtx 标准正态分布的图形标准正态分布的图形-12-常常用结论：用结论：（1）；（2）102,1xRxx 引理：引理：若，则2(,)XN (0,1)XZN3准则准则由标准正态分布的查表计算可以求得，当 XN(0,1)时，P(|X|1)=2(1)-1=0.6826；P(|X|2)=2(2)-1=0.9544；P(|X|3)=2(3)-1=0.9974；这说明，X 的取值几乎全部集中在-3,3区间内，超出这个范围的可能性仅占不到 0.3%.将上述结论推广到一般的正态分布,当时，2(,)YN 0.6826；0.9544；0.9974(|)P Y(|2)P Y(|3)P Y可见服从正态分布的随机变量 X 之值基本上落在区间内，而2(,)N(2,2)几乎不落在之外，在实际应用中称为 3准则准则。(3,3)五、一维随机变量函数的分布五、一维随机变量函数的分布1、离散型随机变量函数的分布、离散型随机变量函数的分布如果 X 是离散型随机变量，其函数 Y=g（X）也是离散型随机变量，若 X 的分布律为：X1x2x.kx.kp1p2p.kp.则 Y=g（X）的分布律为：()Yg X1()g x2()g x.()kg x.kp1p2p.kp.若中有值相同的，应将相应的合并。()kg xkp2、连续型随机变量函数的分布、连续型随机变量函数的分布如果 X 是连续型随机变量，其概率密度为，欲求 Y=g（X）的概率密度，()Xfx()Yfy-13-一般，我们采用先求分布函数，再求概率密度的方法，步骤如下：（1）求出 Y=g（X）的分布函数；()YFy（2）由关系式求出。()()YyfyFy()Yfy定理：定理：设随机变量 X 具有概率密度，其中，又设函数处处可导，()Xfxx ()g x且恒有（或恒有），则称是连续型随机变量，其概率密度为：()0g x()0g x()Yg X，其中，()(),()0,.XYfh yh yyfy其他min(),()gg，是的反函数。max(),()gg()h y()g x第第 3 章章 多维随机变量及其分布多维随机变量及其分布一、二维随机变量及其分布函数一、二维随机变量及其分布函数1、二维随机变量、二维随机变量定义：定义：设 E 是一个随机试验，它的样本空间是，设和是定义 Se()XX e()YY e在 S 上的随机变量，由它们构成的一个向量，叫做二维随机向量二维随机向量或二维随机变量二维随机变量。(,)X Y2、二维随机变量的分布函数、二维随机变量的分布函数定义：定义：设是二维随机变量，对于任意实数，二元函数(,)X Y,x y称为二维随机变量二维随机变量的分布函数的分布函数，(,)()(),F x yPXxYyP Xx YyI(,)X Y或称为随机变量随机变量 X 和和 Y 的联合分布函数的联合分布函数。的函数值就是随机点落在如图所示区域内的概率。(,)F x y性质：性质：（1），0(,)1F x y，(,)1F (,)0F (,)0F x ；(,)0Fy（2）对每个变量单调不减，固定 x,对任意的 y1 y2,F(x,y1)F(x,y2)；固定 y,对任意的 x1 x2,F(x1,y)F(x2,y)；（3）对每个变量右连续F(x0,y0)=F(x0+0,y0)，F(x0,y0)=F(x0,y0+0)；（4）对于任意 a b,c 0,D(Y)0，称为随机随机(,)()()XYCov X YD XD Y变量变量 X 和和 Y 的相关系数的相关系数，记为，即当=0 时，称随机变量随机变量 X 和和 Y 不相关不相关。XYXY性质：性质：（1）；|1XY（2）是充分必要条件 X 与 Y 依概率 1 线性相关，即存在常数 a，b 使|1XY()1P YaXb定理：定理：若随机变量 X 与 Y 相互独立，则 X 与 Y 不相关。四、矩与协方差矩阵四、矩与协方差矩阵1、矩、矩定义：定义：设 X 和 Y 是随机变量，若存在，称它为 X 的的 k 阶原点矩阶原点矩，简称(),1,2,kE Xk L Lk 阶矩阶矩。若存在，称它为 X 的的 k 阶中心矩。阶中心矩。(),2,3,kEXE Xk L L定义：定义：设（X，Y）是二维随机变量，若，k,l=1,2,存在，称它为 X 和和 Y 的的()klE X Yk+l 阶混合矩阶混合矩.。若存在，称它为 X 和和 Y 的的 k+l 阶混合中阶混合中()()klEXE XYE Y 心矩心矩.由定义知，均值 E(X)是 X 一阶原点矩，方差 D(X)是 X 的二阶中心矩，协方差 Cov(X,Y)是X 和 Y 的二阶混合中心矩。2、协方差矩阵、协方差矩阵定义：定义：将二维随机变量（X1,X2）的四个二阶中心矩-23-，211111()()cEXE XD X，12112212()()(,)cEXE XXE XCov XX，21221121()()(,)cEXE XXE XCov XX222222()()cEXE XD X排成矩阵的形式:11121122122212()(,)(,)()ccD XCov XXccCov XXD X 称此矩阵为（X1,X2）的协方差矩阵）的协方差矩阵.类似定义 n 维随机变量(X1,X2,Xn)的协方差矩阵，若(i,j=1,2,n)都存在，(,)i jijcCov XX()()iijjEXE XXE X称矩阵为 n 维随机变量维随机变量(X1,X2,Xn)的协方差矩阵的协方差矩阵。111212122212nnnnnnccccccCcccLLMM LML第第 5 章章 大数定律与中心极限定理大数定律与中心极限定理一、大数定律一、大数定律1、切比雪夫不等式、切比雪夫不等式定理：定理：设随机变量 X 具有数学期望，方差，则对于任意正数，不()E X2()D X等式成立。22P X2、三个大数定律、三个大数定律定义定义 1：设是随机变量序列，若存在一个常数，使得对任意的，12,nXXXLLa0有成立，则称随机变量序列依概率收敛于，lim|1nnPXa12,nXXXLLa记为。PnXa 定义定义 2：设是一随机变量序列，其数学期望为，且为常数序列，令nX()nE X1,2,n L，若，则称服从大数定律。11nniiXn()0PnnE nX基本定理基本定理定理一（切比雪夫定理的特殊情况）定理一（切比雪夫定理的特殊情况）-24-设随机变量相互独立，且具有相同的数学期望和方差：，12,nXXXLL()kE X，作前个随机变量的算术平均，则对于任意正2()(1,2,)kD XkLn11nkkXXn数有11lim|lim1.nknnkPXPXn表达式的意义：表达式的意义：是一个随机事件，等式表明，当时这个事件的概率|Xn 趋于 1，即对于任意正数，当充分大时，不等式成立的概率很大。n|X定理一的另一种叙述定理一的另一种叙述:设随机变量相互独立，且具有相同的数学期望和方差：，12,nXXXLL()kE X，则序列依概率收敛于，即。2()(1,2,)kD XkL11nkkXXnPX“依概率收敛于依概率收敛于”的理解：的理解：设是一个随机变量序列，是一个常数，若对于12,nY YYLa任意正数有，则称序列依概率收敛于，记为lim|1nnP Ya12,Y YYLa。PnYa 定理二（伯努利大数定理）定理二（伯努利大数定理）设是次独立重复试验中事件发生的次数，是事件在每次试验中发生的概率，AnnApA则对于任意正数，有。0lim1lim0AAnnnnPpPpnn或定理三（辛钦定理）定理三（辛钦定理）设随机变量相互独立，服从同一分布，且具有数学期望，12,nXXXLL()kE X，则对于任意正数，有。(1,2,)k L11lim1nknkPXn二、中心极限定理二、中心极限定理1、基本定理、基本定理定理四（独立同分布的中心极限定理）定理四（独立同分布的中心极限定理）设随机变量相互独立，服从同一分布，且具有数学期望和方差：12,nXXXLL，则随机变量之和的标准化变量()kE X2()0(1,2,)kD XkL-25-的分布函数对于任意 x 满足：111nnkkkknnkkXEXYDX1nkkXnn()nF x1lim()limnkknnnXnF xPxn定理四表明：独立同分布的随机变量之和，当充分大时，随机变量之和与其标准1nkkXn化变量分别有1(0,1).nkkXnNn近似地定理五定理五(德莫佛拉普拉斯定理德莫佛拉普拉斯定理)设随机变量服从参数为的二项分布，则对于任意 x，恒(1,2,)nnL,n p(01)p有221limed().(1)2txnnnpPxtxnpp 中心极限定理表明，在相当一般的条件下中心极限定理表明，在相当一般的条件下,当独立随机变量的个数增加时当独立随机变量的个数增加时,其和的分布趋于其和的分布趋于正态分布正态分布.第第 6 章章 样本及抽样分布样本及抽样分布一、总体和样本一、总体和样本1、总体、总体研究对象全体元素组成的集合称为总体总体。所研究的对象的某个(或某些)数量指标的全体，它是一个随机变量(或多维随机变量)，记为X.X 的分布函数和数字特征称为总体的分布函数和数字特征总体的分布函数和数字特征。2、个体、个体组成总体的每一个元素称为个体个体。即总体的每个数量指标，可看作随机变量 X 的某个取值.用表示.iX3、随机样本、随机样本简单随机样本简单随机样本若总体 X 的样本满足：12(,)nXXXL（1）与 X 有相同的分布；12,nXXXL-26-（2）相互独立；12,nXXXL则称为简单随机样本简单随机样本.12(,)nXXXL简单随机抽样简单随机抽样获得简单随机样本的抽样方法称为简单随机抽样简单随机抽样.根据定义得：若为的一个样本，则的联合分布函数为12,nXXXLF12,nXXXL121*(,)()nniiFxxxF xL又若具有概率密度，则的联合概率密度为Xf12,nXXXL121*(,)()nniifxxxf xL二、抽样分布二、抽样分布1、统计量、统计量定义：定义：设是来自总体的一个样本，是12,nXXXLX12(,)ng XXXL的函数，若中不含未知参数，则称是一个统计量统计量。12,nXXXLg12(,)ng XXXL设是相应于样本的样本值，则称是12,nx xxL12,nXXXL12(,)ng x xxL的观察值观察值。12(,)ng XXXL2、几个常用统计量、几个常用统计量设是来自总体的一个样本，是这一样本的观察值，12,nXXXL12,nx xxL（1）样本平均值样本平均值 ；11niiXXn（2）样本方差样本方差 ；2211()1niiSXXn22111niiXnXn（3）样本标准差样本标准差；22111niiSSXXn（4）样本样本 k 阶阶(原点原点)矩矩 ；11,1,2,nkkiiAXknL（5）样本样本 k 阶中心矩阶中心矩 11(),2,3,nkkiiBXXknL-27-由以上定义得下述结论：若总体的阶矩 存在，则当时，Xk()kE X记成kn PkkA 1,2,.k L再根据第五章辛钦定理知，由第五章关于依概率收敛的序11nPkikiXn 1,2,k L列的性质知，其中是连续函数。1212(,)(,)Pkkg A AAg LLg3、经验分布函数、经验分布函数设是总体的一个样本，用表示中不12,nXXXLF()()S xx 12,nXXXL大于的随机变量的个数，定义经验分布函数为，x()nF x1()()nF xS xn，对于一个样本值，的观察值容易求得。（的观察值仍以()x ()nF x()nF x表示）()nF x一般地，设是总体的一个容量为的样本值，先将按自小到大12,nx xxLFn12,nx xxL的次序排列，并重新编号，则经验分布函数的观察值为：(1)(2)()nxxxL()nF x(1)()(1)()0,(),1,.nkknxxkF xxxxnxx格里汶科定理格里汶科定理对于任一实数，当时，以概率 1 一致收敛于分布函数，即xn ()nF x()nF xlim sup()()01nnxPF xF x 对于任一实数，当充分大时，经验分布函数的任一个观察值与总体分布函数xn()nF x只有微小的差别，从而实际上可当作来使用。()F x()F x4、常见分布、常见分布（1）正态分布）正态分布若，则12,nXXXL2(,)iiN 22111,nnniiiiiiiiia XNaa特别地，若，则12,nXXXL2(,)iXN 211,niiXXNnn-28-标准正态分布的标准正态分布的 分位数分位数定义：定义：若，则称 z 为标准正态分布的上标准正态分布的上 分位数分位数。P Xz若，则称为标准正态分布的双侧为标准正态分布的双侧 分位数分位数。2|PXz2z标准正态分布的标准正态分布的 分位数图形分位数图形 P Xz常用数字：，0.051.645z，0.0251.96z0.0052.575z2|PXz-z/2=z1-/2根据正态分布的对称性知：1.zz（2）分布分布2设是来自总体的样本，则称统计量服从自12,nXXXL(0,1)N222212nXXXL由度为的分布，记为。n222()n自由度：自由度：指中右端包含独立变量的个数。222212nXXXL分布的性质分布的性质2性质性质 1（分布的可加性）分布的可加性）2设，并且独立，则。2211()n2222()n2212,2221212()nn此性质可以推广到多个随机变量的情形：设，并且相互独立，则，22()iin2(1,2,)iimL22121()miminnnL性质性质 2（分布的数学期望和方差）分布的数学期望和方差）2若，则，。22()n2()En2()2Dn-29-分布的分位点分布的分位点2对于给定的正数，称满足条件01的点为222()()()dnPnf yy2()n分布的上上分位点分位点。对于不同的可以通过2()n,n查表求得上分位点的值。（3）分布分布t设，且独立，则称随机变量服从自由度为的(0,1)XN2()Yn,X Y/XtYnn分布分布，记为。t()tt n分布的概率密度函数为，()t n12212()12nnth tnnnt 具有自由度为 n 的 t 分布的随机变量 T 的数学期望数学期望和方差方差为:E(T)=0;D(T)=n/(n-2),对 n 2 t 分布的概率密度曲线为：显然图形是关于对称的，当 n 充分大时,其图形类似于0t 标准正态变量概率密度的图形。因为，所221lim()e2tnh t以当足够大时 t 分布近似于分布。但对于较小的，t 分布与分布相差很n(0,1)Nn(0,1)N大。t 分布的分位点分布的分位点对于给定的正数，称满足条件01的点为分布的上上()()()dtnP ttnh tt()tn()t n分位点分位点。可以通过查表求得上分位点的值，由分布的对称性知，当时，。1()()tntn 45n()tnz（4）分布分布F设，且独立，则称随机变量服从自由度为21()Un22()Vn,U V12/UnFVn的分布分布，记为。12(,)n nF12(,)FF n n分布的概率密度曲线为：F-30-根据定义可知，若，则。12(,)FF n n211(,)F nnF分布的分位点分布的分位点F对于给定的正数，称满足条件的011212(,)(,)()dFnnP FFn nyy点为分布的上上分位点分位点。12(,)Fn n12(,)F n n分布的上分位点具有如下性质：12(,)F n n112211(,)(,)Fn