概率统计与随机过程-知识点总结--最终版.doc

概率统计与随机过程知识总结第1章 随机事件及其概率一、随机事件与样本空间1、随机试验我们将具有以下三个特征的试验称为随机试验，简称试验，（1）重复性：试验可以在相同的条件下重复进行；（2）多样性：试验的可能结果不止一个，并且一切可能的结果都已知；（3）随机性：在每次试验前，不能确定哪一个结果会出现。随机试验一般用大写字母E表示，随机试验中出现的各种可能结果称为试验的基本结果。2、样本空间随机试验E的所有可能结果组成的集合称为试验的样本空间，记为S，样本空间中的元素，即E的每个基本结果，称为样本点。3、随机事件称随机试验E的样本空间S的子集为E的随机事件，简称事件。随机事件通常利用大写字母A、B、C等来表示。在一次试验中，当且仅当这一子集（事件）中的某个样本点出现时，称这一事件发生。特别地，将只含有一个样本点的事件称为基本事件；样本空间S包含所有的样本点，它在每次试验中都发生，称S为必然事件；事件（）不包含任何样本点，它在每次试验中都不发生，称为不可能事件。4、随机事件间的关系及运算（1）包含关系：若，则称事件A包含事件B，也称事件B含在事件A中，它表示：若事件B发生必导致事件A发生。（2）相等关系：若且，则称事件A与事件B相等，记为。（3）事件的和：称事件或为事件A与事件B的和事件。事件发生意味着事件A发生或事件B发生，即事件A与事件B至少有一件发生。类似地，称为n个事件的和事件，称为可列个事件的和事件。（4）事件的积：称事件且为事件A与事件B的积事件。事件发生意味着事件A发生且事件B发生，即事件A与事件B都发生。简记为AB。类似地，称为n个事件的积事件，称为可列个事件的积事件。（5）事件的差：称事件且为事件A与事件B的差事件。事件发生意味着事件A发生且事件B不发生。（）（6）互不相容（互斥关系）：若，则称事件A与事件B互不相容，又称事件A与事件B互斥。事件A与B互不相容意味着事件A与B不可能同时发生。（7）互逆关系（对立关系）：若且，则称事件A与事件B互为逆事件，又称事件A与事件B互为对立事件，记为或。注意：事件A的对立事件记为；基本事件是两两互不相容的；对立事件与互斥事件的关系：对立一定互斥，但互斥不一定对立。事件的运算满足的规律：交换律： ；结合律： ；分配律： ；对偶律： (德摩根律)二、随机事件的概率1、频率在相同的条件下，将一个试验重复进行n次，在这n次试验中，记事件A发生的次数为次，称比值为事件A在这n次试验中发生的频率，记为。频率描述了事件发生的频繁程度。频率所具有的三个性质：性质1：非负性 ；性质2：规范性 ；性质3：可加性 如果事件两两互不相容，则。2、概率的公理化定义设E是随机试验, S是它的样本空间, 对于E的每一事件A赋予一个实数, 记为P(A), 称为事件A的概率，且满足以下三条公理：非负性：对于任意事件A, 有P(A)0;规范性：对于必然事件S, 有P(S)=1;可列可加性：设A1,A2,.是两两互不相容事件, 即对于ij, AiAj=f, i,j=1,2,., 则有P(A1A2.)=P(A1)+P(A2)+.3、概率的性质性质1 对不可能事件，有P()=0.性质2(有限可加性) 若A1,A2,.,An是两两互不相容的n个事件, 则有P(A1A2.An)=P(A1)+P(A2)+.+P(An)性质3(逆事件的概率) 对任意事件A, 有性质4 设A,B是两个事件, 若BA, 则有P(A-B)=P(A)-P(B) P(A)P(B)性质5 对于任意事件A, P(A)1性质6(加法公式) 对任意两个事件A,B有P(AB)=P(A)+P(B)-P(AB)性质6的推论：性质6的推广：三、古典概率模型1、古典概率模型若随机试验满足下述两个条件：(1) 它的样本空间只含有有限个样本点，即基本事件数有限；(2) 每个样本点出现的可能性相同.称这种试验为古典概率模型，简称古典概型，又称为等可能概率模型。若事件A包含k个基本事件，即，则有四、条件概率、全概率公式与贝叶斯公式1、条件概率设A、B是两个事件，且P(B)0,则称(1)为在事件B发生的条件下,事件A的条件概率.2、条件概率的性质条件概率具备概率定义的三个条件：（1）非负性：对于任意的事件B，；（2）规范性：；（3）可列可加性：设是两两互斥事件，则有：。3、乘法公式由条件概率的定义： 即得乘法定理： 若P(B)0，则P(AB)=P(B)P(A|B)； 若P(A)0 ，则P(AB)=P(A)P(B|A).乘法定理可以推广到多个事件的积事件的情况，设A、B、C为三个事件，且，且，一般地，设有n个事件并且，则由条件概率的定义可得：4、样本空间的划分定义：设S为试验E的样本空间, B1,B2,.,Bn为E的一组事件, 若（1）；（2）则称为样本空间的一个划分。5、全概率公式定理：设试验E的样本空间为S，A为E的事件，B1,B2,.,Bn为S的一个划分，且则恒有全概率公式：6、贝叶斯公式定理：设试验E的样本空间为S，A为E的事件，B1,B2,.,Bn为S的一个划分，且则（贝叶斯公式）n=2时，两个公式的简化：全概率公式：贝叶斯公式：7、条件概率与积事件概率的区别表示在样本空间S中，AB发生的概率，而表示在缩小的样本空间中，B发生的概率，用古典概率公式，则， ，一般来说，比大。五、事件的独立性1、事件的相互独立性定义：设A，B是两事件，如果满足等式，则称事件A，B相互独立，简称A，B独立。说明： (1) 事件 A 与 事件 B 相互独立,是指事件 A 的发生与事件 B 发生的概率无关.(2) 两事件相互独立与两事件互斥的关系：两事件相互独立与两事件互斥二者之间没有必然联系（3）事件 A 、B独立的充要条件为： 或 三事件两两相互独立的概念定义：设是三个事件，如果满足等式则称事件两两相互独立。三事件相互独立的概念定义：设是三个事件，如果满足等式则称事件相互独立。注意：三个事件相互独立 三个事件两两相互独立推广：设是n个事件，如果对于任意，任意，具有等式，则称为相互独立的事件。结论：若事件相互独立，则其中任意个事件也是相互独立的。2、几个重要定理定理一：设是两事件，且，若相互独立，则反之亦然。定理二：若相互独立，则下列各对事件，与，与，与也相互独立。推广：n个事件相互独立，则将中任意多个事件换成它们的对立事件，所得的n个事件仍相互独立。3、事件的独立性在可靠性问题中的应用所谓系统（元件）的可靠性是指系统（元件）正常工作的概率。补充：排列与组合知识1、加法原理设完成一件事有m种方式，第i 种方式有ni 种方法，则完成这件事共有: n1n2nm 种不同的方法。2、乘法原理设完成一件事有m个步骤，第i 种步骤有ni 种方法，则完成这件事共有: n1n2 nm 种不同的方法。3、排列公式（1）从n个不同元素中不放回（不重复）地选取m个元素进行排列，称为选排列，则所有不同排列的总数为：（2）当n=m 时，称为全排列，其计算公式为：（3）有重复排列: 从n个不同元素中有放回（可重复）地取m个元素进行排列，称为可重排列，其总数为 nm 。4、组合公式（1）从n个不同元素中不重复地选取m个元素，组成一组(不管其顺序)，称为从n个不同元素中选取m个元素的组合。则所有不同组合的总数为：选排列与选组合的关系： 说明：选组合也等价于：如果把n个不同的元素分成两组，一组m个，另一组n-m个，组内元素不考虑顺序，那么不同分法的总数为：（2）多组组合：把n个不同元素分成k 组(1 k n) ，使第 i 组有ni 个元素，若组内元素不考虑顺序，那么不同分法的总数为：（3）常用组合公式：，第2章 随机变量及其分布一、随机变量1、随机变量的概念定义：设E是随机试验，它的的样本空间为S=e. 如果对于每一个有一个实数X(e)与之对应，这样X=X(e)是定义在样本空间S上的实值单值函数. 称X=X(e)为随机变量.说明：(1)随机变量与普通的函数不同；(2)随机变量的取值具有一定的概率规律； (3)随机变量与随机事件的关系2、随机变量的分类(1)离散型：随机变量所取的可能值是有限多个或无限可列个, 叫做离散型随机变量.(2)连续型：随机变量所取的可能值可以连续地充满某个区间,叫做连续型随机变量.二、离散型随机变量的概率分布1、离散型随机变量的分布律定义：设离散型随机变量X所有可能取的值为xk(k=1,2,.), X取各个可能值的概率，即事件X=xk的概率，为PX=xk=pk, k=1,2,.，称此为离散型随机变量X的分布律。说明：（1）； （2）离散型随机变量的分布律也可表示为：Xx1x2.xn.pkp1p2.pn.2、常见离散型随机变量的概率分布 （1）两点分布设随机变量 X 只可能取0与1两个值 , 它的分布律为：X01pk1-pp则称 X 服从 (01) 分布或两点分布.（2）等可能分布如果随机变量 X 的分布律为：.其中（），（），则称X服从等可能分布.（3）二项分布n 重伯努利试验：设实验E只有两个可能结果：及，则称E为伯努利试验。设，此时，将E重复地进行n次，则称这一串重复的独立试验为n 重伯努利试验。用X表示n重伯努利试验中事件A发生的次数，则=，k=0,1, .，n得X的分布律为：01.k.n.称X 服从参数为n和p的二项分布，记为Xb(n,p)显然：注意：当n=1时，二项分布就是(0-1)分布Possion定理设，则对固定的 k，Poisson定理说明若X B( n, p), 则当n 较大， p 较小, 而适中, 则可以用近似公式：（4）泊松分布设随机变量X所有可能取的值为0 , 1 , 2 , , 且概率分布为：其中0 是常数,则称 X 服从参数为的 泊松分布,记作X().（5）几何分布若随机变量 X 的分布律为：12.k.其中，则称 X 服从几何分布。说明：几何分布可作为描述某个试验 “首次成功”的概率模型.三、随机变量的分布函数1、分布函数的概念定义：设 X 是一个随机变量，x是任意实数，函数为 X 的分布函数。性质：（1）；（2）；（3），；（4），即任一分布函数处处右连续，重要公式（1）； （2）四、连续型随机变量及其分布1、概率密度的概念与性质定义：如果对于随机变量 X的分布函数F（x），存在非负函数，使得对于任意实数x有则称X为连续型随机变量，其中f (x)称为X 的概率密度函数，简称为概率密度。性质：（1）； （2）；这两条性质是判定一个函数 f(x)是否为某一随机变量的概率密度的充要条件（3） ；（4）若 f (x) 在点 x 处连续 , 则有；（5）对于任意可能值 a ,连续型随机变量取 a 的概率等于零.即：由此（5）可得：连续型随机变量取值落在某一区间的概率与区间的开闭无关2、常见连续型随机变量的分布（1）均匀分布设连续型随机变量X具有概率密度： 则称X在区间( a, b)上服从均匀分布，记作X U(a, b)均匀分布的意义在区间(a, b)上服从均匀分布的随机变量X，落在区间(a, b)中任意等长度的子区间内的可能性是相同的。概率密度函数图形分布函数(2)指数分布设连续型随机变量X具有概率密度: 其中为常数，则称 X 服从参数为的指数分布。概率密度函数图形注：分布函数如X 服从指数分布, 则任给s,t 有 PXs+t | X s=PX t（无记忆性）（3）正态分布(或高斯分布)设连续型随机变量X具有概率密度: 其中为常数，则称X服从参数为的正态分布或高斯分布，记作。正态概率密度函数的几何特征（1）曲线关于对称； （2）当时，取得最大值；（3）当时，； （4）曲线在处有拐点；（5）曲线以轴为渐近线；（6）当固定，改变的大小时，图形的形状不变，只是沿着轴作平移变换；（7）当固定，改变的大小时，图形的对称轴不变，而形状在改变，越小，图形越高越瘦，越大，图形越矮越胖。正态分布的分布函数标准正态分布当正态分布中的时，这样的正态分布称为标准正态分布，记为标准正态分布的概率密度表示为：标准正态分布的分布函数表示为：标准正态分布的图形常用结论：（1） ； （2）引理：若，则3准则由标准正态分布的查表计算可以求得，当XN(0,1)时，P(|X|1)=2(1)-1=0.6826；P(|X|2)=2(2)-1=0.9544；P(|X|3)=2(3)-1=0.9974；这说明，X的取值几乎全部集中在-3,3区间内，超出这个范围的可能性仅占不到0.3%.将上述结论推广到一般的正态分布,当时，0.6826；0.9544；0.9974可见服从正态分布的随机变量X之值基本上落在区间内，而几乎不落在之外，在实际应用中称为3准则。五、一维随机变量函数的分布1、离散型随机变量函数的分布如果X是离散型随机变量，其函数Y=g（X）也是离散型随机变量，若X的分布律为：.则Y=g（X）的分布律为：.若中有值相同的，应将相应的合并。2、连续型随机变量函数的分布如果X是连续型随机变量，其概率密度为，欲求Y=g（X）的概率密度，一般，我们采用先求分布函数，再求概率密度的方法，步骤如下：（1）求出Y=g（X）的分布函数；（2）由关系式求出。定理：设随机变量X具有概率密度，其中，又设函数处处可导，且恒有（或恒有），则称是连续型随机变量，其概率密度为：，其中，是的反函数。第3章 多维随机变量及其分布一、二维随机变量及其分布函数1、二维随机变量定义：设E是一个随机试验，它的样本空间是，设和是定义在S上的随机变量，由它们构成的一个向量，叫做二维随机向量或二维随机变量。2、二维随机变量的分布函数定义：设是二维随机变量，对于任意实数，二元函数称为二维随机变量的分布函数，或称为随机变量X和Y的联合分布函数。的函数值就是随机点落在如图所示区域内的概率。性质：（1），；（2）对每个变量单调不减，固定 x , 对任意的 y1 y2 , F (x, y1) F (x, y2)；固定 y , 对任意的 x1 x2 , F (x1,y) F (x2, y)；（3）对每个变量右连续F (x0 , y0) = F (x0+ 0 , y0 )，F (x0 , y0) = F (x0 , y0 + 0 )；（4）对于任意 a b , c 0, D(Y)0，称为随机变量 X 和 Y 的相关系数，记为，即当=0时，称随机变量 X 和 Y不相关。性质：（1）；（2）是充分必要条件X与Y依概率1线性相关，即存在常数a，b使定理：若随机变量X与Y相互独立，则X与Y不相关。四、矩与协方差矩阵1、矩定义：设X和Y是随机变量，若存在，称它为X的k阶原点矩，简称 k阶矩 。若存在，称它为X的k阶中心矩。定义：设（X，Y）是二维随机变量，若，k,l=1,2,存在，称它为 X 和 Y 的 k+l 阶混合矩.。若存在，称它为X 和 Y 的 k+l 阶混合中心矩. 由定义知，均值 E(X)是X一阶原点矩，方差D(X)是X的二阶中心矩，协方差Cov(X,Y)是X和Y的二阶混合中心矩。2、协方差矩阵定义：将二维随机变量（X1,X2）的四个二阶中心矩，排成矩阵的形式: 称此矩阵为（X1,X2）的协方差矩阵.类似定义n 维随机变量(X1,X2, ,Xn) 的协方差矩阵，若( i, j=1,2,n )都存在，称矩阵为n 维随机变量(X1,X2, ,Xn) 的协方差矩阵。第5章 大数定律与中心极限定理一、大数定律1、切比雪夫不等式定理：设随机变量X具有数学期望，方差，则对于任意正数，不等式成立。2、三个大数定律定义1：设是随机变量序列，若存在一个常数，使得对任意的，有成立，则称随机变量序列依概率收敛于，记为。定义2：设是一随机变量序列，其数学期望为，且为常数序列，令，若，则称服从大数定律。基本定理定理一（切比雪夫定理的特殊情况）设随机变量相互独立，且具有相同的数学期望和方差：，作前个随机变量的算术平均，则对于任意正数有表达式的意义：是一个随机事件，等式表明，当时这个事件的概率趋于1，即对于任意正数，当充分大时，不等式成立的概率很大。定理一的另一种叙述:设随机变量相互独立，且具有相同的数学期望和方差：，则序列依概率收敛于，即。“依概率收敛于”的理解：设是一个随机变量序列，是一个常数，若对于任意正数有，则称序列依概率收敛于，记为。定理二（伯努利大数定理）设是次独立重复试验中事件发生的次数，是事件在每次试验中发生的概率，则对于任意正数，有。定理三（辛钦定理）设随机变量相互独立，服从同一分布，且具有数学期望，则对于任意正数，有。二、中心极限定理1、基本定理定理四（独立同分布的中心极限定理）设随机变量相互独立，服从同一分布，且具有数学期望和方差：，则随机变量之和的标准化变量的分布函数对于任意x满足：定理四表明：独立同分布的随机变量之和，当充分大时，随机变量之和与其标准化变量分别有定理五(德莫佛拉普拉斯定理)设随机变量服从参数为的二项分布，则对于任意x，恒有中心极限定理表明，在相当一般的条件下, 当独立随机变量的个数增加时, 其和的分布趋于正态分布. 第6章 样本及抽样分布一、总体和样本1、总体研究对象全体元素组成的集合称为总体。所研究的对象的某个(或某些)数量指标的全体，它是一个随机变量(或多维随机变量)，记为X .X 的分布函数和数字特征称为总体的分布函数和数字特征。2、个体组成总体的每一个元素称为个体。即总体的每个数量指标，可看作随机变量 X的某个取值.用表示.3、随机样本简单随机样本若总体 X 的样本满足：（1）与X 有相同的分布；（2）相互独立；则称为简单随机样本.简单随机抽样获得简单随机样本的抽样方法称为简单随机抽样.根据定义得：若为的一个样本，则的联合分布函数为又若具有概率密度，则的联合概率密度为二、抽样分布1、统计量定义：设是来自总体的一个样本，是的函数，若中不含未知参数，则称是一个统计量。设是相应于样本的样本值，则称是的观察值。2、几个常用统计量设是来自总体的一个样本，是这一样本的观察值，（1）样本平均值 ；（2）样本方差 ；（3）样本标准差 ；（4）样本 k阶(原点)矩 ；（5）样本 k阶中心矩 由以上定义得下述结论：若总体的阶矩 存在，则当时，再根据第五章辛钦定理知，由第五章关于依概率收敛的序列的性质知，其中是连续函数。3、经验分布函数设是总体的一个样本，用表示中不大于的随机变量的个数，定义经验分布函数为，对于一个样本值，的观察值容易求得。（的观察值仍以表示）一般地，设是总体的一个容量为的样本值，先将按自小到大的次序排列，并重新编号，则经验分布函数的观察值为：格里汶科定理对于任一实数，当时，以概率1一致收敛于分布函数，即对于任一实数，当充分大时，经验分布函数的任一个观察值与总体分布函数只有微小的差别，从而实际上可当作来使用。4、常见分布（1）正态分布若，则特别地，若，则标准正态分布的 a 分位数定义：若，则称z a为标准正态分布的上a 分位数。若，则称为标准正态分布的双侧 a 分位数。标准正态分布的a 分位数图形 常用数字：，-za/2=z1-a/2根据正态分布的对称性知：（2）分布设是来自总体的样本，则称统计量服从自由度为的分布，记为。自由度：指中右端包含独立变量的个数。分布的性质性质1（分布的可加性）设，并且独立，则。此性质可以推广到多个随机变量的情形：设，并且相互独立，则，性质2（分布的数学期望和方差）若，则，。分布的分位点对于给定的正数，称满足条件的点为分布的上分位点。对于不同的可以通过查表求得上分位点的值。（3）分布设，且独立，则称随机变量服从自由度为的分布，记为。分布的概率密度函数为，具有自由度为n的t分布的随机变量T的数学期望和方差为: E(T)=0; D(T)=n / (n-2) , 对n 2 t分布的概率密度曲线为：显然图形是关于对称的，当 n 充分大时, 其图形类似于标准正态变量概率密度的图形。因为，所以当足够大时t分布近似于分布。但对于较小的，t分布与分布相差很大。t分布的分位点对于给定的正数，称满足条件的点为分布的上分位点。可以通过查表求得上分位点的值，由分布的对称性知，当时，。（4）分布设，且独立，则称随机变量服从自由度为的分布，记为。分布的概率密度曲线为：根据定义可知，若，则。分布的分位点对于给定的正数，称满足条件的点为分布的上分位点。分布的上分位点具有如下性质：三、正态总体样本均值与样本方差的分布设总体X的均值为，方差为，是来自总体的一个样本，则样本均值和样本方差有： ，当总体为正态分布时，给出几个重要的抽样分布定理。定理一 (样本均值的分布)：设是来自正态总体的样本，是样本均值，则有：或。注意 :在已知总体，时，可用本定理计算样本均值。定理二 (样本方差的分布)：设是来自总体的样本，分别是样本均值和样本方差，则有：（1）； （2）与独立定理三：设是来自总体的样本，分别是样本均值和样本方差，则有：注意 :在未知总体，时，可用本定理计算样本均值定理四：设与分别是具有相同方差的两正态总体，的样本，且这两个样本相互独立，设，分别是这两个样本的均值，分别是这两个样本的方差，则有：（1） (两总体样本方差比的分布)；（2）当时，其中， (两总体样本均值差的分布)第7章 参数估计一、点估计设总体X的分布函数形式已知，但它的一个或多个参数未知，用总体X是一个样本值来估计总体未知参数的值的问题称为参数的点估计。1、矩估计法记总体k阶矩为，样本k阶矩为，记总体k阶中心矩为，样本k阶中心矩为，用相应的样本矩去估计总体矩的估计方法就称为矩估计法。设总体的分布函数中含有k个未知参数，,那么它的前k阶矩一般都是这k个参数的函数,记为：，i=1,2,k，从这k个方程中解出，j=1,2,k，那么用诸的估计量 Ai分别代替上式中的诸Ai, 即可得诸的矩估计量：，j=1,2,k2、极大似然法设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,Xn; ) 。当给定样本X1,X2,Xn时，定义似然函数为：f (X1,X2,Xn; )看作参数的函数，它可作为将以多大可能产生样本值X1,X2,Xn的一种度量 .极大似然估计法就是用使达到最大值的去估计. 称为的极大似然估计（MLE）求极大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合概率函数(或联合密度)；(2)把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();(3)求似然函数L() 的最大值点(常常转化为求ln L()的最大值点) ，即的MLE;(4)在最大值点的表达式中, 用样本值代入就得参数的极大似然估计值两点说明：(1)求似然函数L() 的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL()与L()在的同一值处达到它的最大值，假定是一实数，且lnL()是的一个可微函数。通过求解所谓“似然方程”：可以得到的MLE .若是向量，上述方程必须用似然方程组代替 .(2)用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 .极大似然估计具有下述性质：设的函数g=g()是上的实值函数,且有唯一反函数 .如果是的MLE，则g()也是g()的极大似然估计.二、估计量的评选标准1、无偏性设是未知参数的估计量，若则称为的无偏估计。无偏估计的实际意义: 无系统误差。2、有效性设与都是的无偏估计量，若有，则较有效。定义：设是取自总体X的一个样本，是未知参数的一个估计量，若满足：（1）， 即为的无偏估计；（2），是的任一无偏估计，则称为的最小方差无偏估计（也称最佳无偏估计）3、相合性若为参数的估计量，当时，依概率收敛于，则称为的相合估计量。相合性是对估计量的一个基本要求, 不具备相合性的估计量是不予以考虑的。三、区间估计的概念1、置信区间定义：设总体X的分布函数含有一个未知参数，对于给定值，若样本确定的两个统计量和满足，则称随机区间是的置信度为的置信区间，和分别称为置信度为的双侧置信区间的