概率论及数理统计基础公式(大全).docx

word 文档整理分享概率论与数理统计基础公式大全第一章 随机事件和概率参考资料(1)排列组 合公式(2)加法和 乘法原理从 m 个人中挑出n 个人进行排列的可能数。从 m 个人中挑出n 个人进行组合的可能数。加法原理(两种方法均能完成此事)： m+n某件事由两种方法来完成，第一种方法可由 m 种方法完成，第二种方法可由 n 种 方法来完成，则这件事可由 m+n 种方法来完成。乘法原理(两个步骤分别不能完成这件事) ：mn某件事由两个步骤来完成，第一个步骤可由 m 种方法完成，第二个步骤可由n 种 方法来完成，则这件事可由 mn 种方法来完成。(3)一些常 见排列重复排列和非重复排列(有序)对立事件(至少有一个)顺序问题(4)随机试如果一个试验在相同条件下可以重复进行，而每次试验的可能结果不止一个，但 验 和 随 机 事在进行一次试验之前却不能断言它出现哪个结果，则称这种试验为随机试验。件(5)基本事 件、 样本空间 和事件(6)事件的 关系与运算试验的可能结果称为随机事件。在一个试验下，不管事件有多少个，总可以从其中找出这样一组事件，它具有如 下性质：每进行一次试验，必须发生且只能发生这一组中的一个事件；任何事件，都是由这一组中的部分事件组成的。这样一组事件中的每一个事件称为基本事件，用 来表示。基本事件的全体，称为试验的样本空间，用 表示。一个事件就是由 中的部分点(基本事件 )组成的集合。通常用大写字母 A， B， C， 表示事件，它们是 的子集。为必然事件， 为不可能事件。不可能事件( )的概率为零，而概率为零的事件不一定是不可能事件；同理， 必然事件()的概率为1，而概率为1的事件也不一定是必然事件。关系：如果事件 A 的组成部分也是事件 B 的组成部分， (A 发生必有事件 B 发生)：如果同时有 ， ，则称事件 A 与事件 B 等价，或称 A 等于 B： A=B。word 文档整理分享A、B 中至少有一个发生的事件： A B，或者 A+B。属于 A 而不属于 B 的部分所构成的事件，称为 A 与 B 的差，记为 A-B，也可表示 为 A-AB 或者 ，它表示 A 发生而 B 不发生的事件。A、B 同时发生： A B，或者 AB。A B= ，则表示 A 与 B 不可能同时发生，称事件 A 与事件 B 互不相容或者互斥。基本事件是互不相容的。-A 称为事件 A 的逆事件，或称 A 的对立事件，记为 。它表示 A 不发生的事件。 互斥未必对立。运算：结合率：A(BC)=(AB)C A(BC)=(AB)C分配率：(AB)C=(AC)(BC) (AB)C=(AC)(BC)德摩根率： ，设 为样本空间， 为事件，对每一个事件 都有一个实数 P(A)，若满足下列三个条件：1 0P(A)1，(7)概率的 2 P() =1公理化定义3 对于两两互不相容的事件 ， ，有常称为可列(完全)可加性。则称 P(A)为事件 的概率。1 ，(8)古典概 2 。型 设任一事件 ，它是由 组成的，则有P(A)= =若随机试验的结果为无限不可数并且每个结果出现的可能性均匀，同时样本空间(9)几何概 中的每一个基本事件可以使用一个有界区域来描述， 则称此随机试验为几何概型。型 对任一事件 A，。其中 L 为几何度量(长度、面积、体积)。(10) 加法公P(A+B)=P(A)+P(B)-P(AB)式 当 P(AB) 0时， P(A+B)=P(A)+P(B)(11) 减法公P(A-B)=P(A)-P(AB)式 当 B A 时， P(A-B)=P(A)-P(B)参考资料word 文档整理分享参考资料(12) 率(13) 式(14)(15) 式(16) 公式当 A= 时， P( )=1- P(B)定义 设 A、 B 是两个事件，且 P(A)0，则称 为事件 A 发生条件下，事件 B 发生的条件概率，记为 。条件概条件概率是概率的一种，所有概率的性质都适合于条件概率。例如 P(/B)=1 P( /A)=1-P(B/A)乘法公式：乘法公更一般地，对事件 A1， A2，An，若 P(A1A2An-1)0，则有 。两个事件的独立性设事件 、 满足 ，则称事件 、 是相互独立的。若事件 、 相互独立，且 ，则有若事件 、 相互独立，则可得到 与 、 与 、 与 也都相互独立。必然事件 和不可能事件 与任何事件都相互独立。 与任何事件都互斥。独立性多个事件的独立性设 ABC 是三个事件，如果满足两两独立的条件，P(AB)=P(A)P(B)； P(BC)=P(B)P(C)； P(CA)=P(C)P(A)并且同时满足 P(ABC)=P(A)P(B)P(C)那么 A、 B、 C 相互独立。对于 n 个事件类似。设事件 满足1 两两互不相容， ，全概公2 ，则有。设事件 ， ， 及 满足贝叶斯1 ， ， 两两互不相容， 0， 1， 2， ，2 ， ，则word 文档整理分享， i=1， 2 ，n。此公式即为贝叶斯公式。， ( ， ， ) ，通常叫先验概率。 ， ( ， ， )，通常称为后验概率。贝 叶斯公式反映了“因果”的概率规律，并作出了“由果朔因”的推断。我们作了 次试验，且满足u 每次试验只有两种可能结果， 发生或 不发生；u 次试验是重复进行的，即 发生的概率每次均一样；(17) 伯努利概型u 每次试验是独立的，即每次试验 发生与否与其他次试验 发生与否是互不影响 的。这种试验称为伯努利概型，或称为 重伯努利试验。用 表示每次试验 发生的概率，则 发生的概率为 ，用 表示 重伯努利试验中 出现 次的概率， 。第二章 随机变量及其分布(1) 离散型设离散型随机变量 的可能取值为 Xk(k=1,2,)且取各个值的概率，即事件(X=Xk) 随机变量的 的概率为分布律 P(X=xk)=pk，k=1,2,，则称上式为离散型随机变量 的概率分布或分布律。有时也用分布列的形式给出：。显然分布律应满足下列条件：(1) ， ， (2) 。(2) 连续型设 是随机变量 的分布函数，若存在非负函数 ，对任意实数 ，有随机变量的分布密度 ，则称 为连续型随机变量。 称为 的概率密度函数或密度函数，简称概率密度。 密度函数具有下面4个性质：1 。2 。(3) 离散与积分元 在连续型随机变量理论中所起的作用与 在离散型随机变量理论中所起的 连续型随机 作用相类似。变量的关系参考资料word 文档整理分享(4) 分布函设 为随机变量， 是任意实数，则函数数称为随机变量 X 的分布函数，本质上是一个累积函数。可以得到 X 落入区间 的概率。分布函数 表示随机变量落入区间( ， x 内的 概率。分布函数具有如下性质：1 ；2 是单调不减的函数，即 时，有 ；3 ， ；4 ，即 是右连续的；5 。对于离散型随机变量， ；对于连续型随机变量， 。参考资料(5) 布八大分0-1分布二项分布泊松分布超几何分布几何分布均匀分布P(X=1)=p, P(X=0)=q在 重贝努里试验中，设事件 发生的概率为 。事件 发生的次数是 随机变量，设为 ，则 可能取值为 。， 其中 ，则称随机变量 服从参数为 ， 的二项分布。记为 。当 时， ， ，这就是(0-1)分布，所以(0-1)分布是二项分布的特例。设随机变量 的分布律为， ， ，则称随机变量 服从参数为 的泊松分布，记为 或者 P( )。泊松分布为二项分布的极限分布(np=，n)。随机变量 X 服从参数为 n,N,M 的超几何分布，记为 H(n,N,M)。，其中 p0， q=1-p。随机变量 X 服从参数为p 的几何分布，记为 G(p)。设随机变量 的值只落在a，b内， 其密度函数 在a，b上为常数 ， 即axbword 文档整理分享其他，则称随机变量 在a， b上服从均匀分布，记为XU(a， b)。分布函数为axb0， xb。当 ax1x2b 时， X 落在区间( )内的概率为。,指数分布0, ,其中 ，则称随机变量 X 服从参数为 的指数分布。X 的分布函数为,x0。记住积分公式：正态分布 设随机变量 的密度函数为， ，其中 、 为常数，则称随机变量 服从参数为 、 的正态分布或高斯(Gauss)分布，记为 。具有如下性质：1 的图形是关于 对称的；2 当 时， 为最大值；若 ，则 的分布函数为参考资料word 文档整理分享。 。参数 、 时的正态分布称为标准正态分布，记为 ，其密度函数记为， ，分布函数为。是不可求积函数，其函数值，已编制成表可供查用。 (-x)1- (x)且 (0) 。如果 ，则 。(6) 分位数下分位表： ；上分位表： 。(7) 函数分离散型 已知 的分布列为布，的分布列( 互不相等)如下：，若有某些 相等，则应将对应的 相加作为 的概率。连续型 先利用 X 的概率密度 fX(x)写出 Y 的分布函数 FY(y)P(g(X)y)，再利用变上下限积分的求导公式求出 fY(y)。第三章 二维随机变量及其分布如果二维随机向量 (X， Y)的所有可能取值为至多可列个有序对 (x,y)，则称 为离散型随机量。(1)联合分 离散型布设 = (X， Y)的所有可能取值为 ，且事件 = 的概率为pij,称为 = (X， Y)的分布律或称为 X 和 Y 的联合分布律。联合分布有时 也用下面的概率分布表来表示：Yy1p11p21y2yjXp12p22x1x2p1jp2jxipi1参考资料word 文档整理分享这里 pij 具有下面两个性质：(1) pij0(i,j=1,2,)；(2)连续型 对于二维随机向量 ， 如果存在非负函数 ， 使对任意一个其邻边分别平行于坐标轴的矩形区域 D，即 D=(X,Y) |axb,cyx1时，有 F (x2,y)F(x1,y);当 y2y1时，有 F(x,y2) F(x,y1);(3) F (x,y)分别对 x 和 y 是右连续的，即(4)(5)对于.离散型X 的边缘分布为；Y 的边缘分布为word 文档整理分享。连续型 X 的边缘分布密度为Y 的边缘分布密度为参考资料(6)条件分 离散型布连续型在已知 X=xi 的条件下， Y 取值的条件分布为在已知 Y=yj 的条件下， X 取值的条件分布为在已知 Y=y 的条件下， X 的条件分布密度为；在已知 X=x 的条件下， Y 的条件分布密度为(7)独立性 一般型 F(X,Y)=FX(x)FY(y)离散型 有零不独立连续型 f(x,y)=fX(x)fY(y)直接判断，充要条件：可分离变量正概率密度区间为矩形二维正态分布 0随机变量的函 若 X1,X2,Xm,Xm+1,Xn 相互独立， h,g 为连续函数，则：数h (X1，X2,Xm)和 g (Xm+1,Xn)相互独立。特例：若 X 与 Y 独立，则： h (X)和 g (Y)独立。例如：若 X 与 Y 独立，则： 3X+1和5Y-2独立。(8)二维均 设随机向量(X， Y)的分布密度函数为匀分布其中 SD 为区域 D 的面积，则称(X， Y)服从 D 上的均匀分布，记为(X， Y)U (D)。例如图3.1、图3.2和图3.3。y1D1O1 x图3.1yword 文档整理分享D211O 2 x图3.2yD3dcO a b x图3.3(9)二维正 设随机向量(X， Y)的分布密度函数为态分布其中 是5个参数，则称(X， Y)服从二维正态分布，记为(X， Y)N (由边缘密度的计算公式，可以推出二维正态分布的两个边缘分布仍为正态分布，即 XN (但是若 XN ( ， (X， Y)未必是二维正态分布。(10) 函数分Z=X+Y 根据定义计算：布对于连续型， fZ(z)两个独立的正态分布的和仍为正态分布( )。n 个相互独立的正态分布的线性组合，仍服从正态分布。，Z=max,min(X1 若 相互独立，其分布函数分别为 ，则 Z=max,min(X1,X2,Xn)的参考资料,X2,Xn)分布分布函数为：设 n 个随机变量 相互独立，且服从标准正态分布，可以证明它们 的平方和的分布密度为我们称随机变量 W 服从自由度为n 的 分布，记为 W ，其中， 矩word 文档整理分享所谓自由度是指独立正态随机变量的个数， 它是随机变量分布中的 一个重要参数。分布满足可加性：设则t 分布设 X， Y 是两个相互独立的随机变量，且可以证明函数的概率密度为F 分布我们称随机变量 T 服从自由度为n 的 t 分布，记为 Tt(n)。 设 ，且 X 与 Y 独立，可以证明 的概率密度函数为我们称随机变量 F 服从第一个自由度为 n1，第二个自由度为 n2的 F 分布，记为 Ff(n1, n2).第四章 随机变量的数字特征离散型(1) 一维随机期望变量的数字特 期望就是平均值 征连续型设 X 是离散型随机变量， 其分设 X 是连续型随机变量， 其概率布 律 为 P( )k=1,2,n， (要求绝对收敛)Y=g(X) pk ， 密度为 f(x)， (要求绝对收敛)Y=g(X)函数的期望方差D(X)=EX-E(X)2，标准差对于正整数 k，称随机变量对于正整数 k，称随机变量 X X 的 k 次幂的数学期望为 X 的的k 次幂的数学期望为X 的 k 阶k 阶原点矩，记为 vk,即k=E(Xk)= , k=1,2, .原点矩，记为 vk,即 k=E(Xk)=对于正整数 k，称随机变量k=1,2, .X 与 E (X)差的 k 次幂的数学对于正整数 k，称随机变量 X 期望为 X 的 k 阶中心矩，记与 E (X) 差的 k 次幂的数学期望 为 ，即为 X 的 k 阶中心矩，记为 ，即= ， k=1,2, .=word 文档整理分享k=1,2, .切比雪夫不等式 设随机变量 X 具有数学期望E (X)=，方差 D (X)=2，则对于任意正数 ，有下列切比雪夫不等式切比雪夫不等式给出了在未知 X 的分布的情况下，对概率的一种估计，它在理论上有重要意义。(2)期 (1) E(C)=C望的性(2) E(CX)=CE(X)质(3) E(X+Y)=E(X)+E(Y)，(4) E(XY)=E(X) E(Y)，充分条件： X 和 Y 独立；充要条件： X 和Y 不相关。(3)方 (1) D(C)=0； E(C)=C差的性(2) D(aX)=a2D(X)； E(aX)=aE(X)质(3) D(aX+b)= a2D(X)； E(aX+b)=aE(X)+b(4) D(X)=E(X2)-E2(X)(5) D(XY)=D(X)+D(Y)，充分条件： X 和 Y 独立；充要条件： X 和Y 不相关。D(XY)=D(X)+D(Y) 2E(X-E(X)(Y-E(Y)，无条件成立。而 E(X+Y)=E(X)+E(Y)，无条件成立。(4)常 期望 方差见分布的期望0-1分布 p和方差 二项分布 np泊松分布几何分布超几何分布均匀分布指数分布正态分布n 2nword 文档整理分享t 分布 0 (n2)(5)二期望维随机函数的期望 变量的数字特 方差征协方差 对于随机变量 X 与 Y，称它们的二阶混合中心矩 为 X 与 Y 的协方差或相关矩，记为 ，即与记号 相对应， X 与 Y 的方差 D (X)与 D (Y)也可分别记为 与 。相关系数 对于随机变量 X 与 Y，如果 D (X) 0, D(Y)0，则称为 X 与 Y 的相关系数，记作 (有时可简记为 ) 。| |1，当| |=1时，称 X 与 Y 完全相关：完全相关而当 时，称 X 与 Y 不相关。以下五个命题是等价的： ；cov(X,Y)=0;E(XY)=E(X)E(Y);D(X+Y)=D(X)+D(Y);D(X-Y)=D(X)+D(Y).协方差矩阵混合矩 对于随机变量 X 与 Y，如果有 存在，则称之为 X 与 Y 的 k+l阶混合原点矩，记为 ； k+l 阶混合中心矩记为：(6)协 (i) cov (X, Y)=cov (Y, X);方差的性质(ii) cov(aX,bY)=ab cov(X,Y);(iii) cov(X1+X2, Y)=cov(X1,Y)+cov(X2,Y);(iv) cov(X,Y)=E(XY)-E(X)E(Y).(7)独 (i) 若随机变量 X 与 Y 相互独立，则 ；反之不真。立和不相关(ii) 若(X， Y)N ( )，则 X 与 Y 相互独立的充要条件是 X 和 Y 不相关。第五章 大数定律和中心极限定理word 文档整理分享(1)大数定律 切比雪夫设随机变量 X1， X2，相互独立，均具有有限方差，且被同一常大数定律数 C 所界： D (Xi)C(i=1,2,),则对于任意的正数 ，有特殊情形：若 X1， X2，具有相同的数学期望 E (XI)=，则 上式成为伯努利大设 是 n 次独立试验中事件 A 发生的次数， p 是事件 A 在每次试 数定律 验中发生的概率，则对于任意的正数 ，有伯努利大数定律说明，当试验次数n 很大时，事件 A 发生的频率 与概率有较大判别的可能性很小，即这就以严格的数学形式描述了频率的稳定性。辛钦大数设 X1， X2， Xn，是相互独立同分布的随机变量序列，且E定律 (Xn)=，则对于任意的正数 有(2)中心极限定理列维林设随机变量 X1， X2，相互独立，服从同一分布，且具有相同的 德伯格定数学期望和方差： ，则随机变量理的分布函数 Fn(x)对任意的实数 x，有此定理也称为独立同分布的中心极限定理。棣莫弗设随机变量 为具有参数 n, p(0p1)的二项分布， 则对于任意实 拉普拉斯数 x,有定理(3)二项定理 若当 ，则超几何分布的极限分布为二项分布。(4)泊松定理 若当 ，则其中 k=0， 1， 2， n ，。二项分布的极限分布为泊松分布。第六章 样本及抽样分布在数理统计中，常把被考察对象的某一个(或多个)指标的全体 称为总体 (或母体)。我们总是把总体看成一个具有分布的随机变 量(或随机向量)。总体中的每一个单元称为样品(或个体)。我们把从总体中抽取的部分样品 称为样本。样本中所含的样品数 称为样本容量，一般用 n 表示。在一般情况下，总是把样本看成 是 n 个相互独立的且与总体有相同分布的随机变量，这样的样本 称为简单随机样本。在泛指任一次抽取的结果时， 表示 n 个随机 变量 (样本)；在具体的一次抽取之后， 表示 n 个具体的数值(样( 1 )数理统 总体 计 的 基 本 概念个体样本参考资料word 文档整理分享本值) 。我们称之为样本的两重性。设 为总体的一个样本，称样本函数和统计量( )为样本函数，其中 为一个连续函数。如果 中不包含任何未知参 数，则称 ( )为一个统计量。常见统计量及其性质样本均值样本方差样本标准差样本 k 阶原点矩样本 k 阶中心矩， ， ,其中 ，为二阶中心矩。(2)正态总 正态分布体 下 的 四 大设 为来自正态总体 的一个样本，则样本函数t 分布分布设 为来自正态总体 的一个样本，则样本函数其中 t(n-1)表示自由度为n-1的t 分布。设 为来自正态总体 的一个样本，则样本函数其中 表示自由度为 n-1的 分布。F 分布设 为来自正态总体 的一个样本，而 为来自正态总体 的一个样 本，则样本函数其中表示第一自由度为 ，第二自由度为 的 F 分布。(3)正态总 与 独立。体 下 分 布 的性质第七章 参数估计设总体 X 的分布中包含有未知数 ，则其分布函数可以表成 它的 k 阶原点 矩 中也包含了未知参数 ， 即 。 又设 为总体 X 的 n 个样本值， 其样本的 k 阶原点矩为这样， 我们按照“当参数等于其估计量时， 总体矩等于相应的样本矩”的原则建立方程，即有(1) 点估矩估计计参考资料word 文档整理分享由上面的 m 个方程中，解出的 m 个未知参数 即为参数( )的矩估计量。若 为 的矩估计， 为连续函数，则 为 的矩估计。极 大 似 然当总体 X 为连续型随机变量时， 设其分布密度为 ， 其中 为未知参数。 又估计 设 为总体的一个样本，称为样本的似然函数，简记为 Ln.当总体 X 为离型随机变量时，设其分布律为 ，则称为样本的似然函数。若似然函数 在 处取到最大值， 则称 分别为 的最大似然估计值， 相应的 统计量称为最大似然估计量。若 为 的极大似然估计， 为单调函数，则 为 的极大似然估计。参考资料(2) 估计无偏性 量的评选标准有效性一致性(3) 区间置 信 区设 为未知参数 的估计量。若 E ( ) = ，则称 为 的无偏估计量。E ( ) =E (X)， E (S2) =D (X)设 和 是未知参数 的两个无偏估计量。若 ，则称 有效。设 是 的一串估计量，如果对于任意的正数 ，都有则称 为 的一致估计量(或相合估计量)。若 为 的无偏估计，且 则 为 的一致估计。只要总体的 E(X)和 D(X)存在，一切样本矩和样本矩的连续函数都是相应 总体的一致估计量。间设总体 X 含有一个待估的未知参数 。如果我们从样本 出发， 找出两个统估计 和置信度 计量 与 ，使得区间 以 的概率包含这个待估参数 ，即那么称区间 为 的置信区间， 为该区间的置信度(或置信水平)。单 正 态 总设 为总体 的一个样本，在置信度为 下，我们来确定 的置信区间 。具 体 的 期望体步骤如下：和 方 差 的区间估计(i)选择样本函数；(ii)由置信度 ，查表找分位数；(iii)导出置信区间 。已知方差，估计均值未知方差，估计均值(i)选择样本函数(ii) 查表找分位数(iii)导出置信区间(i)选择样本函数word 文档整理分享方差的区间估计(ii)查表找分位数 (iii)导出置信区间 (i)选择样本函数 (ii)查表找分位数 (iii)导出 的置信区间第八章 假设检验基本思想假设检验的统计思想是，概率很小的事件在一次试验中可以认为基本上是不会发 生的，即小概率原理。为了检验一个假设 H0是否成立。 我们先假定 H0是成立的。 如果根据这个假定导致 了一个不合理的事件发生，那就表明原来的假定 H0是不正确的，我们拒绝接受 H0； 如果由此没有导出不合理的现象，则不能拒绝接受 H0，我们称 H0是相容的。与 H0相对的假设称为备择假设，用H1表示。这里所说的小概率事件就是事件 ，其概率就是检验水平 ，通常我们取 =0.05， 有时也取0.01或0.10。基本步骤假设检验的基本步骤如下：(i) 提出零假设 H0；(ii) 选择统计量 K；(iii) 对于检验水平 查表找分位数 ；(iv) 由样本值 计算统计量之值 K；将 进行比较，作出判断：当 时否定 H0，否则认为 H0相容。两类错误当 H0为真时，而样本值却落入了否定域，按照我们规定的检 验法则，应当否定H0。这时，我们把客观上H0成立判为H0为 不成立(即否定了真实的假设)，称这种错误为“以真当假”的错误或第一类错误，记 为犯此类错误的概率，即P否定 H0|H0为真= ；第一类错误此处的 恰好为检验水平。当 H1为真时，而样本值却落入了相容域，按照我们规定的检 验法则，应当接受 H0。这时，我们把客观上 H0。不成立判为 H0成立(即接受了不真实的假设)，称这种错误为“以假当真”的错误或第二类错误，记 为犯此类错误的概率，即 P接受 H0|H1为真= 。人们当然希望犯两类错误的概率同时都很小。 但是， 当容量 n一定时， 变小，则 变大；相反地， 变小，则 变大。取定第二类错误两类错误的关系参考资料word 文档整理分享要想使 变小，则必须增加样本容量。在实际使用时， 通常人们只能控制犯第一类错误的概率， 即给 定显著性水平 。 大小的选取应根据实际情况而定。当我 们宁可“以假为真”、而不愿“以真当假”时，则应把 取 得很小，如0.01，甚至0.001。反之，则应把 取得大些。单正态总体均值和方差的假设检验对应样本条件 零假设 统计量 否定域函数分布已知 N (0， 1)未知未知参考资料