概率统计与随机过程-知识点总结--最终版.doc

《概率统计与随机过程》知识总结
第1章 随机事件及其概率
一、随机事件与样本空间
1、随机试验
我们将具有以下三个特征的试验称为随机试验，简称试验，
（1）重复性：试验可以在相同的条件下重复进行；
（2）多样性：试验的可能结果不止一个，并且一切可能的结果都已知；
（3）随机性：在每次试验前，不能确定哪一个结果会出现。
随机试验一般用大写字母E表示，随机试验中出现的各种可能结果称为试验的基本结果。
2、样本空间
随机试验E的所有可能结果组成的集合称为试验的样本空间，记为S，样本空间中的元素，即E的每个基本结果，称为样本点。
3、随机事件
称随机试验E的样本空间S的子集为E的随机事件，简称事件。
随机事件通常利用大写字母A、B、C等来表示。
在一次试验中，当且仅当这一子集（事件）中的某个样本点出现时，称这一事件发生。
特别地，将只含有一个样本点的事件称为基本事件；
样本空间S包含所有的样本点，它在每次试验中都发生，称S为必然事件；
事件（）不包含任何样本点，它在每次试验中都不发生，称为不可能事件。
4、随机事件间的关系及运算
（1）包含关系：若，则称事件A包含事件B，也称事件B含在事件A中，它表示：若事件B发生必导致事件A发生。
（2）相等关系：若且，则称事件A与事件B相等，记为。
（3）事件的和：称事件或为事件A与事件B的和事件。
事件发生意味着事件A发生或事件B发生，即事件A与事件B至少有一件发生。
类似地，称为n个事件的和事件，称为可列个事件的和事件。
（4）事件的积：称事件且为事件A与事件B的积事件。
事件发生意味着事件A发生且事件B发生，即事件A与事件B都发生。
简记为AB。
类似地，称为n个事件的积事件，称为可列个事件的积事件。
（5）事件的差：称事件且为事件A与事件B的差事件。
事件发生意味着事件A发生且事件B不发生。（）
（6）互不相容（互斥关系）：若，则称事件A与事件B互不相容，又称事件A与事件B互斥。事件A与B互不相容意味着事件A与B不可能同时发生。
（7）互逆关系（对立关系）：若且，则称事件A与事件B互为逆事件，又称事件A与事件B互为对立事件，记为或。
注意：事件A的对立事件记为；基本事件是两两互不相容的；
对立事件与互斥事件的关系：对立一定互斥，但互斥不一定对立。
事件的运算满足的规律：
交换律： ；
结合律： ；
分配律： ；
对偶律： (德·摩根律)

二、随机事件的概率
1、频率
在相同的条件下，将一个试验重复进行n次，在这n次试验中，记事件A发生的次数为次，称比值为事件A在这n次试验中发生的频率，记为。
频率描述了事件发生的频繁程度。
频率所具有的三个性质：
性质1：非负性 ；
性质2：规范性 ；
性质3：可加性 如果事件两两互不相容，则
。
2、概率的公理化定义
设E是随机试验, S是它的样本空间, 对于E的每一事件A赋予一个实数, 记为P(A), 称为事件A的概率，且满足以下三条公理：
非负性：对于任意事件A, 有P(A)³0;
规范性：对于必然事件S, 有P(S)=1;
可列可加性：设A1,A2,...是两两互不相容事件, 即对于i¹j, AiAj=f, i,j=1,2,..., 则有
P(A1ÈA2È...)=P(A1)+P(A2)+...
3、概率的性质
性质1 对不可能事件，有P()=0.
性质2(有限可加性) 若A1,A2,...,An是两两互不相容的n个事件, 则有
P(A1ÈA2È...ÈAn)=P(A1)+P(A2)+...+P(An)
性质3(逆事件的概率) 对任意事件A, 有
性质4 设A,B是两个事件, 若BÌA, 则有P(A-B)=P(A)-P(B) P(A)³P(B)
性质5 对于任意事件A, P(A)£1
性质6(加法公式) 对任意两个事件A,B有P(AÈB)=P(A)+P(B)-P(AB)
性质6的推论：
性质6的推广：

三、古典概率模型
1、古典概率模型
若随机试验满足下述两个条件：
(1) 它的样本空间只含有有限个样本点，即基本事件数有限；
(2) 每个样本点出现的可能性相同.
称这种试验为古典概率模型，简称古典概型，又称为等可能概率模型。
若事件A包含k个基本事件，即，则有

四、条件概率、全概率公式与贝叶斯公式
1、条件概率
设A、B是两个事件，且P(B)>0,则称(1)为在事件B发生的条件下,事件A的条件概率.
2、条件概率的性质
条件概率具备概率定义的三个条件：
（1）非负性：对于任意的事件B，；
（2）规范性：；
（3）可列可加性：设…是两两互斥事件，则有：。
3、乘法公式
由条件概率的定义： 即得乘法定理：
若P(B)>0，则P(AB)=P(B)P(A|B)； 若P(A)>0 ，则P(AB)=P(A)P(B|A).
乘法定理可以推广到多个事件的积事件的情况，
设A、B、C为三个事件，且，且，
一般地，设有n个事件并且，则由条件概率的定义可得：
4、样本空间的划分
定义：设S为试验E的样本空间, B1,B2,...,Bn为E的一组事件, 若
（1）；
（2）
则称为样本空间的一个划分。
5、全概率公式
定理：设试验E的样本空间为S，A为E的事件，B1,B2,...,Bn为S的一个划分，且则恒有全概率公式：

6、贝叶斯公式
定理：设试验E的样本空间为S，A为E的事件，B1,B2,...,Bn为S的一个划分，且
则（贝叶斯公式）
n=2时，两个公式的简化：
全概率公式：
贝叶斯公式：
7、条件概率与积事件概率的区别
表示在样本空间S中，AB发生的概率，而表示在缩小的样本空间中，B发生的概率，用古典概率公式，则
， ，
一般来说，比大。

五、事件的独立性
1、事件的相互独立性
定义：设A，B是两事件，如果满足等式，则称事件A，B相互独立，简称A，B独立。
说明：
(1) 事件 A 与 事件 B 相互独立,是指事件 A 的发生与事件 B 发生的概率无关.
(2) 两事件相互独立与两事件互斥的关系：
两事件相互独立与两事件互斥二者之间没有必然联系
（3）事件 A 、B独立的充要条件为：
或
三事件两两相互独立的概念
定义：设是三个事件，如果满足等式则称事件两两相互独立。
三事件相互独立的概念
定义：设是三个事件，如果满足等式则称事件相互独立。
注意：三个事件相互独立 三个事件两两相互独立
推广：
设是n个事件，如果对于任意，任意，具有等式，则称为相互独立的事件。
结论：
若事件相互独立，则其中任意个事件也是相互独立的。
2、几个重要定理
定理一：设是两事件，且，若相互独立，则反之亦然。
定理二：若相互独立，则下列各对事件，与，与，与也相互独立。
推广：n个事件相互独立，则将中任意多个事件换成它们的对立事件，所得的n个事件仍相互独立。
3、事件的独立性在可靠性问题中的应用
所谓系统（元件）的可靠性是指系统（元件）正常工作的概率。
补充：排列与组合知识
1、加法原理
设完成一件事有m种方式，第i 种方式有ni 种方法，则完成这件事共有: n1＋n2＋……＋nm 种不同的方法。
2、乘法原理
设完成一件事有m个步骤，第i 种步骤有ni 种方法，则完成这件事共有: n1×n2 ×……×nm 种不同的方法。
3、排列公式
（1）从n个不同元素中不放回（不重复）地选取m个元素进行排列，称为选排列，则所有不同排列的总数为：
（2）当n=m 时，称为全排列，其计算公式为：
（3）有重复排列: 从n个不同元素中有放回（可重复）地取m个元素进行排列，称为可重排列，其总数为 nm 。
4、组合公式
（1）从n个不同元素中不重复地选取m个元素，组成一组(不管其顺序)，称为从n个不同元素中选取m个元素的组合。
则所有不同组合的总数为：
选排列与选组合的关系：
说明：选组合也等价于：如果把n个不同的元素分成两组，一组m个，另一组n-m个，组内元素不考虑顺序，那么不同分法的总数为：
（2）多组组合：把n个不同元素分成k 组(1≤ k ≤ n) ，使第 i 组有ni 个元素，，若组内元素不考虑顺序，那么不同分法的总数为：
（3）常用组合公式：，，，

第2章 随机变量及其分布
一、随机变量
1、随机变量的概念
定义：设E是随机试验，它的的样本空间为S={e}. 如果对于每一个有一个实数X(e)与之对应，这样X=X(e)是定义在样本空间S上的实值单值函数. 称X=X(e)为随机变量.
说明：(1)随机变量与普通的函数不同；
(2)随机变量的取值具有一定的概率规律； (3)随机变量与随机事件的关系
2、随机变量的分类
(1)离散型：随机变量所取的可能值是有限多个或无限可列个, 叫做离散型随机变量.
(2)连续型：随机变量所取的可能值可以连续地充满某个区间,叫做连续型随机变量.

二、离散型随机变量的概率分布
1、离散型随机变量的分布律
定义：设离散型随机变量X所有可能取的值为xk(k=1,2,...), X取各个可能值的概率，即事件{X=xk}的概率，为P{X=xk}=pk, k=1,2,...，称此为离散型随机变量X的分布律。
说明：（1）； （2）
离散型随机变量的分布律也可表示为：
X
x1
x2
...
xn
...
pk
p1
p2
...
pn
...
2、常见离散型随机变量的概率分布
（1）两点分布
设随机变量 X 只可能取0与1两个值 , 它的分布律为：
X
0
1
pk
1-p
p
则称 X 服从 (0—1) 分布或两点分布.
（2）等可能分布
如果随机变量 X 的分布律为：

...

...

其中（），（），则称X服从等可能分布.
（3）二项分布
n 重伯努利试验：设实验E只有两个可能结果：及，则称E为伯努利试验。
设，此时，将E重复地进行n次，则称这一串重复的独立试验为n 重伯努利试验。
用X表示n重伯努利试验中事件A发生的次数，则
=，k=0,1, ...，n
得X的分布律为：

0
1
...
k
...
n

...

...

称X 服从参数为n和p的二项分布，记为X~b(n,p)
显然：
注意：当n=1时，二项分布就是(0-1)分布
Possion定理
设，则对固定的 k，，
Poisson定理说明若X ~ B( n, p), 则当n 较大， p 较小, 而适中, 则可以用
近似公式：
（4）泊松分布
设随机变量X所有可能取的值为0 , 1 , 2 , … , 且概率分布为：

其中>0 是常数,则称 X 服从参数为的 泊松分布,记作X~π().
（5）几何分布
若随机变量 X 的分布律为：

1
2
...
k
...

...

...
其中，，则称 X 服从几何分布。
说明：几何分布可作为描述某个试验 “首次成功”的概率模型.

三、随机变量的分布函数
1、分布函数的概念
定义：设 X 是一个随机变量，x是任意实数，函数为 X 的分布函数。
性质：
（1）；
（2）；
（3），；
（4），即任一分布函数处处右连续，

重要公式
（1）； （2）

四、连续型随机变量及其分布
1、概率密度的概念与性质
定义：如果对于随机变量 X的分布函数F（x），存在非负函数，使得对于任意实数x有
则称X为连续型随机变量，其中f (x)称为X 的概率密度函数，简称为概率密度。
性质：
（1）； （2）；
这两条性质是判定一个函数 f(x)是否为某一随机变量的概率密度的充要条件
（3）
；
（4）若 f (x) 在点 x 处连续 , 则有；
（5）对于任意可能值 a ,连续型随机变量取 a 的概率等于零.即：
由此（5）可得：
连续型随机变量取值落在某一区间的概率与区间的开闭无关
2、常见连续型随机变量的分布
（1）均匀分布
设连续型随机变量X具有概率密度：
则称X在区间( a, b)上服从均匀分布，记作X ～ U(a, b)
均匀分布的意义
在区间(a, b)上服从均匀分布的随机变量X，落在区间(a, b)中任意等长度的子区间内的可能性是相同的。
概率密度函数图形

分布函数

(2)指数分布
设连续型随机变量X具有概率密度: 其中为常数，
则称 X 服从参数为的指数分布。
概率密度函数图形

注：
分布函数

如X 服从指数分布, 则任给s,t 有 P{X>s+t | X > s}=P{X > t}（无记忆性）
（3）正态分布(或高斯分布)
设连续型随机变量X具有概率密度:
其中为常数，则称X服从参数为的正态分布或高斯分布，
记作。
正态概率密度函数的几何特征

（1）曲线关于对称； （2）当时，取得最大值；
（3）当时，； （4）曲线在处有拐点；
（5）曲线以轴为渐近线；
（6）当固定，改变的大小时，图形的形状不变，只是沿着轴作平移变换；
（7）当固定，改变的大小时，图形的对称轴不变，而形状在改变，越小，图形越高越瘦，越大，图形越矮越胖。
正态分布的分布函数

标准正态分布
当正态分布中的时，这样的正态分布称为标准正态分布，记为
标准正态分布的概率密度表示为：
标准正态分布的分布函数表示为：
标准正态分布的图形

常用结论：（1） ； （2）
引理：若，则
3准则
由标准正态分布的查表计算可以求得，当X～N(0,1)时，
P(|X|1)=2(1)-1=0.6826；P(|X|2)=2(2)-1=0.9544；P(|X|3)=2(3)-1=0.9974；
这说明，X的取值几乎全部集中在[-3,3]区间内，超出这个范围的可能性仅占不到0.3%.
将上述结论推广到一般的正态分布,当时，
0.6826；0.9544；0.9974

可见服从正态分布的随机变量X之值基本上落在区间内，而几乎不落在之外，在实际应用中称为3准则。

五、一维随机变量函数的分布
1、离散型随机变量函数的分布
如果X是离散型随机变量，其函数Y=g（X）也是离散型随机变量，若X的分布律为：

...

...

...

...
则Y=g（X）的分布律为：

...

...

...

...
若中有值相同的，应将相应的合并。
2、连续型随机变量函数的分布
如果X是连续型随机变量，其概率密度为，欲求Y=g（X）的概率密度，
一般，我们采用先求分布函数，再求概率密度的方法，步骤如下：
（1）求出Y=g（X）的分布函数；
（2）由关系式求出。
定理：设随机变量X具有概率密度，其中，又设函数处处可导，且恒有（或恒有），则称是连续型随机变量，其概率密度为：，其中，
，是的反函数。

第3章 多维随机变量及其分布
一、二维随机变量及其分布函数
1、二维随机变量
定义：设E是一个随机试验，它的样本空间是，设和是定义在S上的随机变量，由它们构成的一个向量，叫做二维随机向量或二维随机变量。
2、二维随机变量的分布函数
定义：设是二维随机变量，对于任意实数，二元函数
称为二维随机变量的分布函数，或称为随机变量X和Y的联合分布函数。
的函数值就是随机点落在如图所示区域内的概率。
性质：
（1），
，，，；
（2）对每个变量单调不减，
固定 x , 对任意的 y1< y2 , F (x, y1) £ F (x, y2)；
固定 y , 对任意的 x1< x2 , F (x1,y) £ F (x2, y)；
（3）对每个变量右连续
F (x0 , y0) = F (x0+ 0 , y0 )，F (x0 , y0) = F (x0 , y0 + 0 )；
（4）对于任意 a < b , c < d ，F (b,d) – F (b,c) – F (a,d) + F (a,c) ³ 0
3、二维离散型随机变量
定义：若二维随机变量 ( X, Y ) 所取的可能值是有限对或无限可列多对,则称 ( X, Y ) 为二维离散型随机变量.
4、二维离散型随机变量的分布律
设二维离散型随机变量所有可能取的值为，
记，，称此为二维离散型随机变量的分布律，或随机变量X和Y的联合分布律。其中，，。
二维随机变量 ( X,Y ) 的分布律也可表示为：
X
Y

5、二维连续型随机变量
定义：对于二维随机变量的分布函数，如果存在非负的函数使对于任意x，y有，则称是连续型的二维随机变量，函数称为二维随机变量的概率密度，或称为随机变量X和Y的联合概率密度。
性质：
（1）；
（2）；
（3）设是平面上的一个区域，点落在内的概率为
；
（4）若在连续，则有。
6、两个常用的分布
（1）均匀分布
定义：设 D 是平面上的有界区域,其面积为S,若二维随机变量( X , Y )具有概率密度则称 ( X , Y ) 在 D 上服从均匀分布.
（2）二维正态分布
定义：若二维随机变量( X,Y )具有概率密度

其中均为常数，且则称( X,Y )服从参数为，，，，的二维正态分布，记为。
推广：n 维随机变量的概念
定义：设E是一个随机试验，它的样本空间是，设，
，…，，是定义在S上的随机变量，由它们构成的一个 n 维向量叫做n 维随机向量或n 维随机变量。对于任意n个实数，n元函数称为随机变量的联合分布函数。

二、边缘分布
1、边缘分布函数
定义：设是随机变量的分布函数，则，令
，称为随机变量关于X的边缘分布函数，记为。
同理令，为随机变量关于Y的边缘分布函数。
2、二维离散型随机变量的边缘分布律
定义：设二维离散型随机变量( X,Y )的联合分布律为，
，记，，，
，分别称和为( X,Y )关于X和关于Y的边缘分布律。
X
Y

；
得离散型随机变量关于X 和Y 的边缘分布函数分别为：
；
3、二维连续型随机变量的边缘概率密度
定义：对于连续型随机变量( X,Y )，设它的概率密度为，由于
，记，称其为随机变量( X,Y ) 关于X的边缘概率密度。
同理可得 Y 的边缘分布函数，
为随机变量( X,Y ) 关于Y的边缘概率密度。

三、随机变量的独立性
定义：设及，分别是二维随机变量( X,Y )的分布函数及边缘分布函数，若对所有x，y有，
即，则称随机变量X和Y 是相互独立的。
说明：
（1）若离散型随机变量( X,Y )的联合分布律为, ,
X和Y 相互独立,即；
（2）设连续型随机变量( X,Y )的联合概率密度为，边缘概率密度分别为
，，则有
X和Y 相互独立；
（3）X和Y 相互独立，f（x）与g（y）连续，则f（X）和g（Y ）也相互独立。

四、二维随机变量函数的分布
1、二维离散型随机变量函数的分布
结论：若二维离散型随机变量的联合分布律为，，
则随机变量函数的分布律为，
。
具有可加性的两个离散分布
（1）设 X ~B (n1, p), Y ~B (n2, p), 且独立，则 X + Y ~ B ( n1+n2, p)
（2）设 X ~ ∏ (l1), Y ~ ∏ (l2), 且独立，则 X + Y ~ ∏ (l1+ l2)
2、连续型随机变量函数的分布
（1）Z=X+Y 的分布
设的概率密度为，则的分布函数为
，两边求导可得概率密度函数为：，由于 X 与 Y 对称, ， 当 X, Y独立时, 也可表示为，
或，称之为函数 f X ( z)与 f Y ( z)的卷积。
（2）及的分布
设X,Y是两个相互独立的随机变量，它们的分布函数分别为和，则有：，

故有：，
推广：设是n个相互独立的随机变量，它们的分布函数分别为
，则及的分布函数分别为，

若相互独立且具有相同的分布函数，则，

第4章 随机变量的数字特征
一、随机变量的数学期望
1、离散型随机变量的数学期望
定义：设离散型随机变量X的分布律为P{X=xk}=pk , k=1,2,…，若级数绝对收敛，则称级数为随机变量X的数学期望，记为，即。
2、连续型随机变量的数学期望
定义：设连续型随机变量X的概率密度为，若积分绝对收敛，则称积分的值为随机变量X的数学期望，记为，即。
数学期望的性质
（1）设C是常数, 则有；
（2）设X 是一个随机变量,C是常数, 则有；
（3）设X, Y是两个随机变量, 则有；
（4）设X, Y是相互独立的随机变量, 则有
3、随机变量函数的数学期望
（1）离散型随机变量函数的数学期望
若Y=g(X), 且，，则有
（2）连续型随机变量函数的数学期望
若X是连续型的,它的分布密度为f (x) , 则
（3）二维随机变量函数的数学期望
设X, Y为离散型随机变量，为二元函数，则，其中，的联合概率分布为；
设X, Y为连续型随机变量，为二元函数，则
，其中，的联合概率分布为。

二、随机变量的方差
1、随机变量方差的概念
定义:设X 是一个随机变量，若存在，则称为X 的方差，记为或，即，称为标准差或均方差，记为。
2、随机变量方差的计算
（1）利用定义计算
离散型随机变量的方差
，其中，是X 的分布律。
连续型随机变量的方差
，其中，是X 的概率密度。
（2）利用公式计算

3、随机变量方差的性质
（1）设C是常数, 则有；
（2）设X是一个随机变量, C 是常数, 则有；
（3）；
特别地，设X, Y相互独立, D(X), D(Y)存在, 则；
推广：若相互独立，则有

（4）的充要条件是以概率1取常数C，即
4、重要概率分布的数学期望及方差
（1）两点分布
已知随机变量 X 的分布律为：
X
0
1
pk
1-p
p
则有：，

（2）二项分布
设随机变量 X 服从参数为n, p二项分布,其分布律为：
，
，
（3）泊松分布
设，且分布律为，，，则有：

参照二项分布的计算法可推得：
（4）均匀分布
设，其概率密度为，则有：

结论：均匀分布的数学期望位于区间的中点

（5）指数分布
设随机变量X 服从指数分布，其概率密度为其中
则有：

（6）正态分布
设，其概率密度为，，，
则有：

令得

总结：
分　　布

参 数

数学期望

方 差

两点分布

二项分布

，

泊松分布

均匀分布

指数分布

正态分布

关于正态分布的一个重要结论:
若,且它们相互独立，则也服从正态分布，
因此，只要求出期望和方差就可知道它的分布.

三、协方差与相关系数
1、协方差
定义：设（X，Y）是一个二维随机变量，若E{[ X-E(X)][Y-E(Y) ]}存在，则称它为随机变量X和Y的协方差，记为Cov(X,Y) ，即Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]}。
性质：
（1）Cov(X,a)=0，Cov(X,X)=D（X）；
（2）Cov(X,Y)= Cov(Y,X)；
（3）Cov(aX,bY) = ab Cov(X,Y) a,b是常数；
（4）Cov(X1+X2,Y)= Cov (X1,Y) + Cov(X2,Y)；
（5）D(X+Y)= D(X)+D(Y)+ 2 Cov (X,Y)；
（6）Cov (X,Y)=E(XY) -E(X)E(Y)
2、相关系数
定义：设（X，Y）是二维随机变量，若D(X)>0, D(Y)>0，称为随机变量 X 和 Y 的相关系数，记为，即当=0时，称随机变量 X 和 Y不相关。
性质：
（1）；
（2）是充分必要条件X与Y依概率1线性相关，即存在常数a，b使

定理：若随机变量X与Y相互独立，则X与Y不相关。

四、矩与协方差矩阵
1、矩
定义：设X和Y是随机变量，若存在，称它为X的k阶原点矩，简称 k阶矩 。若存在，称它为X的k阶中心矩。
定义：设（X，Y）是二维随机变量，若，k,l=1,2,…存在，称它为 X 和 Y 的 k+l 阶混合矩.。若存在，称它为X 和 Y 的 k+l 阶混合中心矩.
由定义知，均值 E(X)是X一阶原点矩，方差D(X)是X的二阶中心矩，协方差Cov(X,Y)是X和Y的二阶混合中心矩。
2、协方差矩阵
定义：将二维随机变量（X1,X2）的四个二阶中心矩
，
，
，

排成矩阵的形式:
称此矩阵为（X1,X2）的协方差矩阵.
类似定义n 维随机变量(X1,X2, …,Xn) 的协方差矩阵，
若( i, j=1,2,…,n )都存在，
称矩阵为n 维随机变量(X1,X2, …,Xn) 的协方差矩阵。

第5章 大数定律与中心极限定理
一、大数定律
1、切比雪夫不等式
定理：设随机变量X具有数学期望，方差，则对于任意正数，不等式成立。
2、三个大数定律
定义1：设是随机变量序列，若存在一个常数，使得对任意的，有成立，则称随机变量序列依概率收敛于，记为。
定义2：设是一随机变量序列，其数学期望为，且为常数序列，令，若，则称服从大数定律。
基本定理
定理一（切比雪夫定理的特殊情况）
设随机变量相互独立，且具有相同的数学期望和方差：，
，作前个随机变量的算术平均，则对于任意正数有
表达式的意义：是一个随机事件，等式表明，当时这个事件的概率趋于1，即对于任意正数，当充分大时，不等式成立的概率很大。
定理一的另一种叙述:
设随机变量相互独立，且具有相同的数学期望和方差：，
，则序列依概率收敛于，即。
“依概率收敛于”的理解：设是一个随机变量序列，是一个常数，若对于任意正数有，则称序列依概率收敛于，记为
。
定理二（伯努利大数定理）
设是次独立重复试验中事件发生的次数，是事件在每次试验中发生的概率，则对于任意正数，有。
定理三（辛钦定理）
设随机变量相互独立，服从同一分布，且具有数学期望，
，则对于任意正数，有。

二、中心极限定理
1、基本定理
定理四（独立同分布的中心极限定理）
设随机变量相互独立，服从同一分布，且具有数学期望和方差：
，，则随机变量之和的标准化变量
的分布函数对于任意x满足：

定理四表明：独立同分布的随机变量之和，当充分大时，随机变量之和与其标准化变量分别有
定理五(德莫佛－拉普拉斯定理)
设随机变量服从参数为的二项分布，则对于任意x，恒有

中心极限定理表明，在相当一般的条件下, 当独立随机变量的个数增加时, 其和的分布趋于正态分布.

第6章 样本及抽样分布
一、总体和样本
1、总体
研究对象全体元素组成的集合称为总体。
所研究的对象的某个(或某些)数量指标的全体，它是一个随机变量(或多维随机变量)，记为X .
X 的分布函数和数字特征称为总体的分布函数和数字特征。
2、个体
组成总体的每一个元素称为个体。
即总体的每个数量指标，可看作随机变量 X的某个取值.用表示.
3、随机样本
简单随机样本
若总体 X 的样本满足：
（1）与X 有相同的分布；
（2）相互独立；
则称为简单随机样本.
简单随机抽样
获得简单随机样本的抽样方法称为简单随机抽样.
根据定义得：若为的一个样本，则的联合分布函数为

又若具有概率密度，则的联合概率密度为

二、抽样分布
1、统计量
定义：设是来自总体的一个样本，是的函数，若中不含未知参数，则称是一个统计量。
设是相应于样本的样本值，则称是
的观察值。
2、几个常用统计量
设是来自总体的一个样本，是这一样本的观察值，
（1）样本平均值 ；
（2）样本方差 ；
（3）样本标准差 ；
（4）样本 k阶(原点)矩 ；
（5）样本 k阶中心矩
由以上定义得下述结论：
若总体的阶矩 存在，则当时，，
再根据第五章辛钦定理知，，由第五章关于依概率收敛的序列的性质知，，其中是连续函数。
3、经验分布函数
设是总体的一个样本，用表示中不大于的随机变量的个数，定义经验分布函数为，，对于一个样本值，的观察值容易求得。（的观察值仍以表示）
一般地，设是总体的一个容量为的样本值，先将按自小到大的次序排列，并重新编号，则经验分布函数的观察值为：

格里汶科定理
对于任一实数，当时，以概率1一致收敛于分布函数，即

对于任一实数，当充分大时，经验分布函数的任一个观察值与总体分布函数只有微小的差别，从而实际上可当作来使用。
4、常见分布
（1）正态分布
若~，则
特别地，若~，则
标准正态分布的 a 分位数
定义：若，则称z a为标准正态分布的上a 分位数。
若，则称为标准正态分布的双侧 a 分位数。
标准正态分布的a 分位数图形

常用数字：，
，

-za/2=z1-a/2

根据正态分布的对称性知：
（2）分布
设是来自总体的样本，则称统计量服从自由度为的分布，记为。
自由度：指中右端包含独立变量的个数。
分布的性质
性质1（分布的可加性）
设，，并且独立，则。
此性质可以推广到多个随机变量的情形：
设，并且相互独立，则，
性质2（分布的数学期望和方差）
若，则，。
分布的分位点
对于给定的正数，，称满足条件的点为分布的上分位点。对于不同的可以通过查表求得上分位点的值。
（3）分布
设，，且独立，则称随机变量服从自由度为的分布，记为。
分布的概率密度函数为，
具有自由度为n的t分布的随机变量T的数学期望和方差为: E(T)=0; D(T)=n / (n-2) , 对n >2
t分布的概率密度曲线为：
显然图形是关于对称的，当 n 充分大时, 其图形类似于标准正态变量概率密度的图形。因为，所以当足够大时t分布近似于分布。但对于较小的，t分布与分布相差很大。
t分布的分位点
对于给定的正数，，称满足条件的点为分布的上分位点。可以通过查表求得上分位点的值，由分布的对称性知，，当时，。
（4）分布
设，，且独立，则称随机变量服从自由度为的分布，记为。
分布的概率密度曲线为：
根据定义可知，若，则。
分布的分位点
对于给定的正数，，称满足条件的点为分布的上分位点。
分布的上分位点具有如下性质：

三、正态总体样本均值与样本方差的分布
设总体X的均值为，方差为，是来自总体的一个样本，则样本均值和样本方差有： ，，
当总体为正态分布时，给出几个重要的抽样分布定理。
定理一 (样本均值的分布)：
设是来自正态总体的样本，是样本均值，则有：
或。
注意 :在已知总体，时，可用本定理计算样本均值。
定理二 (样本方差的分布)：
设是来自总体的样本，分别是样本均值和样本方差，则有：
（1）； （2）与独立
定理三：
设是来自总体的样本，分别是样本均值和样本方差，则有：

注意 :在未知总体，时，可用本定理计算样本均值
定理四：
设与分别是具有相同方差的两正态总体，
的样本，且这两个样本相互独立，设，分别是这两个样本的均值，，分别是这两个样本的方差，则有：
（1） (两总体样本方差比的分布)；
（2）当时，，
其中，， (两总体样本均值差的分布)

第7章 参数估计
一、点估计
设总体X的分布函数形式已知，但它的一个或多个参数未知，用总体X是一个样本值来估计总体未知参数的值的问题称为参数的点估计。
1、矩估计法
记总体k阶矩为，样本k阶矩为，记总体k阶中心矩为
，样本k阶中心矩为，用相应的样本矩去估计总体矩的估计方法就称为矩估计法。
设总体的分布函数中含有k个未知参数，,那么它的前k阶矩一般都是这k个参数的函数,记为：，i=1,2,…,k，从这k个方程中解出
，j=1,2,…,k，那么用诸的估计量 Ai分别代替上式中的诸Ai, 即可得诸的矩估计量：，j=1,2,…,k
2、极大似然法
设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,…Xn; ) 。
当给定样本X1,X2,…Xn时，定义似然函数为：f (X1,X2,…Xn; )
看作参数的函数，它可作为将以多大可能产生样本值X1,X2,…Xn的一种度量 .
极大似然估计法就是用使达到最大值的去估计.
称为的极大似然估计（MLE）
求极大似然估计(MLE)的一般步骤是：
(1)由总体分布导出样本的联合概率函数(或联合密度)；
(2)把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();
(3)求似然函数L() 的最大值点(常常转化为求ln L()的最大值点) ，即的MLE;
(4)在最大值点的表达式中, 用样本值代入就得参数的极大似然估计值
两点说明：
(1)求似然函数L() 的最大值点，可以应用微积分中的技巧。
由于ln(x)是x的增函数，lnL()与L()在的同一值处达到它的最大值，假定是一实数，且lnL()是的一个可微函数。通过求解所谓“似然方程”：可以得到的MLE .若是向量，上述方程必须用似然方程组代替 .
(2)用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 .
极大似然估计具有下述性质：
设的函数g=g()是上的实值函数,且有唯一反函数 .如果是的MLE，则g()也是g()的极大似然估计.

二、估计量的评选标准
1、无偏性
设是未知参数的估计量，若则称为的无偏估计。
无偏估计的实际意义: 无系统误差。
2、有效性
设与都是的无偏估计量，若有
，则较有效。
定义：设是取自总体X的一个样本，是未知参数的一个估计量，若满足：（1）， 即为的无偏估计；
（2），是的任一无偏估计，则称为的最小方差无偏估计（也称最佳无偏估计）
3、相合性
若为参数的估计量，当时，依概率收敛于，则称为的相合估计量。
相合性是对估计量的一个基本要求, 不具备相合性的估计量是不予以考虑的。

三、区间估计的概念
1、置信区间
定义：设总体X的分布函数含有一个未知参数，对于给定值，若样本确定的两个统计量和满足，则称随机区间是的置信度为的置信区间，和分别称为置信度为的双侧置信区间的