南京工业大学概率统计复习概要(考试必备).doc

概率论概要（2007－12－22）
一 事件与概率
1 随机试验，随机事件及其运算。
在一定条件下，其结果不能预先确定而可以重复进行的试验称为随机试验。随机试验的每一个可能结果称为基本事件或样本点，全体可能结果称为样本空间。随机事件A时由若干个基本事件组成，即样本空间的子集：。而全空间称为必然事件，空集称为不可能事件.事件A发生的可能性的度量称为这个事件的概率，记为。
事件的关系与运算
以下引进事件的关系和运算. 既然事件是集合，故事件也遵守集合运算的规则. 以下设 为事件.
“事件 在某次试验中发生”，用集合论的语言就是，其中为这次试验的结果.
包含关系 意味：发生必发生. 即 .
并 意味： 发生或 发生。即 .
交 意味： ， 同时发生。即 .
差 意味：发生但不发生。即.
对立事件 ，即不发生.
若，称 , 互不相容，即 , 不可能同时发生. 这时可记. （一般记，不论是否相容）

运算规律
交换律 .
结合律 .
分配律 .
对偶律 .
对偶律可以推广到有限或无限个事件的情形，例如，对事件有
,
上面的其他运算规律也有类似的推广。

2事件与概率的数学定义，概率空间的概念（柯尔莫哥洛夫公理体系）
一般来讲，我们所关心的事件随着目的和场合的不同而不同，就是在同一样本空间中，各种各样的事件族都可能成为被考察的对象.在概率论中，事件族要求满足如下公理：
公理1.1
1) ;
2)若，则；
3)若，则；
同时满足三个公理的事件族称为代数.我们还容易知道有如下性质：
4) （因为）；
5) 若则（由对偶律）.
确定好我们关心的事件族代数后，再去考虑中事件发生的概率（或称概率测度）.事件发生的概率记为（直观上，表示事件发生的可能性），要求它满足如下公理：
公理1.2
1) ；
2) =1;
3) 完全可加性：若,且互不相容，则

由公理1.2容易推出
4） （在3）中令，即可）；
5）有限可加性：若,且互不相容，则
（在3）中令，即可）

三者的结合物称为概率空间。以上是柯尔莫哥洛夫提出的概率空间的公理体系。柯尔莫哥洛夫公理体系同现代的几何基础公理体系不去界说诸如点，线，面这些几何基本元素一样，着眼于规定事件与事件的概率的最基本的性质与关系，而不去解释它们的现实背景与含义；将概率论建立在坚实的数学基础之上.

3 概率的其他性质
1） 加法公式

2） 连续性。对任意单调上升或单调下降的事件列有

其中 （上升情形）或(下降情形)。

4条件概率。若, 则

称为已知A发生的条件下事件B的条件概率。
条件概率的性质：
1） 函数满足概率的三条公理, 称三元组为条件概率空间。
2） 乘法公式

3） 全概公式与逆概公式 若事件不相容且它们至少有一个发生（即，则

5 独立性 称事件独立，若。
称事件独立，若对任意和有

6 独立试验序列 设一次试验中事件A发生的概率为（即）作n次独立重复试验，事件A发生的次数记为X，则
，
二 随机变量及其分布

1随机变量及其分布函数
设为概率空间, 为定义在其上的实函数, 如果对任一实数, 有
(*)
则称为随机变量. (初学者仅需理解随机变量为试验结果的函数，而“可测性”条件 (*) 是数学上的要求，不必深论).
其次令
,
(可简记为)称为随机变量的分布函数. 以后事件常常简记为.
为计算与随机变量有关的各个事件的概率, 我们不必深入到较为抽象的概率空间中去，而可通过具体的实变元实函数进行. 因此, 数学分析一切工具都可运用, 这就是引进分布函数的好处.

分布函数具有如下性质
1) 单调不减: 如果, 则.
2) 右连续： .
3) .
4) .
且 ，
，

2离散型随机变量
离散型随机变量X是仅可能取有限个或者可列个值的随机变量. 设X可能取的值为：
.

它取各个值的概率, 即概率分布为:
.
还可以列为概率分布表:

显然有
1） ;
2) .
又离散型随机变量X的分布函数显然为
=, .
它是阶梯函数.

3 连续型随机变量
如果存在非负可积函数，使对，都有
（1）
我们称这样的随机变量X为（绝对）连续型随机变量；称p(x)为它的概率密度函数，简称为密度. 显然具有如下性质：
1) p(x)≥0 −∞
显然X落于区间或的概率与落在区间的概率一样，即
P(a （5）
4随机向量与联合分布
在概率空间中，有时我们需要同时考察两个或两个以上的随机变量，并研究它们之间的关系. 整体

可看成是定义于样本空间，取值于n维欧氏空间的函数；我们称X(ω)（简写为X）为n维随机向量或值随机变量.
设为任意实数，显然

为事件（即F中的元）；它的概率记为或简写为，并称这个n元函数为随机变量的联合分布函数（或随机向量X的分布函数）. 即
（1）

以下较详细地讨论二维情形（其中大多结果可推广到维情形）. 这时，分布函数
.
仿照一维情形可证： 联合分布函数具有如下性质：
1)在如下的意义下单调不减：若a1≤b1，a2≤b2，则

2)右连续性

3) ； =1

令，则

故是随机变量的分布函数，我们称它为关于的边缘分布函数. 同理，是随机变量X2分布函数，也称为关于X2的边缘分布函数.

若存在非负可积函数使对任意区域有：
（2）
则称随机向量为连续型随机向量，具有联合密度.其联合分布函数显然为

（3）
由（2）（3）式不难看出
， （3）
分别是随机变量X1，X2的密度，也称为边缘密度.

例（2维正态分布）如果二维随机向量X=(X1，X2)为连续型，联合密度为
（4）
则称X=(X1，X2)服从二维正态分布. 其中5个参数满足条件：<μ1，μ2<∞，σ1,σ2>0，|ρ|<1
它们的概率意义在下一章说明.
下求X1，X2的边缘密度. 由（3）(4)有

=

令，则

=

=

最后一式第二个因子是正态分布的分布密度的积分，故等于1. 这就证明了

即 ；同理

于是.

称随机向量为离散型，如果它仅能取有限或可列个值；例如它取值于集合 . 的联合分布为

离散型随机向量的边缘分布概念与连续型类似. 的边缘分布为

它就是离散型随机变量本身的概率分布. 同理，的边缘分布为

它就是离散型随机变量本身的概率分布.

例（三项分布）若离散随机向量的联合分布为

=
，，.
其中是给定的正整数；，， . 则称随机向量服从三项分布. 我们来求边缘分布.

=
=
= (由二项式定理)
即

同理

由此看出随机变量服从二项分布，服从二项分布.

5 随机变量的独立性
如果随机变量的联合分布函数可以写成n个一维随机变量分布函数的积的形式
=
则称这n个随机变量是相互独立的；其中是Xk的边缘分布函数，.
命题1 设为离散型随机变量，Xk取值于, .则相互独立的充要条件为
对,(2)的左端也就成为的联合概率分布.
注 如果随机向量服从二维正态分布， 相互独立的充要条件为.

命题2 设为连续型随机变量，联合密度为，Xk的边缘密度为，则相互独立的充要条件为
=

6 随机变量函数的分布
在许多问题中需要计算随机变量或随机向量的函数的概率分布. 例如无线电接收中，收到信号是一随机变量，这个信号通过平方检波器，输出的信号是，我们需要计算随机变量的分布. 又如在统计物理中，已知分子速度的分布，需要求分子动能的分布. 在数理统计中推导统计量的概率分布也属于这类问题. 因此，无论在理论上还是在实践上这类问题都有重要意义.

1 )问题的一般提法：设n维随机向量的联合分布是,而

其中 都是n元函数（数学上要求这些函数Borel可测，本书不深入讨论）.试求m维随机向量的联合分布函数 .
理论上这个问题并不难，令

则
=
=
于是当X有联合分布密度时
＝
这就归结为计算一个n重积分问题. 然而在很多情况下计算这个积分并不容易..

以上的方法可导出求随机变量的函数的分布的有用的变换公式. 为简明起见，以下定理仅对二维情形陈述，n维情形是类似的.

命题 设随机向量有联合密度；,设DR2是区域，使得；设变换

的值域为G，且是一一变换；又设f1,f2连续可导，于是存在唯一的反函数，
令Y1=,Y2=,则随机变量具有联合密度
（5）
证 这是微积分中的重积分变换公式的明显推论.

附注 如果存在多个反函数g(k)(y1,y2)， 则（5）的右端第一式改为
（6）

2）和，差，积，商的分布 设二维随机向量（X,Y）的联合密度为p(x,y)，则随机变量，， ， 的密度分别为
=

=

3） 各种加法性质
（1）如果X,Y相互独立，且,；则
X+Y~
（2）如果X,Y相互独立，且,；则

(3)设,独立，且， ,，则.
(4)设相互独立，且,;则.

三 随机变量的数字特征
1数学期望（简称期望）就是随机变量取值的加权平均。

随机变量（向量）函数()的期望有如下计算公式

期望的性质：
（1）；
（2）.
(3)
4)

2 方差（它表达了随机变量与其均值之间的平均误差.）

= (X为离散型时)
（或）= (X为连续型时)
我们称是的标准差或均方差，记为.

的期望称为随机变量的阶矩，即阶矩是

= (X为离散型)
（或）= (X为连续型)
最常用的是二阶矩.

方差有如下性质
（1），即常数的方差为0；
（2） ；
（3） ；
（4） ，即方差关于平移不变；
（5) 如果X，Y独立，则 D(X+ Y)=D(X)+D(Y).

附注 当随机变量X偏离它的期望的概率越大，则X的方差与标准差也越大. 例如，X～，，从正态密度的图象可看出这种关系.

3协方差与相关系数
协方差与相关系数刻画了两个随机变量之间的相关程度.
称为X，Y的协方差，记为或.
由期望的性质，容易证明
=
故当相互独立时，必有.
又如果X，Y的联合分布为F(x,y)，则

(离散型)
（或）＝ (连续型)
又显然有 =，=.

设X，Y为随机变量，D(X)≠0, D(Y) ≠0，则称

为X，Y的相关系数.

命题 设设X，Y的相关系数，则
1)
2) 如果X，Y独立，则 =0
3) 的充分必要条件是：存在常数a, b，使P(Y=a+bX)=1.
例 设～,前面已算出
，
以下求协方差

令 ，则

＝
后一项是的期望，它等于所以

而相关系数

于是便弄清了二维正态的五个参数的概率含义；并知道X，Y独立等价于（即X,Y不相关）

4* 特征函数
特征函数是证明概率论中的许多极限定理的强有力的工具.
设X为任意随机变量，称

是X的特征函数。
定理1 设f(t)是随机变量X的特征函数，则
1）f(t)在一致连续，而且

2）如果X的n阶矩存在，则

3）设随机变量相互独立，特征函数分别为;则的特征函数为

定理2（反演公式） 设随机变量X的分布函数为F(x),特征函数为f(t)，如果a,b是F(x)的连续点，则

从而，分布函数与特征函数一一对应.

定理3收敛定理） 设是随机变量列，X是随机变量；的分布函数为，特征函数为；则
， 对F的每个连续点x
的充要条件是
， 对每个t.

例 1）设，求特征函数

上式求导和分步积分得

即

连同初始条件f(0)=1, 解这个微分方程，便求得标准正态分布的特征函数为

还可以用复分析中的围道积分法求出这个特征函数.
的奇数阶矩显然为0，而偶数阶矩可以对上式求阶导数得出：

2）设，则，故Y的特征函数为

3）设X，Y相互独立，. Z=X+Y的特征函数为

这就证明了正态分布的一个常用的加法性质：
.

四 极限定理
1切贝雪夫不等式
1)若为非负随机变量，且期望存在，则，有

2)设X为随机变量，期望与方差都存在，则，有

2大数定律 设是相互独立同分布的随机变量列，设X1的二阶矩存在. 令Sn=X1+……Xn, 则对有

这时我们称Sn/n依概率收敛于p，记为

推论 (贝努利（Bernoulli）大数定律，它弄清楚了频率与概率的极限关系) 在n次独立重复试验中，设事件A在一次试验中发生的概率为p. 令
, 当A在第次试验发生，
=0, 当A在第次试验不发生
于是 是n次试验中事件A发生的总次数，而就是频率。我们有，，，故有上述大数定律得

这时我们称频率依概率收敛于概率p，记为

3 中心极限定理
1)（积分极限定理，De Moivve-Laplace）有
=
其中服从二项分布B(n,p) 。
故有近似公式

De Moivve-Laplace定理是如下Levy定理的特例.
2)（Levy）设是相互独立同分布的随机变量列，设，记，；则，有
==
4局部极限定理 ( De Moivve-Laplace）设,，为常数. 则当，对的k，一致的有
=
5 泊松极限律(当二项分布的很大, 很小时，它与泊松分布 (其中) 很接近)当固定时，有

即

18