第一,二章习题-1.doc

第一,二 章 习 题

1. 设是一马尔可夫过程，又设
试证明：

即一个马尔可夫过程的反向也具有马尔可夫性。
2. 若 是一马尔可夫过程，
试证明：

3．有三个黑球和三个白球。把这六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：0，1，2，3。现每次从甲、乙两袋中各取一球，然后相互交换，即把甲袋取出的球放入乙袋，而把已袋中取出的球放入甲袋，经过n次交换，过程的状态为 ，n=1,2,3……。
（1） 该过程是否为马尔可夫链；
（2） 计算它的一步转移概率矩阵。
4. 设{} 是一马尔可夫链，它的状态空间为：I: { 0,1,2 },
它的初始状态概率分布为：

它的一步转移概率矩阵为：

（1） 计算概率：

（2） 计算 。

5．设有马尔可夫链，它的状态空间为：I: { 0,1,2};
他的一步转移矩阵为：

（1） 试求：P（2）， 并证明 P（2） = P（4）；
（2） 求 P（n）, n³ 1。
6. 设有马尔可夫链，它的状态空间为： I : {0,1};
它的一步转移概率矩阵为：

试用数学归纳法证明：

7．确定下列马尔可夫链的状态分类，已知其一步转移概率矩阵为：
（1）

（2）

（3）

（4）

8．一质点 沿着圆周游动，圆周按顺时针、等距排列五个点，
（0，1，2，3，4），把圆周分成五格，质点每次游动顺时针或逆时针移动一格，顺时针前进一格的概率为：p, 逆时针后退一格的概率为：1-p ， 设 代表经过n次转移后质点所处的位置（即状态），它是一个齐次马尔可夫链。试求：
（1） 一步转移概率矩阵；
（2） 极限概率分布。
9． 求习题8所给出的概率模型的极限分布。
10． 设马尔可夫链的一步转移概率矩阵为：

先对状态进行分类，然后求每一个不可约闭集的平稳分布。
4