概率统计和随机过程课件第十三章马尔可夫链.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第十三章 马尔可夫链,马尔可夫过程是一类特殊的随机过程,最初是由俄国数学家马尔可夫,1896,年,生物学,经济,管理,教育,气象物理,化学等等,.,马尔可夫链,是离散状态的马尔可夫过程,提出和研究的应用十分广泛,其应用领域涉,及计算机,通信,自动,.,控制,随机服务,可靠性,1,例,：一维随机游动,一个质点在直线上的五个位置,:0,1,2,3,4,做随机,游动,.,当它处在位置,1,或,2,或,3,时,以的,1/3,概率向左移,动一步而以,2/3,的概率向右移动一步,;,当它到达位置,0,时,以概率,1返回位置,1;,当它到达位置,4,时以概率,1,停,留在该位置上,(,称位置,0,为反射壁,称位置,4,为吸收壁,).,2,0,1,2,3,4,1,2/3,2/3,2/3,1/3,1/3,1/3,1,3,4,第一节,:,马尔可夫链的定义,一,定义,1,设随机过程 的状态空间 是,有限集或可列集,对于,T,内任意,n+,1,个,参数 和 内任意 个状态,如果条件概率,(13.1),5,恒成立,则称此过程为马尔可夫链,.,式,(13.1),称为,马尔可夫性,或称,无后效性,.,马氏性的直观含义可以解释如下,:,将 看作为现在时刻,那末,就是过去时,刻,而 则是将来时刻,.,于是,(13.1),式是说,当已知,注,：,6,系统现时情况的条件下,系统将来的发展变化,与系统的过去无关,.,我们称之为,无后效性,.,许多实际问题都具有这种无后效性,.,例如 生物基因遗传从这一代到下一代的,转移中仅依赖于这一代而与以往各代无关,.,7,二 马尔可夫链的分类,状态空间 是离散的,(,有限集或可列集,),参数集,可为离散或连续的两类,.,三 离散参数马尔可夫链,（,1,）,转移概率,定义,2,在离散参数马尔可夫链,中,条件概率,称为 在,8,时刻,(,参数,),由状态 一步转移到状态 的一步转移,概率,简称,转移概率,.,条件概率 称为 在时,刻,(,参数,),由状态 经 步转移到状态 的,步,转移概率,.,9,(2),转移概率的性质,:,对于状态空间 内的任意两个,状态 和,恒有,(1),(2),10,四,.,离散参数齐次马尔可夫链,定义,3,在离散参数马尔可夫链,中,如果一步转移概率 不依赖于参数,即,对任意两个不等的参数 和,有,则称此马尔可夫链具有,齐次性或时齐性,称,为,离散参数齐次马尔可夫链,.,11,例,1,：,Bernoulli,序列是离散参数齐次马尔可夫链,.,第二节 参,数离散的齐次马尔可夫链,对离散参数齐次马尔可夫链,本节讨论以下四个问题,.,一 转移概率矩阵,设 是齐次马尔可夫链,由于状,态空间 是离散的,(,有限集或可列集,),不妨设其状态,空间,.,12,则对内的任意两个状态 和,由转移概率 排序,一个矩阵,称为,(,一步,),转移概率矩阵,n,步,概率转移矩阵,13,转移概率矩阵的性质：,(1),即,元素均非负,;,(2),即,每行和为,1.,具有以上两个特点的方阵称为,随机矩阵,.,转移概率矩阵就是一个随机矩阵,.,例,1,Bernoulli,序列的状态空间,转移概率矩阵,14,例,2,：一维随机游动,一个质点在直线上的五个位置,:0,1,2,3,4,做随机,游动,.,当它处在位置,1,或,2,或,3,时,以的,1/3,概率向左移,动一步而以,2/3,的概率向右移动一步,;,当它到达位置,0,时,以概率,1,返回位置,1;,当它到达位置,4,时以概率,1,停,留在该位置上,(,称位置,0,为反射壁,称位置,4,为吸收壁,).,15,0,1,2,3,4,1,2/3,2/3,2/3,1/3,1/3,1/3,1,16,17,二 切普曼,-,柯尔莫哥洛夫方程,定理一,设 是马尔可夫链,则有,(13.6),称为,切普曼,-,柯尔莫哥洛夫方程,.,证明：,18,19,如果,马尔可夫链具有齐次性,那么切普曼,-,柯尔莫哥洛夫方程化为,进一步改写为矩阵形式,其中 是两步转移概率矩阵,是一步转移,当时,得到,20,用数学归纳法可得,(13.8),这表明,:,n,步转移概率矩阵,等于,一步转移概率矩阵,P,的,n,次幂,.,21,例,5,传输数字,0和,1,的通讯系统,每个数字的传输需,经过若干步骤,设每步传输正确的概率为,9/10,传输,错误的概率为,1/10,问,:,(1),数字,1,经三步传输出,1,的概率是多少,?,(2),若某步传输出数字,1,那么又接连两步,都传输出,1,的概率是多少,?,22,解：,23,24,三,.,有限维概率分布,称为,初始分布,.,马尔可夫链 在,初始时刻 的概率,分布,:,初始分布与转移概率完全地确定了马尔,可夫链的任何有限维分布,.,不妨设齐次马尔可夫链的参数集和状态空间都是,非负整数集,那么有如下定理。,25,定理二,设齐次马尔可夫链 的状态,空间 则对任意 个非负整数,和 内的任意 个状态,有13.9),证明,：,26,例,6,在本节例,5,中,设初始时输入,0,和,1,的概率分别为,1/3,和,2/3,求第,2,、,3,、,6,步都传输出,1,的概率,.,27,28,马尔可夫链在任何时刻 的一维概率分布,又称为,绝对概率,或称为,瞬时概率,.,事实上，由,(13.9),或全概率公式，对于齐次马尔科夫链，有,(13.11),式中 是初始时刻,.,式,(13.11),表明,:,齐次马尔可夫链在时刻 的瞬时概率,完全地由初始分布和 步转移概率所确定,.,写成向量形式得,步转移概率矩阵,29,例,7,本节例,2,中,设质点在初始时刻 恰处在状态,2,试求在 时刻,质点处在各个状态的概率,.,30,31,四,.,平稳分布,如果一维分布 与 无关,那么据,定义,4,对于齐次马尔可夫链,如果,存在概率分布 满足,(13.12),则称 为,平稳分布,称 具有平稳性,是平稳齐次马尔可夫链,.,(13.10),作如下定义：,32,改写成向量,:,平稳分布律要满足,定理：,如果齐次马尔可夫链 的初,始分布,是一个平稳,分布,则,并且有,33,改写成向量,:,平稳分布律要满足,定理：,如果齐次马尔可夫链 的初,始分布,是一个平稳,分布,则,并且有,34,例,8,带一个反射壁的一维随机游动,以 表示,在时刻 粒子处于 状态,状态空间,转移概率,求平稳分布,35,并且有,36,作业,十三章：,6,，,7,，,8,37,