马尔可夫链的方程.ppt

单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,马尔可夫链的方程,马尔可夫链的转移概率,和切普曼,-,柯尔莫哥洛夫方程,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,马尔可夫链X(n)的m步转移概率满足如下的切普曼柯尔莫哥洛夫方程，即,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,马尔可夫过程的一般概念,称此条件概率为X(n)在时刻k时的一步转移概率，记为,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,它代表X(n)在时刻n时的状态为i条件下，经过m步转移到达状态j的条件概率。,切普曼柯尔莫哥洛夫方程,类似地，还可以定义m步转移概率,马尔可夫链的一步转移概率,上节课主要内容回顾,马尔可夫过程的一般概念,马尔可夫过程的统计特性,马尔可夫链的定义,本节课主要学习内容,马尔可夫链的一步转移概率,马尔可夫链的,m,步转移概率,切普曼柯尔莫哥洛夫方程,马尔可夫链的一步转移概率,由马尔可夫链的定义以及“马尔可夫过程的任意有限维概率分布均可由它的初始分布和二维条件分布来确定”这个性质可知,可见，为了描述马尔可夫链,X,(,n,),的,n,维概率分布，最重要的是条件概率,马尔可夫链的一步转移概率,称此条件概率为,X,(,n,),在时刻,k,时的一步转移概率，记为,它表示在时刻,k,时,X,(,k,),取,i,值的情况下，在下一时刻,k,+1,时,X,(,k+,1),取,j,的概率。,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,也就是说，给定起始时刻n和n时刻的状态i，给定一个中间时刻n+m，则从n时刻的状态i出发经过中间时刻n+m到达时刻n+m+r的可能性有N种。,切普曼柯尔莫哥洛夫方程,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,马尔可夫链的m步转移概率,马尔可夫链的m步转移概率,类似地，还可以定义m步转移概率,马尔可夫链的一步转移概率,表示起始时刻（当前时刻）,马尔可夫链的一步转移概率,切普曼柯尔莫哥洛夫方程,可见，为了描述马尔可夫链X(n)的n维概率分布，最重要的是条件概率,马尔可夫过程的一般概念,马尔可夫链的一步转移概率,马尔可夫链的一步转移概率,表示概率,表示起始时刻（当前时刻）,表示起始时刻（,k,时刻）所处的状态,表示下一时刻（,k,+1,时刻）要到达的状态,马尔可夫链的一步转移概率,显然,p,ij,(,k,),应具有以下两个性质：,马尔可夫链的,m,步转移概率,类似地，还可以定义,m,步转移概率,它代表,X,(,n,),在时刻,n,时的状态为,i,条件下，经过,m,步转移到达状态,j,的条件概率。,马尔可夫链的,m,步转移概率,表示概率,表示起始时刻（当前时刻）,表示起始时刻（,k,时刻）所处的状态,表示,m,步以后（,k,+,m,时刻）要到达的状态,表示转移步数,马尔可夫链的,m,步转移概率,显然有,当,m,=1,时，它就是一步转移概率。,切普曼柯尔莫哥洛夫方程,马尔可夫链,X,(,n,),的,m,步转移概率满足如下的切普曼柯尔莫哥洛夫方程，即,切普曼柯尔莫哥洛夫方程,不失一般性，设,X,(,n,),的状态空间中的所有状态可以用1,2,N,（,非负整数）来表示，那么从,n,时刻的状态,i,出发，可以以什么样的方式经过,m,+,r,步转移到状态,j,呢？,i,1,j,2,k,N,n,n+m,n+m+r,切普曼柯尔莫哥洛夫方程,也就是说，给定起始时刻,n,和,n,时刻的状态,i,，给定一个中间时刻,n,+,m,，则从,n,时刻的状态,i,出发经过中间时刻,n,+,m,到达时刻,n,+,m,+,r,的可能性有,N,种。那么，这,N,种可能性各自的概率是多少呢？,i,1,j,2,k,N,n,n+m,n+m+r,