泊松过程、马尔科夫链.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第七章 泊松过程、马尔科夫链,按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。,7.1,独立增量过程与泊松过程,一、独立增量过程,1.,独立增量过程,随机变量,则称,X(t),t0,是独立增量过程，又称可加过程,.,是相互独立的，,设,X(t),t0,是随机过程，如果对于任意的正整数,n,和,平稳独立增量过程,2.,平稳独立增量过程,(,齐次增量过程,),设,X(t),t0,是独立增量过程，若对任意,0st,随机变量,X(t)-X(s),的分布仅依赖于,t-s,而与起点,s,和终点,t,本身无关，则称,X(t),t0,+),是平稳,(,也称齐次,),独立增量过程,.,二、泊松过程,1.,计数过程,若,N(t),表示到时刻,t,为止已发生的“事件,A”,的总数，且,N(t),满足以下条件：,则随机过程,N(t),t0,为计数过程。,泊松过程,2.,泊松过程,(1),泊松过程的定义,设随机过程,X(t),t0,的状态空间为,X=0,1,2,且满足下列三个条件：,则称,X(t),t0,为强度是,的泊松过程。,复习：泊松分布,泊松量过程的数字特征,(2),泊松过程的数字特征,设,t,s0,+),且,st,，,(3),泊松过程的一个实例,设,N(t),表示某电话交换台在时间,0,t),内接到的呼唤次数。,可以证明，对固定的,t,，呼唤次数,N(t),是服从某参数,的泊松分布的随机变量。证明从略。,(4),时间间隔与等待时间的分布,X(t),t0,是泊松过程,X(t),表示,t,时刻事件,A,发生,(,如,:,顾客出现,),的次数，,W,n,n,=1,2,为泊松过程的等待时间序列,T,n,n,=1,2,为泊松过程的等待,(,或到达,),时间序列间隔序列。,泊松量过程的实例,时间间隔的分布：定理,7.1.2,设,X(,t,),t,0,是具有参数,的泊松过程，,T,n,n,1,是对应的时间间隔序列，则随机变量,T,n,(,n,=1,2,),独立同服从均值为,1/,的指数分布,其分布函数为,证明,(p233),等待时间的分布：定理,7.1.3,设,W,n,n,=1,2,是与泊松过程,X(,t,),t,0,对应的一个等待时间序列，则,W,n,服从参数为,n,和,的,分布，其概率为,证明,(p234),到达时刻的条件分布,到达时刻的条件分布,设,X(,t,),t,0,是具有参数,的泊松过程。在,0,t,内事件,A,已经发生,n,次，则第,k,(,k,n,),次事件,A,发生的时刻,W,k,的条件概率密度函数为,证明,(p235),正态过程与维纳过程,(,略,),7.2,正态过程与维纳过程,(,自习内容,),一、二阶矩过程,若随机过程,X(,t,),t,T,的二阶矩存在,(,有限,),则称之为,二阶矩过程,。,二、正态过程,设,X(,t,),t,T,是随机过程，若对任意正整数,n,和,则称,X(,t,),t,T,是正态过程或高斯过程。,从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不涉及它的有限维分布，这种理论称为随机过程的,相关理论,。,1.,定义,正态过程的一种特殊情形：维纳过程,三、维纳过程,定义：设,W(,t,),t,0,为随机过程，如果满足：,则称,W(,t,),t,0,为维纳过程。,2.,正态过程的一个重要性质,随机过程为正态过程的充分必要条件是其任意有限个状态的线性组合为一维正态随机变量。,7.3,马尔科夫链,一、马尔科夫过程,马尔科夫过程是具有这样特性的过程：当已知随机过程现在时刻处于某状态时，此过程“将来”的情况便与“过去”的情况无关。这种特性通常称为无后效性。,设,X(t),tT,为随机过程，若对任意正整数,n,及,且其条件分布,则称,X(t),tT,为马尔科夫过程,.,例：直线上的随机游动,马尔科夫链,二、马尔科夫链,有,设,X,n,n,0,为随机变量序列，其状态空间为,如果对任意的正整数,n,及任意,n,+1,个状态,则称此随机过程序列为马尔科夫链。,1.,马尔科夫链的定义,例：在玻尔氢原子模型中，电子可在允许的轨道上运动，假设以,X,n-1,=,a,i,表示电子在第,i,条轨道上运动，并且电子轨道的跃迁只在,t,1,t,2,t,3,发生，显然，在时刻,t,n,由第,i,轨道变到第,j,轨道的概率只与,i,j,有关，而与电子过去在什么轨道上无关,这个过程,X,n,n,0,是个马尔科夫过程。,一步转移概率,2.,转移概率,(,一步转移概率,),设,X,n,n,0,为马尔科夫链，其状态空间为,则称条件概率,为马尔科夫链,X,n,n,0,在时刻,n,的,一步转移概率，简称为转移概率,，记作,.,一般地，转移概率不仅与状态有关，还与时刻有关。当转移概率与时刻无关时，表示马尔科夫链具有平稳转移概率，称这样的马尔科夫链是齐,次的或时齐的,，并记,p,ij,(,n,),为,p,ij,P244,例,6(,简讲,),一步转移概率的性质,转移概率的性质：,转移概率可写成矩阵形式：,有,限,状,态,空,无,限,状,态,空,间,或,例,7(p246),多步转移概率,三、多步转移概率,2.,性质,1.,定义,设,X,n,n,0,为马尔科夫链，,，则称条件概率,为马尔科夫链在,m,时刻从状态,a,i,经,n,步转到,m,+,n,时刻的状态,a,j,的,n,步转移概率,记作,.,其状态空间为,多步转移概率的计算,3.,n,步转移概率的计算,上式称切普曼,-,柯尔莫哥洛夫方程，又称,C-K,方程。,定理：设,X,n,n,0,为马尔科夫过程，则对任意非负整数,m,m,+,r,0,服从泊松分布的随机变量，其数期望和方差为,求等待时间间隔,T,n,的分布函数：,求等待时间,W,n,的分布函数及概率密度：,事件关系：第,n,个事件在时刻,t,或之前发生,当且仅当时间,t,已发生的事件数目,X(t),至少为,n,，即,于是,上式对,t,求导，得,证明：到达时刻的条件分布,(p234),在,0,t,内已发生,n,次条件上,第,k,次事件发生时刻,W,k,的概率密度为,例,7(p246):,直线上带完全反射壁的随机游戏的一步转移概率。,解：游走的状态空间为,X=-2s,-s,0,s,2s,对应,X=,a,1,a,2,a,3,a,4,a,5,由给出的游走规则，可知,得一步转移概率为,例,10(p250):,直线上带完全反射壁的随机游戏的二步转移概率。,解：,例,14(p252):,在“直线上带完全反射壁的随机游戏”中设随机质点开始处于线段的中点,x=0,处，求随机质点经两步到达反射壁的概率。,分析：给定初始状态，也就是给出了初始的概率分布。依据马尔科夫链一维分布的计算公式,经两步到达反射壁的概率为：,已知：,根据：,例,15(p254):,齐次马尔科夫链,X,n,n=,0,1,2,的状态空间为,X=0,1,2,初始分布为 其一步转移概率矩阵为,解,:(1),可由乘法公式结合马氏性求，,马氏性,也可直接由,n,维分布概率公式求,:,0,0,1,(2),直接由,n,维分布概率公式求,(3),注意，所求的是条件概率，是两步转移概率。,