贝叶斯网络简介讲课稿.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,贝叶斯网络,詹敏,贝叶斯网络,贝叶斯网络,(Bayesian Network),是,20,世纪,80,年代发展起来的，由,Judea Pearl(,朱迪亚,佩尔,),于,1986,年提出。,贝叶斯网络起源于贝叶斯统计分析理论，它是概率论和图论相结合的产物。,贝叶斯网络是一种描述不确定性知识和推理问题的方法。,文本分类（如：垃圾邮件的过滤）,医学诊断,.,2,贝叶斯网络,1,、引例,2,、贝叶斯概率基础,3,、贝叶斯网络概述,4,、贝叶斯网络的预测、诊断和训练,4.1,贝叶斯网络的预测,4.2,贝叶斯网络的诊断,4.3,贝叶斯网络的训练,5、贝叶斯网络的优越性,3,1,、引例,一个有关概率推理的例子。,图中有六个结点：,参加晚会,(Party,PT),宿醉,(Hangover,HO),头疼,(Headache,HA),患脑瘤,(Brain tumor,BT),有酒精味,(Smell alcohol,SA),X,射线检查呈阳性,(Pos Xray,PX),Party,Hangover,Brain Tumor,Headache,Smell Alcohol,Pos Xray,4,1,、引例,一个有关概率推理的例子。,图中有五条连线：,PT,HO,HO,SA,HO,HA,BT,HA,BT,PX,Party,Hangover,Brain Tumor,Headache,Smell Alcohol,Pos Xray,5,1,、引例,参加晚会后，第二天呼吸中有酒精味的可能性有多大？,如果头疼，患脑瘤的概率有多大？,如果参加了晚会，并且头疼，那么患脑瘤的概率有多大？,.,Party,Hangover,Brain Tumor,Headache,Smell Alcohol,Pos Xray,这些问题都可通过贝叶斯网络加以解决。,6,先验概率,：根据历史资料或主观判断所确定的各种事件发生的概率。,先验概率可分为两类：,客观先验概率,：是指利用过去的历史资料计算得到的概率,(,如：在自然语言处理中，从语料库中统计词语的出现频率,客观先验概率,),；,主观先验概率,：,是指在无历史资料或历史资料不全的时候，只能凭借人们的主观经验来判断取得的概率,。,2,、贝叶斯概率基础,7,后验概率,：是指利用,贝叶斯公式，结合调查等方式,获取了新的附加信息，对先验概率修正后得到的更符合实际的概率。,条件概率,：是指当,条件事件,发生后，该事件发生的概率。,2,、贝叶斯概率基础,条件概率的计算可以通过两个事件各自发生,的概率，以及相反方向的条件概率得到。,8,3,、贝叶斯网络概述,贝叶斯网络,是描述随机变量（事件）之间依赖关系的一种图形模式，是一种可用来进行推理的模型。,贝叶斯网络通过,有向图,的形式来表示随机变量间的,因果关系,，并通过,条件概率,将这种因果关系量化。,Party,Hangover,Brain Tumor,Headache,Smell Alcohol,Pos Xray,9,3,、贝叶斯网络概述,一个贝叶斯网络由,网络结构,和,条件概率表,两部分组成。,网络结构,是一个,有向无环图,，由若干,结点,和,有向弧,组成。,10,3,、贝叶斯网络概述,一个贝叶斯网络由,网络结构,和,条件概率表,两部分组成。,条件概率表,：是指网络中的每个结点都有一个条件概率表，用于表示其父结点对该结点的影响。,当网络中的某个结点没有父结点时，该结点的条件概率表就是该结点的,先验概率,。,11,贝叶斯网络的,3,个重要议题：,贝叶斯网络预测,：是指已知一定的原因，利用贝叶斯网络进行计算，求出由原因导致结果的概率。,贝叶斯网络诊断,：是指已知发生了某些结果，根据贝叶斯网络推理出造成该结果发生的原因以及发生的概率。,贝叶斯网络学习,(,训练,),：是指利用现有数据对先验知识进行修正的过程，每一次学习都对贝叶斯网络的先验概率进行调整，使得新的贝叶斯网络更能反映数据中所蕴含的知识。,3,、贝叶斯网络概述,12,4,、贝叶斯网络的预测、诊断和训练,此处将以下图为例，分别介绍贝叶斯网络的,预测,、,诊断,和,训练,。,Party,Hangover,Brain Tumor,Headache,Smell Alcohol,Pos Xray,预测,和,诊断,需要,已知网络结构和,图中每个结点的,条件概率表。,训练,需要先建立,网络结构，再计,算每个结点的条,件概率表。,13,4,、贝叶斯网络的预测、诊断和训练,为了使用贝叶斯网络进行,预测,和,诊断,，假设网络已经训练好，即：网络中的所有先验概率和条件概率全部已知。,图中,Party,和,Brain Tumor,两个结点是原因结点，没有连线以它们为终点。它们的,无条件概率,如下表所示：,该表中给出了这两个事件发生的概率：,PT,发生的概率是,0.2,，不发生的概率是,0.8,；,BT,发生的概率是,0.001,，不发生的概率是,0.999,。,P(PT),P(BT),True,0.200,0.001,False,0.800,0.999,14,4,、贝叶斯网络的预测、诊断和训练,另外，网络中的,条件概率,如下所示：,P(HO|PT),PT=True,PT=False,True,0.700,0,False,0.300,1.000,P(SA|HO),HO=True,HO=False,True,0.800,0.100,False,0.200,0.900,P(PX|BT),BT=True,BT=False,True,0.980,0.010,False,0.020,0.990,15,4,、贝叶斯网络的预测、诊断和训练,另外，网络中的,条件概率,如下所示：,P(HA|HO,BT),HO=True,BT=True BT=False,HO=False,BT=True BT=False,True,0.990 0.700,0.900 0.020,False,0.010 0.300,0.100 0.980,16,4.1,贝叶斯网络的预测,对于贝叶斯网络的,预测,，可分为以下两种情况：,在已知某些,原因结点,的情况下，可以预测,结果结点,的概率。,例：参加晚会情况下，头疼发生的概率。,在不知任何结点信息的情况下，可以预测网络中某个,结果结点,发生的概率。,例：即使不知道任何结点发生与否的信息，仍然可以计算结点,HA,发生的概率。,贝叶斯网络的,预测,是一个“,自顶向下,”的过程。,17,4.1,贝叶斯网络的预测,为了描述方便，对于任何一个结点,Point,：,P(+Point),表示,Point,发生的概率,P(-Point),表示,Point,不发生的概率,例,1,：计算结点,HA,的概率。,Party,Hangover,Brain Tumor,Headache,Smell Alcohol,Pos Xray,18,4.1,贝叶斯网络的预测,例,1,：计算结点,HA,的概率。,【,解,】,根据,全概率公式,，可得,P(+HA)=,P(+BT,+HO)*P(+HA|+BT,+HO)+,P(+BT,-HO)*,P(+HA|+BT,-HO),+,P(-BT,+HO)*P(+HA|-BT,+HO),+,P(-BT,-HO)*P(+HA|-BT,-HO),P(HA|HO,BT),HO=True,BT=True BT=False,HO=False,BT=True BT=False,True,0.990 0.700,0.900 0.020,False,0.010 0.300,0.100 0.980,19,4.1,贝叶斯网络的预测,例,1,：计算结点,HA,的概率。,【,解,】,根据,全概率公式,，可得,P(+HA)=P(+BT)P(+HO)*0.99+,P(+BT)P(-HO)*0.9+,P(-BT)P(+HO)*0.7+,P(-BT)P(-HO)*0.02,=0.116,P(HA|HO,BT),HO=True,BT=True BT=False,HO=False,BT=True BT=False,True,0.990 0.700,0.900 0.020,False,0.010 0.300,0.100 0.980,20,4.1,贝叶斯网络的预测,例,1,：计算结点,HA,的概率。,【,解,】,根据,全概率公式,，可得,P(-HA)=1-P(+HA)=0.884,【,解释,】,在没有任何诱因的情况下，头疼发生的概率是,0.116,，不头疼的概率是,0.884,。,采用上述方式，可以计算贝叶斯网络中所有结点的概率,这个过程通常发生在贝叶斯网络的训练阶段,获得结点的概率。,21,4.1,贝叶斯网络的预测,预测算法,输入,：给定贝叶斯网络,B,（包括网络结构,m,个结点以及某些结点间的连线、原因结点到中间结点的条件概率或联合条件概率），给定若干个原因结点发生与否的事实向量,F,（或者称为证据向量）；给定待预测的某个结点,t,。,输出,：结点,t,发生的概率。,（,1,）把证据向量输入到贝叶斯网络,B,中；,（,2,）对于,B,中的每一个没处理过的结点,n,，如果它具有发生的事实（证据），则标记它为已经处理过；否则继续下面的步骤；,（,3,）如果它的所有父结点中有一个没有处理过，则不处理这个结点；否则，继续下面的步骤；,（,4,）根据结点,n,的所有父结点的概率以及条件概率或联合条件概率计算结点,n,的概率分布，并把结点,n,标记为已处理；,（,5,）重复步骤（,2,）,（,4,）共,m,次。此时，结点,t,的概率分布就是它的发生,/,不发生的概率。算法结束。,22,4.2,贝叶斯网络的诊断,贝叶斯网络的,诊断,与贝叶斯网络的预测正好相反，即：它是在已知,结果结点,发生的情况下，来推断,条件结点,发生的概率。,贝叶斯网络的,诊断,是一个“,自底向上,”的过程。,23,4.2,贝叶斯网络的诊断,例,1,：计算已知,X,光检查呈阳性的情况下，患脑瘤的概率。,Party,Hangover,Brain Tumor,Headache,Smell Alcohol,Pos Xray,24,4.2,贝叶斯网络的诊断,例,1,：计算已知,X,光检查呈阳性的情况下，患脑瘤的概率。,【,解,】,根据,条件概率公式,，可得,P(+BT|+PX)=P(+PX|+BT)*P(+BT)/P(+PX),=,0.98,*,0.001,/,P(+PX),P(PX|BT),BT=True,BT=False,True,0.980,0.010,False,0.020,0.990,P(PT),P(BT),True,0.200,0.001,False,0.800,0.999,由：,P(AB)=P(A|B)*P(B),得到,P(A|B)=P(AB)/P(B),而：,P(AB)=P(B|A)*P(A),所以：,P(A|B)=P(AB)/P(B),=,P(B|A)*P(A)/P(B),25,4.2,贝叶斯网络的诊断,例,1,：计算已知,X,光检查呈阳性的情况下，患脑瘤的概率。,【,解,】,根据,全概率公式,，可得,P(+PX)=P(+PX|+BT)*P(+BT)+P(+PX|-BT)*P(-BT),=,0.980,*,0.001,+,0.010,*,0.999,0.011,P(PX|BT),BT=True,BT=False,True,0.980,0.010,False,0.020,0.990,P(PT),P(BT),True,0.200,0.001,False,0.800,0.999,26,4.2,贝叶斯网络的诊断,例,1,：计算已知,X,光检查呈阳性的情况下，患脑瘤的概率。,【,解,】,根据,条件概率公式,，可得,P(+BT|+PX)=P(+PX|+BT)*P(+BT)/P(+PX),=,0.98,*,0.001,/,P(+PX),=0.98*0.001/,0.011,0.089,【,解释,】,当,X,光检查呈阳性的情况下，患脑瘤的概率是,0.089,（概率是较低的）。,27,4.2,贝叶斯网络的诊断,诊断算法,输入,：给定贝叶斯网络,B,（包括网络结构,m,个结点以及某些结点间的连线、原因结点到中间结点的条件概率或联合条件概率），给定若干个结果结点发生与否的事实向量,F,（或者称为证据向量）；给定待诊断的某个结点,t,。,输出,：结点,t,发生的概率。,（,1,）把证据向量输入到贝叶斯网络,B,中；,（,2,）对于,B,中的每一个没处理过的结点,n,，如果它具有发生的事实（证据），则标记它为已经处理过；否则继续下面的步骤；,（,3,）如果它的所有子结点中有一个没有处理过，则不处理这个结点；否则，继续下面的步骤；,（,4,）根据节点,n,所有子结点的概率以及条件概率或联合条件概率，根据条件概率公式，计算结点,n,的概率分布，并把结点,n,标记为已处理；,（,5,）重复步骤（,2,）,（,4,）共,m,次。此时，原因结点,t,的概率分布就是它的发生,/,不发生的概率。算法结束。,28,4.3,贝叶斯网络的建立和训练,贝叶斯网络的建立：,首先，要把实际问题中的事件抽象为网络中的结点,每个结点必须有明确的意义，至少有是、非两个状态或者多个状态，并且这些状态在概率意义上是,完备的,和,互斥的,。,29,4.3,贝叶斯网络的建立和训练,贝叶斯网络的建立：,其次，在两个或多个结点之间的建立连线。,基本原则：有明确因果关系的结点之间应建立连线，没有明确因果关系的结点之间尽量不要建立连线。,可采用,相关性分析方法,（如：,Pearson,相关系数）来确定结点之间是否应该有连线。,注意：在两个结点之间建立连线时，要防止环的出现，因为贝叶斯网络必须是无环图。,30,4.3,贝叶斯网络的建立和训练,贝叶斯网络的,训练,：是指通过历史数据获得贝叶斯网络中各结点的概率以及结点之间条件概率的过程。,结点的概率,（先验概率）,假设结点,P,有,m,个状态,P,1,P,2,.,P,m,，则结点,P,在第,i,个状态下的概率,P(P,i,),为：,31,4.3,贝叶斯网络的建立和训练,贝叶斯网络的,训练,：是指通过历史数据获得贝叶斯网络中各结点的概率以及结点之间条件概率的过程。,结点间的条件概率,假设,PS,表示结点,P,的一个状态，,QS,表示结点,Q,的一个状态，则,PS,发生时，,QS,也发生的概率,P(QS|PS),为：,32,4.3,贝叶斯网络的建立和训练,贝叶斯网络的,训练,：是指通过历史数据获得贝叶斯网络中各结点的概率以及结点之间条件概率的过程。,多个结点间的联合条件概率,假设,PS,表示结点,P,的一个状态，,QS,表示结点,Q,的一个状态，,RS,表示结点,R,的一个状态，则,PS,和,QS,发生时，,RS,也发生的概率,P(RS|PS,QS),为,:,33,4.3,贝叶斯网络的建立和训练,贝叶斯网络的,训练,：是指通过历史数据获得贝叶斯网络中各结点的概率以及结点之间条件概率的过程。,多个结点间的联合条件概率,假设,PS,表示结点,P,的一个状态，,QS,表示结点,Q,的一个状态，,RS,表示结点,R,的一个状态，则,PS,和,QS,发生时，,RS,也发生的概率,P(RS|PS,QS),为,:,如果结点,P,、,Q,、,R,各有两个状态，则类似这样的公式共有,8,个，它们共同构成了结点,P,、,Q,到,R,的联合条件概率。,34,5,、,贝叶斯网络的优越性,贝叶斯网络的优势主要体现在以下方面,(1)贝叶斯网络推理是利用其表达的条件独立性，根据已有信息计算待求概率值快速的过程。,(2)具有良好的可理解性和逻辑性。,(3)专家知识和试验数据的有效结合相辅相成，忽略次要联系而突出主要矛盾，可以有效避免过学习。,(4)贝叶斯网络以概率推理为基础，推理结果说服力强，而且相对贝叶斯方法来说，贝叶斯网络对先验概率的要求大大降低。,35,Thanks,