主观贝叶斯方法PPT学习课件.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,主观,Bayes,方法,1,概述,主观,Bayes,方法,又称为主观概率论,一种处理不确定性推理,一种基于概率逻辑的方法,以概率论中的贝叶斯公式为基础,首先应用于地矿勘探专家系统,PROSPECTOR,2,5.3.1,基本,Bayes,公式,概率论基础,条件概率：,设,A,，,B,是两个随机事件，则,是在,B,事件已经发生的条件下，,A,事件发送的概率。,乘法定理,:,3,5.3.1,基本,Bayes,公式,全概率公式：设 事件满足：,两两互不相容，即当 时，,有,样本空间,则对任何事件,B,有下式成立：,称为,全概率公式,。,4,5.3.1,基本,Bayes,公式,Bayes,公式：设 事件满足：,两两互不相容，即当 时，,有,样本空间,则对任何事件,B,有下式成立：,称为,贝叶斯公式,。,5,5.3.1,基本,Bayes,公式,把全概率公式带入贝叶斯公式后，得如下公式,:,6,5.3.1,基本,Bayes,公式,又有产生式规则,IF E THEN H,i,用产生式中的前提条件,E,代替,Bayes,公式中的,B,，用,H,i,代替公式中的,A,i,就可以得到公式：,用来求得在条件,E,下，,H,i,的先验概率。,7,5.3.1,基本,Bayes,公式,在有些情况下，有多个证据,E,1,E,2,E,n,和多个结论,H,1,H,2,.,H,n,，并且每个证据都以一定程度支持结论，这是可对上面的公式进行扩充，得：,8,5.3.1,基本,Bayes,公式,此时，只要知道,Hi,的先验概率,P(H,i,),以及,H,i,成立时证据,E,1,E,2,E,m,出现的条件概率,P(E,1,|H,i,),P(E,2,|H,i,),P(E,m,|H,i,),，就可以求得在,E,1,E,2,.,E,m,出现情况下,Hi,的条件概率,P(H,i,|E,1,E,2,.E,m,),9,5.3.2,主观,Bayes,方法,主观,Bayes,方法的基本思想,由于证据,E,的出现，使得,P(H),变为,P(H|E),主观,Bayes,方法,就是研究利用证据,E,，将先验概率,P(H),更新为后验概率,P(H|E),主观,Bayes,方法引入两个数值（,LS,，,LN,）用来度量规则成立的充分性和必要性。,其中，,LS:,充分性量度,LN:,必要性量度,10,5.3.3,知识不确定性的表示,1.,知识表示方法,在地矿勘探专家系统中，为了进行不确定性推理，把所有的知识规则连接成一个有向图，图中的各节点代表假设结论，弧代表规则。,在主观,Bayes,方法中，知识的不确定性是以一个数值对（,LS,，,LN,）来进行描述的。其具体产生式规则形式表示为：,IF E THEN (LS,LN)H (P(H),11,5.3.3,知识不确定性的表示,其中，,(LS,LN),是为度量产生式规则的不确定性而引入的一组数值，用来表示该知识的强度，,LS,和,LZ,的表示形式如下。,(1),充分性度量,(LS),的定义,它表示,E,对,H,的支持程度，取值范围为,0,+),。,12,5.3.3,知识不确定性的表示,(2),必要性度量的定义,它表示,E,对,H,的支持程度，即,E,对,H,为真的必要程度，取值范围,0,+),。,13,5.3.3,知识不确定性的表示,结合,Bayes,公式，得：,P(,H|E)=P(E|,H)P(,H)/P(E),Bayes,公式除以上式得：,14,5.3.3,知识不确定性的表示,为了讨论方便，引入几率函数,又,则,可以化为,15,5.3.3,知识不确定性的表示,上式被称为,Bayes,公式的几率似然性形式。,LS,称为充分似然性，如果,LS-+,，则证据,E,对于推出,H,为真是逻辑充分的。,同理，可得关于,LN,的公式：,O(H|E)=LN,O(H),其被称为,Bayes,公式的必率似然性形式。,LN,称为必然似然性，如果,LN=0,，则有,O(H|E)=0,。这说明当,E,为真时，,H,必为假，即,E,对,H,来说是必然的。,16,5.3.3,知识不确定性的表示,2.LS,和,LN,的性质,(1)LS,的性质,LS,表示证据,E,的存在，影响结论,H,为真的概率：,O(H|E)=LS,O(H),当,LS1,时，,P(H|E)P(H),即,E,支持,H,，,E,导致,H,为真的可能性增加；,当,LS-+,时,表示,证据,E,将致使,H,为真；,当,LS=1,时，表示,E,对,H,没有影响，与,H,无关；,当,LS1,时，,P(H|E)P(H),即,E,支持,H,，,E,导致,H,为真的可能性增加；,当,LN-+,时,表示,证据,E,将致使,H,为真；,当,LN=1,时，表示,E,对,H,没有影响，与,H,无关；,当,LN1,且,LN1,LS1,LS=1=LN,19,5.3.4,证据不确定性的表示,1.,单个证据不确定性的表示方法,证据通常可以分为全证据和部分证据。全证据就是所有的证据，即所有可能的证据和假设，他们组成证据,E,。部分证据,S,就是,E,的一部分，这部分证据也可以称之为观察。在主观,Bayes,方法中，证据的不确定性是用概率表示的。全证据的可行度依赖于部分证据，表示为,P(E|S),，为后验概率。,20,5.3.4,证据不确定性的表示,2.,组合证据的不确定性的确定方法,当证据,E,由多个单一证据合取而成，即,如果已知,P(E,1,|S),P(E,2,|S),P(E,n,|S),，则,P(E|S)=minP(E,1,|S),P(E,2,|S),P(E,n,|S),若证据,E,由多个但以证据析取而成，即,P(E|S)=maxP(E,1,|S),P(E,2,|S),P(E,n,|S),对于非运算，,P(E|S)=1-P(E|S),21,5.3.5,不确定性推理计算,1.,确定性证据,(1),证据确定出现时,证据,E,肯定出现的情况下，吧结论,H,的先验概率,P(H),更新为后验概率,P(H|S),的计算公式为：,(2),证据确定不出现时,证据,E,肯定不出现的情况下，把结论,H,的先验概率,P(H),更新为后验概率,P(H|E),的计算公式为：,22,5.3.5,不确定性推理计算,(2),不确定性证据,在现实中,证据往往是,不确定的,即无法肯定它一定存在或一定不存在,用户提供的原始证据不精确,用户的观察不精确,推理出的中间结论不精确,假设,S,是对,E,的观察,则,P(E|S),表示在观察,S,下,E,为真的概率,值在,0,1,；,23,5.3.5,不确定性推理计算,此时,0P(E|S)1,，故计算后验概率,P(R|S),不能使用,Bayes,公式,可以采用下面的公式修正（,杜达公式,）,1,）,E,肯定存在，即,P(E|S)=1,且,P(E|S)=0,，杜达公式简化为：,24,5.3.5,不确定性推理计算,2,）,E,肯定不存在，即,P(E|S)=0,P(E|S)=1,，杜达公式简化为：,3,）,P(E|S)=P(E),，即,E,和,S,无关,利用全概率公式（公式,7,），杜达公式可以化为：,25,5.3.5,不确定性推理计算,4),当,P(E|S),为,其它值,（非,0,，非,1,，非,P(E),）时，则需要通过,分段线形插值计算,：,26,5.3.6,结论不确定性的合成和更新算法,1.,结论不确定性的合成算法,n,条规则都支持同一结论,R,这些规则的,前提条件,E,1,E,2,E,n,相互独立,每个证据所对应的观察为,S,1,S,2,S,n,先计算,O(H|S,i,),，然后再计算所有观察下，,H,的后验几率计算方法,:,27,5.3.6,结论不确定性的合成和更新算法,2.,结论不确定性的更新算法,其思想是，按照顺序使用规则对先验概率进行更新，再把得到的更新概率当做先验概率，更新其他规则，这样继续更新直到所有的规则使用完。,28,小 结,主观,Bayes,方法（条件概率）,当一个事件发生后，先验概率如何转变为后验概率,推理前知道结论的先验概率信息,证据不确定时，必须采用杜达等推导公式,:,P(R|S)=P(R|E)P(E|S)+P(R|E)P(E|S),29,木有然后了,30,