主观贝叶斯方法.ppt

主观Bayes方法2021/5/271 概述l主观Bayes方法l又称为主观概率论l一种处理不确定性推理l一种基于概率逻辑的方法l以概率论中的贝叶斯公式为基础l首先应用于地矿勘探专家系统PROSPECTOR2021/5/2725.3.1 基本Bayes公式 概率论基础l条件概率：条件概率：设设A，B是两个随机事件，是两个随机事件，则，则是在是在B事件已经发生的条件下，事件已经发生的条件下，A事件发送的概事件发送的概率。率。乘法定理乘法定理:2021/5/2735.3.1 基本Bayes公式全概率公式：设全概率公式：设 事件满足：事件满足：两两互不相容，即当两两互不相容，即当 时，时，有有 样本空间样本空间 则对任何事件则对任何事件B,有下式成立：有下式成立：称为称为全概率公式全概率公式。2021/5/2745.3.1 基本Bayes公式BayesBayes公式：设公式：设 事件满足：事件满足：两两互不相容，即当两两互不相容，即当 时，时，有有 样本空间样本空间 则对任何事件则对任何事件B,有下式成立：有下式成立：称为称为贝叶斯公式贝叶斯公式。2021/5/2755.3.1 基本Bayes公式l把全概率公式带入贝叶斯公式后，得如下公式:2021/5/2765.3.1 基本Bayes公式l又有产生式规则lIF E THEN Hil用产生式中的前提条件E代替Bayes公式中的B，用Hi 代替公式中的Ai,就可以得到公式：l用来求得在条件E下，Hi的先验概率。2021/5/2775.3.1 基本Bayes公式l在有些情况下，有多个证据E1,E2,En和多个结论H1,H2,.,Hn，并且每个证据都以一定程度支持结论，这是可对上面的公式进行扩充，得：2021/5/2785.3.1 基本Bayes公式l此时，只要知道Hi的先验概率P(Hi)以及Hi成立时证据E1,E2,Em出现的条件概率P(E1|Hi),P(E2|Hi),P(Em|Hi)，就可以求得在E1,E2,.,Em出现情况下Hi的条件概率P(Hi|E1E2.Em)2021/5/2795.3.2 主观Bayes方法l主观Bayes方法的基本思想l由于证据E的出现，使得P(H)变为P(H|E)l主观Bayes方法,就是研究利用证据E，将先验概率P(H)更新为后验概率P(H|E)l主观Bayes方法引入两个数值（LS，LN）用来度量规则成立的充分性和必要性。其中，lLS:充分性量度lLN:必要性量度2021/5/27105.3.3 知识不确定性的表示l1.知识表示方法知识表示方法l在地矿勘探专家系统中，为了进行不确定性推理，把所有的知识规则连接成一个有向图，图中的各节点代表假设结论，弧代表规则。l在主观Bayes方法中，知识的不确定性是以一个数值对（LS，LN）来进行描述的。其具体产生式规则形式表示为：lIF E THEN (LS,LN)H (P(H)2021/5/27115.3.3 知识不确定性的表示l其中，(LS,LN)是为度量产生式规则的不确定性而引入的一组数值，用来表示该知识的强度，LS和LZ的表示形式如下。l(1)充分性度量(LS)的定义它表示E对H的支持程度，取值范围为0,+)。2021/5/27125.3.3 知识不确定性的表示l(2)必要性度量的定义它表示E对H的支持程度，即E对H为真的必要程度，取值范围0,+)。2021/5/27135.3.3 知识不确定性的表示l结合Bayes公式，得：P(H|E)=P(E|H)P(H)/P(E)lBayes公式除以上式得：2021/5/27145.3.3 知识不确定性的表示l为了讨论方便，引入几率函数 又l则可以化为2021/5/27155.3.3 知识不确定性的表示l上式被称为Bayes公式的几率似然性形式。LS称为充分似然性，如果LS-+，则证据E对于推出H为真是逻辑充分的。l同理，可得关于LN的公式：lO(H|E)=LN O(H)l其被称为Bayes公式的必率似然性形式。LN称为必然似然性，如果LN=0，则有O(H|E)=0。这说明当E为真时，H必为假，即E对H来说是必然的。2021/5/27165.3.3 知识不确定性的表示l2.LS和LN的性质(1)LS的性质LS表示证据E的存在，影响结论H为真的概率：O(H|E)=LS O(H)l当LS1时，P(H|E)P(H),即E支持H，E导致H为真的可能性增加；l当LS-+时,表示证据E将致使H为真；l当LS=1时，表示E对H没有影响，与H无关；l当LS1时，P(H|E)P(H),即E支持H，E导致H为真的可能性增加；l当LN-+时,表示证据E将致使H为真；l当LN=1时，表示E对H没有影响，与H无关；l当LN1且LN1LS1LS=1=LN2021/5/27195.3.4 证据不确定性的表示l1.单个证据不确定性的表示方法单个证据不确定性的表示方法l证据通常可以分为全证据和部分证据。全证据就是所有的证据，即所有可能的证据和假设，他们组成证据E。部分证据S就是E的一部分，这部分证据也可以称之为观察。在主观Bayes方法中，证据的不确定性是用概率表示的。全证据的可行度依赖于部分证据，表示为P(E|S)，为后验概率。2021/5/27205.3.4 证据不确定性的表示l2.组合证据的不确定性的确定方法组合证据的不确定性的确定方法l当证据E由多个单一证据合取而成，即l如果已知P(E1|S),P(E2|S),P(En|S)，则lP(E|S)=minP(E1|S),P(E2|S),P(En|S)l若证据E由多个但以证据析取而成，即lP(E|S)=maxP(E1|S),P(E2|S),P(En|S)l对于非运算，lP(E|S)=1-P(E|S)2021/5/27215.3.5 不确定性推理计算l1.确定性证据确定性证据l(1)证据确定出现时证据E肯定出现的情况下，吧结论H的先验概率P(H)更新为后验概率P(H|S)的计算公式为：l(2)证据确定不出现时证据E肯定不出现的情况下，把结论H的先验概率P(H)更新为后验概率P(H|E)的计算公式为：2021/5/27225.3.5 不确定性推理计算l(2)不确定性证据l在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在l用户提供的原始证据不精确l用户的观察不精确l推理出的中间结论不精确l假设S是对E的观察,则P(E|S)表示在观察S下,E为真的概率,值在0,1；2021/5/27235.3.5 不确定性推理计算l此时0P(E|S)1，故计算后验概率P(R|S),不能使用Bayes公式l可以采用下面的公式修正（杜达公式）1）E肯定存在，即P(E|S)=1,且P(E|S)=0，杜达公式简化为：2021/5/27245.3.5 不确定性推理计算2）E肯定不存在，即P(E|S)=0,P(E|S)=1，杜达公式简化为：3）P(E|S)=P(E)，即E和S无关,利用全概率公式（公式7），杜达公式可以化为：2021/5/27255.3.5 不确定性推理计算4)当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通过分段线形插值计算：2021/5/27265.3.6结论不确定性的合成和更新算法l1.结论不确定性的合成算法结论不确定性的合成算法ln条规则都支持同一结论R,l这些规则的前提条件E1,E2,En 相互独立l每个证据所对应的观察为S1,S2,Snl先计算O(H|Si)，然后再计算所有观察下，H的后验几率计算方法:2021/5/27275.3.6结论不确定性的合成和更新算法l2.结论不确定性的更新算法结论不确定性的更新算法l其思想是，按照顺序使用规则对先验概率进行更新，再把得到的更新概率当做先验概率，更新其他规则，这样继续更新直到所有的规则使用完。2021/5/2728小 结l主观Bayes方法（条件概率）l当一个事件发生后，先验概率如何转变为后验概率l推理前知道结论的先验概率信息l证据不确定时，必须采用杜达等推导公式:lP(R|S)=P(R|E)P(E|S)+P(R|E)P(E|S)2021/5/2729木有然后了2021/5/2730