第4章-不确定性知识的表示与推理技术1.pptx

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2017/3/24,#,2025/5/19 周一,1,第,4,章 不确定性知识的表示与推理技术,2025/5/19 周一,2,内容,4.1,不确定性知识表示与推理概述,4.2,概率方法,4.3,可信度方法,4.4,主观贝叶斯方法,4.5,基于贝叶斯网络的推理,2025/5/19 周一,3,4.1,不确定性知识表示与推理概述,一般的（确定性）推理过程：,运用已有的知识由已知事实推出结论,.,如已知,:,事实,A,，,B,知识,A,B,C,可以推出结论,C,。,此时，只要求事实与知识的前件进行匹配。,问题：如果,A,可能为真，,B,比较真，知识,A,B,C,只在一定程度上为真，结论如何？,2025/5/19 周一,4,4.1,不确定性知识表示与推理概述,通过几个例子认识不确定性：,今天有可能下雨,如果乌云密布并且电闪雷鸣，则很可能要下暴雨。,张三是个秃子,“,秃子悖论,”,2025/5/19 周一,5,4.1,不确定性知识表示与推理概述,4.1.1,不确定性及其类型,4.1.2,不确定性推理概述,2025/5/19 周一,6,4.1.1,不确定性及其类型,(1),不确定性：,知识和信息中含有的不肯定、不可靠、不准确、不精确、不严格、不严密、不完全甚至不一致的成分。,按性质、产生的原因及表现形式分类：,随机不确定性,模糊不确定性,不完全性,不一致性,2025/5/19 周一,9,4.1.2,不确定性推理（,1,）,不确定性推理方法的分类,控制方法,模型方法,非数值方法,数值方法,模糊推理,基于概率,纯概率,可信度方法,证据理论,主观,Bayes,通过识别领域内引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统产生的影响。,贝叶斯网络,对确定性推理从推理一级上扩展，建立关于不确定性的表示、度量、计算、传播、合成的标准与方法，构成相应的不确定性推理模型。,4.1.2,不确定性推理（,2,）,不确定性推理是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的理论的思维过程。,2025/5/19 周一,10,11,4.1.3,不确定性推理中的基本问题,不确定性的表示与量度,不确定性匹配算法及阈值的选择,组合证据不确定性的算法,不确定性的传递算法,结论不确定性的合成,12,4.1.3,不确定性推理中的基本问题,1.,不确定性,的表示与量度,（,1,）,知识不确定性,的表示,（,2,）,证据不确定性,的表示,证据的动态强度,（,3,）不确定性的量度,在专家系统中知识的不确定性一般是由领域专家给出的，通常是一个数值,知识的静态强度,用户在求解问题时提供的初始证据。,在推理中用前面推出的结论作为当前推理的证据。,能充分表达相应知识及证据不确定性的程度。,度量范围的指定便于领域专家及用户对不确定性的估计。,便于对不确定性的传递进行计算，而且对结论算出的不确定性量度不能超出量度规定的范围。,度量的,确定应当是直观的，同时应有相应的理论依据。,13,4.1.3,不确定性推理中的基本问题,2.,不确定性匹配算法及阈值的选择,不确定性匹配算法,：用来计算匹配双方相似程度的算法。,阈值,：用来指出相似的“限度”。,3.,组合证据不确定性的算法,：,最大最小方法、,Hamacher,方法、概率方法、,有界方法、,Einstein,方法等。,14,4.1.3,不确定性推理中的基本问题,4.,不确定性的传递算法,（,1,）在每一步推理中，如何把证据及知识的不确定性,传递给结论。,（,2,）在多步推理中，如何把初始证据的不确定性传递,给最终结论。,5.,结论不确定性的合成,设有如下产生式规则：,IF,E,THEN,H,其中，,E,为前提条件，,H,为结论，具有随机性。,根据概率论中条件概率的含义，我们可以用条件概率,P(H|E),表示上述产生式规则的不确定性程度，即表示为在证据,E,出现的条件下，结论,H,成立的确定性程度。,对于复合条件,E,=,E,1,AND,E,2,AND,AND,En,可以用条件概率,P,(,H,|,E,1,E,2,E,n,),作为在证据出现时结论的确定程度。,4.2,概率方法,4.2.1,经典概率方法,4.2,概率方法,4.2.2,Bayes,定理,设 为一些事件，互不相交，,P,(,Bi,)0,，,i,=1,2,n,，且 则对于,有，,(4.3.1),Bayes,公式容易由条件概率的定义、乘法公式和全概率公式得到。在,Bayes,公式中，,P,(,B,i,),称为先验概率，而,P(B,i,|A),称为后验概率，也就是条件概率。,4.3,概率方法,如果用产生式规则,IF,E,THEN,H,i,i,1,2,n,其中前提条件,E,代替,Bayes,公式中,B,，用,H,i,代替公式中的,A,i,就可得到,i,1,2,n,(4.3.2),这就是说，当已知结论,Hi,的先验概率，并且已知结论,Hi(i=1,2,）,成立时前提条件,E,所对应的证据出现的条件概率,P(E|Hi),，就可以用上,式求出相应证据出现时结论,Hi,的条件概率,P(Hi|E),。,4.2.3,逆概率方法的基本思想,1,单个证据的情况,18,Bayes,定理,：,逆,概率,原,概率,4.2,概率方法,例如：,：,咳嗽，,：肺炎,，,条件概率 ：统计咳嗽的人中有多少是,患肺炎,的。,逆概率 ：统计,患肺炎,的人中有多少人是咳嗽的。,4.2,概率方法,例子,:,求,P(,肺炎,|,咳嗽,),可能比较困难，但统计,P(,咳嗽,|,肺炎,),可能比较容易,(,因为要上医院,),假设先验概率,P,(,肺炎,)=1|10000,，而,P(,咳嗽,)=1|10,，,90,%,的肺炎患者都咳嗽，,P(,咳嗽,|,肺炎,)=0.9,则,P(,肺炎,|,咳嗽,)=,4.2,概率方法,修正因子,(1),可以将前面的逆概率公式写成,这说明先验概率,P(H),可以通过方括号部分,(,作为修正因子,),修正为后验概率,P(H|E)(,证据,E,为真时,H,的后验概率,),在上面的例子中，医生认为一个人得肺炎的可能性为万分之一，一旦发现患者咳嗽，就将调整为万分之九,4.2,概率方法,修正因子,(2),将,E,看作证据，先验概率,P(E),越小，且,H,为真时,E,的条件概率,P(E|H),越大，则修正因子所起作用越大,在上例中，如果,P(,咳嗽,)=0.0001|P(,咳嗽,|,肺炎,)=0.9999|,P(,肺炎,)=1|10000,，不变,则,P(,肺炎,|,咳嗽,)=0.9999,，远远超过原来的万分之九,4.2,概率方法,对于有多个证据 和多个结论,并且每个证据都以一定程度支持结论的情况，上面的,式子可进一步扩充为,(4.3.3),2,多个证据的情况,例,已知：,求：,P,(,H,1,|,E,1,E,2,），,P,(,H,2,|,E,1,E,2,），,P,(,H,3,|,E,1,E,2,）,解：,同理可得：,P,(,H,2,|,E,1,E,2,）,=0.52,，,P,(,H,3,|,E,1,E,2,）,=0.03,逆概率公式的,优点,是它有较强的理论背景和良好的数学特征，当证据及结论彼此独立时计算的复杂度比较低,。其,缺点,是要求给出结论 的先验概率 及证据 的条件概率 ，尽管有些时候,比 相对容易得到，但总的来说，要想得到这些数据仍然是一件相当困难的工作。另外，,Bayes,公式的应用条件是很严格的，它要求各事件互相独立等，如若证据间存在依赖关系，就不能直接使用这个方法。,4.2,概率方法,4.2.4,逆概率方法的优缺点,2025/5/19 周一,25,4.3,可信度方法,(,确定性理论）,4.3.1,知识的不确定性表示,4.3.2,证据的不确定性表示,4.3.3,不确定性的传播与计算,4.3.4,确定性理论的特点及进一步发展,2025/5/19 周一,26,4.3.1,知识的不确定性表示,（,1,）,不确定性度量,知识的不确定性表示：,if E then H (CF(H,E),CF(H,E),：,是该条知识的可信度，称为,可信度因子,或,规则强度,，它指出当前提条件,E,所对应的证据为真时，它对结论为真的支持程度。,如：,“,如果头疼发烧，则患了感冒；(0.8)。,”,“,如果乌云密布并且电闪雷鸣，则很可能要下暴雨。(0.,9),”,2025/5/19 周一,27,4.3.1,知识的不确定性表示,（,2,）,在,CF,模型中，,CF,的定义为,CF(H,E)=MB(H,E),-MD(H,E),用,P(H),表示,H,的先验概率；,P(H/E),表示在前提条件,E,对应的证据出现的情况下，结论,H,的条件概率。,MB,（,Measure Belief,）：,称为信任增长度，它表示因与前提条件,E,匹配的证据的出现，使结论,H,为真的信任增长度。,MB,定义为：,2025/5/19 周一,28,4.3.1,知识的不确定性表示,（,3,）,MD,（,Measure Disbelief,）：,称为不信任增长度，它表示因与前提条件,E,匹配的证据的出现，使结论,H,为真的不信任增长度。,MD,定义为：,2025/5/19 周一,29,4.3.1,知识的不确定性表示,（,4,）,由,MB,、,MD,得到,CF(H,E),的计算公式,：,2025/5/19 周一,30,4.3.1,知识的不确定性表示,（,5,）,CF,公式的意义,当,MB（H，E）0,时，,MD（H，E）0，,表示由于证据,E,的出现增加了对,H,的信任程度。,当,MD（H，E）0,时，,MB（H，E）0，,表示由于证据,E,的出现增加对,H,的不信任程度。,注意：对于同一个,E，,不可能既增加对,H,的信任程度又增加对,H,的不信任程度。,2025/5/19 周一,31,4.3.1,知识的不确定性表示,（,6,）,当已知,P(H)，P(H/E),，,运用上述公式可以求,CF(H,E),。,但是，在实际应用中，,P(H),和,P(H/E),的值是难以获得的。,因此，,CF(H,E),的值要求,领域专家直接给出,。其原则是：,若由于相应证据的出现增加结论,H,为真的可信度，则使,CF(H,E)0，,证据的出现越是支持,H,为真，就使,CF(H,E),的值越大；,反之，使,CF(H,E)0，,证据的出现越是支持,H,为假,，,就使,CF(H,E),的值越小；,若证据的出现与否与,H,无关，则使,CF(H,E)=0。,2025/5/19 周一,32,4.3.1,知识的不确定性表示,（,7,）,例,如果,感染体是血液，且,细菌的染色体是革兰氏阴性，且,细菌的外形是杆状，且,病人有严重发烧，,则 该细菌的类别是假单细胞菌属（,0.4,）,。,这就是专家系统,MYCIN,中的一条规则。这里的,0.4,就是规则结论的,CF,值。,2025/5/19 周一,33,4.3.2,证据的不确定性表示,（,1,）,证据的不确定性表示,初始证据,CF(E),由用户给出,先前推出的结论作为推理的证据，其可信度由推出该结论时通过不确定性传递算法而来。,2025/5/19 周一,34,4.3.3,不确定性的传播与计算（,1,）,组合证据,前提证据事实总,CF,值计算（最大最小法）,E=E,1,E,2,E,n,CF(E)=minCF(E,1,),CF(E,2,),CF(E,n,),E=E,1,E,2,E,n,CF(E)=maxCF(E,1,),CF(E,2,),CF(E,n,),E=E,1,CF(E)=-CF(E,1,),2025/5/19 周一,35,4.3.3,不确定性的传播与计算（,2,）,推理结论的,CF,值计算,C-F,模型中的不确定性推理是从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值。,结论,H,的可信度由下式计算：,CF(H),=CF(H,E),max 0,CF(E),当,CF(E)0,时，,CF(H)=0，,说明该模型中没有考虑证据,为假时对结论,H,所产生的影响。,2025/5/19 周一,36,4.3.3,不确定性的传播与计算（,3,）,重复结论,CF,值计算,if E,1,then H (CF(H,E,1,),if E,2,then H (CF(H,E,2,),（,1,）计算,CF,1,(H),和,CF,2,(H),；,（,2,）计算,CF,1,、,2,(H)：,CF1(H)+CF2(H),CF1(H),CF2(H),若,CF1(H),0,CF2(H),0,CF1(H)+CF2(H)+CF1(H),CF2(H),若,CF1(H),0,CF2(H),0,(CF1(H)+CF2(H)/(1-min(|CF1(H)|,|CF2(H)|),若,CF1(H),与,CF2(H),异号,CF,1，2,(H),=,2025/5/19 周一,37,4.3.3,不确定性的传播与计算（,4,）,例,4.1,设有如下规则：,r,1,:IF,E,1,THEN,H,0.8),r,2,:IF,E,2,THEN,H,(0.9),r,3,:IF,E,3,AND,E,4,THEN,E,1,(0.7),r,4,:IF,E,5,OR,E,6,THEN,E,1,(,0.3),并已知初始证据的可信度为：,CF,（,E,2,）,=0.8,，,CF,（,E,3,）,=0.9,，,CF,（,E,4,）,=0.7,，,CF,（,E,5,）,=0.1,，,CF,（,E,6,）,=0.5,，用确定性理论计算,CF,（,H,）。,2025/5/19 周一,38,4.3.3,不确定性的传播与计算（,5,）,由,r,3,可得：,CF,1,（,E,1,）,=0.7min0.9,0.7=0.49,由,r,4,可得：,CF,2,（,E,1,）,=,0.3max0.1,0.5=,0.15,从而,CF,1,2,（,E,1,）,=,（,0.49,0.15,）,/(1,min(|0.49|,|,0.15|)=0.34/0.85=0.4,由,r,1,可得：,CF,1,（,H,）,=0.40.8=0.32,由,r,2,可得：,CF,2,（,H,）,=0.80.9=0.72,从而,CF,1,2,（,H,）,=0.32+0.72-0.320.72=0.8096,这就是最终求得的,H,的可信度。,2025/5/19 周一,39,4.3.4,确定性理论的特点及进一步发展,可信度方法的进一步发展,(1)带有阈值限度的不确定性推理,知识表示为：,if E then H (CF(H,E),),其中,是阈值，它对相应知识的可应用性规定了一个度:,0,0,它们是不独立的，且有如下约束关系：,当,LS1,时，,LN1,；,当,LS1,；,当,LS=1,时，,LN=1,；,实际系统中，,LS,、,LN,值是有专家给出的。,2025/5/19 周一,53,4.4.2,证据的不确定性表示（,1,）,证据的不确定性也是用概率表示的。,对于初始证据,E，,由用户根据观察,S,给出,P(E/S)，,它相当于,动态强度。,具体应用中采用变通的方法，在,PROSPECTOR,中引进了可信度的概念，用,C(E/S),刻画证据的不确定性。让用户在,5 至 5 之间的 11 个整数中选一个数作为初始证据的可信度,C(E/S),。,初始,可信度,C(E/S),与 概率,P(E/S),的对应关系如下：,C(E/S)=-5，,表示在观察,S,下证据,E,肯定不存在，即,P(E/S)=0；,C(E/S)=0，,表示,S,与,E,无关，即,P(E/S)=P(E)；,C(E/S)=+5，,表示在观察,S,下证据,E,肯定存在，即,P(E/S)=1；,2025/5/19 周一,54,4.4.2,证据的不确定性表示（,2,）,C(E/S)=,其它数值时，与,P(E/S),的对应关系可通过对上述三点进行分段线性 插值得到，如下图。,P(E/S),1,P(E),C(E/S),-5 -4 -3 -2 -1 0 1 2 3 4 5,由上图可得到,C(E/S),与,P(E/S),的关系式，即由,C(E/S),计算,P(E/S),：,P(E/S),=,若,0,C(E/S),5,若,5,C(E/S)0,C(E/S)+P(E),(5 C(E/S),5,5,P(E),(C(E/S)+5),2025/5/19 周一,55,4.4.3,不确定性的传播与计算,在主观,Bayes,方法的知识表示中，,P(H),是专家对结论,H,给出的先验概率，它是在没有考虑任何证据的情况下根据经验给出的。,随着新证据的获得，对,H,的信任程度应该有所改变。,主观,Bayes,方法推理的任务,就是根据证据,E,的概率,P(E),及,LS,LN,的值，把,H,的先验概率,P(H),更新,为后验概率,P(H/E),或,P(,H/E)。,即：,P(H),P(H/E),或,P(,H/E),P(E),LS,LN,2025/5/19 周一,56,4.4.3,不确定性的传播与计算,(1),在现实中，证据肯定存在或肯定不存在的极端情况是不多的，,更多的是介于两者之间的不确定情况。,现在要在 0,P(E/S)1,的情况下确定,H,的后验概率,P(H/S)。,在证据不确定的情况下，不能再用上面的公式计算后验概率，而需使用,R.O.Doda,等人1976年证明的如下公式：,P(H/S)=P(H/E),P(E/S)+P(H/E)P(E/S),2025/5/19 周一,57,4.4.3,不确定性的传播与计算,(2),下面分四种情况讨论：,1),P(E|S)=1,当,P(E|S)=1,时，,P(,E|S)=0，,此时公式,变为：,P(H|S)=P(H|E)=,这是证据肯定存在的情况。,2),P(E|S)=0,当,P(E|S)=0,时，,P(,E|S)=1，,此时公式,变为：,P(H|S)=P(H|,E)=,这是证据肯定不存在的情况。,LS,P(H),(LS,1),P(H)+1,LN,P(H),(LN,1),P(H)+1,P(H/S)=P(H/E),P(E/S)+P(H/E)P(E/S),2025/5/19 周一,58,4.4.3,不确定性的传播与计算,(3),3),P(E|S)=P(E),当,P(E|S)=P(E),时，此时公式,变为：,P(H|S)=P(H|E),P(E)+P(H|,E),P(,E)=P(H),表示,H,与,S,无关。,4)当,P(E|S)=,其它值时,，通过分段线性插值可得到计算,P(H|S),的公式。,全概率公式,2025/5/19 周一,59,4.4.3,不确定性的传播与计算,(4),0,P(E)1 P(E/S),P(H|E),P(H),P(H|,E),P(H|S),P(H|,E)+P(E|S),若 0,P(E|S),P(E),P(H)+P(E|S),P(E),若,P(E),P(E|S),1,P(H),P(H|,E),P(E),P(H|E),P(H),1 P(E),P(H|S)=,该公式称为,EH,公式,。,2025/5/19 周一,60,4.4.3,不确定性的传播与计算,(5),由前面可知,P(E|S),、,P(H|S),的计算公式分别为：,P(E|S),=,若,0,C(E|S),5,若,5,C(E|S)0,C(E|S)+P(E),(5 C(E|S),5,5,P(E),(C(E|S)+5),P(H|,E)+P(E|S),若 0,P(E|S),0,1,5,1,5,P(H|S),=,2025/5/19 周一,62,4.4.3,不确定性的传播与计算,(7),相同结论的后验概率合成：,若有,n,条知识都支持相同的结论,H,，而且每条知识的前提条件所对应的证据,E,i,（i=1,2,n）,都有相应的观察,S,i,与之对应,此时只要先求出每条知识的,O(H/S,i,)，,然后运用下述公式求出,O(H/S,1,S,2,S,n,)。,O(H|S,1,),O(H),O(H|S,2,),O(H),O(H|S,n,),O(H),O(H|S,1,S,2,S,n,)=,O(H),最后，再利用,P(H|S,1,S,2,S,n,),与,O(H|S,1,S,2,S,n,),的关系：,P(H|S,1,S,2,S,n,)=O(H|S,1,S,2,S,n,)/(1+O(H|S,1,S,2,S,n,),计算,P(H|S,1,S,2,S,n,),。,2025/5/19 周一,63,4.4.3,不确定性的传播与计算,(8),例,4.2,设有如下规则：,r,1,:IF,E,1,THEN (65,0.01),H,1,r,2,:IF,E,2,THEN (300,0.001),H,1,r,3,:IF,H,1,THEN (200,0.002),H,2,已知：,P,(,E,1,)=0.1,，,P,(,E,2,)=0.03,，,P,(,H,1,)=0.1,，,P,(,H,2,)=0.05,，用户提供证据：,C,(,E,1,|,S,1,)=2,，,C,(,E,2,|,S,2,)=1,，计算,P,(,H,2,|,S,1,，,S,2,),。,2025/5/19 周一,64,4.4.3,不确定性的传播与计算,(9),分析：自下而上计算：,根据,LS,值，将,H,的先验概率转换为后验概率，计算,P(H1|E1),、,P(H1|E2),使用,CP,公式计算,P(H1|S1),、,P(H1|S2),，,计算,O(H1|S1),、,O(H1|S2),对,H1,合成。计算,O(H1|S1,S2),、,P(,H1|S1,S2,),。,根据,LS,值，将,H2,的,先验概率转换为后验概率，计算,P(H2|H1),使用,EH,公式计算,P(H2|S1,，,S2),(1),计算,P(H,1,|E,1,),、,P(H,1,|S,1,),和,O(H,1,|S,2,),2025/5/19 周一,65,4.4.3,不确定性的传播与计算,(10),对于初始证据，使用,CP,公式：,P(H/,E)+P(H),P(H/,E)C(E/S)+1，,若,C(E/S),0,P(H)+P(H/E),P(H),C(E/S)，,若,C(E/S),0,1,5,1,5,P(H/S),=,C(E1/S1)=2 0,使用,CP,公式的后半部。,2025/5/19 周一,66,4.4.3,不确定性的传播与计算,(11),300,0.1,(,300-1)0.01+1,P(H,1,/E,2,)=,LS,2,P(H,1,),(LS,2,-1)P(H,1,)+1,=,=0.9,709,(2)计算,P(H,1,/E,2,),、,P(H,1,/S,2,),、,(,O,(H,1,/S,2,),对于初始证据，使用,CP,公式，,C(E,2,/S,2,)=1 0,使用,CP,公式的后半部。,P(H,1,)+P(H,1,/E,2,),P(H,1,),C(E,2,/S,2,),1,5,P(H,1,/S,2,)=,=0.1+0.9709-0.09,11/5,=0.,2742,O,(H,1,/S,2,)=,P(H,1,/S,2,),1-P(H,1,/S,2,),0.2,742,1-0.2,742,=0.3,778,=,2025/5/19 周一,67,4.4.3,不确定性的传播与计算,(12),(3)计算,P(,H,1,/S,1,S,2,),、,O,(H,1,/S,1,S,2,),2025/5/19 周一,68,4.4.3,不确定性的传播与计算,(13),(4)计算,P(H,2,/S,1,S,2,),(,O,(H,2,/S,1,S,2,),使用,EH,公式,P(,H,1,/S,1,S,2,)P(H,1,),使用,EH,公式的后半部。,200,0.05,(200-1),0.05+1,P(H,2,/H,1,)=,LS,3,P(H,2,),(LS,3,1)P(H,2,)+1,=,=0.,9132,P(H,1,/S,1,S,2,),P(H,1,),1,P(H,1,),P(H,2,/S,1,S,2,)=,P(H,2,)+,P(H,2,/H,1,),P(H,2,),=0.0,5+(0.9132-0.05)/(1-0.1),(0.7038-0.01),=0.6291,H,2,的先验概率为0.0,5,，而最后算出的后验概率为0.,6291,P(H/,E)+P(E/S),若 0,P(E/S),P(E),P(H)+P(E/S),P(E),若,P(E),P(E/S),1,P(H),P(H/,E),P(E),P(H/E),P(H),1 P(E),P(H/S)=,2025/5/19 周一,69,4.4.4,主观贝叶斯方法的特点,主要优点,：,其计算公式大多是在概率论的基础上推导出来的，具有,较坚实理论基础；,知识的静态强度,LS、LN,由领域专家根据实际经验得,到，避免了大量的数据统计工作；,给出了在证据不确定情况下更新先验概率为后验概率的,方法，且从推理过程中看，确实是实现了不确定性的传,递,.,主要缺点,：,它要求领域专家在给出知识时，同时给出,H,的先验概,率，这是比较困难的。,Bayes,定理中要求事件间相互独立，限制了该方法的应,用,。,2025/5/19 周一,70,4.5,基于贝叶斯网络的推理,4.5.1,贝叶斯网络,4.5.2,贝叶斯网络推理,贝叶斯网络（,Bayesian Network,）,有坚实的数学理论基础；,采用,概率,形式的不确定性,表示,和,推理,；,20,世纪,80,年代，成功应用于专家系统。,贝,叶斯网络的基本概念,有向无环图,Directed Acyclic Graph,，缩写,DAG,；,可用于表示因果关系网。,结点代表证据或结论，权代表证据或结论的,不确定度；,弧代表规则（即因果关系），权代表规则的不确定度。,2025/5/19 周一,73,4.5.1,贝叶斯网络,机器人举积木问题。首先考虑第一个原因，,即“电池被充电”（,B,）和“积木是可举起来的”（,L,）相对应的变量。,B,和,L,对“手臂移动”（,M,）有一个因果影响，,B,对,G,（“仪表指示电池被充电了”）也有因果关系,，,B,L,M,G,节点表示随机变量,边表示相关节,点或变量之间,某种依赖关系,每个节点有一个,条,件概率表（,CPT,）,因节点,果节点,P,（,G/,B,）,=0.95,P,（,G,/,B,）,=0.1,P,（,M,/,B,L,）,=0.9,P,（,M,/,B,L,）,=0.05,P,（,M,/,B,L,）,=0.05,P,（,M,/,B,L,）,=0.0,P,（,B,）,=0.95,P,（,L,）,=0.7,74,条件概率表,每个节点旁的条件概率表,(,简称,CPT),中的值对应一个条件事件的概率,对于,所有,父结点的,每种,指派，确定子结点的发生概率。,如,P(A|Burglary,Earthquake,)=0.94,条件事件是父节点取值的一个可能组合,每行的概率之和应该为,1(,表中只给出了为真的情况，为假的概率应为,1-p),一个具有,k,个布尔父节点的布尔变量的条件概率表中有,2,k,个独立的可指定的概率,(,注意概率值是独立的,),没有父节点的节点的概率只有,1,行,/,为先验概率,贝叶斯网络的构造方法,确定包含哪些结点；,建立反映,条件独立,的有向无环图；,指派局部概率分布，即,CPT,。,如果,CPT,包含了,足够的,条件概率，可以计算出任何,联合概率,，则称此网络是可计算的（即可推理的）。,因果关系网的示例,结点及其解释,S,(Smoker),：该患者为吸烟者,C,(Coal miner),：该患者是煤矿工人,L,(Lung cancer),：他患了肺癌,E,(Emphysema),：他患了肺气肿,因果关系,S,可能,导致,L,和,E,C,可能,导致,E,。,S,C,L,E,因果关系从哪里得来呢？,贝叶斯网络,是结点间增加,连接强度,的因果关系网。,连接强度用条件概率表示；,例：,P(B|A),为,A,到,B,的连接强度；,例：,P(B|AC),表示,A,、,C,对,B,的联合作用。,CPT,除了包含上述条件概率，还包括顶点（即无父结点的结点）的,无条件概率,（即,先验概率,）。,贝叶斯网络,=,网络结构,+CPT,注：贝叶斯网络不允许包含,循环因果,关系！,贝叶斯网络：,报警网,Burglary,Earthqk,Alarm,John calls,Mary calls,B,P(B),+b,0.001,b,0.999,E,P(E),+e,0.002,e,0.998,B,E,A,P(A|B,E),+b,+e,+a,0.95,+b,+e,a,0.05,+b,e,+a,0.94,+b,e,a,0.06,b,+e,+a,0.29,b,+e,a,0.71,b,e,+a,0.001,b,e,a,0.999,A,J,P(J|A),+a,+j,0.9,+a,j,0.1,a,+j,0.05,a,j,0.95,A,M,P(M|A),+a,+m,0.7,+a,m,0.3,a,+m,0.01,a,m,0.99,S,C,L,E,网络的结构,不够完整的,CPT,P(S)=0.4,P(C)=0.3,P(E|S,C)=0.9,P(E|S,C)=0.3,P(E|,S,C)=0.5,P(E|,S,C)=0.1,P(L|S)=0.6,P(L|,S)=0.5,剩余的条件概率,条件独立,有结点,A,、,B,和,C,，若,P(A|BC)=P(A|B),，则称,A,和,C,在,B,条件下,独立、,A,在,B,条件下,独立于,C,，或,A,和,C,关于,B,独立。,所谓“关于,B”,，有时是,给定,B,的不确定度，有时是,完全不知道,B,的不确定度。,“条件独立”是贝叶斯网络中,隐含,的断言（,assertion,）、假设（,assumption,），,贝叶斯网络就是一个表示条件独立关系的图模型,。,实际中，若已知,A,在,B,条件下,独立于,C,，则,P(A|BC)=P(A|B),。,条件独立,断言,有什么用呢？,例：,P(S,C,L,E),=P(E|S,C,L)P(L|S,C)P(C|S)P(S),=,P(E|S,C),P(L|S,C)P(C|S)P(S),=P(E|S,C),P(L|S),P(C|S)P(S),=P(E|S,C)P(L|S),P(C),P(S),联合概率公式,不,给定,E,，,C,独立于,S,给定,S,，,L,独立于,C,给定,S,，,E,独立于,L,CPT,给出这些概率,S,C,L,E,贝叶斯网络的结构,贝叶斯网络隐含着哪些条件独立断言？,串行连接,A,通过,B,影响,C,；,C,通过,B,影响,A,；,如果给定,B,，则,A,和,C,互不影响，这时称,A,和,C,关于,B,条件独立。,注：所谓,“,影响,”,与箭头方向无关。,A,C,B,血糖 胃酸 饿,条件独立断言是合理的,分叉连接,如果给定,A,，没有信息可经由,A,传递给,A,的子结点，即给定,A,时，,A,的子结点之间,相互,独立，称子结点,B,、,C,、,、,F,关于,A,条件独立。,A,C,B,F,汇集连接,多个原因（,causes,）有,一个共同,结果（,effect,）。对,结果,一无所知时，原因之间条件独立。,当,结果或其某个子孙,已知，父结点之间就不再独立了。,A,C,B,F,e,A,C,B,F,e,H,K,85,贝叶斯网络的条件独立关系,贝叶斯网络中节点相互独立,(,下面两个定义等价,),：,(1),给定父节点，一个节点与它的非后代节点是条件独立的,(2),给定一个节点的父节点、子节点以及子节点的父节点,(Markov blanket),，这个节点对于其它节点都是条件独立的,贝叶斯网络的条件独立关系的判定,d-,分离（,d-separation),86,X,Y,Z,给定,y,时，,x,和,z,条件独立,X,Y,Z,给定,y,时，,x,和,z,条件独立,X,Y,Z,给定,y,时，,x,和,z,不条件独立,分叉连接,P(Y)=0.01,2025/5/19 周一,87,X,Y,Z,P(X|Y)=0.9,P(X|,Y)=0.2,P(Z|Y)=0.8,P(Z|,Y)=0.3,Z,和,X,关于,Y,条件独立,汇聚连接,P(S)=0.7,2025/5/19 周一,88,P(H|S,R)=1,P(H|,S,R,)=0.9,P(H|S,R)=0.7,P(H|,S,R,)=0.1,未知,H,时，,R,和,S,独立,S,H,R,P(R)=0.01,Explaining away,2025/5/19 周一,89,贝叶斯网络,独立,条件独立,2025/5/19 周一,90,S,H,R,例,Yes,No,No,91,R,T,B,T,例,R,T,B,D,L,T,Yes,Yes,No,No,Yes,92,例,Variables:,R:Raining,T:Traffic,D:Roof drips,S:I,m sad,Questions:,T,S,D,R,No,Yes,No,93,94,贝叶斯网络的语义,贝叶斯网络的两种含义,对联合概率分布的表示,构造网络,对条件依赖语句集合的编码,设计推理过程,贝叶斯网络的语义,例：报警网,Burglary,Earthquake,Alarm,John calls,Mary calls,贝叶斯网络的特点,作为对域的一种完备而无冗余的表示，贝叶斯网络比全联合概率分布紧凑得多,贝叶斯网络的紧凑性是局部结构化系统一个非常普遍特性的实例,贝叶斯网络中每个节点只与数量有限的其它节点发生直接的相互作用,2025/5/19 周一,96,例：报警网,需要的参数个数：,Burglary,Earthqk,Alarm,John calls,Mary calls,1,1,4,2,2,10,B,P(B),+b,0.001,b,0.999,E,P(E),+e,0.002,e,0.998,B,E,A,P(A|B,E),+b,+e,+a,0.95,+b,+e,a,0.05,+b,e,+a,0.94,+b,e,a,0.06,b,+e,+a,0.29,b,+e,a,0.71,b,e,+a,0.001,b,e,a,0.999,A,J,P(J|A),+a,+j,0.9,+a,j,0.1,a,+j,0.05,a,j,0.95,A,M,P(M|A),+a,+m,0.7,+a,m,0.3,a,+m,0.01,a,m,0.99,5,个变量的全联合概率需要,2,5,-1=31,个参数,贝叶斯网络,2025/5/19 周一,98,16,个变量的全联合概率需要,2,16,-1=65535,个参数,需要的参数个数：,47,4.5.2,贝叶斯网络推理,Evidence,Hidden,querry,2025/5/19 周一,99,Burglary,Earthquake,Alarm,JohnCall,MaryCall,E H Q,E H Q,E H Q,E H Q,100,贝叶斯网络的精确推理,贝叶斯网络,推理：计算被查询变量的后验概率,变量分类：,查询变量,Q,证据变量集,E=E,1,E,m,，特定事件,e,非证据也非查询变量的集合,(,也称隐变量,),Y=Y1Yn,全部变量集合,=Q,E,Y,推理的任务是：求,后验概率,P(Q|e),101,贝叶斯网络的精确推理实例,根据防盗警报网，求,P(B|JohnCalls=T,M=F),证据,JohnCalls=True/MaryCalls=False,查询变量,Burglary=True,隐含变量,Earthquake/Alarm,计算过程：将条件概率转化为联合概率,用首字母简化式有,P(b|j,m,)=,P(b,j,m,)=,E,A,P(b,E,A,j,m),102,贝叶斯网络的精确推理实例,(,续,),进一步代入条件概率：,P(b|j,m),=,E,A,P(b)P(E)P(A|b,E)P(j|A)P(,m|A,),上式最坏复杂度仍然是,O(n2,n,),对所有变量求和改进,将相对常数移到求和符号以外,P(b|j,m),=,P(b),E,