贝叶斯网络建模技术.pptx

www.hikey-,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,贝叶斯网络建模技术,Anders L.Madsen,HUGIN EXPERT A/S,2012.03,大纲,表格生成器,连续节点,中介变量,无定向关系,测量误差,简单贝叶斯模型,因果影响的独立,父级分离,专家异议、结构的不确定、功能的不确定,反转弧和节点吸收,功能节点,2,贝叶斯网络的,定义,贝叶斯网格,由以下组成：,一组变量和一组在变量间的有向边,变量与定向一起形成,DAG,每个变量都有一组有限状态集,附属于每个变量的,X,与它们,的,父级,Y,1,Y,n,，有一个,条件概率,表格P(X|Y,1,，,Y,n,),3,表格,生成器,如果,CPT,是低维数的，那么知识获取可由专家评判执行,域知识和经验,表格生成器是一个与其父级相关点的数学描述,CPT/UT,的生成工具,它是一种指定,CPTs,和,UTs,紧凑描述描述的一种方法,统计分布，算子和逻辑运算符以及它们之间的关系,也是一种知识规范的有效工具，而不是值,的,引出,工具,4,离散机会节点的,子类型,在表达式中使用不同的算子有不同的返回类型和不同的参数类型要求,标记的节点可用于等式比较并表示确定性关系,状态：红，蓝，,low,功能：如果,-,那么，分配,布尔运算节点可以代表真实值“错误”或者“正确”（在该命令下），也可作为逻辑运算符,状态：错误，正确,功能：和，或者，否，,，,，,=,，！,=,，,，,Noisy-OR,5,离散机会节点的,子类型,已编好的节点数代表增加数字数列（整数或实数）和可以用于算术运算符，数学函数等,状态：,-,，,，,-2.2,，,-1.5,，,0,，,1,，,2,，,3,，,，,功能：二项式，几何，负二项式，泊松比，,+,，,-,，,*,，,/,，,间隔节点表示实线不相交，可用于已编好的节点。此外，当指定,的连续量,的,时间间隔离散,时,，可以使用,他们,状态：,-,；,-10,，,-10,；,-5,，,-5,；,-1,功能：，,e,，正态，,，二项式，几何，负二项式，泊松，,+/,，,6,在表格生成器,备注,表达式取决于模型节点的配置,设,X,，,A,，,B,，,C,是,3,个布尔变量,设,X,为,A,，,B,，,C,的,父,集,当,A,为真,，,，,当,A,为假,，,当父集包含用于间隔节点样本值,手册中描述语法的表达式,前缀表示法,7,表格生成器,练习,在,预测,掷,n,次骰子时，能够掷出几次,6,的问题,。不幸的是，我们,不知道,骰子,是,真的还是假的。,如果是,假的，,那么平均每,掷,5,次会,出现,一,次,6,。,建立一个模型来,估计,掷,n,次骰子,时能够,掷出几次,6,的,次数,，,其中,n,是一个从,1,到,10,的数字,8,连续的,节点,设,Y,是一个连续随机变量，有,离散,父级,I,和连续父级,Z,Y,（,和,Z,）我们假设高斯分布（正态分布）父级的条件值,其中,这个,就是称为,CG,分布,9,模型的,限制,Y,是线性条件高斯分布：,其中,注意：,平均值线性取决于连续的父级,方差不取决于连续的父级,线性函数和方差取决于离散的父级,这些限制确保精确推理成为可能,被称为线性条件高斯贝叶斯,网格,10,温度,通过使用一个可选择低、中、高温度的简单空调系统，在一个房间里温度可调节。假设实际温度以,1,度的方差正态分布，意味着分别相当于,18,，,20,和,22,度。在房间里面，使用不同质量的温度计（高或者低）测量温度。低质量的温度计有,0.5,的方差，而质量好的温度计只有,0.1,的方差。,假设,在测量中加入了,平均值,为,1,，方差为,0.1,的,噪声。,在房间里建立对温度的推理模型,11,通过人工智能和数学,课堂,假设每学期,，,上一次,数学而,上两次,人工智能。,参加学习班学生的人数取决于科目。,平均每,120,名学生选用,人工智能,课,（,2,=500,），而每,180,名学生选择,数学,课,（,2,=1000,）。假设平均,25%,通过人工智能考试（,2,=400,），平均,50%,通过数学考试（,2,=500,）。假设考试已经完成。,预测,通过,考试的,学生数是,多少,？,预测,通过,数学考试的,学生数是,多少,？,当,80,个学生通过考试,，,预测,参加,数学,考试的,学生数是,多少,？,12,CDVT,功能,CLG,模型不允许连续节点的离散子级,HUGIN,GUI,实现了一个简单的过程，支持从一个连续节点,Y,到离散节点,D,的链接,D,必须是状态从信息到信息的间隔节点,D,可以没有其它父级,证据只可以在指定方向传播链接,在证据的传播间，,Y,的边缘分布被设定为,D,的表达。,这种,功能应该格外小心使用。,13,变量的,目的,贝叶斯网格是一组变量集的知识表示。不同的变量有不同的用途。,假设：想要的是事后概率不易察觉的变量,例如：分类和诊断变量,信息：可观察的变量是有效的，可以提供与假设变量相关的信息。,例如：传感器读数，背景信息，测试结果,中介：事后概率不可观察变量是不想要的，但其未到达目标发挥重要重要作用。,正确的条件独立和依赖性能,。,高效地推理,14,中介变量,中介变量对于获得正确的条件独立和依赖属性是非常重要的,例如：激素状态：验血（,BT,）和尿液测试（,UT,）是独立的怀孕状态（,Pr,）,没有,Ho,变量的模型是错误的，因为,Ho,变量没有决定性取决于,Pr,，并且,BT,和,UT,是独立给予,Ho,的,15,中介变量,在,这种扑克游戏中，每个玩家收到三张牌，并且允许改变牌两轮，在第一轮（,FC,），你可能会放弃你手中的任何一张牌，从这副牌中取一张。在第二轮中（,SC,），你最多放弃两张牌，并从这副牌中取两张。两轮结束后,，,我会,有兴趣,对,对手,手,上,的,牌,估计一下,（,OH,）。,16,一个简单的例子：,约束,我,在,洗衣机里面洗了两双袜子。由于洗了很久，因此很难区分出这俩双袜子。然而，,有,这两双袜子有,两种,类型款式和两种不同颜色，用款式和颜色来区分袜子，是将它们区分正确重要的方法。,款式,和颜色之间是无定向关系。,17,一个简单的例子：,约束,我们有四个项目，,S,1,，,，,S,4,，其中,Sp(S,i,)=t,1,，,t,2,，这样两个项目必须成为类型,t,1,，另外两个成为,t,2,这种约束可以在带有开或关的状态的子变量,C的,CPT,编码。,通过,实例化,C,，约束强制执行。,18,约束,设,R,（,A,，,B,，,C,）,在数值上,为,直接,关系,R,（,a,，,b,，,c,）,0,1,引进,带有,yes,和,no,两种,状态的变量,D,设,P,（,D=yes|A,，,B,，,C,）,=R,（,A,，,B,，,C,）,设,P,（,D=no|A,，,B,，,C,）,=1-R,（,A,，,B,，,C,）,当,D=yes,得,R(A,，,B,，,C)=1,19,测量误差,往往，一个信息变量的真实,值,-,I,，,它,不能,由于测量误差获得。,通过引入一个新的变量，测量误差被建模。成为,OI,，代表,I,的观测值。测量误差的大小用,P(,OI,|,I,),代表,I,变成调节变量，是不可观测的。,我们,需要明确地表示出模型中,A,的估计精度,20,测量误差：,实例,假设,t,1,类型的袜子是以颜色,c,1,和款式,p,1,为特征，,t,2,类型的袜子以颜色,c,2,（,c,2,c,1,）和款式,p,2,（,p,2,p,1,）,经过几次清洗之后：,c,1,被误认为是,c,2,有十分之三的概率,c,2,被误认为是,c,1,有十分之二的概率,p,1,被误认为是,p,2,有百分之二的概率,p,2,一直被识别,正确,模型如下：,P(OC=c,2,|C=c,1,)=0.3,P(OC=c,1,|C=c,2,)=0.2P(OP=p,2,|P=p,1,)=0.02,P(OP=p,1,|P=p,2,)=0,21,简单贝叶斯,模型,以下类型的分类任务与任务的一个非常适合的模型,假设对,h,1,，,，,h,n,有兴趣,假设,他们之间,完全,穷尽且互相排斥,结果,指标,I,1,，,，,I,m,去预测,h,i,结果是有条件独立给出的假设,22,简单贝叶斯模型的,表示,计算和代表一个有效的模型能在很多情况下能提供好的结果,h,1,，,，,h,n,被表示出和假设变量,H,的状态一样,信息变量,I,1,，,，,I,m,是变量,H,的子级,基本,假设是当变量,H,已知时，,I,1,，,，,I,m,是两两独立,假设,在,实际中不成立，结论可能被误解。,23,简单贝叶斯,模型,更,详细的简单贝叶斯模型,设,可能,的假设，收集到一个带有优先假设,P(H),的假设变量,H,中,对于每个信息变量,I,，得到,P(I|H)=L(H|I),对于任意观察,设置,计算：,其次,，其中,，或者表示通过贝叶斯规则,24,男,孩,或女,孩,悖论,两个孩子的家庭，至少有一个是男孩的被选中,有一个女孩的概率是多少？,我们假设每个孩子的性别的决定是独立性事件，孩子可能是男孩或者女孩，并且每个孩子有相同的机会成为男性或者女性。,Foshee,周二男孩,我有两个孩子，一个是周二出生的男孩，那么我的两个孩子都是男孩的概率,是,多少,？,25,依赖,发现,假设,是完全穷尽和互相,排斥,结果,不是条件独立给定假设,26,因果影响的,独立性,头痛（,Ha,）可能由于发热（,Fe,）,、,宿,醉（,Ho,）,、,纤维组织,炎（,Fb,）,、,脑,肿瘤（,Bt,）,以及其他原因（,Ot,）,引起。各种原因都能够引起头痛，但是它们之间相互独立。,如果,头痛,级别,为,I,，然后增加能独立导致头痛级别,q,的,原因,，看如何能到达级别,I,27,因果影响的,独立性,增加,额外原因，线性时间评估,因果,关系的独立性假设,28,因果影响的独立性,利用关于,CPTs,的内部结构的知识来减少表示和推理的复杂性,从,C,i,到,E,的贡献被认为是,C,j,贡献的独立,注意：必须有一个状态命令且,（,序变量）,29,Noisy-OR,假设感冒和咽喉痛的因果影响可以认为是独立的。另外，假设有一个“背景”事件，可能导致喉咙变痛,“背景”事件导致咽喉痛有,0.05,的可能性,感冒导致咽喉痛的概率有,0.4,且,P(Cold)=0.1,心绞痛导致咽喉痛有,0.7,可能切,P(Angina)=0.05,P(sore|cold,angina),是,noisy-OR,功能,:,对于每种原因，我们只需要指定一个指定的号码，成为抑制剂概率。举例，我们的抑制剂概率为,0.95,，,0.6,和,0.3,属性参数的数目与父级数目线性增长,30,Noisy-OR,交互,模型,设,X1,X2,是影响变量,Y,和让所有变量成为布尔的原因,31,因果关系影响的,独立性,必须满足以下条件,X,1,，,，,X,n,，,Y,表明异常存在的程度（状态的顺序）,事件,X,i,引起,Y,与,p,i,的影响,在实践中没有显著的共同作用,通过以上假设，,ICI,可以接近真实的,CPT,距离测量欧几里德,，,KL,具有其他功能而不是分离，例如：,noisy-Max,32,父级分离,设,X,1,，,，,X,n,是,Y,的原因列表,指定,P(Y|X,1,，,，,X,n,),涉及到一个非常大的需求获取任务,通过,中,间,变量,C,，可能,使分离父级,考虑到头痛的原因或者约束情况,33,父级分离设,X,1,，,，,X,n,成为,Y,的原因的列表：,假设,，（,X,1,，,X,2,）的配置可以分成,c,1,，,，,c,m,(X,1,，,X,2,),，,(x,1,，,x,2,),c,i,适用于所有的,y,：,P(y|x,1,，,x,2,，,x,3,，,，,x,n,)=P(y|x,1,，,x,2,，,x,3,，,，,x,n,),如果,|C|,|X,1,|*|X,2,|,，则,PD,（表示）是有效的,34,专家,意见,假设你拥有许多专家,e,1,，,，,e,m,所有的都认为,P(Y|X,1,，,，,X,n,),P(Y|X,1,，,，,X,n,，,，,e,i,),，对于,i=1,，,，,m,你,在专家中的事先信念是,P(E),，其中,E,有为每个专家的,状态,。,节点代表专家被除去使用,35,结构的,不确定性,考虑到变量,Y,与确定的父级,X,3,和,X,4,A,和,B,是否是父级是不确定的,这种,情况可以模仿上面的地方所示,是确定性的,选择变量,P(S),关于,A,和,B,是否是父级输入我们的信任,36,功能,不确定性,考虑一种情况，父级已知，但是作用关系未知,或者,创建,带有两种状态的节点,M,设,M,成为,P(E|A,，,B),的模型节点,P(M),依赖性地指定我们的优先信任,37,圆弧,反转,如何在不改变底层概率分布下改变边缘方向？,统一性,原则：,因此，如果变量,X,没有兴趣，没有观察到，且没有子级，那么,X,可以从图形中删除。,38,节点,吸收,我们怎么样才能删除一个节点，且在无需改变底层概率分布？,通过圆弧反转的排列,圆弧,反转和节点吸收可以作为一个推理算法,39,功能节点,注意,在,利用额外,计算,的更新结果,中,，,如何,使用,hugin,当做计算器？,一,个功能节点代表一个取决于父级的实值函数,如果可能的话，信念函数更新后，功能节点的值被计算,40,功能节点,例子,使用带有自变量年龄，眼睛,-,颜色，动物,-,主人，智商,-,身高的模型计算得分,总得分是个人得分的线性和计算得出,年龄,的得分（,0-20=5,，,20-40=7,，,40-60=9,60+=,11,），,眼睛,-,颜色（蓝色,=10,，棕色,=20,，绿色,=30,），房屋,-,主人（,0,，,25,依变量值是不变的,智商得分和身高使它们变量,功能,41,功能节点,功能节点代表真实值功能依赖于它们的父级,功能节点仅仅作为子级的功能节点,函数值表达式可以使用父函数，布尔，编号和连续的节点值（间隔节点是不支持的）,当连续节点在表达式中出现，节点的平均值在计算函数值时被使用,功能节点值在使用表达式时被定义,功能节点在推理过程中不直接参与。没有证据显示功能节点,42,功能节点练习：逻辑,回归,这个简化的模型中使用三个危险因素（年龄，性别和血液中胆固醇水平）来预测,10,年内心脏病死亡风险：,男性，,50,岁切胆固醇水平在,7.0,毫摩尔,/,升（假,设,）,43,总结,表格生成器,连续节点,中介变量,无定向关系,测量误差,简单贝叶斯模型,因果影响的独立,父级分离,专家异议、结构的不确定、功能的不确定,反转弧和节点吸收,功能节点,44,更多信息请关注,/,网站,45,THANK YOU,