小数据集下基于修正乘性协同约束的BN参数学习.pdf

第2 4卷 第4期空 军 工 程 大 学 学 报V o l.2 4 N o.42 0 2 3年8月J OURNA L O F A I R F O R C E E NG I N E E R I NG UN I V E R S I T YA u g.2 0 2 3收稿日期:2 0 2 2-1 2-0 5基金项目:国家自然科学基金项目(5 1 9 0 5 4 0 5)作者简介:任智芳(1 9 9 6-),女,陕西宝鸡人,硕士生,研究方向为贝叶斯网络。E-m a i l:7 7 0 2 5 1 6 8 4q q.c o m 通信作者:陈海洋(1 9 6 7-),男,陕西西安人,副教授,博士,研究方向为人工智能、贝叶斯网络。E-m a i l:c h y_0 01 6 3.c o m 引用格式:任智芳,陈海洋,环晓敏,等.小数据集下基于修正乘性协同约束的B N参数学习J.空军工程大学学报,2 0 2 3,2 4(4):6 9-7 6.R E N Z h i f a n g,C HE N H a i y a n g,HUAN X i a o m i n,e t a l.B N P a r a m e t e r L e a r n i n g B a s e d o n M o d i f i e d M u l t i p l i c a t i v e C o l l a b o r a t i v e C o n s t r a i n t s w i t h S m a l l D a t a S e t sJ.J o u r n a l o f A i r F o r c e E n g i n e e r i n g U n i v e r s i t y,2 0 2 3,2 4(4):6 9-7 6.小数据集下基于修正乘性协同约束的B N参数学习任智芳,陈海洋*,环晓敏,尚珊珊(西安工程大学电子信息学院,西安,7 1 0 0 4 8)摘要 在一些特定情况下,获取充足样本十分困难,导致最大似然估计算法学习到的B N参数精度往往较低,并且一些实际应用领域中已涉及多父节点协同影响约束的问题。对此,通过借鉴P AVA保序回归算法思想,提出了一种小数据集下基于修正乘性协同约束的B N参数学习方法。首先,判断已知样本数据中多父节点部分的参数是否满足乘性协同约束;其次,把不满足乘性协同约束的左右两边划分为整体,用P AVA算法分别对其进行调整,针对调整后的整体,根据不同父节点组合状态对应的样本数据量,给出3种权值不同的校正方法,对每个参数进行修正,得到最终参数学习结果;最后,运用经典草地湿润网络模型对提出的方法进行仿真验证。研究结果表明,在小数据集条件下,提出的方法不仅满足了乘性协同约束,而且K L散度始终低于其他2种方法,但运行时间略高于其他2种方法约11 0-3s,影响甚微。总体上,所提算法的综合性能优于其他2种方法。关键词 贝叶斯网络;参数学习;小数据集;乘性协同约束D O I 1 0.3 9 6 9/j.i s s n.2 0 9 7-1 9 1 5.2 0 2 3.0 4.0 1 1中图分类号 T P 1 8 1 文献标志码 A 文章编号 2 0 9 7-1 9 1 5(2 0 2 3)0 4-0 0 6 9-0 8B N P a r a m e t e r L e a r n i n g B a s e d o n M o d i f i e d M u l t i p l i c a t i v e C o l l a b o r a t i v e C o n s t r a i n t s w i t h S m a l l D a t a S e t sR E N Z h i f a n g,CHE N H a i y a n g*,HUAN X i a o m i n,S HANG S h a n s h a n(S c h o o l o f I n f o r m a t i o n a n d E l e c t r o n i c s,X ia n P o l y t e c h n i c U n i v e r s i t y,X ia n 7 1 0 0 4 8)A b s t r a c t A i m e d a t t h e p r o b l e m s t h a t u n d e r s o m e s p e c i f i e d c o n d i t i o n s,o b t a i n i n g s u f f i c i e n t s a m p l e s i s s o d i f f i c u l t t h a t t h e a c c u r a c y o f t h e B N p a r a m e t e r s l e a r n e d b y t h e m a x i m u m l i k e l i h o o d e s t i m a t i o n a l g o r i t h m i s o f t e n l o w,a n d m u l t i p l e p a r e n t n o d e s c o l l a b o r a t i o n t o i n f l u e n c e c o n s t r a i n t s i s i n v o l v e d i n s o m e a r e a s o f p r a c t i c a l a p p l i c a t i o n,a B N p a r a m e t e r l e a r n i n g m e t h o d b a s e d o n t h e m o d i f i e d m u l t i p l i c a t i v e c o-c o n s t r a i n t u n d e r s m a l l d a t a s e t s i s p r o p o s e d b y d r a w i n g o n t h e i d e a o f P AVA o r d e r-p r e s e r v i n g r e g r e s s i o n a l g o r i t h m.F i r s t,t h e p a p e r i s t o d e t e r m i n e w h e t h e r t h e p a r a m e t e r s i n t h e m u l t i-p a r e n t p a r t o f t h e k n o w n s a m p l e d a t a m e e t t h e n e e d s o f t h e m u l t i p l i c a t i v e c o l l a b o r a t i v e c o n s t r a i n t.S e c o n d l y,b o t h t h e l e f t a n d r i g h t s i d e s n o t t o m e e t t h e n e e d s o f t h e m u l t i p l i c a t i v e c o-c o n s t r a i n t a r e d i v i d e d i n t o w h o l e s,a n d a d j u s t e d s e p a r a t e l y b y u s i n g t h e P AVA a l g o r i t h m.A n d t h e n,f o r t h e a d j u s t e d w h o l e,t h r e e c o r r e c t i o n m e t h o d s w i t h d i f f e r e n t w e i g h t s a r e g i v e n t o c o r r e c t e a c h p a r a m e t e r a c c o r d i n g t o t h e a m o u n t o f s a m p l e d a t a c o r r e s p o n d i n g t o t h e c o m b i n e d s t a t e o f d i f f e r e n t p a r e n t n o d e s,a n d g a i n m e a n f i n a l p a r a m e t e r l e a r n i n g r e s u l t.F i n a l l y,t h e p r o p o s e d m e t h-o d i s v a l i d a t e d b y s i m u l a t i o n u s i n g a c l a s s i c a l g r a s s l a n d w e t t i n g n e t w o r k m o d e l.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d m e t h o d n o t o n l y m e e t s t h e n e e d s o f t h e m u l t i p l i c a t i v e c o o p e r a t i o n c o n s t r a i n t u n d e r s m a l l d a t a s e t c o n d i t i o n s,b u t a l s o t h e K L s c a t t e r i s a l w a y s l o w e r t h a n t h e o t h e r 2 m e t h o d s i n a d d i t i o n t o t h a t t h e r u n n i n g t i m e i s s l i g h t l y h i g h e r t h a n t h a t o f t h e o t h e r 2 m e t h o d s b y a b o u t 11 0-3s w i t h m i n i m a l i m p a c t.G e n e r a l l y s p e a k i n g,t h e p r o p o s e d a l g o r i t h m i s s u p e r i o r t o t h e o t h e r 2 m e t h o d s i n t h e c o m p r e h e n-s i v e p e r f o r m a n c e.K e y w o r d s B a y e s i a n n e t w o r k s;p a r a m e t e r l e a r n i n g;s m a l l d a t a s e t;m u l t i p l i e r c o o p e r a t i o n 贝叶斯网络(B a y e s i a n n e t w o r k s,B N)是一种将有向无环图结构和条件概率表相结合来表示不确定性知识的网络模型1-2,已成为解决不确定性问题的有效工具。目前,被广泛应用于医疗分析3-4、故障诊断5-6、军事智能7-1 1等领域。B N参数学习是指对结构中各节点条件概率的学习即条件概率表,当有 充 足 的 数 据 时,经 典 的 最 大 似 然 估 计 算 法(m a x i m u m l i k e l i h o o d e s t i m a t i o n,ML E)1 2能够有效地满足参数学习。而对于一些特定情况,收集大量可靠的训练数据是非常困难的,如军事领域中的威胁评估与目标识别、医疗中的罕见疾病、环境风险中的地质灾害等,想要采集到充足的数据都十分不易。若此时,依旧使用ML E算法进行参数学习,可能导致估算出的B N参数精度较低,从而对后续的推理产生影响,导致最终难以做出较为准确的决策。针对上述因数据量不充足导致参数学习精度低、推理结果差等问题,基于小样本数据集对B N参数学习展开研究显得十分必要。目前,已有许多学者针对小数据集下的B N参数学习进行了研究,同时取得了一些研究成果。现有方法大致可分为两类。第一类是基于约束优化模型1 3-1 6的方法,将参数学习问题当成一种带有约束的模型优化问题,如惩罚函数模型1 5和凸优化模型1 6,通过这些模型使得参数满足某种约束。此类方法可以结合几乎所有的约束类型,但缺点是计算量较大。第二类是基于贝叶斯估计1 7-2 0的方法,将定性专家约束以虚拟样本集的形式转化为定量的参数先验信息,再结合贝叶斯估计算法求解参数。文献1 7 针对参数的近似等式约束这种较为常见的专家先验知识,提出采用正态分布对其进行表示来获取超参数,但对约束区间内的参数取值未展开讨论。文献1 8 将模糊理论引入参数学习,提出一种基于模糊约束的贝叶斯估计方法,但该方法构建模糊超参的过程较为复杂。文献1 9 针对定性最大后验概率算法(q u a l i t a t i v e m a x i m u m a p o s t e r i o r,QMA P)在参数约束数量较多时无法获得满足约束的参数,设计了一种约束区域中心点的计算方法改进QMA P算法,但参数学习精度相较于QMA P方法略差。文献2 0 通过分析参数性和非参数性的贝叶斯估计,提出采用-二项式分布模型构建约束,有效减少了参数估计值的方差,但引入了小量偏差。此类方法的计算较为简单,学习精度也比较准确,但对参数约束条件的限制要求很高,有一定的局限性。此外,还有基于保序回归模型2 1的方法,此类方法可以与定性影响约束相结合对参数进行学习。通过分析已有数据条件下B N参数学习的研究可知,现有文献中基于约束优化模型的方法研究最多的是对单父节点的约束优化问题,对于多父节点的约束问题涉及甚少。但是,目前军事领域中导弹对海基拦截系统的突防评估、防空威胁评估等实际应用问题中均存在多父节点条件下的协同影响约束问题。因此,本文提出了一种修正乘性协同约束的参数学习方法。乘性协同约束2 2本身就是一种用于解决多父节点条件下约束优化问题的方法。本文通过借鉴A d F l e e d e r s2 3提出的P AVA(p o o l a d j a-c e n t v i o l a t o r s a l g o r i t h m)思想对乘性协同约束条件下B N参数学习进行优化。首先,判断多父节点部分的参数是否满足乘性协同约束,将不满足约束的参数划分成模块,用P AVA算法进行调整;然后,根据不同父节点组合状态所对应的样本数据量,给出3种权值不同的参数校正方法;最后,利用经典草坪湿润模型对本文方法进行仿真验证。1 相关理论1.1 贝叶斯网络中的参数学习B N参数学习中,对于每个节点Xi和它的父节点集合P a(Xi)都对应一个条件概率表P(Xi|P a(Xi)。记网络中条件概率为i j k,i j k=P(Xi=k|P a(Xi)=j)。对于具有n个节点变量的网络,参数估计可以表示为式(1)所示的对数似然函数最大化问题。07空军工程大学学报2 0 2 3年l(|D)=ni=1qij=1rik=1Ni j kl o gi j k(1)式中:Ni j k为样本数据集中满足Xi=k且其父节点P a(Xi)=j的样本个数;i j k的最大似然取值满足式(2)时,似然函数值最大。*i j k=Ni j krik=1Ni j k,Ni j k01ri,其他 (2)式中:ri是节点i的状态总数。1.2 乘性协同约束的数学模型协同影响约束是一种非单调定性影响约束,是相对于单调影响约束而提出的2 2-2 3。如节点A对节点C的单调影响约束的符号仅取决于节点A对C的影响,而节点A对节点C的非单调定性影响约束的符号还取决于其他节点对C的影响。若节点A是节点C的唯一父节点且存在正单调定性影响约束时,则其正定性影响的状态可用其小写形式a,c表示如下:P(c|a)P(c|a-)(3)当节点C的父节点除节点A之外还存在其它节点时,意味着其父节点的数量恒大于1。此时,子父节点间的单调定性影响约束不成立,需将其转化为非单调定性影响约束。若节点A和B都是节点C的父节点且存在正定性影响约束时,则其状态可用其小写形式a,b,c表示如下:P(c|a,b)P(c|a-,b)且P(c|a,b-)P(c|a-,b-)(4)正乘性协同约束2 2,2 4描述的是父节点个数大于1条件下的所有父节点对其子节点的联合影响约束。设某一贝叶斯网络中存在3个变量A,B,C且均为离散的布尔值。它们之间存在节点A,B均为C的父节点的关系,则其正乘性协同约束可表示为:节点A,B对节点C的共同影响大于节点A,B分别单独对节点C的影响的乘积,具体可表示为:P(c|a,b)P(c|a-,b-)P(c|a-,b)P(c|a,b-)(5)同理,负乘性协同可表示为:P(c|a,b)P(c|a-,b-)P(c|a-,b)P(c|a,b-)(6)1.3 基于P A V A的参数学习算法保序回归算法的基本原理是将得到的变量与已知变量的序关系进行比较,当得到的变量中有元素不满足已知序关系时,需进行修正,使其最终得到的数据集为一组非递减序列,且使得预测值与真实值的 误 差 最 小。通 常,在 引 入 权 重 时,需 要 使 用P AVA算法来解决保序回归问题。首先,对每个模块中的样本序列运用P AVA算法使得模块内样本有序;然 后,对 模 块 间(即 整 体 样 本 序 列)运 用P AVA算法使得所有样本有序。将P AVA算法思想运用到B N 参数学习中如下:对于某一节点Xi,设其状态取值为k时,相应的各父节点组合状态取值可表示为j,而 且j1,s 时对应的各参数大小关系完全已知。此时,用如下方法对参数i j k进行计算:假设j1j2j3js为父节点取不同状态值时的序关系,式中js表示j=s。此时,不同状态值所对应的参数大小关系可表示如下:i j1ki j2ki j3ki jsk(7)当参数之间的大小关系确定之后,把最大似然估计算法学习得到的参数作为初始值,将其与已知的大小关系进行一一比较,若符合,则表示满足约束;若不符合,则需要利用P AVA算法对违反部分进行调整。具体计算过程如下:首先,将网络中的待求参数i j k(j=1,2,s)划分成模块m1,m2,ms,并且每个模块均包含参数值v(ms)和权值(ms)两部分,j 1,s ,具体表示如下:(ms)=Njs,v(ms)=i jsk(8)其次,检查各模块是否满足式(9)和式(1 0):P a v b,d P a v d+1,t b 1,s ,db,s ,td+1,s (9)P a vb,d=ds=b(ms)v(ms)ds=b(ms)(1 0)若不满足,则转向下一步;若满足,则说明当前进行比较的参数模块违背了式(7)中的约束,需要更新参数的模块信息。具体操作为:将违背约束的2个模块集合并为1个模块集并对其加权平均得到新模块集,公式表示如下:b,t =b,d +d+1,t (1 1)P a v b,t =b,d P a v b,d +d+1,t P a v d+1,t b,d +d+1,t (1 2)然后,判断所得参数是否均满足式(7)的约束。若不满足,则根据以上步骤进行迭代直至满足约束停止;若满足,则用i j k=P a v b,t 更换新模块集b,t 中的所有参数。最后,当各父节点组合状态取值的序关系完全已知时,所有计算即刻终止。17第4期 任智芳,等:小数据集下基于修正乘性协同约束的B N参数学习2 基于乘性协同约束的B N参数学习2.1 算法基本思想在小数据集条件下,ML E算法常常无法学习得到精确参数,而专家经验知识往往可以提供较为准确的约束信息。因此,通过加入专家经验或领域知识对参数进行约束优化,来提高参数的学习精度。本文中,首先,利用最大似然估计算法学习得到网络参数并令其为初始参数用于后续学习,同时假设从专家经验知识中得到的约束均正确。然后,将初始参数划分为单个的模块并判断其是否满足乘性协同约束;若不满足,则需要利用P AVA算法对相应模块进行调整;若满足,则将其作为最后的学习结果。最后,将调整之后的参数通过不同的平均策略进行再次校正,这是该算法的核心所在。该算法的特点是:仅对违反了乘性协同约束的参数进行调整并进一步校正,对于未违反约束的参数就将其作为最后学习结果;在充分利用小数据集有限样本量的同时又对违反约束的参数加以校正,两方面相结合使得参数学习的结果更加准确。2.2 3种参数校正方法通过借鉴 P AVA算法思想,首先对不满足约束的参数进行调整,然后利用不同的平均策略结合乘性协同约束给出了3种不同的方法对参数进行校正。3种校正方法的异同主要在于求取m e a n值和进一步修正参数时的权值分配。其中:方法1和方法2先选用不同的计算方法求m e a n值,再进一步采用相同的校正公式修正参数;方法2和方法3先采用相同的计算方法求m e a n值,再进一步选用不同的校正公式修正参数。在小数据集条件下,若网络中的参数变量A,B,C符合1.2节提到的正乘性协同约束,则具体计算方法如下,负乘性协同约束同理可得。方法1:1)求取网络参数后,根据参数样本量赋予每个参数相应的权值,将违反乘性协同约束的部分,借鉴P AVA思想加权平均得到m e a n值:m e a n=(N1+N4)P(c|a,b)P(c|a-,b-)+(N2+N3)P(c|a-,b)P(c|a,b-)N1+N2+N3+N42)引入比例系数f1、f2,按相应的权值分别对每个参数进行校正,样本量大的则权值大一些,样本量小的则权值小一些,具体方法如下:f1=m e a n/P(c|a,b)P(c|a-,b-)f2=P(c|a-,b)P(c|a,b-)/m e a nPN(c|a,b)=P(c|a,b)f1N1N1+N4PN(c|a-,b-)=P(c|a-,b-)f1N4N1+N4PN(c|a-,b)=P(c|a-,b)f2-N2N2+N3PN(c|a,b-)=P(c|a,b-)f2-N3N2+N3方法2:1)求取网络参数后,赋予每个参数相同的权值,将违反乘性协同约束的部分,借鉴P AVA思想加权平均得到m e a n值m e a n=P(c|a,b)P(c|a-,b-)+P(c|a-,b)P(c|a,b-)22)根据样本量赋予每个参数相应的权值,引入比例系数f1、f2,按不同的权值分别对每个参数进行校正,具体方法如下:f1=m e a n/P(c|a,b)P(c|a-,b-)f2=P(c|a-,b)P(c|a,b-)/m e a nPN(c|a,b)=P(c|a,b)f1N1N1+N4PN(c|a-,b-)=P(c|a-,b-)f1N4N1+N4PN(c|a-,b)=P(c|a-,b)f2-N2N2+N3PN(c|a,b-)=P(c|a,b-)f2-N3N2+N3方法3:1)求取网络参数后,根据参数样本量赋予每个参数相同的权值,将违反乘性协同约束的部分,借鉴P AVA思想加权平均得到m e a n值m e a n=P(c|a,b)P(c|a-,b-)+P(c|a-,b)P(c|a,b-)22)引入比例系数f1、f2,按相同的权值对每个参数进行校正,具体方法如下:f1=m e a n/P(c|a,b)P(c|a-,b-)f2=P(c|a-,b)P(c|a,b-)/m e a nPN(c|a,b)=P(c|a,b)f112PN(c|a-,b-)=P(c|a-,b-)f112PN(c|a-,b)=P(c|a-,b)f2-1227空军工程大学学报2 0 2 3年PN(c|a,b-)=P(c|a,b-)f2-12式中:N1,N2,N3,N4分别表示父节点取值状态为(a,b)、(a-,b)、(a,b-)、(a-,b-)时的样本数据量,一般情况下,3种参数校正方法均可使用;若不同父节点组合状态的统计量差异较大时可优先采用方法1;若N1N4,N2N3时可优先采用方法2;若N1N4,N2N3时可优先采用方法3;PN表示校正后的参数。假设贝叶斯网络中共有D个节点,其中隐藏节点为n个,节点的最大状态数为N,在使所有参数都满足式(7)约束的迭代过程中,每种参数校正方法所需运算次数分别为a1,a2,a3,从而计算出本文方法1方法3的复杂度分别为:O(a1(2D-n)ND)、O(a2(2D-n)ND)、O(a3(2D-n)ND)。2.3 算法描述在小数据集条件下,若网络中的参数变量符合1.2节给出的乘性协同约束数学模型时,将结合P AVA保序回归算法调整并利用不同校正方法对贝叶斯网络参数进行学习。算法流程如图1所示。图1 算法流程图算法具体步骤如下:步骤1 对已知小样本数据利用最大似然估计算法进行学习,将其得到的相关参数作为后续学习中的网络初始参数。步骤2 判断已知样本数据中多父节点部分的参数是否满足乘性协同约束,若满足,则转向步骤6,若不满足,则返回步骤3。步骤3 对于不满足乘性协同约束的参数,利用P AVA保序回归算法对其相邻模块进行合并之后加权平均得到新模块集,通过式(8)式(1 2)进行计算。步骤4 判断调整之后的参数是否满足式(7)的约束,若满足,则转向步骤5,若不满足,则依据步骤3进行迭代直至满足停止。步骤5 针对调整后的整体(参数之积),采用2.2节的校正方法对每个参数进行相应的修正。步骤6 所得参数即为最终的参数学习结果。3 仿真结果及分析3.1 实验条件本次仿真采用W i n d o w s 1 0系统以及M a t l a b R 2 0 1 4 a作为研究平台。为了验证分析本文提出的算法性能,选用如图2所示的经典草坪湿润网络模型,该网络模型由4个节点和4条边构成,其中节点C表示天气是否多云,节点S表示是否需要洒水车进行洒水,节点R表示天气是否下雨,节点W表示草坪是否湿润;节点间的有向边由父节点指向其子节点,表示节点间的相互依赖关系。网络模型的选取虽然比较简单,但是模型中不仅包含有多父节点关系,而且涉及B N结构学习中最基础的顺连、汇连和分连3类结构。因此,草坪湿润网络模型可以作为一种典型网络用以评价B N参数学习方法的优劣性。图2 草坪湿润模型严格来说,数据的“充足”或“不充足”是一个相对量,大多领域都面临数据不充足的问题,但是并未有领域明确对小数据集给出定义。在贝叶斯网络学习中,衡量一个网络所需数据量的多少,需要考虑多方面因素,如网络结构复杂度、学习精度、最大父节点数目等。当B N的网络结构已知且所有节点均是离散值的条件下,可以通过最大似然估计计算B N网络所需样本数据量2 5。计算公式如下:M2 8 82K2l n2(1+3)l n1 8n2Kl n(1+3)(1 3)式中:M表示样本数量;K表示节点的最大状态数;表示每个节点对应的参数的K L误差;n表示网络37第4期 任智芳,等:小数据集下基于修正乘性协同约束的B N参数学习节点数量;为置信度。取=5,K=2,=0.0 5时,当样本数据量小于通过式(1 3)计算所得的样本数据量的数据集称为小数据集。本次 研 究 中,首 先 采 用M L E算 法、改 进 的QMA P方法2 6、本文方法1、方法2、方法3依次取不同的样本量对B N参数进行学习,然后分别以K L散度和运行时间作为指标,分析和对比算法的准确度和复杂度。仿真网络的部分真实参数如表1所示。表1 仿真网络的部分真实参数S=0,R=0 S=0,R=1 S=1,R=0 S=1,R=1W=10.40.60.60.9 5W=00.60.40.40.0 53.2 仿真分析假设图2的模型中R,S,W之间的参数满足正乘性协同约束,其中变量取1为事件发生,取0为不发生。具体表示为:P(W=1|R=1,S=1)P(W=1|R=0,S=0)P(W=1|R=1,S=0)P(W=1|R=0,S=1)取样本数据量为3 5时,ML E方法和本文方法得到的仿真结果如表2表5所示。表2 ML E学习得到参数S=0,R=0S=0,R=1S=1,R=0S=1,R=1W=10.7 7 7 80.60.51W=00.2 2 2 20.40.50表3 方法1学习得到的参数S=0,R=0S=0,R=1S=1,R=0S=1,R=1W=10.5 8 4 50.6 5 3 10.6 6 0 70.7 3 8 2W=00.4 1 5 60.3 4 6 90.3 3 9 30.2 6 1 8表4 方法2学习得到的参数S=0,R=0S=0,R=1S=1,R=0S=1,R=1W=10.5 8 2 00.6 5 0 30.6 5 7 40.7 3 4 6W=00.4 1 8 00.3 4 9 70.3 4 2 60.2 6 5 4表5 方法3学习得到的参数S=0,R=0S=0,R=1S=1,R=0S=1,R=1W=10.5 7 9 60.6 5 3 80.6 5 3 80.7 3 7 6W=00.4 2 0 40.3 4 6 20.3 4 6 20.2 6 2 4 从表2表5大致可知:学习所得参数与真实参数最为接近的是本文方法3。为进一步比较算法的学习精度,采用K L散度来描述学习得到的参数与真实参数之间的拟合程度,所得值越小说明其学习精度越高,K L散度的计算公式如式(1 4)所示。在不同数据样本量条件下分别进行5 0次实验并求取平均值,将本文提到的3种方法与ML E算法、改进的QMA P方法进行分析对比。所得K L散度结果图如图3、图4所示,其中图3为几种方法的全局显示图,为了更清晰地对比观察ML E算法、改进的QMA P方法与本文方法的K L散度,特将纵坐标K L散度数值范围缩小至0.1 30.3 5,得到如图4所示的局部显示图。K L(P,Q)=XP(X)l o gP(X)Q(X)(1 4)通过观察分析图3、图4可知:在小样本量条件下,本文方法的K L散度均明显小于ML E算法和改进的QMA P方法的K L散度,且本文方法3的K L散度折线图一直处于最低,这就说明在小数据集条件下,在学习精度方面本文的3种方法均优于ML E算法和改进的QMA P方法。其原因是本文方法基于ML E算法之上,通过引入乘性协同约束对样本数据进行调整和修正,既保证小数据集得到充分利用,又克服了ML E算法在小数据集条件下学习结果偏差大的不足,同时也有效提高了参数学习的精度。对比本文的3种方法可知:随着数据量的不断增加,方法3的学习精度一直保持着最高;在数据量较小时,方法2的学习精度次之,方法1的学习精度最低;在数据量较大时,方法1的学习精度次之,方法2的学习精度最低。图3 几种算法的K L散度比较图4 几种算法的K L散度比较(局部放大)3种算法的学习均需要真实样本数据作为基础,不同之处在于,本文方法对不满足约束的部分,47空军工程大学学报2 0 2 3年先通过P AVA算法给予调整,再结合乘性协同约束进行修正,使少量数据充分发挥作用;随着样本数据量的不断扩充,学习到的结果也会更加准确。而改进的QMA P方法中加入了虚拟样本,所以在小数据集下,真实样本对算法的学习精度影响较小,从而导致随着真实样本的增加,算法的学习精度提高也较小,整体上呈现下降趋势。但是相较于改进的QMA P方法,本文3种方法学习到的参数的K L精度一直处于最小。因此,本文方法更适用于小数据集条件下的B N参数学习,在小数据集条件下取得的学习结果也更加准确。以上侧重分析了本文提出算法的学习精度,单从学习精度来看,本文方法在样本数据量较小的条件下更占优势。为了进一步验证本文方法的性能,接下来将对算法复杂度进行简要分析。通常,将算法的运行时间作为衡量其复杂度的指标,对此,基于不同样本量对几种算法的时效性进行测试。在测试过程中,将每一组样本数据量各运行5 0次并求取其平均值,得到的运行时间结果图如图5所示。图5 几种算法的运行时间比较从图5可知:几种算法的时间消耗均较小,其中ML E 算法和改进的QMA P方法的运行速度较快,本文提出的方法3次之,方法1和方法2的运行时间均衡来看相当。主要是由于本文算法除了包含ML E算法的计算量之外,还包含调整及修正参数的过程,需要判断出已知样本数据中不满足乘性协同约束的参数,对这部分不满足约束的参数运用保序回归方法进行顺序调整,然后再通过不同的平均策略对每个参数进一步修正。这些步骤的运行均需要消耗时间,这就必然导致算法运行时间的增加。一般情况下,算法的学习精度提升必然会导致运行时间上的增加。本文方法在有效提高参数学习精度的同时也确保了学习结果满足所有约束,因而运行时间上的略微增加可以忽略不计。因此,通过对K L散度和运行时间两方面测试结果的综合分析,可以得出本文算法的综合性能好。4 结语在小数据集条件下,目前已有的B N参数学习方法得到的结果,不仅经常会违反专家约束,并且基于多父节点的参数学习研究比较少。因而本文针对多父节点的参数进行了学习,首先通过借鉴 P AVA算法的思想对于违反约束关系的样本进行调整使其最终满足非递减的序列关系,然后结合乘性协同约束方法通过不同的平均策略进行具体的计算及修正,使其满足专家约束的同时让有限的小数据量得到充分利用。该方法的优点在于它保证了样本数据在违反乘性协同约束的情况下,先调整违反约束的样本顺序,再运用不同的方法进行参数校正,使其满足专家约束,以达到更准确的学习精度。本文分别从算法的学习精度和运行时间两方面对几种方法进行对比分析。依据仿真结果可以得出:本文提出的3种方法在学习精度方面,相比ML E算法和改进的QMA P方法K L散度值较小,并且本文提出的算法中方法3的学习精度最高;但在时效性方面,相比ML E算法和改进的QMA P方法,本文3种方法的耗时均略微延长。综合来看,本文方法为小数据集条件下多父节点贝叶斯网络结构的参数学习提供了一种新思路。在以后的研究中,可以结合其他理论方法来研究小数据集条件下乘性协同约束的融合处理方法。参考文献1 S C ANAG A T T A M,C O R AN I G,Z A F F A L ON M,e t a l.E f f i c i e n t L e a r n i n g o f B o u n d e d-T r e e w i d t h B a y e s i a n N e t w o r k s f r o m C o m p l e t e a n d I n c o m p l e t e D a t a S e t sJ.I n t e r n a t i o n a l J o u r n a l o f A p p r o x i m a t e R e a s o n i n g,2 0 1 8,9 5(4):1 5 2-1 6 6.2杜文静,刘海.贝叶斯人工智能的概率证成J.科学技术哲学研究,2 0 2 2,3 9(4):1 6-2 0.3徐夏楠,张洪.基于信息增益的加权贝叶斯插补法及其在心脏病类医疗缺失数据分析中的应用J.复旦学报(自然科学版),2 0 2 2,6 1(3):3 3 5-3 4 1,3 5 2.4Z HANG T,Z HANG T,L I C,e t a l.C o m p l e m e n t a-r y a n d A l t e r n a t i v e T h e r a p i e s f o r P r e c a n c e r o u s L e-s i o n s o f G a s t r i c C a n c e r:A P r o t o c o l f o r a B a y e s i a