变分Bayesian推理的鲁棒稀疏相关向量机.pdf

第3 2卷第2期2 0 2 3年6月江苏海洋大学学报(自然科学版)J o u r n a l o f J i a n g s u O c e a n U n i v e r s i t y(N a t u r a l S c i e n c e E d i t i o n)V o l.3 2 N o.2J u n.2 0 2 3 D O I:1 0.3 9 6 9/j.i s s n.2 0 9 6-8 2 4 8.2 0 2 3.0 2.0 1 2变分B a y e s i a n推理的鲁棒稀疏相关向量机*任世锦,吴晓轩,朱艳冉,叶雨晴,胡晓双,柯源鑫(江苏师范大学 智慧教育学院,江苏 徐州 2 2 1 1 1 6)摘 要:相关向量机(r e l e v a n c e v e c t o r m a c h i n e,R VM)是一种基于稀疏贝叶斯原理的分类和回归建模方法,具有泛化能力强、有效刻画数据不确定性以及参数设置简单等优点。然而,R VM假定权重矩阵和数据噪声均服从高斯分布,降低了R VM的鲁棒性和泛化性能。为此,提出一种变分B a y e s i a n推理的鲁棒稀疏相关向量机建模方法,继承了R VM的优点,同时具有更好的鲁棒性和泛化性。该方法新颖之处在于:通过对权重矩阵分布施加L a p l a c e分布以保证权重矩阵的稀疏性;通过对建模噪声施加学生分布约束以及自适应调节学生分布的自由度参数,较好地描述数据的不确定性,增强所提方法对复杂数据建模能力;引入变分B a y e s i a n推理方法求取最优R VM模型参数和超参数。仿真结果证明所提算法具有良好的鲁棒性和稀疏性,优于现有的变形R VM算法。关键词:相关向量机;变分B a y e s i a n推理;L a p l a c e分布;学生分布;鲁棒;稀疏中图分类号:T P 3 9 1 文献标志码:A 文章编号:2 0 9 6-8 2 4 8(2 0 2 3)0 2-0 0 7 9-0 9V a r i a t i o n a l B a y e s i a n I n f e r e n c e-b a s e d R o b u s t a n d S p a r s e R e l e v a n c e V e c t o r M a c h i n eR E N S h i j i n,WU X i a o x u a n,Z HU Y a n r a n,Y E Y u q i n g,HU X i a o s h u a n g,K E Y u a n x i n(S c h o o l o f S m a r t E d u c a t i o n,J i a n g s u N o r m a l U n i v e r s i t y,X u z h o u 2 2 1 1 1 6,C h i n a)A b s t r a c t:R e l e v a n c e v e c t o r m a c h i n e(R VM)i s a s p a r s e B a y e s i a n p r i n c i p l e-b a s e d c l a s s i f i c a t i o n o r r e g r e s s i o n m e t h o d w i t h m e r i t s o f g o o d g e n e r a l i z a t i o n,c a p t u r i n g u n c e r t a i n t y o f d a t a a n d s i m p l e s e l e c t i o n o f m o d e l p a r a m e t e r s.H o w e v e r,w e i g h t m a t r i x o f R VM a n d m o d e l i n g n o i s e s a r e a s-s u m e d t o f o l l o w G a u s s i a n d i s t r i b u t i o n,l i m i t i n g t h e g e n e r a l i z a t i o n p e r f o r m a n c e a n d r o b u s t n e s s o f R VM.T h e r e f o r e,a v a r i a t i o n a l B a y e s i a n i n f e r e n c e-b a s e d r o b u s t a n d s p a r s e r e l e v a n c e v e c t o r m a-c h i n e i s d e v e l o p e d i n t h i s p a p e r t o d e a l w i t h t h e i s s u e s,i n h e r i t i n g t h e m e r i t s o f R VM a n d a c h i e-v i n g b e t t e r g e n e r a l i z a t i o n p e r f o r m a n c e a n d r o b u s t n e s s.T h e n o v e l t i e s o f t h i s p r o p o s e d p a p e r a r e a s f o l l o w i n g:t h e s p a r s i t y o f w e i g h t m a t r i x c a n b e e n s u r e d i n t h e o r y b y i m p o s i n g L a p l a c e d i s t r i-b u t i o n o n w e i g h t m a t r i x;u n c e r t a i n t i e s o f t h e d a t a c a n b e e f f e c t i v e l y c a p t u r e d b y i m p o s i n g s t u d e n t d i s t r i b u t i o n o n m o d e l n o i s e s,a n d t h e n t h e r o b u s t n e s s a n d m o d e l i n g a c c u r a c y o f t h e p r o p o s e d m e t h o d f o r c o m p l e x d a t a c a n b e e n h a n c e d g r e a t l y b y t u n i n g t h e f r e e d o m p a r a m e t e r s o f s t u d e n t d i s t r i b u t i o n;v a r i a t i o n a l B a y e s i a n i n f e r e n c e i s i n t r o d u c e d t o y i e l d t h e o p t i m a l R VM m o d e l p a r a m-e t e r s a n d h y p e r p a r a m e t e r s.T h e s i m u l a t i o n r e s u l t s s h o w t h a t t h e p r o p o s e d a l g o r i t h m h a s g o o d r o b u s t n e s s a n d s p a r s i t y,a n d i s s u p e r i o r t o t h e e x i s t i n g v a r i a n t s o f R VM.K e y w o r d s:r e l e v a n c e v e c t o r m a c h i n e;v a r i a t i o n a l B a y e s i a n i n f e r e n c e;L a p l a c e d i s t r i b u t i o n;s t u d e n t d i s t r i b u t i o n;r o b u s t n e s s;s p a r s i t y*收稿日期:2 0 2 2-0 9-2 4;修订日期:2 0 2 2-1 0-2 8作者简介:任世锦(1 9 7 1),男,江苏徐州人,副教授,博士,研究方向为人工智能、故障诊断、复杂过程建模,(E-m a i l)s j r e n_p h d 1 6 3.c o m。0 引言相关向量机(r e l e v a n c e v e c t o r m a c h i n e,R VM)是一种基于B a y e s i a n稀疏理论的改进的支持向量机(s u p p o r t v e c t o r m a c h i n e,S VM)算法1。R VM因其良好的学习能力和泛化能力以及模型参数自适应学习、能够描述数据的不确定性,以及适合解决小样本和非线性问题,广泛应用于电池寿命预测、天气预测、故障检测、高光谱分类等领域2-5。众所周知,多核S VM能够刻画复杂数据分布,其性能优于使用单核S VM性能。受多核学习启发,有些学者使用多核学习提升R VM性能,并在实际应用中获得较为满意的效果3,6。虽然R VM对核函数要求有所放宽(例如非M e r c e r核),然而选择合适核函数参数和类型是提升R VM性能的关键。目前该类方法的思路主要有两种:一种方法使用智能优化方法或者先验知识选取最优核函数参数7-9;另一种方法在多个子空间分别建立不同核参数值R VM模型,将多个子空间R VM模型输出结果通过模型混合、集成等得到全局回归分类结果1 0-1 1。如文献1 0 将复杂问题对应多个相对简单子问题并分别建立多个R VM回归模型,然后基于专家混合思想融合多个子模型预测结果,结果表明模型输出可靠性和精度方面均有较大的提高。其他改进R VM主要包括模型在线更新方法、快速训练模型方法、时间序列的预测建模等1 2-1 4。在实 际 应 用 中,选 取 有 效 可 靠 特 征 是 保 证R VM性能的关键1 5-1 8。如文献1 5 将状态空间模型与增强相关向量机(R VM)相结合,通过稀疏估计过程拟合残差的方差变化来识别过程故障;考虑到污水处理厂复杂的生化特性,文献1 6 首先使用自适应动态非线性偏最小二乘(P L S)模型抽取数据集中隐变量,然后使用R VM重建每对潜在变量之间的内部函数,有效挖掘对过程变量之间的非线性,提高预测模型的鲁棒性。尽管R VM在理论研究和实际应用中取得了一系列成果,然而对噪声污染严重数据仍难以取得满意的效果,需要在理论上进一步研究。需要注意的是,R VM在大多数情况下能够取得比S VM更好的稀疏性,但是其假定R VM权重矩阵先验服从高斯分布1,而根据稀疏表示理论可知,服从高斯分布的随机变量在实际上并不能保证数据的稀疏性。另外,R VM模型假定模型噪声服从高斯分布,而实际建模 数 据 噪 声 往 往 服 从 非 高 斯 分 布,这 限 制 了R VM应用范围,降低了R VM建模精度。基于上述分析,考虑到L a p l a c e分布与L1-范数的等价性1 9-2 0,以及学生分布能够通过调节自由度参数近似高斯分布和非高斯分布2 1-2 2,本文提出一种变分B a y e s i a n推理的鲁棒稀疏相关向量机建模方法。与传统R VM相比,该模型不仅继承了现有R VM的优点,而且具有更好的鲁棒性和泛化性。本文主要贡献包括如下3个方面:首先对权重矩阵分布施加L a p l a c e分布约束,从理论上保证权重的稀疏性;对建模噪声分布施加学生分布约束,通过调节学生分布的自由度参数自适应,描述高斯噪声和非高斯噪声,从而有效提高该方法对复杂数据的建模精度和鲁棒性,扩大其使用范围;为求取最优R VM模型参数和超参数,引入变分B a y e s-i a n推理(v a r i a t i o n a l B a y e s i a n i n f e r e n c e,V I)方法迭代优化方法,自动确定最优模型参数和超参数,克服试错方法搜索最优R VM模型参数,具有广泛的应用价值和理论价值。仿真证明了本文算法具有良好的鲁棒性和稀疏性。1 鲁棒稀疏相关向量机的概率图模型假设存在观测数据(xi,yi)Ni=1,xid1,yid1为数据所属类别,N为样本数据量。令X=x1,x2,xNDN,假设R VM的模型为y=A Kx+s。(1)其中,Kx=1,k(x,x1),k(x,x2),k(x,xN)T,这里k(x,xN)为符合M e r c e r条件的核函数;sr1为相互独立的服从非高斯分布的噪声;d为输出变量维数。AD(N+1)为权重矩阵,其每个元素服从L a p l a c e分布,其概率密度函数为p(A,)=12 e x p-A-。(2)其中,表示位置参数,表示尺度参数。由上可以看出,L a p l a c e分布使用绝对值来表示,与l1-范数等价,具有L a p l a c e分布约束的随机变量均具有稀疏性1 9。另外,L a p l a c e分布的尾部比正态分布的更加平坦,因此服从L a p l a c e分布的随机变量出现极端大值的概率要远远小于正态分布。在实际中,采08江苏海洋大学学报(自然科学版)2 0 2 3年6月用L a p l a c e分布对信号施加约束,以保证信号的稀疏性。假设随机变量=1/2服从G a mm a分布,即 G a(a,b)=1(a)baua-1e-b。(3)L a p l a c e分布可以看作无限多个高斯分布信号的混合,即p(A )=02 2e x p-2 2A2 p()d=E2 2e x p-2 2A2 。(4)其中,服从如下形式的指数分布:p()=122e x p-12 。(5)对于服从L a p l a c e分布的零均值权重变量,其分布形式为p(A ,)=2 2e x p-2 2A2 。(6)注意到权重矩阵A各个元素是相互独立的,那么权重矩阵A的条件分布为p(A|,)=N+1i=1Dj=1p(Ai j|i j,i j)=N+1i=1Dj=1i j2 i je x p-i j2i jA2i j 。(7)这里,=i j N+1,Di,j=1,=i j N+1,Di,j=1,i j=1 2i j,D为输入数据的维数。类似地,矩阵,中元素也是相互独立的。注意到数据噪声是相互独立的,其分布可写为如下形式:p(s)=dm=1p(sm)。(8)其中,p(sm)为学生t-分布密度函数。令=A Kx,那么给定A,Kx以及模型参数时关于y的条件分布为学生t-分布,即s t(y|A,Kx,v)=(v+d)/2)12(v/2)(v)D/21+(y-)T-1(y-)v -(vk+d)/2。(9)其中,为均值,为对角协方差矩阵,v为自由度。当v时,学生分布近似高斯分布;当v=1时,学生t-分布等价于柯西分布。从上式可以看出,学生t-分布可以看作具有共同均值和服从变尺度逆2分布的方差高斯混合分布。假定yi s tv(,2),yi还可以表示为如下的条件分布:yi|ViN(,Vi),(1 0)Vi l n v-2(v,2)。(1 1)其中l n v-2(v,2)=(2)-n2-1e-1222n2n2 ,0;0,=0。(1 2)由于t-分布可以看作无限多个不同高斯分布信号的混合形式,因此可以使用t-分布表示非高斯信号。在实际中通过调节自由度大小可以使得t-分布近似非高斯分布。基于上述考虑,非高斯噪声的每个维度变量sk分布可以使用t-分布近似,即p(sk)=s t(sk|0,2k,vk)=(vk+1)/2)(vk/2)vk2k1+(sk)2vk2k -(vk+1)/2=0N(sk|0,(uk)-12k)G a(uk|auk,buk)duk=Euk(N(sk|0,(uk)-12k)。(1 3)其中,Euk(N(sk|0,(uk)-12k)表示计算N(sk|0,(uk)-12k)关于uk的期望,(x)=0zx-1e-zdz表示G a mm a函数,G a(u|a,b)=baua-1e-b u/(a)(x0)表示具有参数为a,b的G a mm a分布,vk为自由度。关于u和其对数的数学期望分别为=ab,=(a)-l n b,(a)=d(a)/da。显然给定uk时,随机变量sk的概率分布为高斯分布,即 p(sk|uk)=N(sk|k,(uk)-12k)。基于上述讨论,图1给出了本文所提出的鲁棒稀疏相关向量机的概率图。图1 鲁棒稀疏R VM概率图F i g.1 P r o b a b i l i s t i c g r a p h o f r o b u s t a n d s p a r s e R VM首先定义隐变量集合=A,u,其余模型参数记为。根据模型概率结构图中变量之间18 第2期任世锦等:变分B a y e s i a n推理的鲁棒稀疏相关向量机的依赖关系,对数完全似然函数形式为l n p(,Y|)=l n p(Y|A,u,)p(A|,)p(|)p()p(u|)。(1 4)其中,u=u1,u2,udT,l n p(Y|A,u,)=Nn=1l n p(yn|A,u,)=Nn=1l n N(yn|A Kxn,d i a g(u-1),l n p(A|,)=l ndi=1N+1j=1N(Ai j|-1i j,i j),p(|)=di=1N+1j=1G ai jai j2,bi j2 ,p()=di=1N+1j=1p(i j),p(u|)=dk=1G aukvk2,vk2 ,u-1=u-11,u-12,u-1dT,=d i a g(21,22,2d)为对角矩阵,d i a g(u-1)表示由向量u-1元素组成的对角矩阵。最优模型参数、超参数以及隐变量解可以通过最大化对数完全似然函数求取。由于无法直接求取最大化学生t-分布表示似然函数的闭解,MCMC和变分B a y e s i a n推理方法是学习参数后验分布的常用方法。由于MCMC存在计算效率以及收敛性问题,因此本文使用V I方法求取式(1 4)所示优 化问题。下 面 首 先 介 绍 变 分B a y e s i a n推理方法。2 变分B a y e s i a n推理 根据贝叶斯理论,似然函数的对数表示为l n p(Y|)=l np(,Y|)p(|Y,)=l n q()p(,Y|)q()p(|Y,)q()dq()l np(,Y|)q()p(|Y,)q()d=q()l np(,Y|)q()+l nq()p(|Y,)d=F(q(),)+K L(q()|p(|Y,)F(q(),)。(1 5)这里,变分分布q()表示关于的任意形式的分布,p(|Y,)表 示 关 于的 真 实 后 验 分 布,K L(q()|p(|Y,)0表示q()和p(|Y,)之 间 的K u l l b a c k-L e i b l e r散 度,当q()=p(|Y,)时相对熵为0。显然,F(q(),)为似然函数l n p(Y|)的下界。如果最大化F(q(),)则导致K L(q()|p(|X,)趋于0,即q()近似于p(|Y,)。因此q()的最优解可由下面的优化问题求出:q*()=p(|Y,)=a r g m a x F(q(),)。(1 6)这里,q*()表示q()的变分解。基于平均场理论,q()可以分解为隐变量之间的乘积q()=qA(A)q()q()qs(s)qu(u),那 么 变 分 下 界F(q(),)对每一个变分转换为如下形式:F(q(),)=-q()l n q()d+c o n s t+qA(A)q()q()qu(u)(l n p(,X|)dddAdu。(1 7)这里,c o n s t作为独立于的无关项视为常数。求解F(q(),)对所有变分分布分别求导,那么每个变分分布最优解均可求出。以关于的变分q()为例,其l n q()由下式求出,即l n q()=qA(A)q()q()qu(u)l n p(,Y|)dddAdu+c o n s t=,A,u。(1 8)其中,u,A表示l n p(,Y|)对,A,u的期望。关于qA(A),q(),qu(u)最优解形式与上类似。3 基于V I的模型参数优化方法基于上节的介绍,本文使用迭代方法求解模型优化问题。下面给出基于V I的式(1 7)所示优化问题中隐变量更新形式。3.1 更新q()固定其他变量,根据V I理论变分分布q()的对数可由下式求出,即l n q()=,A=i,j(-2 l n i j-1/(2i j)+i,j(l n i j-2i ji j)/2+c o n s t=i,j(-3 l n i j-1/i j-2i ji j)/2+c o n s t。(1 9)其中,c o n s t表示与无关的常数。上式使用到了矩阵与是相互独立的条件,矩阵A中各个元素也是相互独立的。显然可以对q()的每个元素q(i j)单独进行更新,q(i j)的更新形式为28江苏海洋大学学报(自然科学版)2 0 2 3年6月q*(i j)-32i je x p(-(1/i j+i j)/2)。(2 0)实际上,q(i j)是参数为a=2i j,b=1,p=-1/2的广义逆高斯分布。因此i j的期望可通过计算广义逆高斯分布求得,即=0i jq*(i j)di j=b Rp(a b)/a,(2 1)=aRp(a b)/b-2p/b。(2 2)其中,Rp(z)=Kp+1(z)/Kp(z),Kp(z)表示指数p的第三类修正B e s s e l函数。3.2 更新q()固定其他变量,基于V I理论的变分分布q()的对数更新形式为l n q(i j)=,A=(ai j-1)l n i j-bi ji j+12l n i j-i ji j(/2)+c o n s t。(2 3)注意到q(i j)=G a(ui j|ai j,bi j),那么相应参数更新为ai j=ai j+12,bi j=bi j-i,j(-/2)。(2 4)那么i j,和-1i j的期望为=ai j/bi j,=(ai j)-l o g bi j,=bi j/(ai j-1)。(2 5)3.3 更新q(A)固定其他变量,基于V I理论的变分分布q(A)的对数更新形式为l n q(A)=u+,+c o n s t=-12Nn=1(-2yTnd i a g12k A kxn+t rATd i a g12k A kxnkTxn)-i j A2i j2+c o n s t。(2 6)其中,d i a g(-1u)=d i a guk/2k 为对角矩阵。注意到 q(A)=i jN(Ai j|Ai j,Ai j),对上式整理可得(yn-A kxn)Td i a g(-1u)(yn-A kxn)=dk=1(ykn-aTkkxn)2uk/2k=dk=1,ki(ykn-aTkkxn)2uk/2k+yin-N+1l=1,ljAi lklxn-Ai jkjxn 2ui/2i。(2 7)其中,kxn=k1xn,k2xn,kNxn,1。令e-j,n=kxin-rl=1,ljAi lklxn,与Ai j有关的项为-Nn=1u/2+A2i j/2=-(Nn=1(kjxn)2+N A2i j)A2i j/2+Ai je-jNn=1kjxn/2i。(2 8)那么相应参数更新为(Ai j)-1=1NNn=1(kjxn)2+A2i jAi j=e-jNNn=1kjxn/2i/1NNn=1(kjxn)2+A2i j 。(2 9)3.4 更新q(u)注意到G auv2,v2 =d+1k=1G aukvk2,vk2 ,v=v1,v2,vd+1,固定其他变量,其变分下界对q(u)求导可以得到如下形式:l n q(u)=A+l n p(u|)=-12uk12kNn=1(Bn)k k+vk +vk-12 l o g ukn。(3 0)其中,Bn=kxnkTxn-kxnkTxnT。定义q(u)=d+1k=1G a(uk|aku,bku),那么根据上式可以得到超参数更新形式 aku=vk+12。(3 1)bku=(Nn=1(Bn)k k/2k+vk)/(vk+1)。(3 2)上面涉及的计算为=+(Ai j)。根据上面参数值,uk和l n uk期望计算形式为=bkuaku,(3 3)=(aku)-l n bku。(3 4)其中,(aku)为(aku)的导数。参数和vk可以分别通过求解得到,即38 第2期任世锦等:变分B a y e s i a n推理的鲁棒稀疏相关向量机-1=1Nd i a g(u)-1d i a g(Nn=1(kxinkTxin-2kTxnkTxin+)。(3 5)式中,N为训练样本的数量。求l n p(uk|0,2k,vk)对vk的导数并等于0,有l n p(u|)vk=01NNn=1(l n-)-vk2 -1-l nvk2=0。(3 6)使用m a t l a b工具中f m i n s e a r c h函数很容易求出vk的解。2k为t-分布的参数,表示噪声维度的方差,其值可以通过自由度计算,即2k=vk-2vk。(3 7)为了得到一个合理的方差,实际中定义自由度的最小取值为vk=2.5。基于上述迭代更新方程,表1给出本文算法的求解步骤。算法分为离线训练阶段和在线应用阶段。离线训练阶段利用本节推导的更新方程迭代求取最优模型参数,在线应用阶段利用已学习模型对新样本进行预测。表1 基于V I的鲁棒稀疏R VM优化求解过程T a b l e 1 V I-b a s e d o p t i m i z a t i o n p r o c e d u r e f o r r o b u s t a n d s p a r s e R VM离线阶段 1.输入数据(xi,yi)Ni=1,选择先验分布的超参数ai j,bi j和vk,i=1,2,d,j=1,2,N+1,k=1,2,d,迭代次数t=0,计算核矩阵K=k(xi,xj)Ni,j=1;2.根据先验分布抽取隐变量作为初始值;3.w h i l e tm a x i t e r d o4.t=t+15.f o r i=1,2,d,j=1,2,N+1 6.利用式(2 1)更新i j;7.利用式(2 4),(2 5)更新i j 以及超参数ai j,bi j;8.利用式(2 9)更新A元素Ai j的均值Ai j和方差Ai j;9.e n d f o r1 0.f o r k=1,2,d+11 1.利用式(3 0),(3 1)更新超参数 aku,bku,利用式(3 3),(3 4)更新uk和l n uk;1 2.利用式(3 5)更新对角矩阵;1 3.使用m a t l a b求解式(3 6)所示优化问题,对vk进行更新;1 4.e n d f o r1 5.计算下界函数Ft(q(),);1 6.i f Ft(q(),)-Ft-1(q(),)Ft-1(q(),)t h e n1 7.终止w h i l e1 8.e n d i f1 9.e n d w h i l e在线阶段1.采集新样本xn e w;2.计算向量kxn e w=k1xn e w,k2xn e w,kNxn e w,1,其中,kixn e w=k(xn e w,xi);3.计算权重矩阵的后验分布(Ai j)-1=(kjxn e w)2+A2i j ,Ai j=e-j,n e wkjxn e w/2i(kjxn e w)2+A2i j;4.计算预测输出y-n e w=A-n e wkxn e w,其中A-=Ai j;5.计算-1n e w=d i a g(u)-1d i a g(kxin e wkTxin e w-2kTxn e wkTxin e w+)作为样本的输出方差。48江苏海洋大学学报(自然科学版)2 0 2 3年6月4 仿真为了验证本文算法,首先考虑典型的回归函数s i n c(x)=s i n(x)/(x)。从该函数产生训练样本(xi,yi),i=1,2,1 0 0,并对yi 施加高斯噪声N(0,0.0 1),然后在-1,1 均匀采样作为在野点施加到yi,在野点总数为样本总数的2 5%。本文提出的鲁棒稀疏R VM选用高斯核函数k(x,xi)=e x p(-x-xi2/r),这里设置r=2;超参数ai j,bi j 和vk初始值设为1 0-5,噪声方差设为0.0 1。采用RM S作为预测误差。图2给出在噪声和在野点干扰数据样本的预测结果。注意,图2中圆圈表示含有高斯噪声数据点,矩形方块表示在野点,红色实线表示预测结果,蓝色虚线表示真实s i n c(x)。从图2中可以看出,在野点比例为2 5%以及完全噪声条件下本文算法仍然能够很好地逼近真实函数,具有很强的鲁棒性和泛化性。图2 本文算法预测结果F i g.2 P r e d i c t i o n r e s u l t s o f t h e p r o p o s e d m e t h o d为了更好地说明本文算法的有效性,与经典R VM、鲁棒贝叶斯R VM(r o b u s t B a y e s i a n R VM,R B-R VM2 5)进行对比。对s i n c(x)施加不同比例在野点,仿真时训练样本为8 0%、测试样本为2 0%,计算不同算法的预测误差RM S,仿真结果如图3所示。由于RM S值越小表示对应模型越好,从图3可以看出,3种算法的预测误差均随着在野点比例的增加而增加。但是随着在野点比例增加本文算法预测误差变化速度要小于其他两类,并且本文算法RM S均处于最优状态,尤其在野点比例为5 0%左右时模型性能远远优于现有R VM模型,表明本文算法具有很强的鲁棒性和泛化性。其原因是,本文算法能够在理论上保证权重的稀疏性,因而算法的鲁棒性和泛化性能够保证;其次,模型误差分布服从学生t-分布,能够很好地刻画非高斯分布误差,消除复杂噪声数据对模型性能的影响。总体上说,本文算法适用于噪声污染严重的数据建模场合,具有重要的实际应用价值。图3 在野点比例与预测误差RM S关系F i g.3 R e l a t i o n s h i p b e t w e e n r a t i o o f o u t l i e r s t o n o r m a l s a m p l e s a n d RM S为进一步说明本文算法的效果,把本文算法用于图像去噪。首先对噪声图像划分多个重叠子图像块,每个图像具有局部相似性和平滑特性,因此对每个图像块使用本文算法进行回归,实现图像去噪。对子块中心像素强度进行预测,预测值作为该像素强度,这样实现图像预测。算法核函数采用多项式核函数和高斯核函数的线性组合,最优加权系数通过0,0.1,0.2,1 网格搜索取得。原始图像如图4 a所示,对原始图像施加2 0%椒盐噪声结果如图4 b所示。使用本文算法、R VM及R B-R VM去噪效果分别如图4 c e所示。从图中可以看出,本文算法去噪后图像信噪比S N R最小,去噪效果最佳。a 原始图像 b 含噪图像(S N R=6 3.5 8)58 第2期任世锦等:变分B a y e s i a n推理的鲁棒稀疏相关向量机c R VM(S N R=2 5.2 3)d 本文方法(S N R=8.1 2)e R B-R VM(S N R=1 0.3 7)图4 不同方法的图像去噪结果比较F i g.4 C o m p a r i s o n o f d i f f e r e n t m e t h o d s f o r i m a g e d e n o i s i n g5 结论本文提出一种变分B a y e s i a n推理的鲁棒稀疏相关向量机建模方法。该方法首先对权重矩阵分布施加L a p l a c e分布,等价于对模型权重施加l1-范数约束,从理论上保证权重的稀疏性;其次把学生t-分布引入建模噪声约束,通过自适应调节学生t-分布的自由度参数,很好地解决复杂分布噪声描述问题,提高对复杂数据建模的精度和鲁棒性,有效扩大本文算法使用范围。引入了变分B a y e s i a n推理方法迭代优化方法求取最优R VM模型参数和超参数,提高了对复杂数据的建模能力,降低了模型求解复杂度。为了验证本文方法的有效性,对不同比例在野点的含噪人造数据样本进行了仿真,并与R VM以及改进算法进行对比,说明本文算法对在野点比例增加时预测误差变化较为缓慢,具有很好的鲁棒性和预测性能。最后基于含噪图像集验证本文算法的鲁棒性和预测精度。仿真实验结果表明,本文算法具有较高的鲁棒性和泛化性能,适合噪声污染严重数据建模问题,具有较高的理论和应用价值。由于本文算法采用基于V I的迭代优化算法,算法的复杂度高于传统R VM算法,并且算法的收敛速度受到算法参数初始值选取的影响。另外,与其他核方法类似,本文算法性能仍然受到核函数类型以及参数选取的影响。参考文献:1 M I CHA E L E T.S p a r s e b a y e s i a n l e a r n i n g a n d t h e r e l-e v a n c e v e c t o r m a c h i n eJ.J o u r n a l o f M a c h i n e L e a r n-i n g R e s e a r c h,2 0 0 1,1(3):2 1 1-2 4 4.2 F E R E I D OUN A M,Z HAN G Y e.R o b u s t h y p e r s p e c-t r a l c l a s s i f i c a t i o n u s i n g r e l e v a n c e v e c t o r m a c h i n eJ.I E E E T r a n s a c t i o n s o n G e o s c i e n c e a n d R e m o t e S e n s-i n g,2 0 1 1,4 9(6):2 1 0 0-2 1 1 2.3 J I AN G B o,D A I H a i f e n g,WE I X u e z h e,e t a l.M u l t i-k e r n e l r e l e v a n c e v e c t o r m a c h i n e w i t h p a r a m e t e r o p t i-m i z a t i o n f o r c y c l i n g a g i n g p r e d i c t i o n o f l i t h i u m-i o n b a t-t e r i e sJ.I E E E J o u r n a l o f E m e r g i n g a n d S e l e c t e d T o p i c s i n P o w e r E l e c t r o n i c s,2 0 2 1,P P(9 9):3 1 3 3 6 9 7.4 L U W e i,Z HE NG Q i a n,HAM I D R E Z A Z.W i n d t u r-b i n e p i t c h s y s t e m c o n d i t i o n m o n i t o r i n g a n d f a u l t d e t e c-t i o n b a s e d o n o p t i m i z e d r e l e v a n c e v e c