基于软阈值函数的深度学习磁信号去噪算法.pdf

第 卷 第期 年月探 测 与 控 制 学 报J o u r n a l o fD e t e c t i o n&C o n t r o lV o l N o A u g 收稿日期:作者简介:李杨(),男,河北廊坊人,硕士研究生.通信作者:田斌(),男,湖北襄阳人,博士,教授.基于软阈值函数的深度学习磁信号去噪算法李杨,田斌,杨超(武汉工程大学电气信息学院,湖北 武汉 )摘要:针对采用固定阈值函数的深度学习信号处理方法在处理实测磁信号时学习特征的能力差、去噪效果差的问题,提出基于自适应参数软阈值函数(A P S T F)的去噪算法.该算法将软阈值函数作为激活函数引入神经网络框架,用于剔除特征图中的噪声特征,增强神经网络的学习能力,从而实现信号处理效果的提高;将U N e t网络中的R e L U激活函数替换为自适应参数软阈值函数,增强了实测噪声下神经网络的学习能力,显著的提高了去噪后磁信号的信噪比.区别于以往采用传统软阈值函数的去噪算法,利用E C A模块来自适应选取阈值,取消了对噪声分布已知的假设前提,能更好地适应实测噪声并将其去除.关键词:深度学习;自适应去噪算法;软阈值函数;磁信号中图分类号:T P 文献标志码:A文章编号:()D e e pL e a r n i n gM a g n e t i cS i g n a lD e n o i s i n gA l g o r i t h mA p p l y i n gS o f tT h r e s h o l dF u n c t i o nL IY a n g,T I ANB i n,YAN GC h a o(S c h o o l o fE l e c t r i c a l I n f o r m a t i o n,Wu h a nI n s t i t u t eo fT e c h n o l o g y,W u h a n ,C h i n a)A b s t r a c t:W ep r o p o s ead e n o i s i n ga l g o r i t h mb a s e do na na d a p t i v ep a r a m e t e r s o f t t h r e s h o l d f u n c t i o n t os o l v e t h ep r o b l e mo f t h en e u r a ln e t w o r kw i t hw e a kl e a r n i n ga b i l i t yw h e np r o c e s st h em e a s u r e dm a g n e t i cs i g n a l T or e m o v en o i s e i nf e a t u r em a p,w eu s e t h e a d a p t i v ep a r a m e t e r s o f t t h r e s h o l d f u n c t i o n i nn e u r a l n e t w o r kf r a m e w o r k I nt h i sp a p e r,w eu s ea na d a p t i v ep a r a m e t e rs o f t t h r e s h o l df u n c t i o ni nU N e t t oe n h a n c et h el e a r n i n ga b i l i t yo ft h eU N e t T h eE C Am o d u l e i su s e d i na d a p t i v ep a r a m e t e r s o f t t h r e s h o l d f u n c t i o n t os e l e c t a u t o m a t i c a l l y t h r e s h o l d,c o m p a r ew i t ht h e t r a d i t i o n a l d e n o i s i n ga l g o r i t h mb a s e do n t ht r a d i t i o n a l s o f t t h r e s h o l d f u n c t i o n,i t i sd i f f e r e n t T h ea l g o r i t h mi sp r o p o s e db yu sc a na d a p tb e t t e r t ot h em e a s u e dn o i s ea n dr e m o v e t h e mK e yw o r d s:d e e p l e a r n i n g;a d a p t i v ed e n o i s i n ga l g o r i t h m;s o f t t h r e s h o l df u n c t i o n;m a g n e t i cs i g n a l 引言磁信号传感器已经被广泛应用到航空航天、交通运输、工业生产等领域中.磁信号自身信号微弱且易受外界干扰的影响,导致传感器测量的信号信噪比低且噪声呈非线性与非高斯性.实测磁信号的该特性对后续信号的处理造成负面的影响,甚至进一步可能导致检测与测量任务的失败.因此,高效的实测磁信号去噪算法成为现今磁信号检测与测量技术研究中的热点问题.当前常用的信号去噪算法可分为传统信号去噪算法和基于深度学习的信号去噪方法两类.文献 提出了一种将高斯尺度小波变换混合模型和贝叶斯估计相结合的分数阶小波域模型来处理实测地震信号,实验结果表明该方法可以有效地抑制地震信号中的随机噪声.文献 针对传统经验模态分解方法会产生目标信息失真这一问题,提出了一种改进经验模态分解方法来解决这个问题,改进后的经验模态分解方法取得了良好的效果.文献 分析了复杂的噪声结构和微弱信号特征,提出了一种模型约束下的在线字典学习去噪方法,该方法可以在高噪声背景下有效地提取出微弱信号.上述方法虽然都取得了良好的实验结果,但是存在泛用性差和需要人工设置的参数量多的问题,这些参数的质量会影响最终算法的效果,且对于不同的数据类型最优参数都不同.因深度学习算法的发展,自适应去噪算法研究成为当前此类研究的热点.如文献 提出了模糊C均值深度信念网络F CMD B N模型结构,使用该模型处理心电信号发现该模型具有较高的适应性.文献 使用长短时记忆(l o n gs h o r t t e r mm e m o r y,L S TM)神经网络来处理地电场数据,可以有效地处理地电场数据.文献 提出了一种将递增卷积和递减卷积相结合的神经网络模型,利用该模型对含有高噪声的信号进行去噪,发现该模型可以有效地去除噪声,并获得更高的峰值信噪比和结构相似度.文献 提出了一种基于双向L S TM神经网络来抑制信号中的噪声,在非平稳噪声环境中,该算法可以获得较好的特征提取效果.上述方法虽然都在信号去噪领域中取得了成功,但 是 这 些 方 法 都 使 用 了R e L U 激 活 函 数,R e L U激活函数会将特征图中小于的部分全部滤除.磁信号传感器探测到的信号是矢量,具有方向信息,使用R e L U激活函数就会导致特征丢失,得到的去噪信号信噪比低.在某些无法得知信号中噪声分布的情况下,使用传统信号处理算法,就需要对探测环境进行仿真,来得到纯净信号的理论值,而实际探测到的信号值往往与理论值不一致,因此在这种情况下人工设置的参数也不一定能得到正确的纯净信号.为解决上述问题,提出一种可用于磁信号去噪的激活函数A P S T F.理论知识 传统软阈值函数软阈值 函 数 是 信 号 去 噪 算 法 的 重 要 组 成 部分 ,该函数能提高均方误差信号的收敛速度,解决含已知分布噪声的信号去噪问题.然而,在含分布未知噪声的情况下,则需要模拟不含噪声的理想信号为去噪算法提供参考.此类方法费时费力且效果不佳.深度学习提供了一个新的方法可以较好地解决此问题,神经网络可以通过梯度下降算法来自动学习如何选取合适的阈值.由于软阈值函数可以和神经网络结构融合,形成A P S T F,该函数可以抑制数据中的噪声,并将数据中的有用信息提取出来,重建高质量的特征.软阈值函数的定义如下:yx,x,xx,x,()式()中,x是输入特征图,y是输出特征图,是阈值.利用软阈值函数来替代R e L U作为神经网络的激活函数,可以保证磁信号特征不会丢失,并可以有效地对其进行去噪处理.由式()可知,软阈值函数的导数不是就是,这可以有效地防止梯度消失,和R e L U具有类似的功能.深度学习相关知识卷积层是神经网络中不可或缺的一部分,与全连接层不同的是卷积层需要训练的参数量更少,可以有效地避免过拟合.卷积操作是卷积核与输入特征图的逐点相乘之和,再加上一个偏置项,其表达式为yjiMjxiki jbj,()式()中,xi是第i个通道的输入特征图,yj是第j个通道的输出特征图,k是卷积核,b是偏置项,Mj是通道数的集合.R e L U激活函数被广泛使用,因为它可以有效地防止梯度消失.R e L U激活函数的导数不是就是,当在层与层之间传播时,这种特性使特征图的数值范围不被改变,使得神经网络模型易于训练.R e L U激活函数公式为ym a x(,x).()全局平均池化(g l o b a l a v e r a g ep o o l i n g,G A P)是一种将每个通道特征图变为一个平均值的操作.G A P可以减少输出层的参数,避免模型遇到过拟合问题.M S E损失函数被广泛应用在回归问题中,其数学表达式为M S Enni(yi,t r u eyi,p r e d),()式()中,n代表输入数据的长度,i代表当前数据的索引.基于A P S T F的深度学习去噪算法 自适应参数软阈值函数及其实现对噪声和传统信号处理算法进行研究,发现大部分噪声都是近的,且软阈值函数作为传统信号探 测 与 控 制 学 报处理算法的核心可以有效地对信号进行去噪.受此启发,本文提出了一种可用于磁信号去噪的激活函数A P S T F.在传统的信号处理算法中,人工设置合适的阈值是没有通适性方法的.为了解决这个问题,本文将E C A模 块 和 软 阈 值 函 数 进 行 了 结 合,形 成了A P S T F.本文实验将A P S T F作为激活函数,插入到神经网络框架中,阈值不需要人工设置,神经网络会根据不同的输入数据,自动地设置不同的阈值,达到最优的特征提取效果.A P S T F网络结构如图所示.图A P S T F网络结构F i g N e t w o r ks t r u c t u r eo fA P S T F本文使用的改进E C A模块和原始E C A模块不同的是原始E C A模块将输入特征图和经过S i g m o i d激活函数的输出进行元素级乘法来得到输出特征图,而A P S T F中的改进E C A模块令卷积的输出和经过S i g m o i d激活函数的输出进行元素级乘法来得到软阈值.在改进E C A模块中,GA P将输入特征压缩为全是正数的一维向量,然后将一维向量送入卷积层去获得一组放缩系数,在卷积层后面使用S i g m o i d激活函数,将卷积层得到的结果压缩到到之间,确保这组放缩系数不会太大,若放缩系数过大,会使得最后得到的阈值过大,这样就会将特征图中所有特征过滤掉,但是噪声通常是近的,因此需要使用S i g m o i d激活函数来压缩放缩系数的值,使得阈值处于合理的范围之内.S i g m o i d激活函数的数学表达式为ez,()式()中,z是卷积层输出的特征,是对应于特征图中每个通道的放缩系数.在得到放缩系数后,乘平均值|x|来得到阈值.阈值的数学表达式为a v e r a g e|xi,j,c|,()式()中,i是特征图x的行索引,j是特征图x的列索引,c是特征图的通道索引.通过式()可知,阈值处于一个合适的大小,不会将特征图中所有的信息都置为.在得到阈值后,将输入特征图分为正样本特征图和负样本特征图,正样本特征图是输入特征图中大于阈值的部分,负样本特征图是输入特征图中小于阈值的部分,它们的数学表达式为yp o sm a x(x,),()yn e gm i n(x,),()式中,yp o s是正样本特征图,yn e g是负样本特征图.在得到正、负样本特征图后,让正样本减去阈值负样本加上,它们的数学表达式为yyp o s,()yyn e g,()式中,y和y分别是正样本特征图和负样本特征图经过软阈值化后的输出.得到处理后的正负样本特征图后,将这两个样本特征图进行数值相加,就可以得到最终的输出特征图,数学表达式为yyy,()式()中,y是最终的输出特征图.以上过程就是特征图被软阈值化的整个过程.深度学习去噪算法图为本文使用的U N e t网络结构.U N e t有编码(下采样)和解码(上采样)两个过程,初始输入为 的一维信号,在编码过程中使用大小的卷积核,使用了大小卷积核的最大池化层对输入信号进行降维解码处理.在每一个卷积层后都使用A P S T F作为激活函数.在解码过程中,李杨等:基于软阈值函数的深度学习磁信号去噪算法使用上采样操作对输入特征图进行解码处理.网络接收到的特征图经过上采样层后将特征图的尺寸大小翻倍,同时与编码过程中输出的特征图进行合并,最终在网络结构的最后一层解码出处理过后的一维信号,大小仍为 .使用的U N e t与 原始U N e t网络结构总体一致,只是使用的激活函数不同.图U N e t网络结构F i g U N e tn e t w o r ks t r u c t u r e 实验及结果分析 数据集建立及超参数选取图所示的是实验使用的三轴感应式传感器,传感器探头被黑框标出.由于该传感器具有硬件滤波电路,探测值近似于纯净信号,因此直接将其作为神经网络的训练标签数据,对探测数据加入不同程度的高斯白噪声(d B)作为神经网络的训练数据.本文实验选用U N e t神经网络作为基础网络,网络内部参数与原始U N e t保持一致,在训练模型时,采用了 折交叉验证法,该方法是将训练数据集平均划分为 份,其中份用于训练,份用于验证,每训练完成个e p o c h后,都会更新验证集中的数据.图磁数据采集系统F i g M a g n e t i cd a t aa c q u i s i t i o ns y s t e m在训练模型最初的 个e p o c h中,初始学习率为,在随后的 个e p o c h中,学习率为,在最后的 个e p o c h中,学习率为,这么做的目的是为了让模 型在训练的 后 期 可 以 找 到 最 优参数.为了防止神经网络在训练过程中出现过拟合现象,在网络结构中加入了L 正则化参数、早停技术和学习率自降低技术.L 参数可以将神经网络中的权重值压缩到近值,降低神经网络中参数的变化幅度.本文实验将L 参数设置为;学习率自降低技术是当模型在训练几个回合后,模型性能基本不变,这时就降低学习率来让模型进一步学习;早停技术是当模型在训练几个回合后,性能基本不变,就停止模型进一步训练.在本文实验中,设置了连续个训练回合l o s s不下降就让学习率降低 ,如从 自动更改为 ,连续训练 轮数据,l o s s不下降就让模型早停,防止模型的训练不充分和过拟合.实验结果分析建立了训练数据信噪比从d B的 个训练数据集和与之对应的测试集.实验首先用训练数据信噪比为d B的数据集训练神经网络,然后在与之对应的测试集上验证了A P S T F的有效性,最后将 个训练数据集做成一个综合数据集,利用综合训练集训练神经网络,在综合测试集上进一步验证了A P S T F的有效性.原始数据和加噪后的数据见图.图纯净信号和噪声信号F i g P u r ed a t aa n dn o i s yd a t a本文实验首先用信噪比为d B的训练集作为神经网络的训练数据,且用与之对应的验证集分别 验 证 了R e L U、E L U、L e a k y R e L U、P R e L U、A P R e L U、D Y R e L U A、D Y R e L U 探 测 与 控 制 学 报B、D Y R e L U C 和A P S T F的性能,具体性能指标如表所示.表 训练数据信噪比为 d B时不同激活函数的性能T a b P e r f o r m a n c eo fd i f f e r e n t a c t i v a t i o nf u n c t i o n sw h e nt h e t r a i n i n gd a t aS N Ri sd B激活函数训练误差G P U延迟/m s参数量M平均信噪比/d BR e L U E L U L e a k y R e L U P R e L U A P R e L U D Y R e L U A D Y R e L U B D Y R e L U C A P S T F 由表可知,使用了A P S T F的U N e t去噪效果最好,去噪后信号的平均信噪比比其他方法分别高了 、d B;训练误差分别低了 、;G P U延迟分别高了、m s;参数量分别多了 倍、倍、倍、倍、倍、倍、倍、倍.其中G P U延迟指的是神经网络在训练和预测时,处理一批数据使用的时间.为了说明本文方法的有效性,使用一组信噪比为d B的信号分别输入到A P S T F和R e L U中,将这两个神经网络倒数第二层的第一个通道得到的特征进行可视化,输出特征图如图所示.由图细节图可知,使用了R e L U的U N e t得到的输出特征会将小于的部分都置为,只保留大于的特征,使用了A P S T F的U N e t不仅可以保留负值特征,还会将噪声从信号中剔除出去,提取到的特征值与纯净信号值非常接近,这也为最后一层卷积还原纯净信号提供了坚实的基础.为了进一步验证本文方法的有效性,用综合训练集作为神经网络的训练数据,在综合测试集上分别 验 证 了 小 波 变 换、R e L U、E L U、L e a k y R e L U、P R e L U、A P R e L U、D Y R e L U A、D Y R e L U B、D Y R e L U C和A P S T F的性能,具体性能指标如表所示.图A P S T F和R e L U输出特征图F i g A P S T Fa n dR e l uo u t p u t f e a t u r em a p s小波变换是信号处理中常用的算法,该算法可以达到较好的去噪效果,因此本文将小波去噪算法得到的结果作为基线.由表可知,除了本文提出的A P S T F,其他方法得到的结果均比基线低,进一步验证了A P S T F的有效性.表不同方法在综合测试集上的性能T a b l e T h ep e r f o r m a n c eo fd i f f e r e n tm e t h o d so nt h es y n t h e t i c t e s t s e t方法去噪后平均信噪比/d B小波变换 R e L U E L U L e a k y R e L U P R e L U A P R e L U D Y R e L U A D Y R e L U B D Y R e L U C A P S T F 使用不同的方法对同一组信号进行去噪,得到去噪后的结果见图.李杨等:基于软阈值函数的深度学习磁信号去噪算法图不同方法输出信号图F i g O u t p u t s i g n a l d i a g r a mo fd i f f e r e n tm e t h o d s由图(a)可知,由小波去噪算法得到的还原信号的大部分值都在纯净信号和噪声信号之间,这说明了去噪算法的有效性,但是少部分值要高于纯净信号,这部分值没有还原得很好,造成了一些还原信号信噪比的损失.图(b)、(d)和(e)得到的还原信号较为相似,还原信号大于部分的值几乎都在纯净信号和含噪信号之间,去噪效果良好,但是R e L U和L e a k y R e L U基本把负值特征全部过滤掉了,因此在负值信号上的还原很差,造成了还原信号信噪比的损失,若将L e a k y R e L U中的参数增大,可能会将噪声包含进来,造成信噪比的损失.图(c)得到的还原信号是比较差的,它将负值特征全部过滤掉,且在正值信号的还原上也比纯净信号的值高,这说明它过度地还原信号,反而为还原信号中加入了一些噪声.图(f)在这组信号的还原上是最差的,为信号加入了很多噪声,导致去噪后信号的值要远高于纯净信号值.图(g)得到的还原信号值在大于部分的值都处于纯净信号和含噪信号之间,在小于的部分,虽然有一定的去噪效果,但这仍比小波去噪的效果要差.图(h)和(i)得到的还原信号值是比较差的,去噪信号值要小于纯净信号值.而使用了A P S T F激活函数的U N e t得到的去噪后信号的值在纯净信号和噪声信号值之间,且与纯净信号值非常接近,完美地还原了纯净信号.为了说明本文方法的训练难易程度,将R e L U的训练过程和本文方法的训练过程进行对比,训练时l o s s对比图见图,验证时l o s s对比图见图.图训练不同方法时的l o s s曲线F i g O u t p u t s i g n a l d i a g r a mo fd i f f e r e n tm e t h o d s图验证不同方法时的l o s s曲线F i g O u t p u t s i g n a l d i a g r a mo fd i f f e r e n tm e t h o d s由图可知,在训练时,使用R e L U的U N e t训练了 个回合后停止了训练,即此时模型已收敛,使用了A P S T F的U N e t训练了 个回合后停止训练,在第 个回合的训练时,l o s s值出现了跳探 测 与 控 制 学 报变,在跳变后l o s s继续降低,下降的总体趋势与R e L U一致.由图可知,在验证时,使用了A P S T F的U N e t在第 训练回合结束后,在验证集上的l o s s出现了跳变,而后验证集l o s s持续降低,降低趋势与R e L U一致.虽然本文提出的A P S T F会使神经网络的参数量增多,但是通过早停和学习率自降低这两种辅助训练技术,可以使神经网络正常训练,且获得较好的性能.结论本文提出的A P S T F可以提升神经网络在高噪声特征图中学习特征的能力,从而达到更好的去噪效果.该方法利用E C A模块来自动地选取阈值,通过梯度下降算法训练神经网络,使阈值逐渐向最优值收敛.该方法不仅适用于含已知分布噪声的信号去噪问题,还适用于分布未知噪声的信号去噪问题,且无需将不含噪声的理想信号作为参考信号,就可以得到最好的去噪效果.但是该方法仍然存在参数量大、单步训练时间长的问题.若是将该方法应用在图像识别任务中,会使模型的参数量成倍增加,这会引发过拟合现象.在未来的研究中,会考虑将深度可分离卷积融入到A P S T F中,提出一种轻量级的A P S T F方法,并为其设计一个合理的神经网络模型.参 考 文 献:支萌辉高精度数字磁通门传感器研究D苏州:苏州大学,刘波差分电容式扭矩传感器信号检测与处理系统设计D太原:中北大学,汪金菊,李青,徐小红,等基于分数阶小波域G S M模型的地震 信 号 随 机 噪 声 压 制 方 法 J地 球 物 理 学 报,():许子非,岳敏楠,李春优化递归变分模态分解及其在非线 性 信 号 处 理 中 的 应 用 J物 理 学 报,():李勇,张益明,雷钦,等模型约束下的在线字典学习地震弱信号去噪方法J地球物理学报,():吴志勇,丁香乾,许晓伟,等基于深度学习和模糊C均值的心电信号分类方法J自动化学报,():汪凯翔,黄清华,吴思弘长短时记忆神经网络在地电场数据处理中的应用J地球物理学报,():盖杉,鲍中运,吴思弘长短时记忆神经网络在地电场数据处理中的应用J地球物理学报,():秦超,高晓光,万开方深度卷积记忆网络时空数据模型J自动化学报,():NA I RV,H I N T ONGE R e c t i f i e d l i n e a ru n i t s i m p r o v er e s t r i c t e db o l t z m a n nm a c h i n e sCP r o c e e d i n g so ft h e t hI n t e r n a t i o n a lC o n f e r e n c eo nM a c h i n eL e a r n i n g(I C ML )U S:I ML S,:I S O G AWA K,I D A T,S H I O D E R A T,e ta l D e e ps h r i n k a g ec o n v o l u t i o n a ln e u r a l n e t w o r k f o r a d a p t i v en o i s er e d u c t i o nJI E E E S i g n a lP r o c e s s i n gL e t t e r s,():D ON OHO D L D e n o i s i n gb ys o f t t h r e s h o l d i n gJI E E E T r a n s a c t i o n so nI n f o r m a t i o n T h e o r y,():C L E V E R TDA,UN T E R TH I N E RT,HO CHR E I T E RS F a s t a n da c c u r a t ed e e pn e t w o r k l e a r n i n gb ye x p o n e n t i a l l i n e a ru n i t s(e l u s)Ja r X i vp r e p r i n ta r X i v:,MAA SAL,HANNUNAY,N GAY R e c t i f i e rn o n l i n e a r i t i e s i m p r o v en e u r a ln e t w o r ka c o u s t i cm o d e l sCP r o c e e d i n g so ft h e t hI CML U S:I ML S,:HEK,Z HAN G X,R E NS,e ta l D e l v i n gd e e pi n t or e c t i f i e r s:S u r p a s s i n gh u m a n l e v e lp e r f o r m a n c eo ni m a g e n e t c l a s s i f i c a t i o nCP r o c e e d i n g so f t h e I E E EI n t e r n a t i o n a lC o n f e r e n c eo n C o m p u t e rV i s i o n U S:I E E E,:Z HA O M,KAN G M,TANGB,e ta l D e e pr e s i d u a ln e t w o r k sw i t hd y n a m i c a l l yw e i g h t e dw a v e l e t c o e f f i c i e n t sf o rf a u l td i a g n o s i so fp l a n e t a r yg e a r b o x e sJ I E E ET r a n s a c t i o n so nI n d u s t r i a lE l e c t r o n i c s,():CHE NY,D A IX,L I U M,e ta l D y n a m i cR E L UCC o m p u t e rV i s i o n E C C V :t hE u r o p e a nC o n f e r e n c e S p r i n g e r I n t e r n a t i o n a l P u b l i s h i n g,:李杨等:基于软阈值函数的深度学习磁信号去噪算法