增量学习的拉曼光谱识别算法.pdf

第2卷 第4期V o l.2 N o.4 2 0 2 3年8月 J o u r n a l o f A r m y E n g i n e e r i n g U n i v e r s i t y o f P L A A u g.2 0 2 3增量学习的拉曼光谱识别算法陈赵懿1,冯 柯1,陈志斌2,杨小强1,李焕良1(1.陆军工程大学 野战工程学院,江苏 南京 2 1 0 0 0 7;2.陆军研究院,河北 石家庄 0 5 0 0 0 0)摘要:针对拉曼光谱仪内置数据库样本数量少和新增物质光谱无法识别的问题,提出了一种增量学习的拉曼光谱识别算法。构建了基于空间注意力机制的一维膨胀卷积神经网络(c o n v o l u t i o n a l n e u r a l n e t w o r k m o d e l,C NN_S A),用数据库已有光谱数据对C NN_S A预训练,提取拉曼光谱特征,与逻辑回归(l o g i s t i c r e-g r e s s i o n,L G)和支持向量机(s u p p o r t v e c t o r m a c h i n e,S VM)等算法相比,C NN_S A具有更好的识别性能。并采用类别增量的学习方式,将C NN_S A学习的先验知识迁移到新增物质的拉曼光谱识别中,极大提高了新增物质小样本拉曼光谱的识别准确率。关键词:S E R S;光谱识别;卷积神经网络;注意力机制;增量学习 中图分类号:O 4 3 3D O I:1 0.1 2 0 1 8/j.i s s n.2 0 9 7-0 7 3 0.2 0 2 2 0 9 2 3 0 0 1R a m a n S p e c t r u m I d e n t i f i c a t i o n A l g o r i t h m B a s e d o n I n c r e m e n t a l L e a r n i n g CHE N Z h a o y i1,F E NG K e1,CHE N Z h i b i n2,YANG X i a o q i a n g1,L I H u a n l i a n g1(1.C o l l e g e o f F i e l d E n g i n e e r i n g,A r m y E n g i n e e r i n g U n i v e r s i t y o f P L A,N a n j i n g 2 1 0 0 0 7,C h i n a;2.A r m y R e s e a r c h I n s t i t u t e,S h i j i a z h u a n g 0 5 0 0 0 0,C h i n a)A b s t r a c t:I n v i e w o f t h e s m a l l n u m b e r o f s a m p l e s i n t h e b u i l t-i n d a t a b a s e o f R a m a n s p e c t r o m e t e r a n d t h e i n a b i l i t y t o i d e n t i f y t h e s p e c t r a o f n e w s u b s t a n c e s,a R a m a n s p e c t r u m i d e n t i f i c a t i o n a l g o r i t h m b a s e d o n i n c r e m e n t a l l e a r n i n g i s p r o p o s e d.F i r s t l y,a c o n v o l u t i o n a l n e u r a l n e t w o r k m o d e l(C NN_S A)b a s e d o n s p a-t i a l a t t e n t i o n m e c h a n i s m w a s c o n s t r u c t e d,a n d t h e e x i s t i n g s p e c t r a l d a t a i n t h e d a t a b a s e w a s u s e d t o p r e-t r a i n C NN_S A t o e x t r a c t t h e R a m a n s p e c t r a l c h a r a c t e r i s t i c s.C o m p a r e d w i t h t h e t r a d i t i o n a l a l g o r i t h m s,s u c h a s l o g i s t i c r e g r e s s i o n(L G)a n d s u p p o r t v e c t o r m a c h i n e(S VM),C NN_S A h a s b e t t e r r e c o g n i t i o n p e r-f o r m a n c e.I n a d d i t i o n,w i t h c l a s s i n c r e m e n t l e a r n i n g,t h e p r i o r k n o w l e d g e l e a r n e d b y C NN_S A c a n b e t r a n s f e r r e d t o t h e R a m a n s p e c t r u m r e c o g n i t i o n o f t h e n e w l y a d d e d s u b s t a n c e s,w h i c h g r e a t l y i n c r e a s e s t h e i d e n t i f i c a t i o n a c c u r a c y o f t h e R a m a n s p e c t r a o f t h e n e w l y a d d e d s u b s t a n c e s.K e y w o r d s:s u r f a c e e n h a n c e d R a m a n s c a t t e r i n g(S E R S);s p e c t r u m i d e n t i f i c a t i o n;c o n v o l u t i o n a l n e u-r a l n e t w o r k(C NN);a t t e n t i o n m e c h a n i s m;i n c r e m e n t a l l e a r n i n g 收稿日期:2 0 2 2-0 9-2 3基金项目:军内科研项目(L Y 2 0 2 0 2 G K 0 0 5)。第一作者:陈赵懿,博士研究生,主要研究痕量炸药表面增强拉曼散射方法。通信作者:冯 柯,教授,博士生导师,主要研究军事工程装备运用与保障。拉曼光谱因具有丰富的分子“指纹”信息和便于现场定性分析等优点,已成为一种灵敏可靠的物质鉴别方法,广泛应用于毒品识别1、爆炸物检测2和环境安全3等领域。利用表面增强拉曼散射(s u r-f a c e-e n h a n c e d R a m a n s c a t t e r i n g,S E R S)技术可探测炸药残留物的颗粒和取样溶液等,实现易燃易爆物的快速检测识别4。目前,S E R S光谱识别方法主要有基于光谱数据库匹配的检索方法和基于模式识别的机器学习方法。基于拉曼峰识别和匹配的检索算法,不受光谱基线影响、区分能力较强5,如T o n g等6采用小波峰值检测和数据库反向搜索结合方法提升了混合物中目标成分自动化检索功能。但该类方法在实际应用中仍存在拉曼峰匹配阈值选取缺乏统一标准、拉曼峰位置易受检测设备影响等问题7。基于相似度度量的全光谱比较法是另一种常用拉曼光谱匹配方法,无需寻峰、抗噪性强,主要有线性相关度、余弦相似度、命中质量指数和光谱信息散度等度量计算方法。但该类方法在应用中对仪器一致性要求较高,同时还存在相似度阈值难以确定等问题。由于拉曼测量中未知干扰因素较多,待测物质光谱特征信号通常容易与其他物质发生不同程度的重叠,较弱的拉曼峰甚至被背景噪声覆盖,传统的依据拉曼峰匹配和相似度度量的方法面临挑战。针对这些问题,部分学者利用机器学习方法对拉曼光谱进行识别。C a i等8-9采用多种结构的卷积神经网络(c o n v o l u t i o n a l n e u r a l n e t w o r k s,C NN)实 现 对S E R S光谱特征提取;王其等1 0-1 2分别尝试随机森林算法、A d a b o o s t算法、X G B o o s t算法用于拉曼光谱识别。但复杂的学习模型需要大量标准拉曼光谱训练,目前机器学习在拉曼光谱分析识别上面临的最大问题是标准谱图太少。因此,当前拉曼光谱探测识别应用主要面临两个挑战:(1)拉曼光谱仪内置数据库的样本光谱数量极 少,如 上 海 如 海 公 司 的 便 携 式 拉 曼 光 谱 仪X V 7 0 3 1-K C R数据库中超7 0%的物质样本光谱数量小于3,易导致识别准确率低;(2)内置光谱数据库和光谱识别模型不能更新,无法满足对新增物质的光谱识别。针对上述问题,提出的一种增量学习的拉曼光谱识别算法,既可保持对原物质高准确率分析,也可实现对新增物质光谱的快速识别。1 增量学习识别算法拉曼光谱作为分子“指纹谱”,可以提供分子的振动能级和结构信息,通过识别拉曼峰可准确判断物质种类及成分。拉曼光谱是光谱强度相对于拉曼位移的函数,一般具有多个特征峰,数学上可用多个V o i g t线型曲线与一个背景曲线进行叠加拟合1 3,即A()=mi=1Vi(,i)+r()(1)式中:A()为拉曼光谱;Vi(,i)为第i个谱峰的V o i g t函数;i为V o i g t函数参数;m为拉曼峰谱峰数量;r()为背景噪声。拉曼光谱曲线作为一维图像,具有局部相关性,C NN方法可自动提取人眼难以识别的光谱特征信息。本文提出的基于增量学习的拉曼光谱识别模型(C NN_S A_C I)如图1所示。图1 基于增量学习的拉曼光谱识别模型 增量学习的拉曼光谱识别算法流程如表1所示。在增量学习的网络结构中,C NN_S A的结构如图1虚线框所示,其由特征提取的卷积模块和用于分类的全连接层组成。输入层接收经过预处理的S E R S光谱,将光谱数据转换为一维矢量。输出层节点数等于目标物质种类数量,利用s o f t m a x激活函数对预测类别归一化,得到每个类别的概率分布为P(y=j)=exTwjKk=1exTwk(2)式中:x为预测结果;wj为第j类对应的权重。(1)特征提取一维膨胀卷积(c o n v 1 d)。卷积层用于提取输入数据特征,尽可能保留光谱特征峰的局部相关性。由于光谱序列维度较高(预处理后拉曼光谱高达36第4期 陈赵懿,等:增量学习的拉曼光谱识别算法1 0 2 4维),使用膨胀卷积可以增加感受野,使每个卷积获取更大范围特征信息。批量归一化(b a t c h-n o r m 1 d,B N)使下一层输入尽可能具有相同分布,是一种优化神经网络的方法1 4。由于光谱识别主要对差异大的特征敏感,因此采用一维最大池化(m a x p o o l 1 d)降低卷积层输出维数,防止过拟合。经卷积池化模块后,数据输出为Xl+1=m a x p o o l(R e L U(B N (c o n v(Wl,Xl,bl)R e L U(x)=x x00 x0 B N,(xi)=x+(3)式中:Xl和Xl+1分别为第l个卷积的输入和输出;Wl和bl分别为一维膨胀卷积对应权重和偏置;xi=xi-B2B+,B=1nni=1xi,2B=1nni=1xi-B 2;n为批处理的样本量大小;、为训练参数。表1 基于增量学习的拉曼光谱识别算法算法设置输入:原始拉曼光谱数据集(o l d d a t a s e t),新增物质的拉曼光谱(n e w d a t a s e t)输出:采集的拉曼光谱识别结果开始1.搭建基于空间注意力机制的膨胀卷积网络(C NN_S A)。2.进行拉曼光谱数据预处理。3.C NN_S A模型预训练:3.1 利用o l d d a t a s e t对C NN_S A网络进行预训练;3.2 保存预训练好的C NN_S A网络结构及参数。4.增量学习:4.1 导入已训练好的C NN_S A网络模型及参数,根据新增物质种类,增加C NN_S A网络输出层的类别数量;4.2 将n e w d a t a s e t与o l d d a t a s e t合成综合数据集 j o i n t d a t a s e t;4.3 固定C N N_S A网络中特征提取部分的参数(f e a-t u r e m a p),利用j o i n t d a t a s e t重新训练网络,更新C N N_S A网络中分类部分(c l a s s f i c a t i o n)全连接层参数。5.对实时采集的拉曼光谱进行识别分析。结束 为更好地获取和利用拉曼光谱空间信息,如拉曼峰位置、强度、展宽等,在光谱特征提取部分引入空间注意力机制,如图1中s p a t i a l a t t e n t i o n(S A)模块所示。对于C NN,每一层输出一个CHW的特征图,C为通道,也是特征图数量,H和W为卷积后特征图高度和宽度。空间注意力是学习HW特征图空间位置信息的重要程度,起到特征筛选和增强效果。在C NN中引入空间注意力机制,可进一步增强光谱中感兴趣的信息(拉曼峰),抑制无用信息(背景),从而提高识别精度,且增加的网络参数数量和计算开销较少1 5。首先将卷积池化模块输出特征图(F)作为空间注意力模块输入,对F做基于通道的全局最大池化和平均池化,并将这两个结果拼接成一个新特征图,然后经过卷积操作和s i g m o i d激活函数,生成空间注意力特征(s p a t i a l a t t e n t i o n f e a t u r e,S A F)。M(S A F)=(c o n v(c o n c a t(m a x p o o l(F),a v g p o o l(F)(4)s i g m o i d(x)=11+e-x(5)(2)分类两个全连接层(f u l l c o n n e c t i o n,F C)位于C NN_S A网络末端,包含大量神经元连接到特征提取部分池化层的输出元素,使用t a n h激活函数和B N进行优化。由于拉曼光谱样本容量较小,网络参数多,加入d r o p o u t层可有效缓解过拟合,并在一定程度上实现正则化,实验中d r o p o u t设置为0.5。C N N_S A网络的结构参数如表2所示。表2 C N N_S A结构参数C NN_S A结构层(类型)输出结构特征提取c o n v-m a x p o o lb l o c k 1c o n v 1 d-13 2,1 6,1 0 2 4b a t c h n o r m 1 d-2 3 2,1 6,1 0 2 4R e L U-33 2,1 6,1 0 2 4m a x p o o l 1 d-43 2,1 6,5 1 2s p a t i a la t t e n t i o n 1c o n v 1 d-53 2,1,5 1 2s i g m o i d-63 2,1,5 1 2s p a t i a l a t t e n t i o n-73 2,1,5 1 2c o n v-m a x p o o lb l o c k 2c o n v 1 d-83 2,3 2,5 1 2b a t c h n o r m 1 d-93 2,3 2,5 1 2R e L U-1 03 2,3 2,5 1 2m a x p o o l 1 d-1 13 2,3 2,2 5 6s p a t i a la t t e n t i o n 2c o n v 1 d-1 23 2,1,2 5 6s i g m o i d-1 33 2,1,2 5 6s p a t i a l a t t e n t i o n-1 43 2,1,2 5 6c o n v-m a x p o o lb l o c k 3c o n v 1 d-1 53 2,6 4,2 5 6b a t c h n o r m 1 d-1 63 2,6 4 2 5 6R e L U-1 73 2,6 4,2 5 6m a x p o o l 1 d-1 83 2,6 4,1 2 8分类F C 1l i n e a r-1 93 2,1 0 2 4t a n h-2 03 2,1 0 2 4b a t c h n o r m 1 d-2 13 2,1 0 2 4d r o p o u t-2 23 2,1 0 2 4F C 2l i n e a r-2 3 3 2,c l a s s_n u m输出s o f t m a x-2 43 2,c l a s s_n u m 注:c l a s s_n u m为光谱数据集中物质种类的数量。2 C N N_S A_C I模型预训练模型预训练是利用原始拉曼光谱数据(内置光谱数据库)先对模型进行训练,提取拉曼光谱特征,获取先验知识,主要包括光谱预处理、C NN_S A训练、C NN_S A验证3个过程。预训练的C NN_S A模型,一方面可满足当前数据库对已有物质的采集46 第2卷光谱识别,另一方面可为其他新增物质的小样本光谱识别提供先验知识。2.1 光谱预处理由于拉曼光谱采集条件不同,光谱频率范围、分辨率都不尽相同,因此需要对光谱数据预处理,以减少测量环境带来的影响。S E R S光谱预处理包括插值、基线校正、平滑滤波和归一化。一维C N N需要统一的输入数据格式,首先采用插值的方法重新规范光谱数据。实验中使用X V 7 0 3 1-K C R拉曼光谱仪,其光谱分辨率6 c m-1,光谱频率范围3 0 0,3 9 9 9 c m-1,但在3 0 0,4 0 0 c m-1和3 0 0 0,3 9 9 9 c m-1两个范围内荧光影响较大,因此先通过插值与采样,统一光谱拉曼位移范围为4 0 1,2 4 4 7 c m-1,即每2 c m-1采样一次,共1 0 2 4个数据点。然后,使用非对称最小二乘基线估计方法进行基线校正,使用S a v i t s k y-G o l a y平滑滤波进一步消除荧光影响,校正后曲线的基线强度在0附近且平滑。最后,对每个光谱强度单独归一化,降低拉曼强度差异带来的影响。采集的固态三硝基甲苯(T NT)、黑索金(H e x o g e n,R D X)的S E R S光谱,其预处理后效果如图2所示。图2 拉曼光谱预处理结果2.2 C N N_S A训练选择R R U F F拉曼数据库1 6经过校准处理的两个矿物拉曼光谱数据集作为原始拉曼光谱数据库,分别对C N N_S A性能进行训练与验证,一是该数据集光谱质量较高,二是便于和其他识别方法对比。D a t a s e t_A包含1 3 2种物质3 9 9 6个样本,每个类别样本数不小于1 0个;D a t a s e t_B包含5 7 8种物质5 3 9 4个样本,每个类别样本数不小于3;均按照8 2分为训练集和验证集。损失函数是C NN_S A训练过程中的一个关键参数,评估C NN_S A模型预测值与真实值之间的差异。拉曼光谱识别是一个多分类问题,采用分类交叉熵作为损失函数,即L o s sE=-1NiMc=1yi cl g(pi c)(6)式中:N为样本数量;M为样本类别的数量;yi c=0,1,当样本i的真实类别为c时yi c=1,否则为0;pi c为观测样本i属于类别c的预测概率。训练过程中,最小化训练误差和最大化准确率是衡量训练效果的重要指标。首先将迭代训练次数e p o c h设置为1 0 0,然后观察训练数据集的准确率和训练误差,当识别准确率没有提高时提前终止训练,防止过拟合。C NN_S A训练过程如表3所示。表3 C N N_S A训练基于空间注意力的一维膨胀卷积网络(C NN_S A)的训练输入:预处理后的S E R S光谱数据集输出:训练后的C NN_S A网络模型结构及参数开始1.初始化预训练轮数n u m_t r a i n,迭代次数n u m_e p o c h s,批大小b a t c h_s i z e,学习速率l e a r n i n g_r a t e等参数。2.构建基于空间注意力的一维膨胀卷积网络(C NN_S A)。3.选择原始拉曼光谱数据集进行光谱预处理。4.B e g i n n u m_t r a i n,开始预训练的迭代。5.按照82的比例,将拉曼光谱数据集随机划分训练集和验证集。6.确定损失函数l o s s f u n c t i o n、优化算法o p t i m i z e r、迭代训练提前终止的条件。7.B e g i n n u m_e p o c h s,利用训练集数据训练模型,开始迭代训练学习:计算损失函数值和识别准确率,若准确率连续5次没有提升,则提前终止此轮预训练;否则采用优化算法更新参数,进行反向传播。8.E n d n u m_e p o c h s,此轮预训练结束。9.利用验证集数据评估模型,若此轮预训练的网络在验证集上识别准确率高于历史最优值,则将此轮训练的网络参数更新为最优网络参数。1 0.E n d n u m_t r a i n,结束预训练,输出训练最优的网络参数。结束2.3 C N N_S A验证为评估C NN_S A在拉曼光谱特征提取与识别方面性 能,与 常 用 算 法L R(l o g i s t i c r e g r e s s i o n)、P L S(p a r t i a l l e a s t s q u a r e s d i s c r i m i n a n t a n a l y s i s)、KNN(K-n e a r e s t n e i g h b o r s)、S VM(r b f)、R F(r a n-d o m f o r e s t)、X g b(e x t r e m e g r a d i e n t b o o s t i n g)和C NN算法进行对比分析。这些方法在验证集上的识别准确率如图3所示。无论是在D a t a s e t_A还是D a t a s e t_B中,其他识别方法的准确率都低于C NN_S A。当类别数量从1 3 2个增加到5 7 8个,样本数从3 9 9 6个增加到5 3 9 4个时,虽然大部分物质样本量较小,但C NN_S A模型仍然保持了较高识别准确率。卷积网络包含很多卷积核,通过卷积运算,卷积核可在训练过程中从数据中隐式学习这些S E R S光谱的局部特征,提取更多拉曼峰细节信息1 7,即使光谱间差异很56第4期 陈赵懿,等:增量学习的拉曼光谱识别算法小,经过一系列合理的卷积和池化操作,也会产生不同的特征信息。与C NN相比,C NN_S A引入空间注意力机制,使模型对光谱空间特征峰更敏感,准确率都略有提升。图3 两个数据集上的识别准确率比较与D a t a s e t_A相比,C NN和C NN_S A在D a t a-s e t_B上 识 别 精 度 略 有 下 降。一 个 重 要 原 因 是D a t a s e t_B中某些类别物质的样本量太小(如样本量为3),模型在训练过程中不容易学习到足够多特征。在实际应用中,建立样本完整且充足的光谱数据库对光谱识别具有重要意义,这也是本文采取增量学习的原因之一。3 C N N_S A_C I模型增量学习在实际拉曼光谱识别应用中,一次性获取所有物质的拉曼光谱并建立完整数据库是不现实的,新增物质的拉曼光谱往往是持续添加的,且缺乏标准数据。对这些不断出现的新类别物质光谱进行实时准确识别,更具有实际意义。当面临新样本的识别任务时,如果利用全部数据重新训练模型,需要消耗大量时间和存储空间。增量学习可以利用旧任务中学习的先验知识帮助模型学习新样本,并在保留大部分先验知识的同时补充新知识1 8。增量学习只需要对训练好的模型进行细微修改,代价远远小于重新训练一个模型1 9。增量学习降低了对时间和空间的要求,更能满足便携式拉曼光谱仪的实际使用需求。3.1 C N N_S A_C I实验假设识别任务中新增了R D X、T NT、2,4-二硝基甲苯(2,4-D NT)、罗丹明6 G(R 6 G)、乙醇(E t h a-n o l)、乙腈(A c e t o n i t r i l e)和水等待测物,而原始数据库中没有对应的拉曼光谱样本。通过从其他光谱仪数据库(海洋光学的拉曼光谱分析仪O c e a n O p t i c s Q E P r o)获取和实验采集方式,获取了这几种新增物质的拉曼光谱共3 4个,每种物质37个样本,作为新增物质训练样本,其P C A分布如图4所示。图4 新增物质拉曼光谱数据集的P C A分布从图4可以看出,7种物质的S E R S光谱样本数量少 且 分 布 不 集 中。用D a t a s e t_A数 据 集 对C NN_S A预训练后,利用这些新增物质的数据进行增量学习,使模型能同时识别原物质和新增物质。为检验模型识别性能和泛化能力,采集这7种物质共1 8个S E R S光谱作为测试集,其中有部分是低浓度物质的S E R S光谱,如1 0-1 0m o l/L的R 6 G、体积浓度为1 0%的乙醇和乙腈。根据表1增量学习算法重复5 0次实验,模型在测试光谱上识别结果的混淆矩阵如图5所示。虽然新增物质的训练样本很小,且光谱质量不高,但是增量学习模型对这些爆炸物拉曼光谱的识别准确率较高,平均准确率可达到9 8.4%。图5 拉曼光谱识别结果混淆矩阵发生识别混淆的T NT和2,4-D NT的S E R S光谱的主要拉曼峰位置几乎相同,只是拉曼峰相对66 第2卷强度和展宽略有不同,存在高度相似性。T NT和2,4-D NT具有部分相同分子官能团,且它们在甲醇溶液中具有一定的拉曼活性。然而,因物质状态、仪器间差异和其他物质等干扰,实验中检测的低浓度T NT甲醇溶液S E R S光谱与标准拉曼光谱略有不同。如图6所示,探测的固态T NT的S E R S光谱与甲醇溶液中T NT的S E R S光谱存在差异。一是部分拉曼峰位置发生偏移,如固态T NT最强拉曼峰1 3 6 2 c m-1(NO2对称 伸 缩 振 动)在 液 态 中 拉 曼 位 移 偏 移 至1 3 4 6 c m-1;二是部分拉曼峰在液态中不明显甚至消失,如固态T NT中1 5 3 4 c m-1(NO2反对称伸缩振动)拉曼峰;三是部分拉曼峰在液态中相对强度减弱且 发 生 了 展 宽,如 固 态T NT中1 6 1 8 c m-1(NO2反对称伸缩振动与芳环伸缩振动耦合)拉曼峰。这种差异在T NT的S E R S光谱样本中也有体现,如图4中T NT的样本分布主要集中在两个区域,分别 对应T NT固体S E R S光 谱和液体状 态S E R S光谱。图6 固态TN T、甲醇溶液中T N T的S E R S光谱上述原因导致识别模型在识别低浓度T NT甲醇溶液的S E R S光谱时容易发生混淆。对于低浓度的R 6 G、乙醇和乙腈溶液,模型对这些S E R S光谱的识别率小于9 0%。在混淆矩阵中,这些低浓度溶液的S E R S光谱被识别为H2O的S E R S光谱。一是因为低浓度物质(如1 0-1 0 m o l/L的R 6 G)拉曼特征峰强度极其微弱,归一化后,背景噪声产生了许多虚假“特征峰”,与数据库该物质样本S E R S光谱(特征峰相对较明显)存在一定差异。二是乙醇和乙腈溶液容易挥发,随着采集时间推移,该物质低浓度的光谱特征峰强度逐渐降低,容易被噪声掩盖,如图7所示。上述因素导致这些低浓度物质S E R S光谱的拉曼特征峰极弱,增加了与H2O的S E R S样本光谱曲线的相似度。同时,对于低浓度的物质,不同设备采集的拉曼光谱差异较大(背景噪声不同)也是导致光谱识别准确率下降的重要原因。实验表明,拉曼光谱质量是影响识别准确率的重要因素,获取噪声干扰小、特征峰明显的拉曼光谱是提升光谱识别准确率的重要环节。图7 不同浓度R 6 G、乙醇等的S E R S光谱实验表明,痕量物质或低浓度溶液的S E R S光谱,其拉曼特征峰一般较微弱,增加了识别困难。3.2 对比分析为进一步评估本文算法性能,在相同数据集上与其他文献中提出的S E R S光谱识别算法进行比较。训练和测试样本数据同前文设置:R RU F F拉曼光谱数据D a t a s e t_A作为数据库,按82分为训练集和测试集(o l d t e s t d a t a s e t),用于模型预训练;新增物质训练光谱3 4个、待测光谱1 8个(n e w t e s t d a t a s e t)。算 法 运 行 环 境 的C P U工 作 频 率 为2.6 0 GH z,n e w t e s t d a t a s e t为新增物质测试光谱集,o l d t e s t d a t a s e t和n e w t e s t d a t a s e t的并集为全物质测试光谱集。本文增量学习方法是在C NN_S A预训练基础上,固定特征提取部分的网络参数,利用新样本与旧数据联合训练,更新C NN_S A分类部分两个全连接层参数。进一步减少更新参数,只对C NN_S A中最后一个全连接层F C 2参数更新,其他设置同C NN_S A_C I,方法表示为C NN_S A_F C 2。采用文献2 0 构建的3层C NN模型,随机初始化参数,并利用联合数据训练网络,方法表示为C NN_A l l。采用文献1 6 构建的3层C NN模型,在C NN预训练的基础上进行迁移学习,利用新样本数据重新训练C NN,更新网络结构中的全连接参数,方法表示为C NN _T r a n s。76第4期 陈赵懿,等:增量学习的拉曼光谱识别算法采用文献1 构建的3层C NN模型,随机初始化参数,只利用新样本数据训练网络,方法表示为C NN_N e w。这些方法在测试集上识别准确率和训练时间如表4所示,该结果为5 0次实验平均值。表4 识别准确率和训练时间序号识别方法识别准确率全物质新增物质训练时间/s1C NN_S A_C I0.9 9 50.9 4 79 7.8 1 02C NN_S A_ F C 20.9 9 50.8 8 94 7.1 4 03C NN _A l l3 30.9 7 90.8 3 32 8 4.2 0 04C NN _T r a n s2 90.8 3 60.8 8 20.4 2 45C NN_N e w20.4 1 21.1 2 06L R0.9 4 70.9 4 14.4 5 07P L S0.4 3 70.0 0 00.3 7 08KNN0.8 0 70.0 5 61.8 1 09S VM0.9 0 60.8 3 33 2.0 1 01 0D T(d e c i s i o n t r e e)0.2 9 00.0 0 04.2 8 01 1R F0.9 6 80.8 3 31 5.2 4 01 2X g b0.9 3 40.6 6 77 0.4 6 0 表4中,方法13利用所有样本数据训练模型,既能保存旧知识,也能利用新样本信息。其中C NN _A l l每次都重新训练所有样本数据,更新网络结构所有参数,是1 2种方法中训练时间最长的,其识别准确率主要受各物质样本光谱数量和质量的影响,由于新增物质样本光谱数量少且质量较差,导致其识别准确率低于9 0%。两种增量学习C NN_S A_C I和C NN_S A_F C 2在全 物 质 的 光 谱 识 别 中 准 确 率 最 高,一 是 因 为C NN_S A采用了注意力机制,二是因为模型保留了预训练中效果最佳的网络结构参数,使其比C NN_A l l的网络参数更优。其中,C NN_S A_C I在新增样本训练中充分利用了预训练先验知识,不用更新网络特征提取模块参数,显著减少了后续训练时间,只为C NN_A l l训练时间的1/3,且准确率更高,表明经过预训练的C NN_S A_C I能将先验知识迁移到新光谱识别中。C NN_S A_ F C 2保留并利用了先验知识,只更新最后一个全连接层参数,训练时间更短,但是在n e w t e s t d a t a s e t中的准确率下降明显。因为分类部分F C 1参数没有得到更新,没能有效捕获新光谱特征,导致在新增物质光谱上识别率降低。文献1 6 的迁移学习C NN_T r a n s,只用新增小样本数据重新训练网络,训练时间极短。该方法能将预训练的先验知识迁移到新样本光谱识别中,但因为旧样本没有参与到新一轮增量学习的训练中,模型对原物质光谱的识别性能变差,发生所谓“灾难性遗忘”现象。文献1 的C NN _N e w在n e w t e s t d a t a s e t中识别准确率只有4 1%,该卷积网络没有预训练的先验知识,而且新增样本数据量极少,不足以训练需要大量数据的、具有特征提取能力的卷积层,导致模型训练过拟合,泛化能力极差。该实验结果也表明了先验知识可极大提升卷积网络对小样本的识别性能。L R、P L S、KNN、S VM(r b f)、R F、X g b等其他几种常见方法,相对C NN网络,训练时间更短;其中L R、S VM和R F的识别准确率较高,且泛化能力较强,对新增物质光谱的识别准确率超8 0%。上述1 2种识别方法中,本文提出的增量学习C NN_S A_C I算法,不论是对新增物质光谱,还是原物质光谱,识别准确率都是最高的。4 结论S E R S拉曼光谱探测识别中,针对光谱数据库样本量少,且不断有新类别待测物质需要识别的情况,提 出 了 采 用 增 量 学 习 的 拉 曼 光 谱 识 别 算 法(C NN_S A_C I)。该算法构建了基于空间注意力机制的一维膨胀卷积网络,充分提取S E R S光谱特征,具有较高识别准确率和泛化能力;采用增量学习方法,将预训练学习的先验知识迁移到新增物质的光谱识别中,克服了新增物质光谱数量不足、质量差等问题,实现了对新增物质小样本光谱识别准确率的大幅提升。算法后续训练(增量学习)时间短、资源消耗低,在新旧数据集上都具有较高识别准确率和泛化能力,可满足痕量炸药S E R S小型化、便携式、高灵敏识别技术的实际应用需求。参考文献:1 YAN G J,XU J F,Z HANG X L,e t a l.D e e p l e a r n i n g f o r v i b r a t i o n a l s p e c t r a l a n a l y s i s:R e c e n t p r o g r e s s a n d a p r a c t i c a l g u i d eJ.A n a l y t i c a C h i m i c a A c t a,2 0 1 9,1 0 8 1:6-1 7.2 B O T T I S,A LMA V I V A S,C A N T A R I N I L,e t a l.T r a c e l e v e l d e t e c t i o n a n d i d e n t i f i c a t i o n o f n i t r o-b a s e d e x p l