基于注意力机制辅助的空谱联合残差网络的高光谱图像分类.pdf

第3卷第2期2 0 2 4年3月信 息 对 抗 技 术I n f o r m a t i o n C o u n t e r m e a s u r e T e c h n o l o g yV o l.3 N o.2M a r.2 0 2 4引用格式:翟希辰,刘军.基于注意力机制辅助的空谱联合残差网络的高光谱图像分类J.信息对抗技术,2 0 2 4,3(2):5 4-6 9.Z HA I X i c h e n,L I U J u n.S p a t i a l-s p e c t r a l r e s i d u a l n e t w o r k w i t h a t t e n t i o n m e c h a n i s m f o r h y p e r s p e c t r a l i m a g e c l a s s i f i c a t i o nJ.I n f o r m a t i o n C o u n t e r-m e a s u r e T e c h n o l o g y,2 0 2 4,3(2):5 4-6 9.(i n C h i n e s e)基于注意力机制辅助的空谱联合残差网络的高光谱图像分类翟希辰,刘 军*(中国科学技术大学信息科学技术学院,安徽合肥 2 3 0 0 2 7)摘 要 卷积神经网络(c o n v o l u t i o n a l n e u r a l n e t w o r k,C NN)是高光谱图像分类中一种常用的方法,有着较好的分类表现。然而,C NN不可避免地会提取出一些冗余特征,这对高光谱图像分类的准确率造成干扰。此外,高光谱图像分类还面临着同谱异物、同物异谱问题。为了解决以上这些问题,提出了一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。一方面,通过使用注意力机制辅助的3-D、2-D残差网络,同时从光谱维度和空间维度提取空谱联合特征,克服同谱异物、同物异谱问题;另一方面,引入通道注意力机制和空间注意力机制,有效降低了冗余空谱特征的干扰。在2种高光谱数据集上的实验结果表明,相比同类对比算法,所提出的方法具有更优越的分类性能。关键词 遥感;高光谱图像;图像分类;空谱联合特征;注意力机制;残差网络中图分类号 T P 7 5 1.1 文章编号 2 0 9 7-1 6 3 X(2 0 2 4)0 2-0 0 5 4-1 6文献标志码 A D O I 1 0.1 2 3 9 9/j.i s s n.2 0 9 7-1 6 3 x.2 0 2 4.0 2.0 0 6Spa t i a l-spe c t r a l r e s i d u a l n e t w o r k w i t h a t t e n t i o n m e c h a n i s m f o r hy pe r spe c t r a l i m age c l a s s i f i c a t i o nZ HA I X i c h e n,L I U J u n*(S c h o o l o f I n f o r m a t i o n S c i e n c e a n d T e c h n o l o g y,U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y o f C h i n a,H e f e i 2 3 0 0 2 7,C h i n a)A b s t r a c t R e c e n t l y,t h e c o n v o l u t i o n a l n e u r a l n e t w o r k(C NN)h a s a t t r a c t e d i n c r e a s i n g a t t e n-t i o n i n h y p e r s p e c t r a l i m a g e c l a s s i f i c a t i o n.T h e C NN i s a u s e f u l m e t h o d d u e t o i t s s a t i s f a c t o r y c l a s s i f i c a t i o n p e r f o r m a n c e.H o w e v e r,t h e u s e l e s s f e a t u r e s e x t r a c t e d b y t h e C NN i n e v i t a b l y h a v e b a d i n f l u e n c e o n t h e c l a s s i f i c a t i o n.B e s i d e s,t h e p h e n o m e n a o f i n t e r-a n d i n t r a-c l a s s s p e c-t r a l v a r i a b i l i t y h a s p o s e d a c h a l l e n g e t o h y p e r s p e c t r a l c l a s s i f i c a t i o n t a s k s.I n o r d e r t o o v e r-c o m e t h e a b o v e p r o b l e m s,a n o v e l s p a t i a l-s p e c t r a l r e s i d u a l n e t w o r k w i t h a t t e n t i o n m e c h a n i s m w a s p r o p o s e d i n t h i s s t u d y.T h e s p a t i a l-s p e c t r a l f e a t u r e s w e r e e f f e c t i v e l y e x t r a c t e d f r o m t h e s p a t i a l d o m a i n a n d s p e c t r a l d o m a i n b y t h e a t t e n t i o n m e c h a n i s m-a i d e d 3-D a n d 2-D r e s i d u a l n e t w o r k s t o o v e r c o m e t h e p r o b l e m o f i n t e r-a n d i n t r a-c l a s s s p e c t r a l v a r i a b i l i t y.B e s i d e s,t h e c h a n n e l a t t e n t i o n m o d u l e a n d s p a t i a l a t t e n t i o n m o d u l e w e r e u s e d t o r e d u c e t h e i n t e r f e r e n c e o f t h e u s e l e s s f e a t u r e s o n t h e c l a s s i f i c a t i o n.E x p e r i m e n t a l r e s u l t s o v e r t w o h y p e r s p e c t r a l d a t a-收稿日期:2 0 2 3-0 8-0 3 修回日期:2 0 2 3-1 0-0 7通信作者:刘军,E-m a i l:j u n l i u u s t c.e d u.c n基金项目:中国科学院青年创新促进会资助项目(2 0 1 9 4 4 7);安徽省自然科学基金资助项目(2 2 0 8 0 8 5 J 1 7)第2期翟希辰,等:基于注意力机制辅助的空谱联合残差网络的高光谱图像分类 s e t s i n d i c a t e t h a t t h e p r o p o s e d m e t h o d a c h i e v e s s u p e r i o r c l a s s i f i c a t i o n p e r f o r m a n c e o v e r i t s c o u n t e r p a r t s.K e y w o r d s r e m o t e s e n s i n g;h y p e r s p e c t r a l i m a g e;i m a g e c l a s s i f i c a t i o n;s p a t i a l-s p e c t r a l f e a-t u r e;a t t e n t i o n m e c h a n i s m;r e s i d u a l n e t w o r k0 引言高光谱遥感技术利用成像光谱仪在数百个连续且狭窄的光谱波段对地物进行成像,获取近似连续并反映地物特性的光谱曲线1。因此,高光谱图像包含丰富的光谱信息,并广泛应用于矿物资源勘查、植被作物识别和军事动态监测等各种与分类相关的任务中2。在过去的2 0年里,国内外学者针对高光谱图像分类进行了大量研究,并提出了一系列高光谱图像 分 类 方 法。其 中,K-近 邻 算 法(K-n e a r e s t n e i g h b o r,KNN)是较为简单和经典的高光谱图像分类方法之一3。KNN使用欧氏距离来计算测试像素与训练样本之间的相似度,并根据与测试像素相似度最高的k个训练样本的类别来确定测试像素的类别。ME L GAN I等4首次将支持向量机(s u p p o r t v e c t o r m a c h i n e,S VM)应用于高光谱图像分类中,具有有效性和鲁棒性。S VM在由核变换得到的高维空间中寻找最优决策超平面,从而以最大的边缘距离线性划分地物类别。然而,高光谱图像分类面临着同物异谱和同谱异物的问题,因此仅利用光谱信息难以达到很好的分类效果5。高光谱图像不仅在光谱维含有丰富的光谱信息,还在空间维包含丰富的纹理、形态学等空间特征。于是,学者们提出了一系列的将空间特性与光谱信息相融合的空谱联合分类方法来进一步提升高光谱图像的分类性能。TA R A B A L KA等6提出了一种基于马尔科夫随机场(M a r k o v r a n d o m f i e l d,MR F)的高光谱图像分类算法,能有效地将空间信息与光谱特征融合。D A L L A MUR A等7在形态学剖面方法的基础上进行延伸,提出了一种基于形态学属性剖面的分类算法。深度学习(d e e p l e a r n i n g)出现后,由于其优异的特征提取能力,受到了广泛的关注,学者们也提出了大量基于深度学习的高光谱图像分类方法。HU等8首 次 提 出 基 于 卷 积 神 经 网 络(c o n v o l u t i o n a l n e u r a l n e t w o r k,C NN)的 高 光 谱图像分类方法。C NN中含有卷积层和池化层,是一种完全监督学习的方法,有着较强的特征提取能 力。HONG等9提 出 了 一 种 基 于 变 换 器(t r a n s f o r m e r)的高光谱分类方法,在全局描述序列特性方面有着较好的表现。D I NG等1 0提出了一 种 多 特 征 融 合 网 络(m u l t i-f e a t u r e f u s i o n g r a p h c o n v o l u t i o n a l n e t w o r k,MF G C N),包含多尺度图卷积网络分支和多尺度卷积神经网络分支,从而更好地提取像素级 空 谱 特 征。HONG等1 1提出了一种小批量图卷积网络(m i n i b a t c h g r a p h c o n v o l u t i o n a l n e t w o r k,m i n i G C N),可以用小批量方式训练大规模G C N,减小了计算成本。C NN是高光谱图像分类中的常用方法,一些学者 针 对C NN开 展 了 更 进 一 步 的 研 究。L I等1 2将3-D C NN引入高光谱图像分类,同时从光谱维和空间维提取特征,一定程度上克服了同物异谱和同谱异物的问题,但所提网络结构较浅,分类性能有待进一步提升。Z HONG等1 3在三维卷积分类模型的基础上引入残差结构,提出了空 谱 联 合 残 差 网 络(s p e c t r a l-s p a t i a l r e s i d u a l n e t w o r k,S S R N)。相 比 文 献 1 2 提 出 的3-D C NN,S S R N有着更深的网络结构,而残差网络的引入也使得网络可以被设计得更深。针对输入的高光谱数据块,S S R N设计专门的光谱残差块和空间残差块,以提取丰富的光谱和空间特征。WANG等1 4将S S R N与D e n s e N e t相结合,提出了快速密集空谱卷积网络(f a s t d e n s e s p e c t r a l-s p a t i a l c o n v o l u t i o n,F D S S C)。相 比S S R N,F D S S C更 好 地 解 决 了 梯 度 消 失 问 题,但 是F D S S C没有考虑到对多尺度特征的充分利用。S ONG等1 5将不同尺度的卷积网络的输出进行融 合,提 出 深 度 特 征 融 合 网 络(d e e p f e a t u r e f u s i o n n e t w o r k,D F F N)。D F F N充分利用了多个尺 度 的 特 征,并 获 得 了 较 好 的 分 类 效 果。CHANG等1 6提出合并卷积神经网络(c o n s o l i-d a t e d c o n v o l u t i o n a l n e u r a l n e t w o r k,C-C NN),将2-D C NN与3-D C NN进行组合,克服单独使用2-D C NN或3-D C NN时 的 分 类 性 能 缺 陷。55 信 息 对 抗 技 术2 0 2 4年YANG等1 7提出高光谱图像变换器(h y p e r s p e c-t r a l i m a g e t r a n s f o r m e r,H i T),将卷积操作嵌入到变换器结构中,捕捉细微的光谱差异并传递局部空间信息。由于C NN提取出的高光谱图像特征不可避免地包含许多冗余特征,而C NN对提取出的特征是同等对待的,因此这些冗余特征会影响C NN的分类效果。而注意力机制可以对更需要关注的局部区域进行定位,使提取出的特征更具有代表性,从而更加有利于分类。Z HU等1 8提出了一种残差空谱注意力网络(r e s i d u a l s p e c t r a l-s p a-t i a l a t t e n t i o n n e t w o r k,R S S AN),该网络首先对输入数据进行空谱注意力学习,然后再使用残差网络提取空谱特征。Z HANG等1 9提出了一种基于C NN的谱分块残差网络(s p e c t r a l p a r t i o n-i n g r e s i d u a l n e t w o r k,S P R N),并结合均匀像素检测 模 块(h o m o g e n e o u s p i x e l d e t e c t i o n m o d u l e,H P DM),提出了H P DM-S P R N。该方法使用空间注意力模块作为网络的头部,然后分块提取像素的光谱特征,最后将各个子块的光谱特征进行融合,最终达到了较好的分类效果。为了克服同谱异物、同物异谱问题并减轻冗余特征对高光谱分类的干扰,本文提出一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。模型通过使用3-D残差网络,同时从空间维和光谱维提取空谱特征,克服同谱异物、同物异谱问题。通过使用2-D残差网络进一步精细提取空间特征,使特征提取更加充分。此外,分别引入了通道注意力机制和空间注意力机制来降低模型所提取的无用光谱特征和无用空间特征对分类的干扰。1 基本模块1.1 3-D卷积相比于R G B图像,高光谱图像有着很深的通道维,因而包含丰富的光谱信息。在高光谱分类任务中,传统的2-D卷积仅考虑了高光谱图像的空间信息,对光谱维度的特征未能有较好的提取效果。3-D卷积是在传统的2-D卷积方式的基础上增加了时间维度上的卷积,以此来获取图像中时间序列所包含的信息。对于高光谱图像分类任务,3-D卷积增加了光谱维度的卷积。3-D卷积是通过3-D卷积核在连续多个帧组成的张量立方体中进行滑动计算,从而进行特征提取。3-D卷积的具体操作过程如图1所示,卷积核不仅在空间维进行滑动,还在光谱维进行滑动。当光谱维固定时,卷积核在空间维的滑动可以生成一张特征图。卷积核在光谱维滑动达到下一个光谱位置后,即可继续在空间维滑动生成下一张特征图。图1 3-D卷积示意图F i g.1 3-D c o n v o l u t i o n d i a g r a m令gx y sj k代表第j层第k个特征图(x,y,s)位置的值,3-D卷积过程中gx y sj k的计算公式为:gx y sj k=fIj-1i=1Hj-1h=0Wj-1w=0Cj-1c=0wh w cj k ig(x+h)(y+w)(s+c)(j-1)i+bj k (1)式中,Ij-1表示第j-1层特征图的个数,Hj、Wj和Cj分别表示第j层特征图的高、宽和通道数,wh w cj k i表示与第j-1层第i个特征图相连的卷积核(h,w,c)位置的权值,bj k表示第j层第k个特征图的偏置,f()代表R e L U函数。3-D卷积不仅可以对高光谱图像的空间信息进行提取,同时还可以对光谱特征进行提取。卷积得到的每个特征图都与若干连续的光谱通道相连,从而获取相邻光谱通道间的关联信息。因此,3-D卷积相比传统的2-D卷积有着更好的空谱联合特征提取效果。1.2 3-D残差网络 由于残差网络可以有效防止深度神经网络发生梯度消失的现象,因此在网络较深时可以采用3-D残差网络以便更好地进行高光谱图像的空谱联合特征提取。3-D残差网络的结构如图2所示,由3-D卷 积、批 量 归 一 化(b a t c h n o r m a l i z a-t i o n,B N)和线性整流函数(r e c t i f i e d l i n e a r u n i t,R e L U)组成。相比于2-D残差网络,3-D残差网络将卷积维度由二维扩展到三维。65第2期翟希辰,等:基于注意力机制辅助的空谱联合残差网络的高光谱图像分类 图2 3-D残差网络示意图F i g.2 3-D r e s i d u a l n e t w o r k d i a g r a m1.3 注意力机制模块对于C NN提取的无用特征,可以引入注意力机制来进行削弱,同时对有用特征进行增强,从而提升算法的分类性能。1.3.1 通道注意力模块图3展示了本文所使用的通道注意力模块,该模块由4个步骤组成。步骤1 将输入的特征张量FRHWC在空间方向上分别进行全局最大池化和全局平均池化,得到最大池化向量vm a xR11C和平均池化向量va v gR11C。令Fc(i,j)表示输入的特征张量F在空间方向第i位置、光谱方向第j元素的值,vm a x(c)表示最大池化向量在第c元素的值,va v g(c)表示平均池化向量va v g在第c元素的值。则最大池化向量vm a x在第c元素的值可表示为:vm a x(c)=m a xFc(i,j)(2)平 均 池 化 向 量va v g在 第c元 素 的 值 可 表示为:va v g(c)=1HWHi=1Wj=1Fc(i,j)(3)图3 通道注意力模块示意图F i g.3 D i a g r a m o f c h a n n e l a t t e n t i o n m o d u l e 步骤2 将向量vm a x和va v g以2个分支的形式 通 过 多 层 感 知 机(m u l t i-l a y e r p e r c e p t i o n,ML P),分别得到对应的向量v*m a x和v*a v g,ML P用于抑制无用光谱特征并增强有用特征。值得注意的是,ML P被设计为一个先降维再升维的结构(b o t t l e n e c k),降维过程的权重为W1,升维过程的权重为W2,该结构可降低模型复杂度。此外,最大池 化 向 量vm a x和 平 均 池 化 向 量va v g在 经 过ML P时共享了ML P的权重W1和W2。因此,v*m a x、v*a v g可分别表示为:v*m a x=W2f W1vm a x (4)v*a v g=W2f W1va v g (5)式中,f()代表R e L U函数。步骤3 将2个分支的输出向量相加,并经过S i g m o i d函数处理后输出,最终的输出vo u t代表光谱维上各通道的权重系数,即:vo u t=v*m a x+v*a v g (6)式中,()代表S i g m o i d函数。步骤4 vo u t对输入的特征张量F光谱维的通道进行对应的抑制或增强,得到F*RHWC,该过程可表示为:F*c=vo u t(c)Fc(7)式中,Fc表示特征张量F在光谱方向第c元素的二维矩阵,F*c表示特征张量F*在光谱方向第c元素的二维矩阵,vo u t(c)表示光谱维上第c通道的权重系数。因此,通道注意力模块实现了对无用光谱特征的削弱和对有用光谱特征的增强。1.3.2 空间注意力模块图4展示了本文所使用的空间注意力模块,75 信 息 对 抗 技 术2 0 2 4年该模块由3个步骤组成。图4 空间注意力模块示意图F i g.4 D i a g r a m o f s p a t i a l a t t e n t i o n m o d u l e步骤1 将输入的特征张量FRHWC在光谱方向上分别计算最大值和平均值,得到最大池化矩阵Mm a xRHW1和平均池化矩阵Ma v gRHW1。令Fc(i,j)表示输入的特征张量F在空间方向第(i,j)位置、光谱方向第c元素的值,Mm a x(i,j)表示最大池化矩阵Mm a x在第(i,j)元素的值,Ma v g(i,j)表示平均池化矩阵Ma v g在第(i,j)元素的值。那么最大池化矩阵Mm a x在第(i,j)元素的值可表示为:Mm a x(i,j)=m a x F(i,j)(8)平均池化矩阵Ma v g在第(i,j)元素的值可表示为:Ma v g(i,j)=1CCc=1Fc(i,j)(9)步骤2 将2个二维矩阵相接,得到一个具有两通道的三维张量,并将这个张量经过一次2-D卷积,且卷积核数量为1,再经过S i g m o i d函数处理后输出。最终的输出Mo u t是一个二维矩阵,代表空间方向上各像素的权重系数,即:Mo u t=Mm a x,Ma v g *W (1 0)式中,*为卷积操作,W为卷积层的参数。步骤3 Mo u t对输入的特征张量F空间维的位置进行对应的抑制或增强,得到F RHWC,该过程可表示为:F(i,j)=Mo u t(i,j)F(i,j)(1 1)式中,F(i,j)表示特征张量F 在空间方向第(i,j)位置的一维向量,Mo u t(i,j)表示空间维上第(i,j)位置的权重系数。因此,空间注意力模块实现了对无用空间特征的削弱和对有用空间特征的增强。2 注意力机制辅助的空谱联合残差网络设计 基于注意力机制和空谱联合思路的启发,本文提出了一种注意力机制辅助的分类方法空谱联合残差网络(a t t e n t i o n-a i d e d s p a t i a l-s p e c t r a l r e-s i d u a l n e t w o r k,A S S R N)。2.1 网络总体框架网络总体结构如图5所示,该网络由3个部分构成,分别为注意力机制辅助的3-D残差网络、注意力机制辅助的2-D残差网络以及全连接模块。假设网络输入样本的尺寸为(2 5,2 5,3 0),则A S S R N网络各层的操作及具体的参数设置见表1所列。图5 A S S R N网络总体框架F i g.5 A r c h i t e c t u r e s o f A S S R N85第2期翟希辰,等:基于注意力机制辅助的空谱联合残差网络的高光谱图像分类 表1 A S S R N网络结构参数T a b.1 P a r a m e t e r s o f A S S R N层名卷积核尺寸卷积核个数步长填充方式输入尺寸输出尺寸输入层/2 52 53 01C o n v 3 d-17778(1,1,1)VA L I D2 52 53 011 91 92 48R e s-1C o n v 3 d-25331(1,1,1)S AME1 91 92 481 91 92 48C o n v 3 d-33331(1,1,1)S AME1 91 92 481 91 92 48R e s-2C o n v 3 d-45331(1,1,1)S AME1 91 92 481 91 92 48C o n v 3 d-53331(1,1,1)S AME1 91 92 481 91 92 48R e s-3C o n v 3 d-65331(1,1,1)S AME1 91 92 481 91 92 48C o n v 3 d-73331(1,1,1)S AME1 91 92 481 91 92 48C AM-1/1 91 92 481 91 91 9 2S AM-1/1 91 91 9 21 91 91 9 2R e s-4C o n v 2 d-1331 9 21 9 2(1,1)S AME1 91 91 9 21 91 91 9 2C o n v 2 d-2331 9 21 9 2(1,1)S AME1 91 91 9 21 91 91 9 2C o n v 2 d-3331 9 26 4(1,1)VA L I D1 91 91 9 21 71 76 4S AM-2/1 71 76 41 71 76 4F C-1/1 8 4 9 62 5 6F C-2/2 5 61 2 8F C-3/1 2 8CS o f t m a x/CC2.2 注意力机制辅助的3-D残差网络如图5所示,网络的第1部分是注意力机制辅助的3-D残差网络,该部分是整个网络结构的主体部分,用于提取高光谱图像的光谱特征和空间特征。注意力机制辅助的3-D残差网络最前端是一个3-D卷积块,卷积核的个数为8,尺寸为777(空间维度上为77,光谱维度为7)。最前端的3-D卷积块有2个作用:一是对空谱特征进行初步提取;二是将特征映射的数量提高到8,有利于后续3-D残差块的特征提取效果。网络结构中的B N是指批量归一化操作。之后是3个级联的3-D残差块,每个3-D残差块的结构完全相同,对应位置卷积核的尺寸与数量也相同。每个残差块中有2次3-D卷积的过程,第1次卷积过程的卷积核尺寸为335(空间维度上为33,光谱维度为5),第2次卷积过程的卷积核尺寸为333。由于残差块需要将首尾数据相加,因此将残差块中2次卷积过程卷积核数量均设置为1,因此残差卷积过程中特征映射的数量保持为8。3个3-D残差块的作用为充分提取高光谱图像的空谱特征,同时残差结构的使用也能有效防止网络发生梯度消失现象,使网络更容易训练。值得注意的是,由于残差卷积过程中特征映射的数量保持为8,为了后续通道注意力机制的使用,将最后一个3-D残差块输出数据的光谱维与特征映射维合并,也就是将8个特征映射在光谱维上拼接合成为一个特征映射。最后,使用注意力机制来解决卷积过程中不可避免地会提取出一些无用特征的问题。首先,使用一个通道注意力模块C AM-1,用于找到需要被关注的局部光谱区域。通道注意力模块中的B o t t l e n e c k将最大池化向量和平均池化向量的通道数先降为原来的1/1 6,再升至原来的数量。随后,使用一个空间注意力模块S AM-1,用于找到需要被关注的局部空间区域。空间注意力模块中卷积核的尺寸为77,数量为1。通道注意力机制和空间注意力机制的使用削弱了无用空谱特征,并增强了有用空谱特征,有利于后续的分类。95 信 息 对 抗 技 术2 0 2 4年2.3 注意力机制辅助的2-D残差网络如图5所示,网络的第2部分是一段注意力机制辅助的2-D残差网络,该部分用于进一步精细提取空间特征。注意力机制辅助的2-D残差网络的最前端是一个2-D残差块,该2-D残差块有2次2-D卷积的过程。2-D残差块的后面接1个2-D卷积块,与之前的2-D残差块一起用于提取更精细的空间特征,2-D卷积块及2-D残差块中的2个2-D卷积过程的卷积核尺寸均为33。另一方面,由于网络第1部分使用注意力机制之前已将数据的光谱维与特征映射维合并,所以数据的光谱深度扩大为原来的8倍,这导致后续全连接层的复杂度增加。为了降低后续全连接层的复杂度,且尽量保证所提取特征的质量,将2-D卷积块的卷积核数量设置为2-D卷积块输入数据光谱深度的1/3。最后,使用1个空间注意力模块S AM-2,进一步定位需要被关注局部空间区域,削弱该部分网络所提取的无用特征,并增强有用特征。空间注意力模块的卷积核尺寸为77,数量为1。2.4 全连接模块如图5所示,网络的第3部分是用于分类的全连接层,网络第2部分的输出向量化后,与2 5 6个神经元进行连接,共经过3次全连接运算,最终输出分类的类别。值得注意的是,前2次全连接操作后均接D r o p o u t函数,用于防止网络过拟合。3 算法流程本文所提出的A S S R N算法可以分为以下6个步骤:1)数据预处理,对高光谱图像进行归一化处理和主成分分析(p r i n c i p a l c o m p o n e n t a n a l y s i s,P C A)操作;2)依据设定的训练像素占比和测试像素占比,随机抽取像素组成训练像素集和测试像素集;3)将训练像素集和测试像素集联合邻域内像素分别创建符合网络输入要求的训练样本集和测试样本集;4)搭建A S S R N模型,按设定的训练批次大小使用A d a m优化算法对网络进行训练;5)使用测试集对训练好的A S S R N模型进行测试,并计算总体精度(o v e r a l l a c c u r a c y,O A)、平均精度(a v e r a g e a c c u r a c y,A A)和K a p p a系数;6)根据每一像素的测试结果,得到最终的分类地图。整个网络采用F o c a l L o s s函数FF L()为损失函数,通过对易训练样本赋予较小权重,对难训练样本赋予较大权重,从而对类别不均衡情况有 着 更 好 的 处 理 效 果。F o c a l L o s s函 数 可 表示为:FF Ly,y =-1bb a t c h_s i z ebb a t c h_s i z ej=1Ck=1 yj k1-yj k l gyj k(1 2)式中,是权重因子,一般取0.2 5;是控制损失函数形状的参数,一般取2。网络训练过程中,使用A d a m优化算法进行网络 参 数 的 学 习,A d a m优 化 算 法 是 一 种 将RM S P r o p优化算法与动量梯度下降算法相结合的优化算法。令dW和db分别为损失函数关于权重W和偏置b的导数,EdW和edb分别为代表dW和db历史平均的一阶矩参数。在每一轮训练迭代过程中,首先对动量项一阶矩参数EdW和edb进行更新,得:EdW=1EdW+1-1 dW(1 3)edb=1edb+1-1 db(1 4)式中,1是常数,通常设为0.9。动量项一阶矩参数EdW和edb更新完成后,接着对RM S P r o p项的二阶矩参数TdW和tdb进行更新,得:TdW=2TdW+1-2 dWdW(1 5)tdb=2tdb+1-2 dbdb(1 6)式中,2是 通 常 设 为0.9 9 9的 常 数,为 哈 达玛积。接着,对EdW、edb、TdW和tdb进行偏差矫正,具体为:E*dW=EdW1-n1(1 7)e*db=edb1-n1(1 8)T*dW=TdW1-n2(1 9)t*db=tdb1-n2(2 0)式中,E*dW、e*d b、T*dW和t*db分别为EdW、edb、TdW和tdb偏差矫正后的参数,n为目前训练过程迭代到的轮次数。最后,对网络的权重W和偏置b进行06第2期翟希辰,等:基于注意力机制辅助的空谱联合残差网络的高光谱图像分类 更新得:W=W-E*dWT*dW+(2 1)b=b-e*dbt*db+(2 2)式中,为 学 习 率;是 很 小 的 常 数,通 常 设 为1 0-8。用于防止式(2 1)(2 2)的分母为0而产生错误。具体算法流程如算法1所示。算法1 A S S R N算法流程1.I n p u t:高 光 谱 图 像HRnmd,训 练 像 素 占 比tt r%,测试像素占比tt e%,降维后的光谱维度d*,网络输入的大小pp a t c hpp a t c h,学习率a,训练批次大小bb a t c h_ s i z e 以及训练迭代次数EE p o c h e s;2.对高光谱图像H进行归一化处理,并使用P C A将H的光谱维度由d降为d*;3.根据训练像素占比tt r%和测试像素占比tt e%,随机划分训练像素集X和测试像素集Y;4.将训练像素集X和测试像素集Y中的像素联合高光谱图像上pp a t c hpp a t c h邻域内像素组成训练样本集Xn e w和测试样本集Yn e w;5.搭建A S S R N模型;6.生成一个大小为bb a t c h_s i z e的训练批次;7.将该训练批次输入到A S S R N网络中进行前向传播,网络输出值为y;8.根据式(1 2),由真实值y和网络输出值y计算损失函数FF L(y,y)=-1bb a t c h_s i z ebb a t c h_s i z ej=1Ck=1 yj k(1-yj k)l gyj k;9.进行反向传播,并按照式(1 3)(2 2),使用A d a m优化算法更新网络参数;1 0.r e p e a t 69 u n t i l迭代次数达到EE p o c h e s;1 1.得到A S S R N模型参数;1 2.将测试集Yn e w输入A S S R N网络进行测试;1 3.O u t p u t:细类准 确 率,混淆 矩 阵,OA,AA,K a p p a 系数,分类地图。4 实验设定4.1 数据集介绍本文使用高光谱分类领域中2种热门数据集U n i v e r s i t y o f P a v i a和I n d i a n P i n e s测试所提出的A S S R N方法的分类表现。4.1.1 U n i v e r s i t y o f P a v i a数据集U n i v e r s i t y o f P a v i a数据集是由反射光学系统成像光谱仪R O S I S在意大利的P a v i a城上空得到2 0,它包含6 1 03 4 0个像素,空间分辨率为1.3 m。该 数 据 集 含 有1 0 3个 光 谱 波 段,覆 盖0.4 30.8 6 m的波长范围,包含9种类别的像素。U n i v e r s i t y o f P a v i a数据集的伪彩色合成图如图6(a)所示。4.1.2 I n d i a n P i n e