改进DeepLabV3 下的轻量化烟雾分割算法.pdf

西 安 工 程 大 学 学 报J o u r n a l o f X ia n P o l y t e c h n i c U n i v e r s i t y 第3 7卷第4期(总1 8 2期)2 0 2 3年8月V o l.3 7,N o.4(S u m.N o.1 8 2)引文格式:陈鑫,侯青山,付艳,等.改进D e e p L a b V 3+下的轻量化烟雾分割算法J.西安工程大学学报,2 0 2 3,3 7(4):1 1 8-1 2 6.CHE N X i n,HOU Q i n g s h a n,F U Y a n,e t a l.L i g h t w e i g h t s m o k e s e g m e n t a t i o n a l g o r i t h m b a s e d o n i m p r o v e d D e e-p L a b V 3+J.J o u r n a l o f X ia n P o l y t e c h n i c U n i v e r s i t y,2 0 2 3,3 7(4):1 1 8-1 2 6.收稿日期:2 0 2 3-0 4-1 7 修回日期:2 0 2 3-0 6-0 9 基金项目:中国博士后科学基金面上项目(2 0 2 0M 6 8 3 5 6 2);陕西省科技厅自然科学基金面上项目(2 0 2 2 J M-3 3 1);陕西省科技厅重点研发计划项目(2 0 2 3-Y B G Y-1 4 2)通信作者:陈鑫(1 9 8 5),男,副教授,博士,研究方向为通信信号处理、物联网等。E-m a i l:c h e n x i n x p u.e d u.c n改进D e e p L a b V 3+下的轻量化烟雾分割算法陈 鑫1,2,侯青山1,付 艳3,张吉康1(1.西安工程大学 电子信息学院,陕西 西安 7 1 0 0 4 8;2.西北工业大学 自动化学院,陕西 西安 7 1 0 1 2 9;3.陕西省现代建筑设计研究院,陕西 西安 7 1 0 0 4 8)摘要 通过监测火灾烟雾可以有效地检测火灾的发生,现有火灾烟雾分割算法在小目标烟雾以及大目标烟雾边缘部分表现不理想,为快速而有效地监测烟雾,基于深度学习,提出一种改进的轻量化D e e p L a b V 3+烟雾分割算法。该文通过替换D e e p L a b V 3+算法的主干特征提取网络,在减少参数量的同时,提高了算法提取特征的能力和对烟雾的分割能力;同时在编码模块中添加卷积注意力模块(c o n v o l u t i o n a l b l o c k a t t e n t i o n m o d u l e,C B AM),增加算法对小目标烟雾的关注度,以提升算法对烟雾在复杂背景下的分割能力,并有效缓解烟雾边缘的误分割现象。最后通过比对测试集的测试结果,改进的烟雾分割算法相较于原D e e p L a b V 3+算法,烟雾交并比(s m o k e i n t e r s e c t i o n o v e r u n i o n,s I o U)、平均交并比(m e a n i n t e r s e c t i o n o v e r u n i o n,m I o U)和平均像素精确度(m e a n p i x e l a c-c u r a c y,m P A)分别提高了6.4 6%、4.2 8%和1.7 2%,且改进算法的权重大小仅为原算法权重大小的1 0.7 6%。实验结果表明,改进的烟雾分割算法具有分割精度高、训练时间短且模型小的优点,更符合实际中的烟雾监测任务。关键词 深度学习;分割算法;D e e p L a b V 3+算法;火灾烟雾;卷积注意力模块开放科学(资源服务)标识码(O S I D)中图分类号:T P 3 9 1.9;T J 7 6 5.3 文献标志码:AD O I:1 0.1 3 3 3 8/j.i s s n.1 6 7 4-6 4 9 x.2 0 2 3.0 4.0 1 5L i g h t w e i g h t s m o k e s e g m e n t a t i o n a l g o r i t h m b a s e d o n i m p r o v e d D e e p L a b V 3+CHEN X i n1,2,HO U Q i n g s h a n1,F U Y a n3,ZHANG J i k a n g1(1.S c h o o l o f E l e c t r o n i c s a n d I n f o r m a t i o n,X ia n P o l y t e c h n i c U n i v e r s i t y,X ia n 7 1 0 0 4 8,C h i n a;2.S c h o o l o f A u t o m a t i c,N o r t h w e s t e r n P o l y t e c h n i c a l U n i v e r s i t y,X ia n 7 1 0 1 2 9,C h i n a;3.S h a a n x i M o d e r n A r c h i t e c t u r a l D e s i g n R e s e a r c h I n s t i t u t e,X ia n 7 1 0 0 4 8,C h i n a)A b s t r a c t T h e f i r e s c a n b e e f f e c t i v e l y d e t e c t e d b y m o n i t o r i n g f i r e s m o k e.H o w e v e r,e x i s t i n g f i r e s m o k e s e g m e n t a t i o n a l g o r i t h m s h a v e n o t p e r f o r m e d w e l l o n t h e s m a l l s m o k e a n d e d g e s o f l a r g e s m o k e.T h i s a r-t i c l e p r o p o s e d a n i m p r o v e d l i g h t w e i g h t D e e p L a b V 3+s m o k e s e g m e n t a t i o n a l g o r i t h m b a s e d o n d e e p l e a r n i n g,w h i c h e f f e c t i v e l y d e t e c t s s m o k e.T h e f e a t u r e e x t r a c t i o n n e t w o r k o f t h e D e e p l a b V 3+a l g o r i t h m w a s r e p l a c e d,w h i c h r e d u c e d t h e n u m b e r o f p a r a m e t e r s.T h i s i m p r o v e m e n t e n h a n c e d t h e a l g o r i t h m s a-b i l i t y t o e x t r a c t s m o k e f e a t u r e s a n d s e g m e n t s m o k e.T h e c o n v o l u t i o n a l b l o c k a t t e n t i o n m o d u l e(C B AM)w a s a d d e d t o t h e e n c o d e r m o d u l e t o e n h a n c e t h e a l g o r i t h m s p e r c e p t i o n o f s m a l l s m o k e.T h i s i m p r o v e-m e n t e n h a n c e d t h e a l g o r i t h m s s e g m e n t a t i o n c a p a b i l i t y f o r s m o k e i n c o m p l e x b a c k g r o u n d s,a n d e f f e c t i v e-l y a l l e v i a t e s m o k e m i s-s e g m e n t a t i o n.E x p e r i m e n t a l r e s u l t s o n t h e t e s t s e t s h o w a n o t i c e a b l e g a i n u p t o 6.4 6%i n s m o k e i n t e r s e c t i o n o v e r u n i o n(s I o U),4.2 8%i n m e a n i n t e r s e c t i o n o v e r u n i o n(m I o U),a n d 1.7 2%i n m e a n p i x e l a c c u r a c y(m P A),r e s p e c t i v e l y.M o r e o v e r,t h e i m p r o v e d a l g o r i t h m s w e i g h t s i z e i s o n l y 1 0.7 6%o f t h e o r i g i n a l a l g o r i t h m s w e i g h t s i z e.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e i m p r o v e d s m o k e s e g m e n t a t i o n a l g o r i t h m,w h i c h h a s h i g h e r s m o k e s e g m e n t a t i o n a c c u r a c y,s h o r t e r t r a i n i n g t i m e,a n d a s m a l l e r m o d e l s i z e c o m p a r e d t o t h e o r i g i n a l D e e p L a b V 3+a l g o r i t h m.T h e i m p r o v e d s m o k e s e g-m e n t a t i o n a l g o r i t h m i s m o r e s u i t a b l e f o r r e a l-t i m e s m o k e m o n i t o r i n g t a s k s.K e y w o r d s d e e p l e a r n i n g;s e g m e n t a t i o n a l g o r i t h m s;D e e p L a b V 3+a l g o r i t h m s;f i r e s m o k e;c o n-v o l u t i o n a l b l o c k a t t e n t i o n m o d u l e0 引 言 加强楼宇建筑的安全防护是重中之重,早期楼宇烟雾监测方法依赖于感温、感烟等火灾传感器,但感烟、感温传感器在范围较大、复杂多样或灵敏度要求高的环境中具有一定滞后性,火灾误报率比较高1。大型建筑楼宇自控系统的应用能够让建筑的智能化水平大幅度提升,通过其可快速监测并由专业人员进行处理和解决。烟雾监测系统是建筑楼宇预防火灾不可或缺的一个环节,因为火灾极易引发且后果严重,所以如何防止火灾是一项重要的研究。火灾发生初期,由于燃烧不充分会产生大量烟雾,烟雾遮挡火焰并影响火焰的监测,导致错过最佳的扑灭时间,因此研究人员提出多种基于烟雾的火灾检测算法2-3。视频烟雾序列拥有丰富的图像信息,涉及纹理、颜色、小波和运动等诸多特征,传统的视频烟雾检测方法主要基于这些特征去完成对火灾烟雾的检测4。文献5 利用烟雾的多种特征,在背景建模融入视频像素点的空间与时间信息,最后提出3种高鲁棒性的纹理特征,利用支持向量机进行分类。文献6 在YO L O v 3的基础上新增了D e-c o u p l e d H e a d和A n c h o r-f r e e结构,算法精确度显著提升,但不能适应多类场景,检测准确率降低。文献7 采用YO L O v 2网络进行烟雾检测,但面对小目 标 烟 雾 时 准 确 率 不 高。文 献 8提 出 基 于YO L O v 4的火灾烟雾检测算法,在网络中加入通道注意力,可有效提取烟雾特征,最终实现烟雾检测。文献9 在特征提取前通过混合高斯算法提取疑似烟雾区域,并将使用的YO L O v 5的金字塔结构中融入自适应注 意力,交叉 熵损 失 函 数 替 换 为F o c a l L o s s函数,结果表明其烟雾检测适用于多种场景。在实际中需要监测到火灾的发生及地点,而烟雾分割算法可以为使用者快速寻找火灾位置。烟雾分割比烟雾检测更加困难,其需要将烟雾从背景中剥离出来。早期研究者使用传统的方法,通过手工设计特征将烟雾分割出来,如基于颜色空间衍生出的灰度直方图的阈值分割算法1 0和基于种子生长的阈值分割方法1 1-1 3。单张图像的分割已经不能满足实际生活中的需求,文献1 4 通过图像增强和运动能量对视频烟雾进行分割,其对森林火灾的分割精度高达9 9%,但在其他场景中表现较差。传统的特征具有难设计、局限性大、鲁棒性差的缺点。随着分割要求的不断提高,深度学习1 5-1 7因其可以自主学习特征,且适用于多场景等优点,逐渐成为研究者们的首选。文献1 8 首先提出了一种基于F C N的深度学习的烟雾分割算法,实现了对烟雾图像的训练和分割,但其数据集是合成图像,且由于F C N网络本身的局限性,使其结果不具有泛化性。烟雾具有半透明性,导致背景和烟雾高度复杂,文献1 9 提出了一种C GA-N e t进行视频烟雾分割,构建一个基于条件生成的对抗网络,可以自动建立视频帧与分割结果的映射模型,提升对淡烟雾的感知度,该方法911第4期 陈鑫,等:改进D e e p L a b V 3+下的轻量化烟雾分割算法在不明显烟雾和类烟雾图像上表现优异。文献2 0在文献1 8 的基础上增加了一个多尺度对比上下文结构模块,用以区分云、水雾和烟雾的不同,加强对不明显烟雾的分割效果。以上3种算法虽然对烟雾进行分割,但其算法复杂度高,且在追求烟雾与类烟雾物体区分的过程中舍弃了部分精度,无法满足研究者对火灾的实时分割需求。D e e p L a b V 3+算法的主干提取特征网络X c e p t i o n网络2 1,文献2 2 的E f f i c i e n t N e t网络代替D e e p L a b V 3+编码模块中的X c e p t i o n网络,而E f f i c i e n t N e t在精度、网络深度和复杂度之间提供了很好的平衡,实验结果表明,其在森林火灾烟雾上的分割效果取得显著提升,但在细颗粒烟雾分割上表现不理想。以上烟雾分割算法虽然在大目标烟雾的场景上表现较好,但还存在以下问题。1)对于大目标烟雾来说,烟雾的内部与边缘的特征存在不同,内部的烟雾更浓、颜色更深,而边缘的部分更加清淡,边界难以如同内部一样轻易分割,甚至会将烟雾边缘的背景误分割进去,从而导致烟雾分割的精度下降。2)由于火灾检测的特殊性,分割小目标烟雾才具有实际意义,而现有的研究大多数应用于大型火灾。由于小目标烟雾与大目标烟雾存在着颜色以及形态特征的差距,所以针对大目标烟雾训练出的网络对小目标烟雾的感知能力不够,且本文参考的公共数据集中也缺乏小目标烟雾,这会让训练出的网络缺乏对小目标烟雾的感知能力。3)现有的烟雾分割算法在追求分割精度的研究中大都没有考虑大型网络在实际中的训练时长和模型大小。针对上述问题,本文提出了一种改进的轻量化D e e p L a b V 3+烟雾分割算法。该算法不仅可以提高烟雾的分割精度,还有效地降低了权重大小。1 基本原理1.1 改进的D e e p L a b V 3+算法本文采用D e e p L a b V 3+2 3作为烟雾语义分割的深度学习算法。D e e p L a b V 3+算法模型分为编码和解码2个部分,通过特征提取网络X c e p t i o n提取烟雾特征,用空洞空间卷积池化金字塔(a t r o u s s p a-t i a l p y r a m i d p o o l i n g,A S P P)获得烟雾的高层语义特征,用解码器获得烟雾的低层边界特征。经编码器编码后,图像分辨率降为原来的1/1 6,因此,对高层语义特征进行4倍上采样,将分辨率恢复到原图的1/4;通过11卷积对低层边界特征进行压缩,并与高层语义特征进行融合;再通过33卷积和4倍上采样,输出与原图大小相等的预测图像。传统的D e e p L a b V 3+的优点表现在其可以很好地应对多次下采样所带来的分辨率降低的问题。因为烟雾具有模糊以及透明的特点,且大小目标的烟雾特征具有差异性,不适合将D e e p L a b V 3+算法直接应用于烟雾分割,所以本文对该网络做出改进。改进的D e e p L a b V 3+算法结构如图1所示。图 1 改进的D e e p L a b V 3+算法结构F i g.1 N e t w o r k s t r u c t u r e o f t h e i m p r o v e d D e e p L a b V 3+m o d e l 图1的具体改进如下:在编码器中用M o b i l e-N e t V 22 4轻量化网络替换X c e p t i o n网络实现特征021 西安工程大学学报 第3 7卷提取,确保特征提取更加细致、准确,同时使模型参数量减少和训练时间变短;从小目标烟雾上来看,烟雾刚起时具有透明的特点,这会使得背景与烟雾杂糅在一起,对网络提取烟雾的特征产生干扰,本文引入C B AM2 5,增加通道与样本之间的相关性。1.2 M o b i l e N e t V 2目前大多数主流网络在分类上面表现出卓越的性能,但是应用在分割上时,其精度和速度就会下降,如果使用一个大型网络来提升其精度,那么其计算量也会随之增加。而烟雾图像需要多次提取其特征,使用的卷积核变多,那么其计算量也会呈指数型增加。M o b i l e N e t V 2是一个轻量级网络,其核心思想是深度 可分离卷积 和倒置残差 网 络。M o b i l e-N e t V 2网络与D e e p L a b V 3+的主干网络X c e p t i o n相比,其核心都是深度可分离卷积,但X c e p t i o n通过增加网络参数量来比对效果,而M o b i l e N e t V 2则是通过压缩通道数和提速,即倒置残差模块,使网络参数量明显减少。倒置残差结构如图2所示。图 2 倒置残差结构F i g.2 I n v e r t e d r e s i d u a l s t r u c t u r e 图2中,输入特征图高为H,宽为W,通道数为C,倒置残差结构先通过维度扩张将输入的特征图升维到原来的6倍大小,通过33深度可分离卷积采取信息,最后再通过映射层降维。倒置残差具体分为3个步骤。1)特征提取网络在获取特征图的过程中,通常对高维度做卷积,同时深度可分离卷积在低维度上采样效果表现很差,所以M o b i l e N e t V 2中先通过11卷积升维。2)在高维度中通过深度可分离卷积采样,这样既能减少计算量又能获取更多的信息。3)在卷积运算中,一般使用R e L U 6作为激活函数。由于R e L U 6激活函数在做高维运算时会丢失很多信息,所以倒置残差结构的最后一层使用线性激活函数替换R e L U 6激活函数;最后再通过11卷积还原采集的特征图。通过倒置残差结构可以使M o b i l e N e t V 2网络在提取烟雾图像的特征时,具有提升特征提取能力和减少参数量的优点,该算法在提取高分辨率烟雾图像上的表现更为明显。在实际发生火灾的过程中,网络对烟雾需要有极快的反应速度,故本文将参数量较多的X c e p t i o n网络替换为更为轻型的M o-b i l e N e t V 2网络。1.3 卷积注意力模块(C B AM)小目标烟雾由于颜色清淡和模糊抽象的特性,使其与背景黏合在一起,使得原本就不明显的特征在背 景 的 干 扰 下 更 加 难 以 提 取。本 文 通 过 添 加C B AM,增加算法对小目标烟雾的特征提取能力,同时本文的数据训练图像来源于烟雾视频的连续单帧图像,空间注意力可以增加烟雾样本图像之间的相关性,增强网络提取特征的能力。C B AM结构如图3所示。图 3 C B AM结构F i g.3 S t r u c t u r e o f t h e C B AM 特征图F顺序经过通道注意力模块和空间注意力模块得到新的特征图Fm,具体流程如下。1)通道注意力模块。通道注意力的计算公式如式(1)所示:Mc(F)=(ML P(FA P)+ML P(FMP)(1)式中:Mc(F)为通道注意力特征图;为s i g m o i d操作;ML P()为共享神经网络函数;FA P为经过平均池化操作的特征图;FMP为经过最大池化操作的特征图。首先,将输入的特征图F,分别经过基于宽和高的全局最大池化和全局平均池化,得到2个特征图;其次,将其分别送入共享神经网络并对输出的特征进行基于点对点的加和操作;然后经过激活函数激活,生成最终的通道注意力特征图,即Mc;最后,将Mc和输入特征图F做基于点乘法操作,生成空间模块需要的输入特征。该模块将网络中提取到的烟雾不同特征融合起来,以解决烟雾特征复杂的问题。通道注意力结构如图4所示。121第4期 陈鑫,等:改进D e e p L a b V 3+下的轻量化烟雾分割算法图 4 通道注意力模块结构F i g.4 S t r u c t u r e o f t h e c h a n n e l a t t e n t i o n m o d u l e 2)空间注意力模块。通道注意力的计算公式如式(2)所示:Ms(F)=(f7 7(FA P;FMP)(2)式中:Ms(F)为空间注意力特征图;为s i g m o i d操作;f7 7为大小为77的卷积核;FA P为经过平均池化操作的特征图;FMP为经过最大池化操作。将通道注意力模块输出的特征图Mc作为本模块的输入特征图。首先,对输入特征图进行基于全局最大池化和全局平均池化的处理,得到2个特征图;其次,将这2个特征图基于通道做拼接操作;然后经过一个7 7卷积操作,降维为1个通道,再经过激活函数激活生成空间特征图,即Ms;最后将该特征图和该模块的输入特征图做乘法,得到最终生成的特征Fm。空间注意力可以加强不同烟雾样本之间的关联性。空间注意力结构如图5所示。图 5 空间注意力模块结构F i g.5 S t r u c t u r e o f t h e s p a t i a l a t t e n t i o n m o d u l e 通过卷积注意力机制,小目标烟雾图像在提取特征的过程中,降低背景对特征提取的影响,增强网络对烟雾的感知力,从而提升模型的表现力。2 实验结果和分析2.1 火灾烟雾数据集的建立目前最常使用的火灾烟雾数据集有2个。中国科学技术大学火灾科学国家实验室的烟雾数据集(h t t p:/s t a f f.u s t c.e d u.c n/y f n-/v s d.h t m l)。该数据集包含有各种颜色的烟雾图像以及非烟雾图像,但该数据集包含的图像分辨率低,烟雾目标几乎占据整幅图像,对于分割算法来说不具有实际意义。韩国启明大学C V P R L a b-KMU火灾烟雾数据集(h t t p s:/c v p r.k m u.a c.k r/)。该数据集加入了白色灯光和白雾等负样本,但烟雾视频和非烟雾视频的分辨率低,且场景单一,不利于提升算法泛化能力,很难训练出具有较强泛化能力的网络。数据集的建立应包含图像信息和多场景覆盖2个方面,因此本文创建了一个新的数据集,该数据集包含8 1个烟雾视频,对这8 1个视频每隔1 0 0帧提取一次图像,抽取2 0 0 0张烟雾图像,并使用L a-b e l m e软件对2 0 0 0张图像进行标注,格式为VO C格式。该数据集包含城镇、工厂、学校、森林等1 9种场景,数据集中的部分烟雾场景图像如图6所示。图 6 数据集中的部分烟雾场景图像 F i g.6 S m o k e i m a g e s o f s o m e s c e n e s i n t h e d a t a s e t221 西安工程大学学报 第3 7卷数据集中的烟雾大致分为小目标烟雾和大目标烟雾。大目标烟雾又细分为2种常见颜色的烟雾,分别为白色烟雾和黑色烟雾,以此提高模型的泛化能力以及应对复杂场景的能力。数据集具体情况如表1所示。表 1 实验数据集T a b.1 E x p e r i m e n t a l d a t a s e t 数据集大目标烟雾小目标烟雾训练集1 4 0 33 9 7测试集 1 5 64 42.2 评价指标本文采用烟雾交并比(s I o U)、平均交并比(m I-o U)和类别平均像素准确率(m P A)作为衡量分割烟雾任务优劣的评价指标2 6。s I o U指模型对烟雾这一单独类别预测结果和真实值的交集与并集的比值。m I o U指模型对每一类预测的结果和真实值的交集与并集的比值,求和再平均的结果。m P A指分别计算每个类中被正确分类像素数的比例,最后累加求平均。2.3 实验配置及模型训练本系统在U b a n t u 2 0.4系统下运行,C P U配置为I n t e l(R)X e o n(R)P l a t i n u m 8 2 5 5 C C P U 2.5 0 GH z,使用NV I D I A R T X 3 0 8 0显卡进行 运算,显 存 大 小 为1 0 G i B,网 络 框 架 使 用P y t o r c h 1.1 0.0搭建,C UD A版本为1 1.3,P y t h o n语言环境的版本为3.8.1 0实验采用交叉熵损失函数,并使用随机梯度下降(s t o c h a s t i c g r a d i e n t d e s c e n t,S G D)的方法优化网络模型,最大学习率为0.0 0 7,最小学习率为最大学习率的0.0 1,训练轮次为1 0 0轮,批大小处理为8,输入图像调整为5 1 25 1 2。2.4 烟雾图像分割结果及分析改进后的D e e p L a b V 3+算法火灾烟雾数据集上训练1 0 0轮。损失值曲线如图7所示。图 7 改进前后的D e e p L a b V 3+算法L o s s值曲线F i g.7 L o s s v a l u e c u r v e o f D e e p L a b V 3+a l g o r i t h m b e f o r e a n d a f t e r i m p r o v e m e n t 从图7可以看出,2种算法的损失值随着网络训练不断降低,且逐渐趋于平稳,最后收敛。M o-b i l e N e t V 2相比于X c e p t i o n提取的特征信息更多且更快,所以红色曲线下降速度更快。对比实验表明,改进的算法收敛时间更早,且损失值更低,后期的波动也更小,不存在过拟合的情况。为充分探究本文提出的多个改进模块对烟雾分割任务的有效性,针对特征提取网络和注意力机制进行消融实验,特征提取网络和注意力机制的消融实验结果如表2所示。其中“”代表无任何改动。表 2 特征提取网络和注意力机制的消融实验结果T a b.2 R e s u l t s o f a b l a t i o n e x p e r i m e n t s f o r f e a t u r e e x t r a c t i o n n e t w o r k a n d a t t e n t i o n m e c h a n i s m模型特征提取网络注意力机制S m o k e I o U/%m I o U/%m P A/%训练时间/h1X c e p t i o n 8 4.1 2 8 9.5 4 9 4.9 31.7 92M o b i l e N e t v 28 9.5 0 9 3.0 3 9 6.5 51.1 73M o b i l e N e t v 2 C B AM 9 0.5 8 9 3.8 2 9 6.6 51.3 1表2中,模型1是主干网络为X c e p t i o n的传统D e e p L a b V 3+模型,其s I o U为8 4.1 2%,m I o U为8 9.5 4%,m P A为9 4.9 3%,训练时间为1.7 9 h。模型2是主干网络为M o b i l e N e t V 2的D e e p L a b V 3+模型,其s I o U和m I o U较 模 型1分 别 提 高 了5.3 8%和3.4 9%。M o b i l e N e t V 2与X c e p t i o n都使用了深度可分离卷积,大大地减小了参数量,使得训练时间减少,但不同之处在于M o b i l e N e t V 2在通道数上更少,在参数量减小的同时不会影响网络的特征提取。在倒置残差的最后使用线性激活函数代替R e L U 6作为激活函数,减小还原特征图过程中损失的特征,使得模型2的分割精度提升。模型3在模型2的基础上引入C B AM,其中s I o U与m I o U较模型2提升了1.0 8%与0.7 9%,训练时间几乎没有增加,说明C B AM可以捕获到通道之间的关联性。另一方面本文的数据集来自多个视频的连续分帧图像,所以C B AM可以集中注意力关注输入图像的重要语义信息,也验证了本文多个改进模块对烟雾图像分割任务的有效性。为证明本文添加注意力的优势,通过添加S E、C h a n n e l和C o o r d来对比其对D e e p L a b v 3+烟雾分割算法的提升效果。不同注意力评价指标对比实验结果数据如表3所示。321第4期 陈鑫,等:改进D e e p L a b V 3+下的轻量化烟雾分割算法表 3 不同注意力评价指标对比实验结果T a b.3 P e r f o r m a n c e c o m p a r i s o n o f D e e p L a b V 3+m o d e l s e g m e n t a t i o n u s i n g d i f f e r e n t e v a l u a t i o n i n d i c a t o r s单位:%注意力s I o Um I o Um P AS E 9 0.0 79 3.5 49 6.3 1C h a n n e l8 9.9 49 3.4 49 6.5 0C o o r d 9 0.4 09 3.7 39 6.5 9C B AM 9 0.5 89 3.8 29 6.6 5 表3中,这3种注意力在s I o U的提升分别为0.5 7%、0.4 4%和0.9%,m I o U上的提升分别为0.5 1%、0.4 1%和0.7%。3种注意力对烟雾分割算法都有一定的提升,但C B AM可以联合通道注意力与空间注意力,为特征图分配更加合理的权重比,所以添加C B AM的算法的m P A最高,为9 6.6 5%,均超过其他3种注意力的数据。所以,C B AM相对于其他注意力更适合烟雾分割任务。为了进一步验证本文改进D e e p L a b V 3+对烟雾图 像 的 分 割 性 能,选 用F C N模 型、P S P N e t模型2 7、主干网络为VG G2 8和R e s N e t 5 02 9的UN e t模型、主干网络为X c e p t i o n的D e e p L a b V 3+模型和本文方法做对比实验。6个网络模型的性能对比数据如表4所示,表中“”代表无数值。本文方法的s I o U为9 0.5 8%,m I o U为9 3.8 2%,m P A为9 6.6 5%,权重大小为2 3.1 MB。表 4 6个网络模型的性能对比T a b.4 P e r f o r m a n c e c o m p a r i s o n s o f s i x n e t w o r k m o d e l s模型s I o U/%m I o U/%m P A/%权重大小/MBF C N2 65 9.3 07 3.0 02 6 9.7 0P S P n e t2 78 3.5 78 9.2 59 3.9 7 9.4 8U n e t(VG G)2 88 4.5 68 9.8 79 4.4 09 5.2 4UN e t(R e s N e t 5 0)2 98 7.2 09 1.6 69 4.9 71 6 7.8 8D e e p L a b V 3+(X c e p t i o n)2 38 4.1 28 9.5 49 4.9 32 1 4.6 4本文方法9 0.5 89 3.8 29 6.6 52 3.1 0 从表4可知,改进的D e e p L a b V 3+算法在前3项指标 中 均 高 于 其 他 模 型,其 中s I o U、m I o U和m P A较数据最优的UN e t(R e s N e t 5 0)分别高出3.3 8%、2.1 6%和1.6 8%,由此证明本文方法不仅在整体的精度上高于其他模型,在s I o U上也有较大提升。M o b i l e N e t V 2作为主干网络,其特殊的倒置残差结构可以在低参数的情况下拥有比其他主干网络更强的特征提取能力,添加C B AM可以做到无参化增强目标特征,有助于提高分割质量,所以本文方法的模型权重也相对较小,只有原模型权重大小的1 0.7 6%,但m I o U与原算法相比提升了4.3 8%。虽然P S P N e t的权重最小,但P S P N e t的其他3项指标都较低,本文模型与其相比在精度与轻量化之间做出很好的平衡。综上所述,本文改进的D e e p-L a b V 3+算法在烟雾分割上与原算法相比有明显提升。为了直观地感受本文的分割效果,通过选取6张不同场景的烟雾图像,并使用表4中的6种烟雾分割算法对其进行分割,不同算法的实际烟雾分割结果如图8所示。由于F C N效果较其他模型相比分割效果差距较大,失去对比意义,所以在图8中并未放置F C N的分割效果图。图 8 烟雾分割结果F i g.8 S e g m e n t a t i o n r e s u l t s o f s m o k e421 西安工程大学学报 第3 7卷 图8中,第1、2行为小目标烟雾图像,36行为大目标烟雾图像。第1行中,当烟雾较小时,其他算法不能完整地将烟雾分割出来,本文方法提取到的烟雾更多。而在第2行中,其他方法会将黑色阴影误判为黑色烟雾,导致分割出现错误,本文方法不仅区别烟雾与阴影,其分割图更贴近标注图。这是因为C B AM更倾向于抓取目