衔接注意力机制与残差ASP...W-Net工业烟尘图像分割_詹光莉.pdf

第 40 卷第 1 期2023 年 1 月控 制 理 论 与 应 用Control Theory&ApplicationsVol.40 No.1Jan.2023衔衔衔接接接注注注意意意力力力机机机制制制与与与残残残差差差ASPP的的的W-Net工工工业业业烟烟烟尘尘尘图图图像像像分分分割割割詹光莉1,2,刘辉1,2,陈甫刚3,杨路1,2(1.昆明理工大学 信息工程与自动化学院,云南 昆明 650500;2.昆明理工大学 云南省人工智能重点实验室,云南 昆明 650500;3.云南昆钢电子信息科技有限公司,云南 昆明 650302)摘要:工业烟尘图像分割是基于烟尘图像监测污染等级判定的重要环节.针对工业烟尘分割时存在的小目标烟尘漏检、大目标烟尘误检以及分割结果精度低等问题,提出了一种结合衔接注意力机制和残差空洞空间金字塔池化(ASPP)的W-Net网络.使用衔接注意力机制将两个U-Net网络组合成W-Net,W-Net 能充分利用烟尘的轮廓、位置信息进行烟尘粗分割和细分割操作,两次分割能达到更精细的分割效果;此外,针对W-Net中的普通卷积功能过于简单而不能更好地提取烟尘特征的问题,提出一种兼具残差块和ASPP功能的残差ASPP结构,同时还能根据大小目标烟尘的特点进行针对性分割,分割结果更全面完整.实验结果表明,结合衔接注意力机制与残差ASPP的W-Net以较小的分割效率损失为代价获得了较高的分割精度,Recall,IoU与F-score指标提高了4%5%,解决了大小目标烟尘存在的分割问题,烟尘的分割效果也优于其他语义分割网络.关键词:工业烟尘;图像分割;注意力机制;空洞空间金字塔池化;W-Net引用格式:詹光莉,刘辉,陈甫刚,等.衔接注意力机制与残差ASPP的W-Net工业烟尘图像分割.控制理论与应用,2023,40(1):160 171DOI:10.7641/CTA.2022.10993Connection attention mechanism and residual ASPP of W-Netindustrial smoke image segmentationZHAN Guang-li1,2,LIU Hui1,2,CHEN Fu-gang3,YANG Lu1,2(1.Faculty of Information Engineering&Automation,Kunming University of Science and Technology,Kunming Yunnan 650500,China;2.Yunnan Key Laboratory of Artificial Intelligence,Kunming University of Science and Technology,Kunming Yunnan 650500,China;3.Yunnan Kungang Electronic and Information Science Ltd,Kunming Yunnan 650302,China)Abstract:Industrial smoke image segmentation is an important part of pollution level judgment based on the smokeimage monitoring.Aiming at the problems of small target smoke missing detection,large target smoke false detection andlow precision of segmentation results in industrial smoke segmentation,a W-Net network combining connection attentionmechanism and residual atrous spatial pyramid pooling(ASPP)is proposed.Two U-Net networks are combined into aW-Net by using a connection attention mechanism.The W-Net can make full use of the contour and position informationof smoke for coarse and fine segmentation,and two segmentations can achieve finer segmentation effect.In addition,aim-ing at the problem that the common convolution function in W-Net is too simple to extract the characteristics of smoke,an improved ASPP structure with both residual block and ASPP function is proposed,which can also perform targetedsegmentation according to the characteristics of large and small target smoke,and the segmentation result is more com-prehensive and complete.Experimental results show that the W-Net obtains higher segmentation accuracy at the cost ofless segmentation efficiency loss in combination with connection attention mechanism and residual ASPP.The indexes ofthe Recall,IOU and F-score are improved by 4%5%,which solves the segmentation problem of large and small targetsmoke,and the segmentation effect of smoke is also better than other semantic segmentation networks.Key words:industrial smoke;image segmentation;attention mechanism;atrous spatial pyramid pooling;W-NetCitation:ZHAN Guangli,LIU Hui,CHEN Fugang,et al.Connection attention mechanism and residual ASPP of W-Netindustrial smoke image segmentation.Control Theory&Applications,2023,40(1):160 171收稿日期:20211018;录用日期:20220222.通信作者.E-mail:;Tel.:[phone].本文责任编委:张化光.国家自然科学基金项目(61863018),云南省科技厅应用基础研究项目(202001AT070038)资助.Supported by the National Natural Science Foundation of China(61863018)and the Applied Basic Research Programs of Yunnan Science andTechnology Department of China(202001AT070038).第 1 期詹光莉等:衔接注意力机制与残差ASPP的W-Net工业烟尘图像分割1611引引引言言言随着现代工业化建设的高速发展,工业烟尘的大量排放造成了大气污染等环境问题.工业烟尘中包含大量的CO2,SO2气体,危害环境的同时也危害人类的身心健康,因此有效控制工业烟尘排放迫在眉睫.烟尘浓度是工业烟尘污染监测中的一项重要指标,实时监测烟尘浓度具有非常重要的意义.使用高精度测量仪器在排烟口分析烟尘成分,精度高但仪器维护成本也高;采用人工目测法把烟尘与排放标准进行对照,操作简单、成本较低但准确率受人为因素影响较大;利用计算机图像识别技术来监测工业烟尘浓度污染等级,速度快、成本低、实时性高、准确率高,能有效控制烟尘排放,从而达到节能减排、保护生态环境的作用1.目前使用最广的工业烟尘浓度污染等级监测方法是基于林格曼烟气黑度图的方法,该方法包含4个环节:采集烟尘图像、分割烟尘与背景、提取烟尘区域和判定烟尘污染等级,其中分割烟尘与背景是该方法中最关键也最难实现的环节2.面向烟尘图像的分割方法根据实现方式可以分为基于人工特征的传统图像分割方法与基于深度学习的分割方法.基于人工特征的图像分割方法因计算机的计算性能有限,只能利用图像的颜色信息、纹理信息和空间结构等有限特征来进行图像分割,时间损耗大且分割精确度低,比如阈值分割法34、纹理分析法56、帧间差分法78和基于区域分割910的方法.随着现代计算机领域技术的不断发展,计算机的性能越来越高,深度学习的方法也随之出现,并在图像识别、目标检测、图像分割等计算机视觉领域中广泛使用.当前,已有许多学者将深度学习的方法用于工业烟尘图像分割任务,并取得了比传统图像分割方法更好的效果.首先,文献1112将传统的深度学习神经网络应用于烟尘图像分割中,实现了像素级分割,但此类方法对于图像的局部特征提取不全面,在有干扰的情况下分割效果不佳;于是,Tingting Li等13将传统方法集成到卷积神经网络中,提出一种改进的空洞卷积DenseNet网络(wildfire smoke dilated DenseNet,WSDD-Net)用于烟雾检测,该网络通过结合扩张卷积和密集块实现烟雾多尺度特征提取,但是该算法计算的复杂度较高,且烟雾边缘分割结果不够完整;因此,Feiniu Yuan等14考虑到烟雾这类非刚性物体具有形态各异、边缘难确定的特点,提出改进的双路卷积神经网络算法,获得了较完整的烟雾边缘分割结果;但以上方法在背景较为复杂的情况下,分割效果有待提高,于是,刘辉等2在考虑多种场景下烟雾的不同特点,使用结合多尺度与动态损失函数的全卷积网络(fully convolutional networks,FCN)对5个场景下的烟尘图像进行分割,整体分割效果较好,但该网络的部分分割结果依然存在小目标烟尘漏检、大目标烟尘误检的现象.以上深度学习方法并没有针对性的解决小目标烟尘的分割问题,因此,工业烟尘分割任务中仍需要解决小目标烟尘分割问题.本文以小目标烟尘场景下的图像为数据集进行烟尘分割,针对小目标烟尘尺寸小、边缘稀薄和大目标烟尘尺寸大、轮廓边缘复杂多变的特点,对U-Net的网络结构进行改进.使用衔接注意力机制将两个U-Net网络组合成W-Net,W-Net能充分利用烟尘的轮廓、位置信息进行烟尘粗分割和细分割操作,从而达到解决小目标烟尘漏检、大目标烟尘误检等问题的目的.另外,将网络中的普通卷积改进为残差空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP),使得网络对大小目标烟尘的特征提取过程更具有针对性,分割的烟尘更完整、精确.实验结果表明,本文提出的网络具有良好的烟尘分割性能.2基基基于于于U-Net网网网络络络的的的工工工业业业烟烟烟尘尘尘分分分割割割问问问题题题分分分析析析工业烟尘图像分割的任务是把图像中的所有烟尘从背景中分割出来,根据烟尘和背景的特点可将烟尘图像分为不同场景下的数据集.其中,面积小于整幅图像1%的烟尘被鉴定为小目标烟尘,将包含小目标烟尘的图像作为一个数据集,该数据集中的图像至少含有一个小目标烟尘,甚至含有多个烟尘,存在大小目标烟尘共存的情况.本文对小目标烟尘场景数据集进行分割,考虑到该数据集图片较少的情况,使用U-Net网络进行训练预测.与其他语义分割网络1520相比,U-Net网络21的优势在于能针对规模较小的数据集进行端到端的快速训练,但U-Net网络在小目标烟尘场景下的分割结果并不理想,如图1所示,1(a)为工业烟尘原图,1(b)为人工标记的标签,1(c)为U-Net网络的分割结果,分割结果的两幅图中存在小目标烟尘漏检、大目标烟尘误检等问题,并且分割精确度较低.分析原因,主要有以下两点:1)U-Net网络由收缩路径和扩展路径组成,两个路径之间使用复制、剪切操作进行对称连接,这种网络结构对于易识别的数据集来说简单又有效2223,但对于目标和背景都复杂多变的小目标烟尘数据集来说,信息的提取、恢复、融合不够准确高效,能利用到的有效信息有限,使得U-Net在识别、分割大小目标烟尘时比较粗糙,分割出来的烟尘结果不完整.2)U-Net网络用于提取特征的卷积操作功能单一、不全面,卷积层的卷积核大小只有一个33的尺寸,提取到的图像特征比较片面,具有局限性.而本文中的小目标烟尘数据集中的图像包含多个大小不一、形状多变的烟尘,在经过多次卷积之后,小目标烟尘容易被整个遗漏,大目标烟尘容易遗失边缘信息.类型单一的卷积层不适用于多尺寸、多目标下的烟尘162控 制 理 论 与 应 用第 40 卷分割,提取到一部分有限信息的同时也遗失了一部分有效特征信息.图 1 小目标烟尘漏检和大目标烟尘误检情况Fig.1 Small target smoke missing detection and largetarget smoke false detection3面面面向向向烟烟烟尘尘尘分分分割割割的的的衔衔衔接接接注注注意意意力力力机机机制制制与与与残残残差差差ASPP的的的W-Net3.1结结结合合合衔衔衔接接接注注注意意意力力力机机机制制制的的的W-Net针对U-Net由于信息提取、恢复与融合的操作过于简单而导致对大小目标烟尘分割没有针对性的问题,本文对U-Net的网络结构进行改进.首先对注意力机制进行改进,并取名为衔接注意力机制(connectionattention mechanism,CAM),然后使用衔接注意力机制将两个U-Net网络进行连接,第1个U-Net网络起到粗分割烟尘的作用,第2个U-Net网络起到细分割烟尘的作用,本文提出的整体网络结构如图2所示,网络层的输出尺寸如表1所示.图2中的粗分割结果是第1个U-Net网络的烟尘分割结果,细分割结果是本文方法“结合衔接注意力机制和残差ASPP的W-Net网络”的烟尘分割结果.图 2 结合衔接注意力机制与残差ASPP的W-Net网络结构示意图Fig.2 Schematic diagram of W-Net network combining connection attention mechanism and residual ASPP计算机视觉领域的注意力机制的核心逻辑18是“从关注全部到关注重点”.未改进的注意力机制结构如图3所示,x和g为输入,x为输出.x是需要被关注的对象,大小为H W C1,g是提供注意力信息的对象,大小为H W C2.x和g分别经过11的卷积变换之后进行逐元素相加,相加后的向量依次经第 1 期詹光莉等:衔接注意力机制与残差ASPP的W-Net工业烟尘图像分割163过ReLU激活函数、11卷积和Sigmoid激活函数之后得到一个注意力系数,将与向量x进行融合得到最终的输出 x,大小为H W C2.注意力系数能够根据g输入的信息来识别、保留、增强x中的目标区域特征,注意力系数的公式如下:=2(1(Wxx+Wgg+bg)+b),(1)其中:0,1,x与g为输入变量;Wx,Wg与均为11的卷积运算,起到线性变换的作用;bg与b为偏差项;1与2分别为ReLU激活函数和Sigmoid激活函数,起到归一化的作用.表 1 本文网络层输出尺寸设置Table 1 Network layer output size settings of thispaper第1个U-Net网络层输出尺寸第2个U-Net网络层输出尺寸输入图像(224,224,3)输入图像(224,224,7)残差ASPP 1(224,224,64)残差ASPP 1(224,224,64)Maxpooling 1(112,112,64)Maxpooling 1(112,112,64)残差ASPP 2(112,112,128)残差ASPP 2(112,112,128)Maxpooling 2(56,56,128)Maxpooling 2(56,56,128)残差ASPP 3(56,56,256)残差ASPP 3(56,56,256)Maxpooling 3(28,28,256)Maxpooling 3(28,28,256)残差ASPP 4(28,28,512)残差ASPP 4(28,28,512)Maxpooling 4(14,14,512)Maxpooling 4(14,14,512)残差ASPP 5(14,14,1024)残差ASPP 5(14,14,1024)转置卷积 1(28,28,1024)转置卷积 1(28,28,1024)残差ASPP 6(28,28,512)残差ASPP 6(28,28,512)转置卷积 2(56,56,512)转置卷积 2(56,56,512)残差ASPP 7(56,56,256)残差ASPP 7(56,56,256)转置卷积 3(112,112,256)转置卷积 3(112,112,256)残差ASPP 8(112,112,128)残差ASPP 8(112,112,128)转置卷积 4(224,224,128)转置卷积 4(224,224,128)残差ASPP 9(224,224,64)残差ASPP 9(224,224,64)卷积11(224,224,1)卷积11(224,224,1)粗分割结果(224,224,1)细分割结果(224,224,1)图 3 未改进的注意力机制结构示意图Fig.3 Schematic diagram of unimproved attentionmechanism structure注意力机制的输出 x在x的基础上增加了g信号的相关性权重,本质上利用了两个输入的融合信息,实质上利用的信息量有限,导致输出的结果有效但不够全面.针对此问题,对注意力机制进行改进,提出了衔接注意力机制,结构如图4所示.图 4 衔接注意力机制结构示意图Fig.4 Schematic diagram of connection attentionmechanism structure与图3的注意力机制相比,在图4的衔接注意力机制里再次融合了输入x和输入g,共有两次Concatena-te操作,使得最后的输出 x不仅有注意力机制的融合信息,还有输入x和输入g的信息,实现了多维度信息提取的目的,x的大小为H W (C1+2C2).本文将第1个U-Net网络的分割结果作为衔接注意力机制的输入g信号,用来提供注意力信息,大小为2242241,将原始图像作为x信号,作为被关注对象,大小为2242243;输出 x大小为2242247,是烟尘信息经过筛选、融合、增强后的信号.两个U-Net网络检测到的信息量更多,其中第1个U-Net的有效信息经过衔接注意力机制后得到了增强.使用衔接注意力机制连接网络的W-Net网络能重复利用第1次分割的结果信息进行第2次有针对性的分割,使得第2次分割对于大小目标烟尘更有选择性、针对性,从而达到解决小目标烟尘漏检、大目标烟尘误检的目的.3.2结结结合合合衔衔衔接接接注注注意意意力力力机机机制制制与与与残残残差差差ASPP的的的W-Net针对U-Net网络由于卷积类型单一而导致的特征提取过程遗失烟尘信息的问题,本文使用具有多尺度功能的ASPP24对衔接注意力机制W-Net网络中的卷积层进行替换,并改进了ASPP的结构,提出了残差ASPP.3.2.1传传传统统统ASPP的的的局局局限限限性性性分分分析析析DeepLab V2受到空间金字塔池化25(spatial pyra-mid pooling,SPP)的启发提出了ASPP结构.DeepLabV326在DeepLab V2 的基础上对ASPP进行了改进.改进后的ASPP有两部分并联组成,第1部分包含1个11卷积层和3个33的采样率为rates=6,12,18的空洞卷积层,卷积核数量为256,包含批标准化层;第2部分是图像级特征表示,具体操作是应用全局平均池化之后接着一个卷积核为256的11 的卷积层,164控 制 理 论 与 应 用第 40 卷最后再进行双线性上采样操作,得到所需的空间维度.ASPP结构里存在4种不同采样率的空洞卷积并行采样.空洞卷积能在不丢失图像分辨率的情况下扩大特征图的感受野,分辨率高可以精确定位目标,而不同的感受野可以感受不同的尺度信息,通过并行组合不同采样率可以获得多个不同尺寸的感受野,从而实现分类任意大小目标的目的.但ASPP的局限性也体现在空洞卷积这里,大采样率的空洞卷积对大目标物体的识别有较好的效果,但遗失了小目标物体的有效信息;小采样率的空洞卷积能获得小目标物体的语义位置信息,但遗失了更多的大目标物体的轮廓边缘信息.并行组合不同采样率的空洞卷积在一定程度上弥补了空洞卷积遗失的信息,但遗失信息里的有效内容依然没有得到很好的利用.3.2.2基基基于于于残残残差差差融融融合合合的的的残残残差差差ASPP针对ASPP存在的局限性,以及考虑大小目标烟尘的特点,对ASPP进行改进,提出一种残差ASPP模块,用来补充ASPP特征提取过程丢失的信息,从而达到更好的分割大小目标烟尘的效果.残差ASPP结构如图5所示.图 5 残差ASPP结构示意图Fig.5 Schematic diagram of residual ASPP如图5所示,残差块是在普通33卷积的基础上增加一个快捷连接(shortcut connection)组合而来,快捷连接是一个11卷积,用来匹配特征图的空间维度,残差块的作用是在33卷积提取图像特征的时候同时实现恒等映射.ASPP的4种不同采样率的空洞卷积能提取到不同大小的图像特征,具有单一尺寸卷积做不到的优势,但也具有普通卷积的缺陷:提取特征的同时遗失特征.本文的小目标烟尘数据集中,每一幅图像至少存在一个小目标烟尘,至多存在多个目标烟尘,大小目标烟尘共存的情况占大多数,针对这种多目标、多尺寸的情况,使用ASPP代替普通卷积提取烟尘特征更加合适.但考虑到ASPP 的局限性,借鉴残差思想对ASPP进行改进,改进后的残差ASPP由残差块和ASPP结合而来.在ASPP的4个不同采样率的空洞卷积上增加快捷连接,利用残差块的优势来弥补ASPP的不足,使得改进后的残差ASPP同时具有残差块和ASPP的优点,残差ASPP的具体作用如下:1)提取图像特征的同时保持图像分辨率不变,有利于小目标烟尘的位置定位.2)增大特征图的感受野,让每个特征图的输出都包含较大范围的目标信息,有利于大目标烟尘的轮廓边缘识别.3)同时提取到不同尺寸的感受野,有利于在多个大小目标烟尘共存的情况下进行分割.4)特征恒等映射,有利于补充大小目标烟尘在经过空洞卷积后所遗漏的信息.4实实实验验验与与与分分分析析析4.1实实实验验验数数数据据据及及及平平平台台台工业烟尘图像是从实际钢厂的烟尘排放视频中提第 1 期詹光莉等:衔接注意力机制与残差ASPP的W-Net工业烟尘图像分割165取的.选取了60段不同时间段和不同监测点的烟尘视频,从中提取了1396帧图像,尺寸均为224224,使用Labelme软件标记烟尘目标,并上、下翻转和90,180,270 旋转图像和标签,使其5倍扩充至6980张数据集.选取5260张为训练集,80张为验证集,650张为测试集.其中,测试集图像是小目标烟尘场景下的图像.实验电脑硬件配置为:Intel(R)Xeon(R)CPU E5-2620 v4 2.10 GHz处理器,NVIDIA GeForce RTX2080Ti显卡,64GB内存,Python语言和Tensorflow平台.4.2评评评价价价指指指标标标本次实验选择查准率(Precision)、查全率(Recall)、交并比(intersection over inion,IoU)和F-score作为衡量实验结果精确度的指标,选择每秒传输帧数和内存27作为衡量网络计算复杂性28的指标.Precision表示正确分类的正样本数与预测为正样本数(TP+FP)的比值;Recall表示正确分类的正样本数与真实正样本数量(TP+FN)的比值;IoU表示真实情况、预测结果两者的交集与并集(TP+FP+FN)的比值;F-score表示对Precision和Recall的综合度量,公式如下:Precision=TPTP+FP,(2)Recall=TPTP+FN,(3)IoU=TPTP+FP+FN,(4)F-score=(1+2)Precision Recall2Precision+Recall,(5)式(2)(4)中:TP,TN,FP和FN表示真实结果和预测结果之间的关系,TP代表真正例,TN代表真反例,FP表示假正例,FN表示假反例.式(5)中,用于调整Precision和Recall在F-score中权重,=1时表示二者一样重要.在工业烟尘分割任务中,更关注的是有多少烟尘正样本被分割出来,因此增大Recall在F-score中的权重,设置为2.4.3网网网络络络模模模型型型训训训练练练本文提出的网络为:结合衔接注意力机制与残差ASPP的W-Net,网络训练时设置的batch size为1,lear-ing rate为0.0001,训练次数为100000次,优化器为Adam优化器,损失函数为交叉熵损失(cross entropy,CE).网络训练过程中各项指标的曲线变化情况如图6所示,图6的4个子图分别代表训练中精确度、损失值、Precision和Recall 4项指标的变化情况,精确度是分类正确的样本数与样本总数之比.(a)精确度(b)损失值(c)Precision(d)Recall图 6 训练过程指标变化曲线Fig.6 Training process indicator curve166控 制 理 论 与 应 用第 40 卷如图6所示,随着训练次数的增加,精确度和Preci-sion的值不断上升,损失值不断下降,Recall的指标先下降后上升.分析如下:1)如图6(a)和图6(c)所示,随着网络的不断训练,网络的性能越来越好,预测出来的烟尘准确结果越来越多,精确度和Precision的值也随之增高.2)如图6(b)所示,损失值随着预测值与真实值越来越相近而减小.3)如图6(d)所示,Recall是被正确分类的正样本数量与被正确分类的正、负样本总数之比,在训练之初,网络的预测精度较低,被正确分类的正、负正样本总数较少,因此Recall的计算式中分母较小,导致刚开始训练时Recall的值高于精确度和Precision;随着网络的训练,预测结果准确率不断提升,被正确分类的正、负样本总数增多,Recall分母增长率大于分子增长率,Recall 开始下降;直到训练到10000次以后,Recall的分子增长率大于分母增长率,Recall开始提升.在 训 练100000次 后,训 练 集 上 的 损 失 值 为0.01306,精确度达到0.9869,Precision与Recall分别为0.9105,0.8050,总训练时长10小时24分55秒,平均训练时长2.667s/次.对训练完成的网络进行特征图可视化,并选取7个网络层的特征图与原图进行对比,7个网络层代表烟尘图像在经过最初网络层、中间网络层和最终网络层的特征图变化趋势,如图7所示,7(a)为烟尘场景原图,即网络的原始输入图像,也即输入x;7(b)为U-Net 1残差ASPP 1层,即第1个U-Net的第1个残差ASPP模块的输出结果;7(c)为U-Net 1输出层,即网络中第1个U-Net的最后一层,也即输入g;7(d)为注意力层,即原图与U-Net 1输出层共同输入到注意力机制后得到的网络层,也即输出 x;7(e)为衔接注意力层,即再次融合原图、U-Net 1输出层的改进注意力网络层,也即改进后的输出 x;7(f)为U-Net 2残差ASPP 1层,即第2个U-Net的第1个残差ASPP模块的输出结果;7(g)为U-Net 2残差ASPP 9层,即第2个U-Net的第9个残差ASPP模块的输出结果;7(h)为U-Net 2输出层,即网络中第2个U-Net的最后一层.图 7 网络特征图对比Fig.7 Comparison of network feature map如图7所示,图7(a)代表网络输入,图7(b)代表最初网络层的特征图,图7(c)(f)代表中间网络层的特征图,图7(g)(h)代表最终网络层的特征图.分析3个阶段的特征图得出以下结论:1)从图7(b)(c)可以看出,大小目标烟尘的轮廓从清晰到模糊,说明第1个U-Net网络提取到了烟尘的抽象语义信息,但分割结果较为粗糙,烟尘与背景的区别较小;2)从图7(f)(g)可以看出,大小目标烟尘与背景能完全区分开,说明第2个U-Net网络提取到更多的烟尘轮廓信息,实现了精细的烟尘语义分割;3)对比图7(a),图7(c)(d),可以看出图7(d)的大小目标烟尘区域得到了加深,说明注意力机制提取到了第1个U-Net的粗分割有效信息并融合到了原始图像中,从而增强了烟尘区域;4)从图7(d)(e)可以看出烟尘区域特征没变,但第 1 期詹光莉等:衔接注意力机制与残差ASPP的W-Net工业烟尘图像分割167图7(e)的信息明显增加了许多,这是因为从注意力机制到衔接注意力机制,再次经过了Concatenate信息融合,即两次Concatenate操作使得最后的输出 x不仅有注意力机制的融合信息,还有输入x和输入g的信息;5)图7(b)和图7(f)分别是两个U-Net的第1个残差ASPP模块输出特征图,两者的卷积模块相同,但输入图像不同,图7(b)的输入图像是原图,图7(f)的输入图像是衔接注意力层的特征图.对比图7(b)和图7(f),可以看出图7(f)的大小目标烟尘区域明显比图7(b)的更大更准确,烟尘的边缘轮廓也更明显,说明了衔接注意力机制在原图的基础上增加的烟尘位置信息和轮廓信息有效,使得第2个U-Net网络的烟尘特征提取更有针对性.4.4网网网络络络结结结构构构改改改进进进对对对比比比实实实验验验为验证本文方法结合衔接注意力机制与残差ASPP的W-Net在网络结构上针对小目标烟尘漏检、大目标烟尘误检问题的改进的有效性,本节对U-Net、使用注意力机制连接网络的W-Net(记作注意力W-Net)、使用衔接注意力机制连接网络的W-Net(记作衔接注意力W-Net)、使用ASPP替换普通卷积的W-Net(记作ASPP W-Net)、使用残差ASPP替换普通卷积的W-Net(记作残差ASPP W-Net)、结合衔接注意力机制与AS-PP的W-Net(记作衔接注意力与ASPP W-Net)、结合衔接注意力机制与残差ASPP的W-Net(记作衔接注意力与残差ASPP W-Net)进行了对比.7个网络的评价指标对比如表2所示,分割图像对比如图8所示.图 8 网络结构改进前后对比Fig.8 Comparison of network structure before and after improvement如图8第3列第1个图和第3个图所示,U-Net网络的分割结果存在小目标烟尘漏检、大目标误检等问题.衔接注意力W-Net在烟尘细节方面比注意力W-Net的更贴合标签,说明衔接注意力机制对于提取大小目标烟尘特征更有效果,基本解决了小目标烟尘漏检、大目标误检等问题.残差ASPP W-Net是在ASPP W-Net的基础上对ASPP进行了改进,改进后的残差ASPPW-Net实验结果比ASPP W-Net的更精细、更完整,说明残差ASPP更能对大小目标烟尘进行有效分割,弥补了ASPP遗失部分信息.本文方法衔接注意力与残差ASPP W-Net对注意力机制和ASPP进行了改进,改进后的网络分割烟尘结果更完整,轮廓边缘也更准确,与标签最为相似,说明衔接注意力机制与残差ASPP相对于原始注意力机制和ASPP更能针对大小烟尘进行有效分割.评价指标如表2所示.表 2 网络结构评价指标对比Table 2 Comparison of network structure evalua-tion indexes网络结构Precision RecallIoUF-score每秒传输帧数内存/MBU-Net0.89930.8294 0.7570 0.8425 39.74450注意力W-Net0.88910.8556 0.7699 0.8621 23.81926衔接注意力W-Net0.89740.8673 0.7831 0.8726 24.51902ASPP W-Net0.90810.8572 0.7848 0.8669 11.08 1402残差ASPPW-Net0.90340.8692 0.7917 0.8758 10.59 1403衔接注意力与ASPP W-Net0.86930.8723 0.7657 0.8717 11.94 1372衔接注意力与残差ASPPW-Net0.90070.8825 0.8009 0.8860 11.23 1413168控 制 理 论 与 应 用第 40 卷由表2可知,衔接注意力W-Net的Recall,IoU和F-score指标比U-Net的高24个百分点,提升效果明显;残差ASPP W-Net的Precision,Recall,IoU和F-score指标比U-Net的高24个百分点,整体指标都有所提升;本文方法的Recall、IoUF-score指标比U-Net高46个百分点,Precision略低于最高值,总体分割精确度最高.另外,随着网络结构的复杂性不断提高,每秒传输帧数不断减小,网络权重文件占用计算机内存不断增大,改进后的网络比改进之前计算复杂性略高,但满足工业烟尘分割任务对于计算复杂性、实时性的要求,本文方法以较小的图像分割效率为代价获得了较高的分割精确度.4.5与与与已已已有有有方方方法法法对对对比比比实实实验验验为了验证本文提出网络的有效性,将其与8种语义分割网络进行对比,对比网络为:FCN15,U-Net21,ResNet16,SegNet17,Attention U-Net18,W-Net19,Deeplab V3+20和mFCN-s2.8种对比网络的训练参数与本文网络保持一致.9个网络的评价指标对比如表3所示,分割图像对比如图9所示.表 3 与已有方法评价指标对比Table 3 Compared with the evaluation indexes ofexisting methods网络结构 Precision RecallIoUF-score每秒传输帧数内存/MBFCN150.89130.8485 0.7633 0.854410.74 3287U-Net210.89930.8294 0.7570.842539.74450ResNet160.87550.8356 0.7426 0.843352.14255SegNet170.82910.7324 0.6391 0.749912.5667AttentionU-Net180.91140.8377 0.7714 0.851535.33462W-Net190.86130.8737 0.7628 0.871227.26902DeeplabV3+200.89460.8149