基于注意力机制与特征增强的船名检测方法.pdf

第 卷第期 年 月武汉理工大学学报(交通科学与工程版)J o u r n a l o fWu h a nU n i v e r s i t yo fT e c h n o l o g y(T r a n s p o r t a t i o nS c i e n c e&E n g i n e e r i n g)V o l N o O c t 基于注意力机制与特征增强的船名检测方法甘浪雄,)吴金茹,)徐海祥)冯辉)张磊,)束亚清,)张东方)(武汉理工大学航运学院)武汉 )(内河航运技术湖北省重点实验室)武汉 )(武汉理工大学船海与能源动力工程学院)武汉 )(苏州市港航事业发展中心)苏州 )摘要:文中通过在深度卷积神经网络的特征提取模块中引入注意力机制,实现不同通道之间的信息交互,缓解船名位置分布多样导致漏检的问题通过特征金字塔增强模块融合低高级信息来加深不同尺度的特征,基于特征融合模块将不同深度的特征金字塔增强模块产生的特征聚集成最终的特征进行分割,在提高检测精度的同时降低模型复杂度利用s m o o t hL 损失函数解决船名预设框的位置回归问题水面船舶船名检测结果表明:改进后的算法在自建船名数据集上检测精确率达到 ,相较于现有优势算法D B N e t提高了 关键词:船名检测;注意力机制;特征增强;卷积神经网络中图法分类号:U d o i:/j i s s n 收稿日期:第一作者:甘浪雄(),男,教授,博士,主要研究领域为交通环境与安全保障技术 引言水路运输污染小、运量大而且耗能低,日益增长的行船数量也给管理部门造成了监管负担,为维系水路运输业的效率与安全,构建智能化航运系统迫在眉睫随着计算机视觉技术、深度学习的发展,陆路交通通过将车牌识别技术应用到综合道路监控系统中,建立起较为成熟的智能交通管理系统船舶名称作为船舶能够合法航行的重要身份标识,具有唯一性和必需性,从采集的船舶图像中检测并识别出船名信息,对于打造智能化内河航运系统具有重要意义,而快速、准确地定位船名是实现船名识别的首要任务基于深度学习的文本检测分为两类:第一类是通过对边界框执行回归操作,采用常用目标检测的处理流程,派生出基于回归的文本检测方法在F a s t e r R C NN(f a s t e rr e g i o n w i t hc o n v o l u t i o n a l n e u r a ln e t w o r kf e a t u r e)、S D D(s i n g l es h o tm u l t i b o xd e t e c t o r)和YO L O v(y o uo n l yl o o ko n c ev)等经典目标检测的网络框架上,针对文本特有的特点提出改进 L i a o等针对文本具有较大横纵比的特点,在S S D算法的基础上修改了锚 框 比 例 并 采 用 不 规 则 卷 积 核,提 出 了T e x t B o x e s算法来检测不同长宽比大小的文本,针对文本多方向性的特点,又提出T e x t B o x e s算法采用定向矩形或四边形边界框替换矩形边界框来达到多方向文本检测的目的 Z h o n g等在F a s t e rR C NN的基础上,提出了一种用于文本检测的统一框架,由具有文本特征先验边界框的I n c e p t i o n R P N(i n c e p t i o n r e g i o np r o p o s a l n e t w o r k)组成,扩大了文本与一般目标之间的差距这些方法在检测水平文本方面较为有效,但难以处理密集文本和任意形状的文本第二类是基于文本区域分割的方法,主要受全卷积神经网络的启发,对每个像素进行预测得到文本区域分割图,采用后处理得到文本边界框 S h e l h a m e r等提出了级联卷 积 文 本 网 络(c a s c a d e dc o n v o l u t i o n a lt e x tn e t w o r k,C C T N),实现从粗到细的文本定位该方法利用低分辨率高层特征粗略区分图像中的文本和背景,再将检测的文本区域通过精细检测网络预测文本区域和文本中心线区域,最终得到文本框,对不同尺度的文本检测有较好的鲁棒性W a n g等提出了一种渐进式扩展算法,用于解决密集文本之间难以准确分割的问题 L i a o等提出D B N e t算法,将可微分二值化操作应用于分割网络中,采用自适应的阈值,简化了后处理并提高了文本检测的效果,且具有较强的鲁棒性这类方法对多方向性文本有较好的检测效果,但存在后处理复杂度高、耗时长以及模型普遍缺少特征级的精细化导致模型不能被充分利用的问题针对水面船舶船名存在位置多变、分辨率小以及倾斜等问题,文中在D B N e t算法的基础上,提出基于注意力机制与特征增强的船名检测方法通过在骨干网络引入注意力机制,实现跨通道之间的信息交互并加强船名特征信息,采用多尺度特征增强与融合模块进一步提升特征的多样性及鲁棒性,同时使用新的损失函数,在构建的船名数据集上进行多组对比分析实验进行验证基于注意力与特征增强的船名检测算法 整体网络结构针对水面船舶图像中的船名检测,以基于分割的文本检测网络D B N e t为基准,设计了一种基于注意力机制与特征增强的船名检测方法,其网络结构见图图基于注意力机制与特征增强的船名检测网络结构 基于高效通道注意力的特征提取在基于深度神经网络的目标检测任务中,采取引入注意力机制的方法来提升网络对目标的聚焦,防止有用特征丢失从而提升网络的效果从本质上来看,注意力机制与人类对外界事物的观察机制相似,可以帮助模型对输入的每个部分赋予不同的权重,抽取出更加关键的信息,使模型做出更准确的判断E C AN e t中提出了一种高效通道注意力模块,相较于典型的S E N e t 中提出的通道注意力(s q u e e z e a n d e x c i t a t i o n,S E),E C A模块具有良好的跨通道信息获取的能力,能够实现不降维的局部跨信道交互,在降低模型复杂度的同时还能保持性能,其结构见图具体计算步骤如下:将输入特征图进行全局平均池化操作,对整个特征图求平均值,得到C大小的特征图;采用自适应卷积核进行一维卷积操作,并经过s i g m o i d激活函数得到各个通道的权重w;将权重与原始输入的特征图对应元素相乘,得到最终输出特征图图高效通道注意力(E C A)模块网络结构将高效通道注意力模块引入到船名检测的特征提取模块中将轻量级的R e s N e t 作为模型的骨干网络,该网络是目前应用最广泛的深度卷积特征提取网络之一,通过引入残差学习来解决普通网络中梯度消失和梯度爆炸的问题,提取更深层次的特征 将E C A模块添加到骨干网络提取的有效特征层上,用于增强图像中的文本特征输入图像通过骨干网络分别提取到/、/、/、/大小的特征图,每个特征图再经过高效通道注意力模块得到c、c、c 和c 四个新的特征图 多尺度特征增强与融合模块F P EM与特征金字塔(f e a t u r ep y r a m i dn e t w o r k,F P N)结构类似,通过融合低级和高级信息第期甘浪雄,等:基于注意力机制与特征增强的船名检测方法来增强不同尺度的特征,是一个可以级联的结构,能够有效地增强特征此外,相较于F P N,F P EM还具有以下两个优点:F P EM是一个可级联的模块,随着级联数的增加,不同尺度的特征图能够融合得更充分,并且能够增大感受野;F P EM是由可分离的卷积构建,计算成本低该模块主要由u p s c a l e增强和d o w n s c a l e增强两个阶段组成,将骨干网络输出的特征金字塔通过u p s c a l e从上到下融合,再通过d o w n s c a l e从下往上融合,不断增强各个尺度的特征信息在u p s c a l e增强阶段,以c、c 为例,对c 进行两倍的线性上采样,再与c 进行逐元素相加,最后通过可分离卷积操作得到新的特征图c;在d o w s c a l e增强阶段,以c,c 为例,对c 进行两倍的线性上采样,再与c 进行逐元素相加,同样通过可分离卷积操作,但此时的滑动步长为,从而得到与c 大小相同的新特征图p 逐层进行以上操作,最终得到增强后的特征图p、p、p、p F FM是用于融合不同深度的F P EM的特征,其结构见图该模块对同一尺度的特征图逐个相加,得到最终的多尺度特征后,对不同尺度的特征图进行上采样操作使得特征图具有相同的大小,级联得到模型的最终输出特征图F相较于直接将不同尺度的特征图上采样再全部级联的方法,F FM能够有效地减少特征通道数,从而加快预测速度图特征融合模块 预测与后处理对特征图F进行一次卷积和两次批量标准化与转置卷积操作,扩大到和原图一样大,再经过s i g m o i d层得到 输出概率图P同样对特征图F先进行卷积、批量标准化操作并经过R e L U激活函数,再进行两次上采样操作,期间进行一次批量标准化与R e L U,经过s i g m o i d层后输出阈值图T通过建立概率图和阈值图之间的关系,生成近似二值图,其表达式为Bi,jek(Pi,jTi,j)()式中:Bi,j为近似二值图上(i,j)处的值;Pi,j为概率图上(i,j)处的值;Ti,j为自适应阈值图在(i,j)处的值;k为放大系数该近似二值化函数与标准二值化函数相似,但具有可微性,所以可以在训练阶段随分割网络进行优化,使得分割网络产生一个边界效果较好的概率图和近似二值图,不仅能简化后处理过程,还提高了文本检测的效果在后处理过程中,采用概率图来生成文本框使用固定阈值t对概率图进行二值化操作得到二值化图,通过二值化图可以得到收缩的文字区域将收缩文字区域按照裁剪算法的偏移系数d 通过膨胀扩展来生成文本框,计算公式为d S r C()式中:d 为扩展补偿;S 为收缩文字区域的面积;C 为收缩多边形的周长;r 为扩展比例 标签生成与损失函数在训练过程中,分别采用不同的标签对概率图、阈值图和近似二值图进行监督采用V a t t i裁剪算法来生成文本标签,标注的数据集给定的标签G一般是完整文本框,为了实现相邻文本实例之间的有效分离,对标签进行缩放处理将人工标注的文本标签G向内缩小距离d得到Gs,将Gs作为概率图和近似二值图的标签缩小距离d的计算公式为dS(r)C()式中:S为多边形的面积;r为缩小比例;C为多边形的周长同时向外扩张同样的距离d得到GL,GS和GL中间区域GS L视为文本区域的边界,计算GS L区域内每个像素点到原始图像边界G的归一化距离(最近段的距离)即为阈值图的标签本文主要计算的损失包括概率图的损失、阈值图的损失和二值图的损失其中,概率图和二值图的损失属于分类损失,用来优化网络对“文本”和“非文本”预测正确的结果;阈值图的损失属于回归损失,用来优化网络生成定位准确的回归框损失函数L的计算公式为LLsLbLt()式中:Ls为概率图的损失;Lt为阈值图的损失;Lb为二值图的损失;和用于平衡各损失函数在训练过程中的比重对Ls采用平衡交叉熵损失函数,在损失函数武汉理工大学学报(交通科学与工程版)年第 卷中添加权重因子来平衡正负样本的权重,即:Lswl gpi(w)l g(pi)()式中:pi为样本的分类概率;w为权重因子,权重大小根据正负样本的分布进行设置而对于Lb损失的计算采用了D i c e损失函数 D i c e损失一般应用于语义分割中,对正负样本不平衡的场景有着不错的性能,训练过程中更侧重对前景区域的挖掘,是一种类似于I OU度量的损失函数Lb损失的计算公式为Lbxiyixiyi()式中:yi为近似二值图的标签值;xi为预测值;为一个极小的数,一般称为平滑系数,起到平滑损失和梯度的作用Lt损失计算的是GL区域内预测与标签之间损失,本文使用S m o o t hL 损失函数来计算Lts m o o t hL(xi,yi)(yixi),|yixi|yixi|,其他()LtiRLs m o o t hL(xi,yi)()式中:RL为GL内的像素索引;为阈值图的标签;为训练过程中阈值图的预测值 实验结果与分析 数据集由于目前没有公开的船名图片数据集,本实验数据集选自船讯网上带有船名字符的水面可见光图片,其中 张作为训练集,张作为测试集,这些图片中包括远洋救助拖轮、海巡船、渔船等各种船型的船名采用P a d d l e L a b e l半自动标注工具对图片进行标注,标注的文本框为四边形框为了有效表示船舶图像中的船名字符区域,将属于同一标签内容的区域作为单独的文本区域原始图像和人工标注图像示例见图 实验细节在训练阶段,对训练数据进行数据增强操作,主要包括:将输入图像按照 的比例进行水平翻转;将图像随机旋转(,)区间内的角度;图像按照(,)的比例进行缩放并将输入图像大小设置为 参数设置:根据G P U内存大小将每次迭代输入图像数量设置为;数据集训练轮次为 ;采用A d a m优化器进行端到端的训练;学习率初图原始图像和标注图像示例始设置为 ;可微分二值化操作中放大系数k根据经验设为;后处理过程中的二值化阈值t设为;扩展比例r 设为;缩小比例r设为;根据损失的数值,和分别设为和;交叉熵损失函数中w设为 评价标准文本检 测 中 常 用 的 评 价 指 标 包 括 召 回 率Rr e c a l l、精确率Pp r e c i s i o n和F分数由于本文数据来源于摄像机拍摄,船舶处于航行状态导致拍摄图片效果不理想,图片中存在船名字符角度多变、清晰度不高、大小不一等复杂情况,所以采用计算标定框和检测框的交并比来判定算法的召回率、精确率计算公式为i o u M a ti,ja r e a(i n t e r(g ti,d e tj)a r e a(u n i o n(g ti,d e tj)()Rr e c a l lM a t c hN u mg t()Pp r e c i s i o nM a t c hN u md e t()FRr e c a l lPp r e c i s i o nRr e c a l lPp r e c i s i o n()式中:a r e a()为求多边形的面积;i n t e r()为求两个多边形的交集;u m i o n()为求两个多边形的并集;g ti为第i个标定框;d e tj为第j个检测 框;为i o u M a ti,j大于 的个数;N u mg t为标定框的个数;N u md t为检测框的个数 实验结果分析 不同特征提取模块的对比以D B N e t为基准,D B N e t E C A表示在D B N e t算法的特征提取网络中引入高效通道注意力模块,其他部分与D B N e t算法一致,分别进行实验,得到的召回率、精确率以及F值见表表不同注意力模块结果对比单位:方法召回率精确率F值D B N e t D B N e t E C A 由表可知:在特征提取模块中引入高效通第期甘浪雄,等:基于注意力机制与特征增强的船名检测方法道注意力模块E C A,召回率相对基础算法提升了,精确率相对下降了,F值也有不错的提升,从 提升到 ,说明该方法较为有效结果表明,引入E C A模块较大幅度地提升了召回率,有效地减少船名漏检的情况 多尺度特征融合模块对比为了验证特征金字塔增强模块与特征融合模块对特征信息的有效利 用,以D B N e t为基准,D B N e t F P EM_F FM表示在D B N e t算法中采用多尺度特征增强与融合模块来代替F P N的算法,实验结果见表表多尺度特征融合模块对比实验结果单位:方法召回率精确率F值D B N e t D B N e t F P EM_F FM 由表可知:采用多尺度特征增强与融合模块代替D B N e t算法中的F P N,使得召回率和精确率都有所提升结果表明,特征金字塔增强模块能够更好地利用骨干网络提取的特征信息,较好地融合浅层和深层特征图,有效地提高算法的多尺度检测能力 不同损失函数的对比为了验证本文采用的回归损失函数对模型训练效果的影响,以D B N e t为基准,D B N e t表示在D B N e t算法中回归损失部分使用新的损失函数,分别进行实验,结果见表表损失函数对比实验结果单位:方法召回率精确率F值D B N e t D B N e t 由表可知:使用新损失函数的算法在精确率上较基准有一定的提升,提升了,F值也提升了 结果表明,本文采用的s m o o t hL 损失函数能够有效地提高文本框的回归效果,提升了算法的检测精度 整体改进实验为验证本文算法相对D B N e t在整体性能上的提升,用D B N e t 表示本文提出的在D B N e t基础上采用高效通道注意力模块、多尺度特征增强与融合和改进的损失函数算法,实验结果见表表整体改进实验结果单位:方法召回率精确率F值D B N e t D B N e t 由表可知:本文算法对于D B N e t算法精确率效果提升明显,从 提升至 图 a)为 采用D B N e t算 法检测效果 图,图 b)为采用本文算法的检测效果图,深色框图是检测算法输出的文本边界框由图可知:本文提出的算法在检测效果上优于D B N e t算法图部分检测效果图结 束 语针对水面船舶图像中船名检测问题,提出了一种基于注意力机制与特征增强的船名检测算法,该算法引入高效通道注意力模块,增强了网络对文本特征的提取能力,有效地减少了船名漏检的情况采用多尺度特征增强与融合模块提高网络的分割性能,提升了检测精确率改进了回归任务的损失函数,提升了检测效果在自建船名图像数据集上进行对比实验,结果表明本文算法的有效性参 考 文 献骆文莉,吴秦多层次特征融合与注意力机制的文本检测J小 型微 型 计 算 机 系 统,():R E NS,HE K,G I R S H I C K R,e ta l F a s t e r R C NN:t o w a r d sr e a l t i m eo b j e c td e t e c t i o nw i t hr e g i o np r o p o s a l n e t w o r k sJ I E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i s a n dM a c h i n e I n t e l l i g e n c e,():L I A O M H,S H IBG,B A IXT e x t B o x e s:as i n g l e s h o t o r i e n t e ds c e n e t e x t d e t e c t o rJ I E E ES i g n a lP r o c e s s i n gS o c i e t y,():Z HONGZ,J I NL,HUAN GS D e e p t e x t:an e wa p p r o a c hf o r t e x t p r o p o s a l g e n e r a t i o na n d t e x t d e t e c t i o ni nn a t u r a l i m a g e sC I E E EI n t e r n a t i o n a lC o n f e r e n c eo nA c o u s t i c s,S p e e c ha n dS i g n a lP r o c e s s i n g,L o n d o n,S HE LHAME RE,L ONGJ,D A R R E L L TF u l l yc o n v o l u t i o n a ln e t w o r k sf o r s e m a n t i c s e g m e n t a t i o nJ I E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i sa n dM a 武汉理工大学学报(交通科学与工程版)年第 卷c h i n e I n t e l l i g e n c e,():WAN G W H,L IX,HOU WB,e t a l S h a p e r o b u s tt e x td e t e c t i o nw i t hp r o g r e s s i v es c a l ee x p a n s i o nn e t w o r kC P r o c e e d i n g so ft h eI E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n,W a s h i n g t o nDC,L I AO M H,WAN Z Y,YA O C,e ta l R e a l t i m es c e n et e x td e t e c t i o n w i t hd i f f e r e n t i a b l eb i n a r i z a t i o nC P r o c e e d i n g so f t h eAAA IC o n f e r e n c eo nA r t i f i c i a l I n t e l l i g e n c e,N e wY o r k,冯宇静,贾世杰结合特征融合和金字塔注意力的场景文本检测J重庆邮电大学学报(自然科学版),():WAN GQL,WUBG,Z HUPF,e t a l E C A N e t:e f f i c i e n t c h a n n e l a t t e n t i o n f o rd e e pc o n v o l u t i o n a l n e u r a ln e t w o r k sC P r o c e e d i n g so f t h eI E E EC o m p u t e rS o c i e t yC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n,T o k y o,HUJ,S HE NL,S UNG,e ta l S q u e e z e a n d e x c i t a t i o nn e t w o r k sC P r o c e e d i n g so f t h eI E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r n R e c o g n i t i o n,B e i j i n g,田萱,王子亚,王建新基于语义分割的食品标签文本检测J农业机械学报,():WANG W H,X I EEZ,S ONG X G,e ta l E f f i c i e n ta n da c c u r a t ea r b i t r a r y s h a p e dt e x td e t e c t i o nw i t hp i x e la g g r e g a t i o nn e t w o r kC P r o c e e d i n g so ft h eI E E E/C V FI n t e r n a t i o n a lC o n f e r e n c eo n C o m p u t e rV i s i o n,L o n d o n,AS h i pN a m eD e t e c t i o nM e t h o dB a s e do nA t t e n t i o nM e c h a n i s ma n dF e a t u r eE n h a n c e m e n tG A NL a n g x i o n g,)WUJ i n r u,)X UH a i x i a n g)F E N GH u i)Z H A N GL e i,)S H UY a q i n g,)Z H A N GD o n g f a n g)(S c h o o l o fN a v i g a t i o n,W u h a nU n i v e r s i t yo fT e c h n o l o g y,W u h a n ,C h i n a)(H u b e iK e yL a b o r a t o r yo fI n l a n dS h i p p i n gT e c h n o l o g y,W u h a n ,C h i n a)(S c h o o l o fN a v a lA r c h i t e c t u r e,O c e a na n dE n e r g yP o w e rE n g i n e e r i n g,W u h a nU n i v e r s i t yo fT e c h n o l o g y,W u h a n ,C h i n a)(S u z h o uP o r ta n dS h i p p i n gD e v e l o p m e n tC e n t e r,S u z h o u ,C h i n a)A b s t r a c t:B y i n t r o d u c i n ga t t e n t i o nm e c h a n i s mi n t ot h e f e a t u r ee x t r a c t i o nm o d u l eo fd e e pc o n v o l u t i o n a ln e u r a ln e t w o r k,t h e i n f o r m a t i o n i n t e r a c t i o nb e t w e e nd i f f e r e n t c h a n n e l sw a s r e a l i z e d,a n dt h ep r o b l e mo fm i s s i n gd e t e c t i o nc a u s e db y t h ed i v e r s ed i s t r i b u t i o no f s h i pn a m e sw a s a l l e v i a t e d T h e f e a t u r ep y r a m i de n h a n c e m e n tm o d u l e f u s e s l o w l e v e l a n dh i g h l e v e l i n f o r m a t i o nt od e e p e nt h e f e a t u r e so f d i f f e r e n ts c a l e s B a s e do nt h ef e a t u r ef u s i o nm o d u l e,t h ef e a t u r e sg e n e r a t e db yt h ef e a t u r ep y r a m i de n h a n c e m e n tm o d u l ew i t hd i f f e r e n t d e p t h sw e r e a g g r e g a t e d i n t o t h e f i n a l f e a t u r e s f o r s e g m e n t a t i o n,w h i c h i m p r o v e dt h ed e t e c t i o na c c u r a c ya n dr e d u c e s t h em o d e l c o m p l e x i t y S m o o t hL l o s s f u n c t i o nw a su s e d t os o l v e t h ep o s i t i o nr e g r e s s i o np r o b l e mo f s h i pn a m ep r e s e tb o x T h er e s u l t so f s h i pn a m ed e t e c t i o no nt h es u r f a c e s h o wt h a t t h ed e t e c t i o na c c u r a c yo f t h e i m p r o v e da l g o r i t h mo n t h e s e l f b u i l t s h i pn a m ed a t as e t r e a c h e s ,w h i c h i s h i g h e r t h a nt h ee x i s t i n gd o m i n a n t a l g o r i t h mD B N e t K e yw o r d s:s h i pn a m ed e t e c t i o n;a t t e n t i o nm e c h a n i s m;f e a t u r ee n h a n c e;c o n v o l u t i o n a ln e u r a ln e t w o r k第期甘浪雄,等:基于注意力机制与特征增强的船名检测方法