多尺度区域注意力InfoGAN车牌识别网络.pdf

第5 7卷 第8期2 0 2 3年8月西 安 交 通 大 学 学 报J OUR NA LO FX IANJ I AO T ON GUN I V E R S I T YV o l.5 7 N o.8A u g.2 0 2 3.*多尺度区域注意力I n f o G A N车牌识别网络徐胜军1,2,杜淼1,2,段中兴1,2,李明海1,2,韩九强2,3(1.西安建筑科技大学信息与控制工程学院,7 1 0 0 5 5,西安;2.西安市建筑制造智动化技术重点实验室,7 1 0 0 5 5,西安;3.西安交通大学电子与信息学部,7 1 0 0 4 9,西安)摘要:针对车牌图像倾斜、遮挡、失真、模糊导致车牌图像难以识别的问题,提出一种多尺度区域注意力I n f o GAN车牌识别网络。基于I n f o GAN框架提出一种多尺度区域注意力车牌超分辨率模块,通过引入颜色分布、字符结构特征的互信息约束,提升网络不同特征维度上的判别能力,重构失真、模糊的低分辨率车牌图像中的关键字符特征;在无车牌字符位置标签信息的情况下,使用多尺度区域注意力机制对车牌全局特征图中的车牌字符和背景解耦合,渐进式地对不同尺度特征图进行不同区域加权,提高网络对字符区域显著性的关注能力和背景噪声区域的抗干扰能力;提出多尺度语义车牌字符特征提取模块,对重构后车牌图像中字符特征解码并识别。在自建X AUAT-P a r k i n g数据集和公开C C P D数据集上进行车牌识别准确率实验,实验结果表明:所提网络在C C P D公开车牌数据集上的平均识别准确率为9 9.3%,在自建X AUAT-P a r k i n g数据集上的平均识别准确率为9 9.2%。所提网络在复杂场景下具有准确的车牌识别效果和较强的鲁棒性。关键词:车牌识别;注意力机制;超分辨率;生成对抗网络中图分类号:T P 3 9 1 文献标志码:AD O I:1 0.7 6 5 2/x j t u x b 2 0 2 3 0 8 0 2 0 文章编号:0 2 5 3-9 8 7 X(2 0 2 3)0 8-0 2 0 6-0 3M u l t i-S c a l eR e g i o n a lA t t e n t i o nI n f o G A NL i c e n s eP l a t eR e c o g n i t i o nN e t w o r kXUS h e n g j u n1,2,DU M i a o1,2,DUANZ h o n g x i n g1,2,L IM i n g h a i1,2,HANJ i u q i a n g2,3(1.S c h o o l o f I n f o r m a t i o na n dC o n t r o lE n g i n e e r i n g,X ia nU n i v e r s i t yo fA r c h i t e c t u r ea n dT e c h n o l o g y,X ia n7 1 0 0 5 5,C h i n a;2.X ia nK e yL a b o r a t o r yo fB u i l d i n gM a n u f a c t u r i n gI n t e l l i g e n t&A u t o m a t i o nT e c h n o l o g y,X ia n7 1 0 0 5 5,C h i n a;3.F a c u l t yo fE l e c t r o n i ca n dI n f o r m a t i o nE n g i n e e r i n g,X ia nJ i a o t i n gU n i v e r s i t y,X ia n7 1 0 0 4 9,C h i n a)A b s t r a c t:Am u l t i-s c a l e r e g i o n a l a t t e n t i o nI n f o GANl i c e n s ep l a t e r e c o g n i t i o nn e t w o r k i sp r o p o s e df o rd i f f i c u l t r e c o g n i t i o no f l i c e n s ep l a t e i m a g e s t h a t a r es k e w e d,o b s c u r e d,d i s t o r t e d,o rb l u r r e d.F i r s t,am u l t i-s c a l er e g i o n a l a t t e n t i o nl i c e n s ep l a t es u p e r-r e s o l u t i o nm o d u l e i sp r o p o s e db a s e do nt h eI n f o GANf r a m e w o r k.M u t u a li n f o r m a t i o nc o n s t r a i n t so nc o l o rd i s t r i b u t i o na n dc h a r a c t e rs t r u c t u r e f e a t u r e sa r e i n t r o d u c e dt o i m p r o v e t h en e t w o r ksd i s c r i m i n a n tp e r f o r m a n c e i nd i f f e r e n tf e a t u r ed i m e n s i o n s.K e yc h a r a c t e rf e a t u r e si nd i s t o r t e da n db l u r r e dl o w-r e s o l u t i o nl i c e n s ep l a t ei m a g e sa r e r e c o n s t r u c t e d.S e c o n d,i nt h ea b s e n c eo f t h e l o c a t i o n l a b e l i n f o r m a t i o no f l i c e n s ep l a t ec h a r a c t e r s,t h e l i c e n s ep l a t e c h a r a c t e r s a n db a c k g r o u n d i n t h eg l o b a l f e a t u r em a pa r ed e c o u p l e db yam u l t i-s c a l er e g i o na t t e n t i o nm e c h a n i s mt op r o g r e s s i v e l yw e i g h td i f f e r e n tr e g i o n so f t h ef e a t u r e*收稿日期:2 0 2 2-1 2-2 9。作 者 简 介:徐 胜 军(1 9 7 6),男,副 教 授。基 金 项 目:国 家 自 然 科 学 基 金 资 助 项 目(5 2 2 7 8 1 2 5);陕西省自然科学基础研究计划资助项目(2 0 2 3-J C-Y B-5 3 2);陕西省教育厅专项科研计划资助项目(2 0 J K 0 7 2 1)。网络出版时间:2 0 2 3-0 4-0 6 网络出版地址:h t t p s:k n s.c n k i.n e t/k c m s/d e t a i l/6 1.1 0 6 9.t.2 0 2 3 0 4 0 6.1 5 2 1.0 0 5.h t m l 第8期徐胜军,等:多尺度区域注意力I n f o GAN车牌识别网络 h t t p:z k x b.x j t u.e d u.c n m a pa td i f f e r e n t s c a l e s,i m p r o v i n gt h en e t w o r ksp e r f o r m a n c e t o f o c u so nt h es a l i e n c yo f c h a r a c-t e r r e g i o n s a n d r e s i s t t h e i n t e r f e r e n c eo f b a c k g r o u n dn o i s e r e g i o n s.F i n a l l y,am u l t i-s c a l e s e m a n t i cl i c e n s ep l a t ec h a r a c t e re x t r a c t i o nm o d u l ei sp r o p o s e dt od e c o d ea n dr e c o g n i z et h ec h a r a c t e rf e a-t u r e s i nt h er e c o n s t r u c t e dl i c e n s ep l a t ei m a g e.B o t ht h es e l f-b u i l tX AUAT-P a r k i n gd a t a s e ta n dt h ep u b l i c l ya v a i l a b l eC C P Dd a t a s e ta r eu s e df o r l i c e n s ep l a t er e c o g n i t i o na c c u r a c ye x p e r i m e n t s.T h ee x p e r i m e n t a l r e s u l t ss h o wt h a t t h ep r o p o s e dn e t w o r kh a sa na v e r a g er e c o g n i t i o nr a t eo f9 9.3%f o r t h eC C P Dd a t a s e t a n do f 9 9.2%f o r t h e s e l f-b u i l td a t a s e t.T h e r e s e a r c hr e s u l t s s h o wt h a tt h en e t w o r kf e a t u r e sa c c u r a t e l i c e n s ep l a t er e c o g n i t i o na n dg r e a t r o b u s t n e s s i nc o m p l e xs c e n e s.K e y w o r d s:l i c e n s ep l a t er e c o g n i t i o n;a t t e n t i o nm e c h a n i s m;s u p e r-r e s o l u t i o n;g e n e r a t i v ea d v e r s a r i a ln e t w o r k 车牌识别技术是智能交通系统中的核心关键技术之一,其主要过程是利用模式识别、数字图像处理、计算机视觉等相关技术,从采集的车牌图像中提取车牌信息并实现车辆身份的认证。然而,实际场景中诸多不可抗力因素影响着车牌识别精度,主要包括:浓雾、雾霾、雨、雪等强干扰信息导致车牌图像质量低、完整度差;摄像机拍摄角度以及车辆高速行驶导致采样的车牌图像扭曲、倾斜、运动模糊。这些问题为车牌准确识别带来了巨大的挑战。车牌识别方法主要分为基于字符分割1-5和基于非字符分割6-1 1识别两类。基于字符分割识别方法首先将定位后的车牌图像分割为单字符图像,然后通过文本识别网络对单字符图像进行识别。G o u等1利用极端区域法检测车牌字符并细化车牌位置,提出一种混合判别受限波尔兹曼机非线性车牌字符分类器。H o u等2提出一种基于笔画宽度变换的分段车牌字符处理方法,在分割前无需精定位整个车牌位置情况下,解决了车牌识别中旋转因素的影响。H s u等3将最大稳定极值区域应用于字符分割,使用线性判别分析分类器提取局部二元模式特征并进行字符分类识别。N a v a s t a r a等4提出基于视频数据C C T V的车牌识别系统,利用循环神经网络识别车牌字符。T u等5提出一个基于分层区域卷积神经网络的多车辆检测和车牌识别系统,利用R C NN网络对分割后的单个车牌字符进行识别,使得网络关注到单个车牌字符特征,增加了车牌字符的可识别性。然而,由于自然场景中如强光、阴暗、恶劣天气、运动模糊等环境干扰,难以准确提取分割车牌字符关键信息,因此常导致基于字符分割的方法效果不佳。近年来,基于非字符分割的车牌识别受到广泛关注。L i等6提出一种基于长短时记忆的递归神经网络车牌识别算法,有效识别了C NN网络提取的序列车牌字符。L e e等7提出一种基于软注意力建模的递归循环网络,通过隐性学习字符级语言模型隐形提取字符特征,提高了自然场景下车牌中字符信息的关注能力。Z h e r z d e v等8提出一种基于卷积神经网络端到端的轻量化车牌识别网络L P R-N e t,解决了多品类车牌中可变长字符的问题。Q i n等9针对无约束场景,采用无锚点方法检测车牌边界和4个角,将字符特征视为序列标注问题,提高了网络在倾斜车牌图像识别方面的鲁棒性。穆世义等1 0提出一种基于单字符注意力的全品类鲁棒车牌识别网络,基于注意力机制对车牌全局特征图进行单字符级特征分割,有效解决了多品类车牌和倾斜车牌的二维字符布局问题。X u等1 1提出一种基于位置感知的二维注意力识别网络,有效识别了具有透视变形的单线和双线车牌。然而,对于这类严重扭曲、倾斜、运动模糊的车牌图像,上述直接采用端到端方式对车牌字符进行识别仍是一个挑战。基于超分辨率车牌图像重构再识别的方法为解决这类识别问题提供了一个有效的解决方案。D o n g等1 2提出了基于生成对抗网络(g e n e r a t i v ea d v e r s a r i a ln e t w o r k,GAN)的超分辨率卷积神经网络,利用对抗学习策略和感知损失,通过恢复高级特征生成更逼真的超分辨率图像。L i u等1 3提出了一种渐进式车牌搜索的D P-GAN框架,生成多种空间对应关系和高分辨率的图像,使得网络关注于像素级的细节恢复。L e e等1 4提出一种基于字符感知损失的车牌图像超分辨率模型C S-R GAN,解决了重构时车牌关键字符信息完整度的问题。Z h a n g等1 5基于端到端的框架,提出了一种融合车牌超分辨率和识别的多任务生成对抗网络的车牌识别系统。H a m d i等1 6提出一种双GAN联合对抗训练的D_GAN_E S R网络,提高了网络对高度失真和运动模糊条件下的车牌字符可识别性。702西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n M i n等1 7提出一种基于F a s t-S R GAN的模型,通过去 除 车 牌 图 像 噪 声 提 高 整 体 车 牌 识 别 准 确 率。H u a n g等1 8提出一种基于生成对抗网络的超分辨率D D A-S R GAN框架,使用双维注意力机制学习关键区域容易丢失的特征细节。徐胜军等1 9提出一种编解码结构的车牌图像超分辨率网络S R R N,利用所提K P R N对倾斜车牌进行矫正,并自适应重构倾斜低分辨率车牌图像。上述基于G AN的车牌超分辨率方法利用车牌图像中像素级相似分布关系生成车牌超分辨率图像,取得了较好的效果,但是这些方法没有更多关注车牌图像中的关键车牌字符特征,容易在实际场景中导致车牌识别准确率低下。综上所述可知,基于深度学习的车牌识别网络已经取得了较好的效果。但是,在实际场景中采样得到的原始车牌图像仍存在模糊、污损、扭曲、倾斜、过曝等问题,这些强干扰因素导致这些方法无法准确提取车牌关键字符特征,难以解耦低分辨率车牌图像中关键字符特征与车牌背景噪声。虽然基于传统GAN的车牌识别方法通过学习车牌图像间像素级数据相似分布关系来关注关键字符特征,但这些方法忽略了生成车牌中字符特征的可识别性,背景噪声的干扰。针对上述问题,本文提出一种多尺度区域注意力I n f o GAN车牌识别网络(m u l t i-s c a l er e g i o n a la t t e n t i o nI n f o G A Nl i c e n s ep l a t er e c o g n i t i o nn e t w o r k,MR I-L P R),所提网络利用多尺度区域注意力对车牌图像进行关键字符特征与背景噪声解耦,实现了无噪声和有精细纹理的高清车牌图像的超分辨率重构,建立了车牌字符多尺度语义特征提取模块,使得网络更多关注车牌字符关键信息,有效提高了车牌识别效果。1 MR I-L P R车牌图像识别网络1.1 网络结构针对复杂场景下模糊、污损、扭曲、倾斜、过曝等造成车牌关键字符特征难以提取的问题,提出一种基于多尺度区域注意力的I n f o GAN车牌识别网络,其整体框架如图1所示。图1 多尺度区域注意力车牌图像识别网络F i g.1 M u l t i-s c a l er e g i o n a l a t t e n t i o n l i c e n s ep l a t e i m a g er e c o g n i t i o nn e t w o r k 所提网络主要包含3个部分:多尺度区域注意力I n f o GAN车牌超分辨率模块(m u l t i-s c a l e r e g i o n-a l a t t e n t i o nI n f o GANl i c e n s ep l a t es u p e r-r e s o l u t i o nm o d u l e,MR A-I S R GAN),车牌字符多尺度语义特征提取模块(l i c e n s ep l a t ec h a r a c t e rm u l t i-s c a l es e-m a n t i c f e a t u r ee x t r a c t i o nm o d u l e,C F EM),多尺度区域 注 意 力 模 块(m u l t i-s c a l er e g i o n a la t t e n t i o n,M S R A)。MR A-I S R GAN模块由生成器与两个判别器网络组成,其中生成器网络采用编解码结构,由多层卷积模块与上采样解码模块组成,通过解码输出高分辨率车牌图像。车牌字符判别器以分辨真假的方式衡量车牌生成图与真值图分布之间的非相似性。车牌字符识别判别器采用字符语义特征识别方式衡量车牌生成图与真值图之间的车牌字符可识别性。最终,将车牌字符判别器和识别判别器的损失融合,并采用反向传播方式优化车牌生成器网络。C F EM模块主要由车牌超分辨模块输出的车牌生成图像作为车牌字符特征提取模块的输入,联合轻量级卷积神经网络组成的车牌字符特征提取模块和车牌超分辨模块进行端到端训练,提取输入不同字符长度车牌图像的关键字符特征,解码推理出字符概率序列,采用车牌字符概率最大准则对车牌字符类别进行预测。M S R A模块通过对车牌特征图进行不同尺度编码得到不同区域的描述符,然后对相802 第8期徐胜军,等:多尺度区域注意力I n f o GAN车牌识别网络 h t t p:z k x b.x j t u.e d u.c n 同区域描述符经过空间映射获得车牌图像的通道注意力权重矩阵。因此,加权后得到的车牌特征图不但可以显著关注字符信息,还能有效区分车牌背景和无关图像背景。1.1.1 MR A-I S R GAN模块GAN网络采用对抗学习使生成器和判别器之间达到纳什均衡,从而使生成器生成以假乱真的假图。为解决GAN的输入噪声随机、无约束、生成图像缺乏可解释性的问题,I n f o GAN2 0等被相继提出。I n f o GAN框架示意如图2所示。I n f o GAN引入隐变量编码,建立与生成数据的互信息约束,利用互信息约束对生成图像进行控制,其关键思想是将隐变量分解为一组可解释变量和一个不可解释噪声源,通过在原始GAN目标函数中添加一个额外的判定项,捕获隐变量中可解释变量和生成器输出之间的互信息,进而增加可解释性。受此启发可知,原始的低分辨率车牌图像与生成车牌图像存在高度特征相关性,比如颜色分布、字符结构特征等,二者之间具有较强的互信息。首先,将无类别标签的低分辨率车牌图像作为生成器的输入,与真值标签图建立互信息约束,挖掘低分辨率车图2 I n f o G AN框架示意F i g.2S c h e m a t i cd i a g r a mo f I n f o GANf r a m e w o r k牌中蕴含的高维数据分布,学习特征映射关系。然后,额外增加一个字符识别判别器来提高生成器对生成字符的可识别性。基于多尺度区域注意力I n-f o GAN车牌超分辨率模块(MR A-I S R GAN)可以提高生成车牌图像中字符的可识别性。该模块主要由基于编解码结构的车牌生成器网络、基于多尺度的区域注意力模块、基于对抗损失的车牌判别器网络构成。基于编解码结构的车牌生成器网络如图3所示。图中:M S R A代表多尺度区域注意力模块,其后数字代表M S R A所嵌入位置;红色箭头代表两倍下采样最大池化;每个模块的输出以CHW张量形式表示。图3 基于编解码结构的车牌生成器网络F i g.3L i c e n s ep l a t eg e n e r a t o rn e t w o r kb a s e do nc o d e cs t r u c t u r e 基于编解码结构的车牌生成器网络用于提取低分辨率车牌的关键字符特征信息,进而生成高分辨率车牌图像。在编码阶段中,不同网络深度分别嵌入M S R A注意力模块,对车牌特征图进行不同尺度编码,利用编码后区域描述符建立通道注意力权重矩阵,使得网络更加关注车牌字符区域,提高车牌生成图像质量。所提网络输入低分辨率车牌图像Fi到生成器网络,通过基于R e s N e t 5 0主干编码器特征提取模块对车牌图像的空间细节和纹理进行特征提取,编码阶段可表示为Fm=fb(Fi,b,(x)(1)式中:Fm表示车牌提取特征图;fb表示卷积、批归一化、R e L U激活函数操作的组合函数;b是可学习参数;表示M S R A注意力模块;x表示中间特征图。902西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n 解码阶段可表示为Fg=fj(Fm,j)(2)式中:Fg表示生成器网络的输出;fj表示转置卷积、L e a k y R e L U、t a n h激 活 函 数 的 组 合;j是 可 学 习参数。基于语义监督的多维度车牌判别器网络用于优化车牌生成器网络。该网络由车牌字符判别器和字符识别判别器组成,车牌字符判别器利用输出标量判定概率结果分辨车牌图像真假,衡量车牌生成图与真值图分布之间的非相似性,在数据分布维度上逼近真值图分布,但是车牌字符判别器缺少识别数据特征的能力;车牌字符识别判别器网络对生成车牌图像中关键字符语义特征进行识别,衡量生成图中各个关键字符信息的可识别性。联合车牌字符判别器和字符识别判别器网络进行端到端训练时,使生成器网络可以更好地同时利用数据分布特征和字符语义特征,因而可以提高车牌图像的识别效果。车牌判别器网络的输入分别为生成车牌图像Fg和真值图Ft,经过车牌判别器特征提取与解码阶段最终输出判别结果。车牌字符判别器的输出结果为输入车牌图像是真值图的概率,字符识别判别器的输出结果为生成车牌图像中关键字符预测值。车牌判别器网络结构如图4所示。图中,红色箭头代表两倍下采样最大池化操作。车牌判别器网络可表示为D1=fp(Fg,Ft)+g(Fg)(3)式中:fp表示卷积、批归一化、L e a k y R e L U激活函数的组合函数;表示判别器中特征图的解码;g表示字符识别分支的过程;D1表示为车牌字符判别器输出结果。字符识别判别器具体网络结构见图5,车牌字符识别判别器网络可表示为D2=d(Fg)(4)式中:d()表示字符识别判别器网络;D2表示字符识别判别器网络输出关键字符信息预测结果。图4 基于语义监督的多维度车牌判别器F i g.4S e m a n t i cs u p e r v i s i o n-b a s e dm u l t i-d i m e n s i o n a l l i c e n s ep l a t ed i s c r i m i n a t o r1.1.2 C F EM模块C F EM模块的作用是提取车牌生成图像的不同长度字符信息,然后解码推理出字符概率序列,在序列每个位置取类概率的最大值作为最优字符预测结果。基于VG G网络架构,车牌字符多尺度语义特征提取模块采用4 5层卷积结构作为特征提取网络。基础单元由常规核大小为33的卷积、批归一化、R e L U激活函数组成,网络降采样使用3 D最大池化。随着网络深度的增加,在不同深度网络层提取4种尺度的特征图,并利用不同核大小平均池化将不同尺度的特征图统一调整为41 8像素的特征图,然后将特征图在通道维度串联拼接融合,最后使用核大小为11的卷积将特征图的深度调整为字符类编号,并对每个位置取最大置信度作为最终预测结果。网络细节设置如图5所示,其中红色箭头代表3 D最大池化降采样操作。012 第8期徐胜军,等:多尺度区域注意力I n f o GAN车牌识别网络 h t t p:z k x b.x j t u.e d u.c n 图5 多尺度语义车牌字符特征提取模块 F i g.5 M u l t i-s c a l es e m a n t i c l i c e n s ep l a t ec h a r a c t e r f e a t u r ee x t r a c t i o nm o d u l e超分辨率模块的输出生成图Fg作为字符特征提取模块的输入。具体地,字符特征模块利用4次基础单元与3 D最大池化串联拼接组合得到4种尺度的特征图,表示为Sn=gn(Fn-1,n),n=1,2,3,4(5)式中:Sn是第n个特征图;gn表示第n个尺度特征提取过程;n是可学习参数;Fn-1是第n-1个尺度特征图。然后,使用平均池化将4个尺度特征图统一调整为最小尺度41 8像素的特征图,在通道维度拼接得到融合多尺度特征信息的特征图FkFk=S1S2S3S4(6)式中表示在通道维度拼接。如图5所示,全局特征图包含尺度HW分别为2 29 2、2 09 0、1 84 4、41 8视野域的特征信息,融合多尺度信息的特征图Fk经过解码将通道数调整为与分类字符数相等,最终得到车牌图像识别的预测结果,具体过程可表示为Fc=C o n v(Fk)(7)式中:C o n v()表示大小和步长都为1的卷积运算;()表示车牌预测过程;Fc表示最终车牌识别结果。1.1.3 M S R A模块基于常规GAN的超分辨率网络通过输入噪声与真值图之间的数据分布关系映射高清车牌生成图,由于这种网络难以通过控制噪声的维度生成可解释的车牌语义特征,因而缺乏区分关键字符信息与背景噪声的能力。首先,由于车牌内字符信息具有横向分布特性,因此在不同尺度全局特征图中M S R A可以使用条状区域编码对车牌字符区域进行解耦合,使得网络更多关注到车牌局部关键字符信息;其次,根据编码形成的区域描述符相似性映射为每个通道的区域加权;然后,再根据每个通道区域加权后的全局特征聚合为基于区域的通道注意力,因此这种引入了上下文语义信息的M S R A注意力机制可以有效抑制区域间相似度低的通道,消除车牌背景噪声,增强网络提取有效局部字符区域关键信息的能力。多尺度区域注意力模块结构如图6所示。图6 多尺度区域注意力模块F i g.6 M u l t i-s c a l er e g i o n a l a t t e n t i o nm o d u l e多尺度区域注意力模块具体实现过程如下:首先,令XRCHW为输入的特征图,多尺度区域编码使用(H,2H/3)大小的卷积核和(1,2)步长的卷积对特征图进行编码,表示为X1=(X)(8)式中:()表示多尺度区域编码操作;X1RChw为多尺度区域编码特征图。其次,对编码后的特征图X1进行展开和放缩变换,可以得到不同区域描述符表示X2=r e s h a p e(X1)(9)X3=r e s h a p eC o n v(X1)(1 0)式中:X2RCN表示展开后的区域描述符;X3R1N表示放缩后的描述符,其中N=hw表示区域描述符总数。112西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n 然后,通过对放缩后区域描述符X3进行s o f t-m a x操作,得到区域间的相关性注意力矩阵,再将其和区域描述符X2进行融合获得区域相关性映射,得到通道相关性的特征权重X4X4=s o f t m a x(X3)(1 1)式中:X4RC11为特征通道权重;()表示翻转和对应元素相乘的变换。最终,将多尺度区域编码后特征图X1、通道相关性特征权重X4和特征图X进行有效整合操作,得到多尺度区域注意力加权特征图Xc=(X,X1,X4)(1 2)式中:XcRCHW为加权特征图;()为逐元素相加、自适应上采样和矩阵对应元素相乘的组合操作。1.2 基于对抗学习的联合损失函数所提多尺度区域注意力I n f o G AN车牌识别网络由多尺度区域注意力I n f o G AN车牌超分辨率模块、车牌字符多尺度语义特征提取模块、多尺度区域注意力模块组成。根据不同模块端到端学习的特殊对抗学习 关系应用 不同的损失 函 数 进 行 训练。多尺度区域注意力I n f o G AN车牌超分辨率模块主要学习车牌生成图和真值图二者之间分布映射关系,使得车牌输出Fg生成图在数据分布维度逼近真值图Ft,对于生成器网络,对抗型损失函数表示为LG=Ls m o o t h+LD(1 3)生成器损失LG包含Ls m o o t h生成损失和LD判别损失。Ls m o o t h由生成器的输出生成图Fg与真值图Ft之间的均方误差和平均绝对误差组合构成Ls m o o t h=Ni=1Wx=1Hy=10.5(Fg,i(x,y)-Ft,i(x,y)2,Fg,i(x,y)-Ft,i(x,y)1Ni=1Wx=1Hy=1Fg,i(x,y)-Ft,i(x,y)-0.5,其他 (1 4)式中:N表示训练样本总数;i表示当前训练样本。LD是关于判别器的损失表示LD=LB C E+LC T C(1 5)LB C E=Ni=1(-Yg,il o gD(Fg,i)-Yt,il o gD(Ft,i)(1 6)式中:LB C E为车牌字符判别器的损失;Yg、Yt分别是生成图和真值图的标签置信值;D()是经判别器解码预测后输出为预测真值图的概率;LC T C为字符识别判别器的损失,用于提高生成图中字符可识别性,定义为LC T C=Ni=1fc t c(Pg,i,Pt,i)(1 7)式中:fc t c()表示C T C损失;Pg、Pt分别是生成图预测字符概率序列和字符标签序列。针对输入车牌图像字符长度可变情况,LC T C损失可以驱动可变长度序列的解码,防止车牌生成器生成畸形字符。在每次迭代训练过程中,首先将低分辨率含噪声原始车牌图像Fi输入车牌生成器中,通过前向传播来计算LG,然后分别将真值为0的生成图Fg和真值为1的Ft输入到车牌字符判别器和字符识判别器来计算LD,二者通过对抗学习相互优化,最终以交替训练方式优化生成器与判别器,使得车牌生成器不仅可以通过LG生成向真值图分布无限逼近的图像,而且利用LD来约束生成器生成难以识别的字符。2 实验结果与分析2.1 训练设置实验平台搭载I n t e lX e o nE 52 6 5 0处理器,3 7 6G B内存,4个NV I D I A2 0 8 0 T i1 2G B显卡。深度学习 框 架 采 用p y t o r c h-1.8、NV I D I A公 司C U-D A 1 1.2的G P U运行平台以及c u D NN 8.0深度学习G P U加速库。网络训练过程中,所提网络设置训练参数批大小为2 5 6、e p o c h为1 3 1、初始学习率为0.0 0 1,使用A d a m优化器进行优化。网络训练过程中,学习率调整策略采用每1 0个e p o c h指数衰减一次,衰减系数为0.1。2.2 中国城市停车数据集中国 城 市 停 车 数 据 集(C h i n e s ec i t yp a r k i n gd a t a s e t,C C P D)2 1由A n d r o i dP O S机所拍摄的车牌照片组成,涉及多种复杂环境,包括模糊、倾斜、雨天、雪天等。C C P D数据集是目前最大的车牌数据集,提供超过2 9万张带有详细注释的中文车牌图像。该数据集根据识别难度、车牌区域的光照、拍摄时的车牌距离、水平倾斜和垂直倾斜程度以及天气(雨、雪或雾)分为不同的组。每个类别包括1 00 0 0 2 00 0 0张图像。C C P D数据集由B a s e、B l u r、C h a l-l e n g e、D B、F N、N P、R o t a t e、T i l t、W e a t h e r等子数据集组成。各子集特征如表1所示。212 第8期徐胜军,等:多尺度区域注意力I n f o GAN车牌识别网络 h t t p:z k x b.x j t u.e d u.c n 表1 C C P D数据集T a b l e1 D e t a i l o fC C P Dd a t a s e t子数据集特征图像数B a s e不同视角、距离1 9 99 9 6B l u r较为模糊2 06 1 1C h a l l e n g e最难的基准5 00 0 3D B车牌区域较明或暗1 01 3 2F N位置较远或较近2 09 6 7N P无车牌的新车30 3 6R o t a t e有较大水平倾斜86 8 5T i l t有水平、垂直倾斜3 02 1 6W e a t h e r较差天气情况拍摄99 9 92.3 X A U A T-P a r k i n g数据集X AUAT-P a r k i n g数据集属于自建的混合车牌数据集,共有4 07 9 5张车牌车辆数据,车牌图像尺寸为15 3 69 6 0像素。该数据集不仅涵盖了各类实际场景下停车场进出卡口的蓝绿色混合车牌图像数据,而且具有大量较大差异的蓝绿色混合车牌数据,其中蓝色车牌共3 01 5 8张,新能源绿色车牌1 06 3 7张。X AUAT-P a r k i n g数据集可以按进出口分为进场子集与出场子集,由于当前新能源车的迅速普及,因此自建数据集更贴近当前实际场景中车牌数据特征,可有效验证实际场景中基于不同深度学习网络的车牌识别算法的鲁棒性。2.4 实验量化指标及分析车牌识别准确率指标定义为所有测试样本中预测结果正确的样本数占测试样本总数的比例。其中,车牌所有字符全部预测正确则判定为该车牌识别正确。车牌识别准确率定义为RL R=NtNL P(1 8)式中:RL R为该样本车牌的识别准确率;Nt为预测结果正确的样本数;NL R为测试样本总数。为验证车牌图像超分辨率生成效果,采用峰值信噪(P