雾霾条件下结合直接传输率图的车牌检测算法_侯杰.pdf

年月第 卷第期计算机工程与设计 雾霾条件下结合直接传输率图的车牌检测算法侯杰，王园宇（太原理工大学 信息与计算机学院，山西 晋中 ）摘要：为提高雾霾条件下的车牌检测精度，提出一种无锚车牌检测算法。该算法不对雾霾图像进行去雾处理，避免图像失真，将雾霾图及反映其深度信息的直接传输率图作为两个并行的特征提取源来丰富学习特征，增强网络的深度感知能力。设计基于特征金字塔网络 （）的并行 结构对两个特征提取源进行特征提取，处理网络多输入以及车牌多尺度变化的问题。提出融合空洞卷积和注意力机制的渐进融合结构，促进不同来源特征的协同表示和渐进融合。加入特征增强块降低空间特征损失，加强特征表达。实验结果表明，该算法能有效提高雾霾条件下的车牌检测精度。关键词：雾霾条件；车牌检测；直接传输率图；深度学习；特征金字塔网络；注意力机制；特征渐进融合中图法分类号：文献标识号：文章编号：（）：收稿日期：；修订日期：基金项目：山西省自然科学基金项目（）；山西省回国留学人员科研基金项目（）作者简介：侯杰（），男，山西太原人，硕士研究生，研究方向为计算机视觉；通讯作者：王园宇（），男，山西汾阳人，博士，副教授，会员，研究方向为计算机视觉、机器人技术、计算智能、虚拟现实。：，（，）：，（），：；引言基于图像的车牌检测在路况调控，违章监控等场景中被广泛应用。但雾霾条件下悬浮物对光的吸收和散射使图像的对比度和保真性变差，降低了检测精度。针对这一问题，目前存在两类基于 深 度 学习的研 究 方 法。一 类 是“直接检测”，通过改善网络提高复杂场景下的检测精度：文献 将车牌检测转化为二分类问题后再使用支持向量机进行分类。文献 采用先检测车辆再检测车牌的方式减少误检。文献 将最后一个卷积层的输出提供给个同级卷积层后提取感兴趣区域进行检测。文献 在多尺度特征图上分别预设大量锚框来提高检测精度。这些方法对雾霾这种特定场景的针对性不强，鲁棒性差。另一类是“去雾检测”，即对雾霾图像去雾处理后再检测车牌：文第 卷第期侯杰，王园宇：雾霾条件下结合直接传输率图的车牌检测算法献 使用 去雾后用 检测。文献 使用一种基于大气光值局部估计的算法去雾后利用超分辨率卷积神经网络检测。这些方法虽然针对性地提高了雾霾条件下的车牌检测精度，但去雾算法的加入容易造成图像失真和误差累积，而且进行算法优化时无法确定优化方向应在去雾算法上还是在检测算法上。同时不同去雾算法适用性不同，会给检测结果带来不确定性（证明见本文 节）。本文提出一种雾霾条件下的车牌检测算法，将雾霾图像的直接传输率图作为网络的深度特征提取源，并通过加强网络的特征提取与表达针对性地提升了雾霾条件下车牌检测的准确率。本文算法概述 车牌检测方法的选取车牌检测即用外接矩形框标定图像的车牌区域，继而为目标追踪、车牌识别等高级视觉任务提供可靠数据。车牌检测方法分为传统的方法和基于深度学习的方法。传统的车牌检测方法包括基于边缘检测的方法和基于颜色和纹理特征的方法。这些方法运算量小、速度快，但这些方法基于表面特征进行处理，易受环境干扰，不适用于雾霾条件下的车牌检测。基于深度学习的车牌检测方法相较于传统方法，能提取到深层次的特征，在准确性、鲁棒性和实时性上都有了很大提高，可分为基于锚框的检测方法和无锚框的检测方法。基于锚框的方法需要在图像上预设大量锚框后进行坐标细化。但对于基于锚框的方法来说，锚框的尺寸和数量都是非常敏感的超参数，设计时需要较强的先验知识；而且针对某一数据集的锚框往往不适用于其它数据集，降低了检测器的泛化能力，锚框的引入还会产生正负样本不平衡，增加计算交并比时的计算量。从 开始，出现了 等无锚目标检测器。无锚检测的实质是将锚框的匹配转换为某些关键点的回归，这样不需要调优与锚框有关的超参数，训练速度快，占用内存低。而且现实图像中的车牌往往是多方向拍摄的，基于锚框的方法需要使用水平的矩形锚框包围对象，这样很难表示出斜侧拍摄的车牌的确切位置，相比之下利用车牌的角点定位更适合于多角度车牌的检测问题。综上本文选择无锚框的车牌检测方式，通过对车牌个角点进行回归来检测车牌位置。深度特征提取源的选取为了增强网络的深度感知能力，本文将反映深度信息的图像表示形式作为深度特征提取源加入网络。因为深度信息有利于复杂场景的结构分析，与只对 图像的单模态信息研究相比，深度特征的加入可以提供更丰富的学习特征。反映深度信息的图像表示形式分为深度图和直接传输率图两种。深度图中每一个像素点的值代表了该点的深度大小。直接传输率图基于暗通道先验生成，针对雾霾场景提出，图中每一个像素值代表了该点的传输率大小，由于深度正相关于传输率，直接传输率图也可以表示图像的深度信息。比较发现（见本文 节），直接传输率图较深度图受雾霾影响小，所以选择输入图像的直接传输率图作为网络的深度特征提取源。而且直接传输率图是雾霾图像不同于其它模糊图像的独有特征形式，“直接检测”和“去雾检测”两种车牌检测方法均未使用该特征，本文算法中直接传输率图的加入针对性地增强了网络对雾霾图像原始信息的利用和探索。虽然受雾霾影响，直接传输率图无法确切表示出深度信息，但可以逐像素反映出图像的大致深度，丰富学习特征，对车牌检测起到指导作用。而且深度信息不是车牌检测的主要研究目标，所以本文不对深度信息进行专门提取，仅将直接传输率图作为一个反映深度信息的深度特征提取源，在网络源头处增强网络的深度感知能力，同时还可以赋予网络对特征提取更大的自主性。车牌检测网络框架本文车牌检测网络将轻量化卷积块 作为网络基本块（记为 ），降低参数量的同时改善特征提取 效 果。的 结 构 如 图所 示，其 （）代 表 深 度 可 分 离 卷 积。特征输入 后经“通道分离”操作被分为两个分支，一个分支直接传递，另一个分支由普通卷积和深度可分离卷积进行特征提取，将两个分支的特征进行 操作后使用“通道混洗”打乱特征图的通道顺序，促进两个分支的信息交流。使用时将其中的 激活函数替换为 ，因为 比 更平滑，得到结果的准确性和泛化性更好。图 网络结构为了防止特征提取过程中出现特征丢失，增强特征表达，受 启发设计了特征增强块（记为 ），计算机工程与设计 年旨在从其它位置聚集信息来增强当前位置的特征。的结构如图（）所示，模块分为特征捕获和特征转换两个部分。特征捕获部分与 相同，采用卷积和 获取注意力权值后，将注意力权值与输入特征相乘得到全局上下文特征。特征转换部分将 中的常规卷积替换为多分支多尺度的空洞卷积并使用 进行特征融合。这样可以在不丢失分辨率的情况下扩大感受野，降低空间特征损失。同时加入不同卷积核尺度（，）的常规卷积来表达不同的感受野，模拟人类的视觉感知，优化特征表达。最终，特征转换部分输出的特征与模块的输入特征相加，将全局上下文信息融合到每个位置的特征上。本文车牌检测网络总体框架如图所示，由并行 结构、渐进融合结构、预测个部分分别进行特征的提取、融合与输出。图像输入网络后，首先使用双线性插值将原始图像的大小调整为 作为特征提取源之一，接着使用文献 中基于图像饱和度的方法将其转化为直接传输率图的形式作为网络的深度特征提取源。两个特征提取源经过并行 结构进行特征提取后，相同金字塔级别，图 及 网络结构不同来源的特征分别用渐进融合结构进行特征融合，最后将车牌图片分配到最合适的特征层进行车牌预测。后文进行具体结构的介绍。图车牌检测网络总体框架 并行 结构 能在增加极少计算量的情况下处理检测算法中的目标多尺度变化问题，其结构如图所示。由于低层特征语义信息较少，目标位置准确，适于检测小目标；高层特征 语 义 信 息 较 多，目 标 位 置 粗 略，适 于 检 测 大 目 标。先使用“由下至上”的网络分支提取出不同层次的特征，再通过上采样构造“由上至下”的网络分支恢复特征图的尺寸，同时通过卷积进行横向连接加强各层特征的表达，使每一层不同尺度的特征图都具有较强的语义信息，进一步融合了低分辨率语义信息较强的特征和高分辨率语义信息较弱但空间信息丰富的特征。最后根据目标锚框的大小在相应层级的特征层上进行预测。并行 结构由两个相同的 组成，如图中所示，两个 分别对两个特征提取源进行特征提取至个金字塔级别的特征层，特征大小分别为 ，。其中“由上至下”的分支与 相同，由于 第 卷第期侯杰，王园宇：雾霾条件下结合直接传输率图的车牌检测算法图 总体框架没有具体提出“由下至上”特征提取分支的结构，所以本文对其进行专门设计。本文使用加入残差连接的 对原图进行特征提取。对于直接传输率图的特征提取，为了避免特征冗余，对特征提取进行简化，整体采用倒置残差结构，使用卷积扩张特征图通道后再使用深度可分离卷积进行特征提取。之后再使用卷积进行通道压缩，这样在更好地发挥深度可分离卷积作用的同时进一步减少了参数量和运算时间。其中倒置残差结构可以避免激活函数破坏特征，深度可分离卷积比普通卷积参数量少且执行效率高。为了防止过拟合加入 为 的 。的作用相当于 层，但比 层更适于卷积网络，能增加网络对超参数选择的鲁棒性。渐进融合结构对提取到的原图特征和直接传输率图特征，使用渐进融合结构，采取先粗融合，再细融合的方式逐步进行特征融合，这样有利于相同尺寸不同来源的特征在融合过程中互补输出，增加特征的协同表示和融合的有效性，而且有助于梯度反向传播。渐进融合结构的框架如图所示，主要包括特征粗融合和特征细融合两个部分。图渐进融合网络结构特征粗融合部分由粗卷积块构成，粗卷积块在标准残差块的基础上加入空洞卷积设计而成，结构如图（）所示。粗卷积块利用标准残差块的框架进行残差学习，捕获空间维度互补的车牌信息，同时加入空洞卷积优化了标准残差块的特征提取方式，扩大了感受野，这样可以增加特征捕获的范围和效率。特征细融合部分由细卷积块构成，旨在细化特征信息，图标准残差块及粗卷积块网络结构并引入通道注意力机制，选择性地聚合上下文，有效实现了特 征 之 间 的 互 增 益。细 卷 积 块 借 鉴 通 道 注 意 力 网 络（，）设 计 而 成，结构如图（）所示。仅使用最大池化处理特征，细卷积块在使用最大池化的基础上，加入了平均池化，这样可以更全面地获取不同通道的全局特征。输入特征分别经过平均池化、最大池化和降维处理（使用卷积完成）后，得到、这个特征分支。为了进一步学习通道间的相关性，使用分组卷积对 分支和 分支的特征进行联合学习后经过 函数获得通道权重。之后将通道权重与 分支的特征相乘得到特征，实现了特征选择性聚合，提升了模型对通道特征的敏感程度。最后将特征与输入特征叠加，在保留原有特征的同时使用经过注意力处理过的特征保全了特征的语义性质。图 及细卷积块网络结构计算机工程与设计 年 检测部分车牌检测采用无锚框的检测方式，这样避免了锚框带来的正负样本不平衡问题，并减少了计算交并比时的计算量。角点损失函数使用二维高斯损失函数，如式（）所示。将车牌的个角点从左上角开始，顺时针分别标记为（，），（，），（，），（，）。首先按式（）分别计算 出个 预 测 角 点 对 应 的（，），其 中（，）代表真实的角点坐标，为幅值，设为。为控制高斯方差的参数，设为 。由个角点中任意两点横坐标的最大差值 （）得出，由个角点中任意两点纵坐标的最大差值 （）得出，代表车牌角点横坐标或纵坐标的角标，。之后将 求和取平均后与作差得到损失函数 （）（）（）（）（）（）为了解决车牌尺度变化的问题，类似于 ，针对提取到的个级别的特征设计了个共享参数的预测器进行角点预测，预测器结构如图中所示，将预设锚框的匹配替换为车牌矩形框个角点坐标的回归，最终使用个角点组成的标记框代替锚框。对于不同预测器的选择，将样本实例的真实框与每一个特征层的预设锚框作对比，选择重合度最高的特征层负责该样本的输出。但这种方法是基于启发式的，基于经验预设锚框大小的设定不一定是最优的。本文借鉴文献 的方法让网络自行选择由哪一个特征层来输出实例。选择机制如图所示，一个训练样本输入网络后，首先由个分支同时进行预测，哪个分支输出的 最小，就把 分配去哪一个特征层，由这一特征层负责对该实例的训练。从而为每个实例选择最合适的特征级别（如图中实线所示）。图特征层选择机制实验与分析 实验环境与数据集实验在 操作系统下进行，计算机配置为 ，内 存，显存。车牌检测网络基于 框架实现，编程语言为 ，训练 为，为 ，为，初始学 习 率 为 ，每 个 的 学 习 率 衰 减 系 数 为 。采用 进行学习优化，其中平滑常数 设为（，），权重衰减系数设为 。数据集来源选择中科大开源的大型国内车牌 数据集，从中选择 张图片进行加雾处理后作为本文车牌检测实验的数据集。为了模拟真实的雾霾图像，使用文献 中基于大气散射模型的方法，生成 的随机大气光值后对清晰图像进行加雾处理。之后按数据集中图片名称提供的坐标信息，为每张图片生成包含车牌个角点坐标信息的 格式的标签文件，生成标签时将车牌左上角作为第一个角点，按顺时针的方向记录其余角点。按照 的比例将数据集划分为训练集、验证集和测试集。同时为了验证检测算法在真实雾霾条件下的泛化性，测试集中还加入 张真实雾霾环境中的车牌照片并使用 进行标注。评价指标实验使用 分数（）作为车牌检测的准确性评价指标。分数是综合衡量精确率和召回率的指标，评估模型准确程度的同时考虑到正负样本的不平衡性，分数越大表示检测精度越高。相关计算如式（）所示 分数 （）将角点按顺时针连接成锚框，用 表示预测框和真实框的交集和并集的比值，式（）中 表示预测框与真实框的 的样本数，表示预测框与真实框 的 的样本数，表示未检测出预测框的样本数。精确率（）表示所有正样本（输出预测框的样本）中正确检测出车牌的样本比例。召回率（）表示所有检测出的车牌中（所有样本中去除误检车牌后）正确检测出车牌的样本比例。实验结果和分析使用前述训练参数对网络进行训练后，把得到的网络模型与其它先进的车牌检测模型在准备好的数据集上进行实验对比，得到的结果汇总于表。由表可知，与其它算法相比，本文算法实现了最高的 分数 ，并且每秒检测帧数达到 ，满足实时检测的要求。部分车牌检测对比结果如图所示（图中前行为合成雾霾图像，其余为真实雾霾图像）。其中文献，均出现误检。从检测效果来看，本文算法检测框与实际框的第 卷第期侯杰，王园宇：雾霾条件下结合直接传输率图的车牌检测算法表车牌检测结果对比方法准确率召回率 分数 （帧）文献 文献 文献 文献 文献 本文算法 契合度高于其余算法，能更好地表示出车牌的位置，在侧向拍摄的车牌图像中优势更为明显。为了进一步分 析 本 文算 法的 有效性，进行了 消融 实验。实验设置见表，其中实验 表示去掉网络的直接传输率图分支和 （无直接传输率图分支自然不存在渐进融合结构），实验 表示在实验 的基础上保留直接传输率图分支但是将渐进融合结构替换为简单的特征叠加（逐元素加）。实验 表示在本文算法的基础上去掉 。图车牌检测部分结果表消融实验设置设定直接传输率图分支渐进融合结构 实验 实验 实验 本文算法消融实验结果见表，对比实验 和 可知，直接传输率图分支的加入虽然降低了运算速度，但大幅增加了检表消融实验结果方法准确率召回率 分数 （帧）实验 实验 实验 本文算法 测准确率，分数提高了 。对比实验 和 可知，渐进融合结构的加入使检测准确率提高了 。对比实验计算机工程与设计 年 和本文算法，可以看出 的加入仅使 增加了帧，却可以进一步提升 的检测准确率。总之，本文网络结构对雾霾条件下的车牌检测均是有意义的。本文车牌检测算法部分实验结果如图所示，可以看出，本文车牌检测网络在加雾后的 数据集以及真实图片中均能处理车牌大小不一、角度变换等问题并正确检测出车牌。附加实验 深度特征提取源的选择为了择优选择深度特征提取源，从 数据集中随机选取 幅图片进行测试，每幅图片加雾后与原图构成一个对比组，共 组。每组图片分别使用文献 的方法生成深度图，使用文献 的方法生成直接传输率图，计算它们的插值哈希相似度来比较深度图和直接传输率图在有雾霾和无雾霾条件下的相似性，从而衡量二者受雾霾影响的大小。最后将所有对比组得出的差值哈希相似度求和后取平均作为最终比较结果。差值哈希相似度的计算步骤如下：步骤将待比较的两张图片使用次插值的方式缩小尺寸至，比较深度图时还需将图像转为灰度图。步骤每张图片按行遍历图片的每一个像素，从左到右比较，如左边大于右边，记为，否则记为。遍历结束后得到该图片对应的 位的哈希值。步骤计算汉明距离，即两张图片对应哈希值的相同位置不同数值的位数。之后根据式（）得出两张图片的哈希相似度（，）（，）（）式中：和分别代表加雾前后的图像，表示进行比较的图像像素大小为，取为，为。（，）表示和的差值哈希相似度，（，）越大代表两幅图像差异越小，即受雾霾影响越小。（，）表示由图像和的插值哈希值比较得出的汉明距离。由于在车牌检测中，车牌区域是检测网络最感兴趣的部分。为了进一步比较两种深度表示形式，将选出的 组图片的车牌区域裁剪出来做了同样的相似度比较。部分结果如图 所示。将上述插值哈希相似度比较结果汇总于表。由表可知，无论是车牌区域还是整个图像区域，加雾前后图像的直接传输率图变化远小于深度图，说明直接传输率图较深度图受雾霾影响小，更适合于作为本文算法的 深 度 特 征提取源。去雾对检测效果的有效性探究为了验证检测前进行去雾不一定能提升检测效果以及去雾算法的泛化性弱，选取了文献 ，文献 两种去雾 方 法 对 本 文 有 雾 霾 数 据 集 进 行 去 雾 处 理 后，在 文献 和文献 两种检测算法上进行实验对比。结果见表，可以看出两种去雾算法均没有对原有检测方法产生积极影响。图 图像深度表示部分结果表深度图与直接传输率图的相似度对比对比源差值哈希相似度原雾霾图深度图 原雾霾图直接传输率图 原雾霾图车牌区域深度图 原雾霾图车牌区域直接传输率图 表去雾对检测性能的影响方法准确率召回率 分数文献 文献文献 文献文献 文献 文献文献 文献文献 去雾方法种类繁多，该实验并不能说明所有去雾算法均不利于雾霾条件下的车牌检测。但对比表中结果可以说明去雾算法很难选择，针对不同场景、不同检测算法的适用性不同，也可以说明去雾后检测会给结果带来不确定性，可能不会提升甚至会降低模型的检测精度。结束语本文设计了一种结合直接传输率图的雾霾条件下的车牌检测算法。不对雾霾图进行去雾处理，避免了去雾带来的失真、误差累积、泛化性弱等缺点。对比了深度图和直接传输率图两种深度表示形式后，选择受雾霾影响较小的直接传输率图作为网络的深度特征提取源，丰富学习特征，第 卷第期侯杰，王园宇：雾霾条件下结合直接传输率图的车牌检测算法增强网络的深度感知能力。而且设计了包含并行 结构，渐进融合结构和特征增强块的无锚车牌检测网络，有效提升了雾霾条件下的车牌检测精度。相较于其它车牌检测算法，本算法对雾霾条件针对性强，在加雾的 数据集以及真实雾霾图的综合实验中有效提高了检测精度。参考文献：，：，：，：，：，：，：，：，（）：（）吴仁彪，冯晓赛，屈景怡，等雾霾环境下基于 的车牌检测方法 信号处理，（）：，（）：，（）：（）杨人豪，任斌基于颜色特征和边缘检测的车牌识别算法 工业控制计算机，（）：，（），（）：（）黄良俊，凌翔，黄榜，等基于改进同态滤波的光照补偿车牌定位 合肥工业大学学报（自然科学版），（）：，：，：，：，：，：，（）：，（）：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，（）：