复杂环境下的车牌识别算法研究.pdf

收稿日期:基金项目:安徽省自然科学基金项目(项目编号:)作者简介:陈民硕士生:.通信作者:吴观茂副教授博士研究方向:深度学习:.:./.复杂环境下的车牌识别算法研究陈 民吴观茂(安徽理工大学 计算机科学与工程学院安徽 淮南)摘 要:为解决复杂环境下车牌检测与识别模型处理速度慢、检测精度低和模型参数过大的问题提出了一种端到端的车牌识别算法 首先采用 图像增强方法对车牌图像进行预处理然后使用最新的 系列算法 以 帧/的速度检测出图像目标区域使用改进的 识别模型进行车牌字符识别 在国内车牌识别开源数据集中随机选取 张图片进行实验发现相较于其他车牌识别模型改进后的模型识别速度更快识别准确率达到 以上关键词:算法卷积神经网络车牌识别 识别模型中图分类号:.文献标志码:文章编号:()():./.:引言车牌识别的过程通常分为两步首先是利用摄像头或其他设备捕捉包含车牌信息的图像和视频然后经过检测算法定位车牌所在图像中的位置检测出车牌区域使用识别算法获得车牌号码 车牌图像通常随机地存在于第 卷 第 期 年 月 湖 北 理 工 学 院 学 报 .图片中的任何位置且大小不同所以通过检查每个像素来定位是不可行的 手工特征选取 的车牌检测是基于颜色、边缘和纹理的方法 这些方法容易提取和计算但具有很强的局限性且稳健性较差对图像质量有很高要求 目前常用的车牌识别算法有模板匹配字符识别法、支持向量机字符识别法和一些基于无分割识别的深度学习方法 等设计了一个扩充的 网络结构因其网络尺寸小效率更高但是识别的准确度一般陈玮等采用了基于欧拉数的模板匹配法提高了相似字符的识别率但仅适用于字母与数字的识别对汉字部分的识别没有提及 随着人工智能技术的进步深度学习也开始运用到机器视觉领域中使得车牌定位和识别取得了新的进展 深度学习检测模型通常检测精度很高速度也能满足研究者的需求典型算法有 系列算法和 算法 但现有的大多数算法往往只能运用在固定的场所和环境中在一些恶劣天气、复杂光线以及车牌遮挡受损的情况下系统的识别性能表现一般 基于此本文使用检测加识别的结构采用深度学习的方法设计包含图像预处理、检测模块、卷积神经网络、循环神经网络、激活函数等结构的车牌识别模型以实现在复杂背景下准确识别出车牌号码算法设计复杂环境下的车牌识别算法框架分为两部分即检测网络定位车牌区域和 网络识别字符结果 复杂环境下获取的图像质量一般较差拍摄时可能处于抖动模糊、雨雾天气以及检测区域被污染的环境所以在进行检测任务前首先对图片进行预处理然后再使用经典 目标检测算法 进行车牌位置的检测 由于车牌检测对速度的要求较高 能以 帧/的速度满足实时检测的需求是 的加强版 对于复杂环境下的车牌传统的车牌识别算法效果较差所以字符识别模块采用改进的 模型即在循环神经网络使用双向门控循环单元结构()并在卷积神经网络中间增加 层 ()层加快网络收敛速度减少计算时间.预处理图像预处理阶段使用多尺度()图像增强的方法使拍摄的车牌图像更加清晰 物体的本身色彩是恒定不变的由于受场景光源的影响记录的图像色彩便会产生不同程度的变化 是根据人类视觉感知机制通过减少光源图像对反射光的影响对图像进行自适应的增强 数据增强算法对车牌图像进行高斯滤波计算然后得到不同尺度滤波结果的平均值公式为:()()()()式()中 为尺度个数为平均值系数()为原始图像()为高斯滤波函数.检测模块()检测算法分为主干提取部分、加强特征 提 取 部 分 和 预 测 头 部 分 主 干 使 用 结构由卷积、激活函数和标准化组成的 残差网络对输入的车牌图片进行 次卷积操作获得 个不同尺寸的特征层 然后依次进行卷积、上采样、堆叠操作完成特征金字塔结构多尺度地处理图像信息提高模型的性能 预测部分加入解耦头收敛速度更快精度更高 网络结构如图 所示图 网络结构.字符识别模块().网络结构中国车牌由汉字、英文字母和数字组成尺寸为 车牌识别时首先把带有车牌区域的普通街景图片用目标检测第 期 陈 民吴观茂:复杂环境下的车牌识别算法研究 网络成功定位车牌区域接着进入识别阶段把输入图片调整为高度为 宽度为 的图片送入 网络进行卷积、最大池化形成高度为、宽度为、通道数为 的特征图然后切割为 个特征序列对应输入图片的感受野模型中间增加 层 层加快网络的收敛速度 层使用 相比 结构中常用的 单元 的计算能 力 和 时 间 成 本 都 表 现 得 更 优()在 层进行转录操作优化全局模型参数预测概率最大 的 结 果 字 符 识 别 模 块 的 网络参数见表 表 中 为卷积层内核的大小 为最大池层的窗口大小为步长 为卷积核的数目 为卷积时边界区域的填充尺寸表 字符识别模块的 网络参数网络类型配置:训练目的在于构造损失函数求得整个序列与正确标签的差值结果概率通过向前和向后算法来实现 对于字符识别任务在原始分类类别中加入一个空白符选取每个时刻概率最大的类别组成一个路径识别出的相邻字符只选取 个再把所有能识别出字符结果的路径加起来得到输出标签的概率表示为:()()()()()()()式()()中()为输出路径()为转换映射到 的函数 部分使用的是 层 模型主要架构为“卷积层 卷积层 池化层”在最后 层还增加了 层 车牌识别整体流程如图 所示图 车牌识别整体流程.是 的一种结构简单、计算量少是非常流行的网络结构之一 模型只有更新门和重置门 个门 相较于 的多个门控单元 只使用了 个门控信号虽然减少了算力但也能达到与 相当的功能 传统的 是单向的只可以连接当前时刻的输入和前一时刻的隐藏状态信息计算新的隐藏层状态信息 本文采用改进的双向门控循环单元结构 结构如图 所示 由 个不同方向的单线 组合而成 个 单元与同一个输出层相连双向 对序列同一输入采用前向和反向计算得到 个不同的隐藏层状态将每个时间步的输出拼接得到最终结果 这样每个输出节点都包含了过去的历史信息以及未来时间的上下文信息 充分利用了序列信息在数据量较少时表现效果优于双向 模型其过程可表示为:()()()()()湖 北 理 工 学 院 学 报 年 ()式()()中 为 时刻前向 的输出为 时刻后向 的输出 为 时刻隐藏层的单元数 由式()和式()可以看出隐藏层状态信息 由 时刻隐藏层前向输出和后向输出共同决定双向网络由 个时刻构成最终组成输出 图 结构实验分析.实验环境实验操作系统为 处理器为 网络和 用到的深度学习框架为 调用.加 速 为 配置 显存 内存 输入车牌图像尺寸归一化为 的大小学习率设置为.优化器使用 权重衰减为.最大迭代次数为 .数据集使用中科大建立的国内车牌识别开源数据集()采集时间包含从早晨到夜晚的各个时间段涉及不同倾斜角度和不同光源环境包括弱光照、倾斜、恶劣天气等复杂环境 数据集主要内容见表 从 中随机选取 张图片组成车牌识别实验数据集其中 用于训练 用于测试 用于验证表 数据集主要内容图片类别描述图片数量/万张 通用车牌图片 车牌位置较远或较近 亮度不均 水平倾斜 竖直倾斜 水平倾斜 竖直倾斜 雨雪雾天气 有挑战性的图片 模糊 无车牌.评价指标目标检测常用的评价指标有精确率()和()精确率是指被正确预测的车牌区域占所有包含车牌图片样本的百分比 是画面每秒检测图片的数量可以表现为算法检测的速度精确率可表示为:()式()中 为车牌区域被正确判断为车牌的样本数量 为非车牌区域被错误判断为车牌的样本数量算法性能比较首先使用 算法检测出车牌的边框区域然后对截取的边框进行分类识别字符最后得到车牌识别的结果 为了比较本文算法的性能优劣选取 和 种算法与本文 算法对车牌检测结果进行对比 在车牌区域检测完成后将图像送入 模型分类车牌字符选取经典的车牌模型 算法、算法以及 算法与本文 模型进行对比 不同目标检测算法实验结果见表 不同算法字符识别正确率见表 从表 中可以看出 作为最新的一阶段目标检测算法准确率最高检测速度也是最快的可以达到 帧/从表 可以看出本文算法在文第 期 陈 民吴观茂:复杂环境下的车牌识别算法研究 字、字母、数字识别准确率上表现不同对字母、数字的识别准确率略高于文字的识别而相对于其他 种经典的车牌模型算法在中国城市车牌数据集 上 模型文字识别正确率较 模型提升.单张识别时间比 减少.表 不同目标检测算法实验结果检测算法精确率/(帧/)模型大小/.表 不同算法字符识别正确率识别算法文字识别率/字母、数字识别率/单张用时/.结束语为了解决复杂背景下车牌检测与识别模型处理速度慢、检测精度低和模型参数过大的问题提出了一种端到端的车牌识别算法 利用 作为车牌边框检测算法在检测任务前利用 图像增强的方法进行图片预处理使后续的检测识别任务处理速度更快同时提出了一种改进的 算法用于分类车牌字符在 层增加 个 层 层使用双向门控循环单元 实验结果表明本文改进后的模型相较于其他车牌识别模型在识别准确率和识别速度上均有提升参 考 文 献 .():.():.():./.:.高聪王福龙.基于模板匹配和局部 特征的车牌识别算法.计算机系统应用().舒志旭.基于注意力机制的车牌快速检测方法研究.光电子激光():.:():.陈玮曹志广李剑平.改进的模板匹配方法在车牌识别中的应用.计算机工程与设计().:/().:.:.():.(/):.:():.(责任编辑 王 书)湖 北 理 工 学 院 学 报 年