基于FPGA车牌图像识别的设计与实现.pdf

2023年/第10期 物联网技术全面感知 Comprehensive Perception290 引 言车牌检测技术是智慧交通管理系统的重要组成部分，是计算机视觉处理技术、图像增强算法技术以及数字通信技术的融合，它能够在停车场、高速公路、智能制造方面产生重要影响，是针对车辆实时检测的基础。本文主要介绍车牌图像获取、车牌图像定位的检测技术。目前车牌的检测技术还存在受复杂天气、光照度、车牌磨损、车牌倾斜等因素影响的问题，但总体仍朝着系统化、简单化的方向发展1。现 场 可 编 程 门 阵 列（Field Programmable Gate Array,FPGA）是随着定制式数字逻辑电路而出现的集成化可编程开发平台，它能够解决数字电路的功能简单化问题，又能够克服原有的数字逻辑门数量少、体积大、成本低等缺点。作为搭载算法的硬件实现平台，FPGA 的并行处理能力突出，有着流水线般的处理过程，具有体积小、成本低、速度快等明显优势2。因此，本文设计一种基于 FPGA 的智能车牌检测系统，该系统采用边缘检测、倾斜矫正、腐蚀膨胀等算法技术，通过 FPGA 集成化开发环境平台进行硬件实现。相比于单片机技术、MATLAB 技术等，该系统能够显著提高并行处理效率和检测速度，在复杂的环境中快速实现车牌的图像采集以及定位。1 车牌检测基本理论1.1 图像格式转换OV5640 摄像头拍摄到的车牌图像为 RGB（红、绿、蓝）彩色图像格式，该格式占用存储空间较大，进行图像处理时比较耗时。此外，实际传输的信号为 YCbCr（亮度、色度）格式，图像信息显示时还需要转化为 RGB 三原色格式。因此，需要对车牌图像信息作进一步处理3。RGB 转化为 YCbCr 的公式如下：Y=0.257R+0.504 G+0.098B+16Cb=-0.148R-0.219 G+0.439 B+128Cr=0.439 R-0.3 68 G-0.071B+128由于 FPGA 直接进行浮点数计算比较麻烦。因此，要先做整数化处理，公式如下：Y=77R+150 G+29 B8Cb=-43 R-85 G+128B8+128Cr=128R-107 G-21B8+1281.2 图像灰度化为了提高车牌图像检测定位的效率，需要将 RGB（红、绿、蓝）模式的车牌图像进行灰度化处理。因此，可以将 RGB（红、绿、蓝）设为同一格式，采集到的图像信息就只有一种格式，不含有其他的颜色格式，就可以转化为灰度化的单色车牌图像。图像的灰度化过程是图像信息的最优化处理过程，这样的处理方式简单容易，此外，还能够提高定位检测的准确度。灰度值可以用数字表示，其大小代表着灰色图像的深浅程度4。本设计进行图像处理时，采用的是求平均值方式，按照一定的权数将 R、G、B 的值加权，然后求平均值的大小。R=G=B=(r R+g G+b B)/3式中：r、g、b 表示 R、G、B 的权值大小。由于对颜色的敏感程度不同，因此配置 rgb 效果更好。1.3 图像增强图像增强是为了凸显所需图像的边缘特征而进行的图像处理方式，能够去除图像中的某些杂点部位，使后续边缘检测更加明显5。中值滤波能够去除各种小噪声，得到一个噪点较小的车牌图像，而且程序算法在硬件上实现简单，适用于本设计。因此，本设计采用的图像增强方法为中值滤波。基于 FPGA 车牌图像识别的设计与实现胡艳茹（宁夏师范学院 物理与电子信息工程学院，宁夏 固原 756000）摘 要：目前，车牌的检测技术存在受复杂天气、光照度、车牌磨损、车牌倾斜等因素影响的问题，因此设计一种基于 FPGA 的智能车牌检测系统。该系统采用图像获取、边缘检测、倾斜矫正、腐蚀膨胀等算法，利用车牌部分区别于其他部分的特征，通过 FPGA 集成化开发环境平台进行硬件实现，能够在复杂的环境中快速实现车牌的图像采集以及定位。关键词：FPGA；图像识别；车牌检测；图像格式转换；图像边缘检测；车牌定位中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2023）10-0029-04DOI：10.16667/j.issn.2095-1302.2023.10.008收稿日期：2022-11-02 修回日期：2022-12-22物联网技术 2023年/第10期 全面感知 Comprehensive Perception30中值滤波是利用图像信息数据的缓存，用一个 33 的窗口数据信息进行扫描，比较窗口内的数据灰度值大小，选取中间的那个灰度值作为该 33 数据中心像素的灰度值。1.4 图像边缘检测1.4.1 基于灰度特征的边缘检测车牌的定位检测就是在获取的整个图像中，检测出车牌的位置区域。由于获取的图像中包含了许多干扰识别的因素，因此本设计对检测图像进行灰度化处理后，车牌相比于图像中其他干扰因素容易被识别，车牌位置区域则能够得到准确定位。灰度化处理后的图像类似于黑白照片的图像，是摄像头采集的彩色图像去除各种色彩信息后，留下的单一色彩图像。而采用灰度图像定位检测的方式只用到了灰度图像。因此，将图像色彩设为单一色彩可以降低硬件平台的处理信息量，提高硬件处理速率6。此外，环境因素、光照条件等也会影响车牌检测的效率，利用基于灰度特征的图像检测方式能够很好地克服这些因素。由于获取的图像中两种不同区域的交界处灰度值有明显的变化趋势，因此利用该变化趋势以及边缘检测算法能够找到这些边缘信息，从而找到车牌位置区域。1.4.2 Sobel 算子边缘检测常用的边缘检测算子方式包括 Roberts 检测方式、Sobel检测方式、Prewitt 检测方式等。本设计是基于微分算子Sobel 对车牌图像进行处理，与其他边缘检测算子检测方式对比，提取边缘轮廓信息后，车牌位置的边缘轮廓会更加清晰、明显7。Sobel 边缘轮廓检测算子拥有 2 组卷积因子。计算方法是利用结果与设定的对照值对比，若大于对照值，则为边缘部分；否则就不是边缘部分。Sobel 算子水平、垂直方向上的 2 组矩阵因子为：+121000121101202101,利用矩阵因子分别与图像 X 像素的 x、y 方向做卷积，可以得到该像素 x 和 y 两个方向的梯度值。GXGxy=+=+101202101121000121*,*X然后对 Gx与 Gy分别平方求和，则该像素的梯度值为：GGGxy=+22最后将结果与设置的对照值进行比较，如果计算的结果大于设置的比较值则为边界，否则不是。由此，就可判断像素点是不是该车牌图像的边界区域部分。1.5 腐蚀膨胀1.5.1 腐蚀原理采用腐蚀算法对车牌图像进行腐蚀操作，腐蚀是基本的数学形态学处理方式。经过 Sobel 算子检测后，首先要去除车牌图像中的噪声点。利用矩阵中像素点的值进行“与”运算，之后车牌区域形成一个连通的区域。这一步可以去除一些噪声点，图像中就只剩下车牌和一些细小的噪声点。腐蚀的结果使得车牌原来的图像缩小一圈8。1.5.2 膨胀原理膨胀是基本的数学形态学处理方式，其原理是用结构化的元素模板去处理图像中的每一个像素点，如果结构化元素模板覆盖的车牌图像区域的像素点为黑色，结构化模板覆盖的对应区域也为黑色，则该像素点就为标记为黑色，否则为白色。膨胀结果使车牌边界区域会更加明显9。1.6 投影定位投影定位就是对车牌的位置区域向水平方向和垂直方向进行投影，确定车辆牌照的位置。向 x 方向和 y 方向投影后会形成阴影上、下和左、右的区域。投影定位模块可设为空闲状态、清零状态、投影状态，向 x、y 方向进行投影，则投影处于空闲状态。对投影状态的车牌区域位置的寄存器设置合适的参照值，当投影到车牌位置的像素点时，则认为是该车牌位置区域的边界，然后继续寻找下一个位置点。按照上述方法一直投影，直至 x、y 方向上的整个车牌位置区域全部被扫描10。2 车牌检测系统设计2.1 系统的总体方案设计车牌检测系统可分为车牌图像信息的采集、车牌图像信息的处理以及车牌图像信息定位显示。FPGA 作为整个车牌定位检测系统的核心，有着较高的图像信息处理速率。图 1为基于 FPGA 的车牌检测系统的总体结构图。图 1 车牌系统的总体框图首先 OV5640 摄像头采集车牌图像，在 FPGA 芯片中完成对 OV5640 摄像头的配置，图像数据信息进入 FPGA 芯片后，经过视频图像解码模块将车牌图像数据转化为数字信号YUV，SDRAM 控制模块驱动 SDRAM 以乒乓式操作缓存车牌图像数据。然后进行中值滤波处理，去除各种孤立的小噪2023年/第10期 物联网技术全面感知 Comprehensive Perception31声点，使图像边缘轮廓更加清晰，达到图像增强的效果。接着利用车牌灰度化后的特征区别于图像中其他部分的特点，准确快速定位出图像中车牌的位置。之后进行腐蚀操作，去除车牌区域的噪声干扰点；进行膨胀操作，使车牌位置的区域更加明显。最后，对处理后的车牌图像进行投影，确定车牌的位置区域，实现相关预设功能。2.2 灰度化模块设计由于图像中两种不同区域的交界处，灰度值有明显的变化，利用该变化趋势可以找到这些边缘信息，从而能够快速准确地找到车牌位置区域。此外，摄像头拍摄到的车牌图像为 RGB565 格式，该格式占用存储空间较大，进行图像处理时比较耗时，因此本设计采用了灰度化处理。本设计采用的灰度化方法为 RGB565 转化成 RGB888 图像格式，接着 RGB 888 转化成 YCbCr 模式，最后提取 Y，完成灰度化设计。2.3 边缘检测模块设计本设计采用 Sobel 的检测方式进行边缘检测，采用先入先出方式（FIFO）实现并行输入。首先需要利用 9 个像素数据组成缓存 33 的数据窗口，由于提取的像素数据有 3 行，因此需要建立 2 个 FIFO 来缓存图像像素数据。这样就可以实现并行输出，最后将其提取的数据分别与 x 方向的横向矩阵因子以及 y 方向上的纵向矩阵因子做卷积运算，从而实现Sobel 边缘检测。2.4 腐蚀模块设计腐蚀模块的设计是利用 3060 的缓存数据进行“与”操作，如果找到“1”，则输出第一次运算的结果为“1”，否则为“0”。因为本文选择的膨胀运算模板有 30 行，因而需要 29 个行缓存，即 29 个 FIFO，FIFO1 缓存第一次 REG 的结果，FIFO2 缓存第二次的输出结果，FIFO3 缓存第三次的输出数据，其他 FIFO 以此类推。对 FIFO1，FIFO2，FIFO29 的数据进行“与”运算，当结果等于 1 时，则腐蚀结果为 1，否则为 0，则整个腐蚀过程结束。腐蚀使整个图像缩小。图 2 为实现腐蚀模块流程。图 2 腐蚀模块设计流程2.5 膨胀模块设计膨胀模块的设计是对模板为 919 的数据进行缓存，首先对这 19 bit 数据进行“或”运算操作，寻找“1”，如果找到“1”，则输出第一个结果为“1”，否则为“0”。FIFO1 缓存第一次 REG 的输出结果，如果第二次的结果为“1”，则FIFO2 缓存第二次的输出结果，其他 FIFO 依此类推。将 FIFO1，FIFO2，FIFO8 的输出数据进行“或”运算，当结果等于 0 时，则膨胀结果为 0，否则为 1。膨胀后图像明显变大。图 3 为膨胀模块设计流程。图 3 膨胀模块设计流程2.6 投影定位模块设计投影定位就是向 x、y 方向进行投影，则投影状态处于空闲，对车牌区域位置的寄存器设置合适的参照值，当投影到车牌位置的像素点时，则认为是该车牌位置区域，然后继续寻找下一个像素点，按照上述方法一直投影，直至 x、y方向上显示出车牌位置区域。3 系统的测试结果与分析车牌定位检测系统的实现是采用软件开发平台 Quartus 进行综合分析，仿真验证算法程序。本文以“粤 A 2123A”车牌图像为例进行分析。本设计的全部算法都是利用 Verilog语言实现，将程序下载到 FPGA 开发板后，进行模块测试，验证系统性能。引脚分配完成后再次进行一次全编译，下载程序进行 FPGA 开发板的整体测试。FPGA 拥有多种程序输入方式，本设计采用的是直接方式，直接下载文件到 FPGA的 RAM（存储器）中，通过 USB Blaster 程序下载电缆直接下载到 FPGA 芯片。3.1 边缘检测结果测试相比于其他边缘检测方式，经摄像头采集到的图像经过Sobel 检测，车牌图像的边缘轮廓会更加清晰可见，实验结果如图 4 所示。图 4 图像边缘检测效果图3.2 车牌腐蚀结果测试经过边缘检测后进行腐蚀操作。腐蚀的目的是去除车牌图像背景中的干扰点以及一些噪声点。腐蚀操作后车牌图像明显缩小一圈，图像中只剩下车牌位置和一些细小的杂点，物联网技术 2023年/第10期 全面感知 Comprehensive Perception32符合预期结果。实验效果图如图 5 所示。图 5 车牌腐蚀效果图3.3 车牌膨胀结果测试膨胀的目的是使车牌区域更加明显。车牌区域明显，则可以观察到字符的边粘连在一起，形成连通区域。但车牌图像背景中存在杂物，对于车牌区域的确定会产生很大的影响。膨胀效果图如图 6 所示。3.4 车牌定位总体结果测试算法程序通过仿真编译后，通过 USB 串口直接下载到主控芯片中，之后进行 FPGA 开发板的整体测试。为了测试本系统的可靠性，采用光照度因素模拟复杂的天气条件，随机选取了 50 多张车辆图像，对车牌定位检测效果进行分析。光照度较强的情况下，定位率达到 90.5%；光照度中等的情况下，定位率达到 91.5%；光照度较弱的情况下，定位率达到 85.0%。图 7 为车牌定位的总体效果图。从图中可以看出，车牌的上下边界被准确地定位出来，由此可见在相对复杂的环境下，车牌定位效果基本上符合预想结果。图 6 车牌图像膨胀效果图 图 7 车牌定位效果图4 结 语本文设计一种基于 FPGA 的智能车牌检测系统。该系统采用灰度化、边缘检测、腐蚀、膨胀、投影定位等模块进行图像处理，采用搭载 FPGA 的 Verilog 语言进行整体设计。本设计的性能主要取决于车牌的边缘检测和投影的相对位置关系。未来将改进算法以提高车牌的检测速率。参考文献1 ALAM Nura，AHSAN Mominul，BASED Md Abdul，et al.Intelligent system for vehicles number plate detection and recognition using convolutional neural networks J.Technologies，2021，9（1）：1-18.2 BUDDA N，MEENAKSHI K，KORA P，et al.Automatic number plate recognition system using Raspberry Pi J.International journal of innovative technology and exploring engineering，2019，9（2）：1863-1865.3 IZIDIO D M F，FERREIRA A P A，BARROS E N S.An embedded automatic license plate recognition system using deep learning C/2018 VIII Brazilian Symposium on Computing Systems Engineering（SBESC）.Salvador，Brazil：IEEE，2018：38-45.4 赵雪春，戚飞虎.基于彩色分割的车牌自动识别技术 J.上海交通大学学报，1998，32（10）：6-11.5 顾秀秀，朱明亮，吴琼，等.基于 BP 神经网络的智能车牌识别系统 J.电脑知识与技术，2021，17（3）：19-22.6 张帆，王晓东，郝贤鹏.基于边缘特征的智能车辆字符识别 J.自动化与仪器仪表，2020，40（6）：11-14.7 贾婧蕊，秦婵婵，胡圣波，等.基于树莓派的车牌识别系统的设计与实现 J.信息通信，2019，33（12）：24-27.8 李战明，徐锦钢.车牌号识别系统中的车牌图像预处理研究 J.科学技术与工程，2008，8（8）：2081-2084.9 杨新年，苏畅，高冠福，等.一种车牌检测与识别系统的设计与实现 J.物联网技术，2021，11（4）：15-16.10 王殿海，郭佳林，蔡正义.基于自动车牌识别数据的混合交通流饱和流率实时估计 J.交通运输系统工程与信息，2021，21（2）：37-43.4 陈贤杰.基于事件检测的隧道安全预警系统的设计和应用 J.广东公路交通，2017，43（4）：110-112.5 张海涛.高速公路隧道视频事件检测分析系统应用设计研究 J.军民两用技术与产品，2018，31（4）：81.6 姚良金.基于深度学习的事件检测系统在隧道中应用 J.低碳世界，2021，11（7）：192-193.7 张力.基于图像识别的高速公路隧道停车事件智能监测系统研究D.重庆：重庆交通大学，2019.8 陈均栋.事件检测器在高速公路隧道监控中的应用 D.西安：长安大学，2017.9 杨名有.视频交通事件检测系统在高速公路隧道中的应用 J.中国交通信息化，2020，22（7）：126-128.10 朱彤，胡月琦，吴玲，等.高速公路隧道异常事件人工监控系统模拟 J.公路交通科技，2018，35（5）：91-98.11 杨松.基于多普勒的公路隧道交通事件与二次事故预警系统研究J.中国交通信息化，2016，18（9）：131-134.12 杨羚，谢斌，党倩.隧道内车辆交通事件智能检测技术综合应用 J.时代汽车，2022，19（14）：194-195.作者简介：王建瑞（1998），男，硕士研究生，研究方向为交通运输工程。吴格馨（1995），女，硕士，助教，研究方向为交通信息工程及控制。（上接第28页）