毕设论文基于iOS的车牌识别系统的设计和实现.doc

d3 ihou山西大学论文编号：论文题目 基于iOS车牌辨认系统设计与实现 姓 名 院系、专业 计算机与信息技术学院、软件工程 学习年限 年 9 月至 年 7 月 指引教师 学位级别 学 士 4月8日基于iOS车牌辨认系统设计与实现指引教师： 学生姓名：内容摘要 本毕设基于iOS平台实现了移动手机上车牌辨认，可以通过相机或者相册选用图像，将图像中车牌辨认并以文本形式输出。系统重要使用了开源计算机视觉库OpenCV和SVM等机器学习算法，完毕了车牌定位检测，字符分割辨认等环节，最后实现了车牌辨认。本系统可用于交警在不良条件下执法，亦可以用于私家车车主，以便车主在事故现场取证报警。核心字 iOS；OpenCV；车牌辨认1、引言1.1 国内外现状模式辨认（Pattern Recognition）技术于二十世纪八十年代开始迅速发展，基于这一技术有关应用也迅速被人们付诸于实践，如人脸辨认、指纹辨认等，这其中也涉及了车牌辨认（License Plate Recognition）技术。在车牌辨认方面，国外研究要早于国内，且技术相对成熟。二十世纪九十年代，A.S.Johnson等人通过字符模版匹配技术设计并实现了一种车牌辨认系统，与此同步，R.A.Lotufo等采用自适应阈值，边界跟踪，垂直投影，记录近来邻分类器等办法也实现了一种车牌辨认系统6。在市场产品化方面，国外也有许多先进产品得到推广，如HTS公司SeeCar车牌辨认（LPR/ANPR）系统可在高速公路实现车牌实时辨认。以色列See/Car System和Insignia系统，新加坡 VLPRS、澳大利亚Auty公司Safe-Cam系统、俄罗斯 Golden Eaglej等产品也在其本国有着较好应用。国内对车牌辨认技术研究要晚于西方发达国家，并且国内车牌构成复杂，既有中文，又有字母和阿拉伯数字，并且车牌还分不同类别，类别不同车牌规格颜色也不尽相似，这都给车牌辨认带来了一定难度，国外车牌辨认技术也并不合用于国内。因而，国内有许多高校和学者从事此方面研究，国内最早车牌辨认产品有北京汉王科技公司智能交通部门“汉王眼”车牌辨认系统和四川川大智胜软件公司基于“车牌辨认”智能交通应用系统6。当前，市场上有诸多成熟以车牌辨以为核心产品，如基于 DSP 嵌入式车牌辨认、车牌辨认停车场管理系统、超速抓拍举证系统等产品6。但是由于车牌辨认精确率和获取图像质量有很大关系，因而，大某些产品对使用环境有较高规定。随着智能移动终端发展与普及，智能手机、平板电脑已经接管了人类许多工作。在计算机视觉解决方面，移动终端越来越高硬件配备也让许多任务从专业平台或者老式计算转移到移动终端上来，并创造出了新价值，这其中，最明显要数拥有3D画质游戏发展，如iOS平台上无尽之剑。车牌辨认在移动终端上应用则较晚，Linnaeus大学Ahmad成功将车牌辨认系统在Android平台上实现,但是在车牌字符辨认过程中达到85%辨认率8。在国内,华中科技大学徐伟、张舟在武汉ETC (电子不断车收费)系统稽查子系统中,成功将车牌辨认移植到Android平台8。但是，基于iOS平台车牌辨认系统至今还没有浮现，有待人们去开发有关应用。1.2 选题目及意义随着移动终端设备迅速发展，与其有关应用已经体当前了人们寻常生活中方方面面，人们可以使用随身携带可移动设备做更多事情。交通作为与人们生活息息有关一种方面，与之有关移动开发也是层出不穷，如基于地图导航公交查询，线路查询，以及其向旅游方面衍生周边服务类应用，尚有车票（机票）查询与订购等等。这些都极大以便了人们出行。由于车牌是车辆一种重要身份标记，车牌辨认系统也自然成为了交通监管环节核心，并且是交通系统重要研究领域。随着国内经济腾飞与交通事业发展，越来越多人们拥有了私家车，出租车、专车、公交车等公共交通车辆数目也急剧增长，随着而来是越来越多逃避年检，肇事逃逸等违法行为，此时老式交通监控系统也就显现出了它局限性。例如，在，在新闻中屡次浮现女青年乘车失踪，然后被害案件。导致这样惨案发生，在一定限度上就是由于老式交通监控系统无法在地区偏僻地方及时给民警提供犯罪嫌疑人驾驶车辆信息。随着国家对智慧都市建设推动，结合了物联网、云服务等技术智能交通系统将会给人们提供更丰富信息，更优建议，更可靠服务。由此，车牌辨认技术在移动终端上实现也就有了更加广泛应用。交警可以运用手机或者平板电脑更加便捷地进行道路稽查，违法取证，普通民众可以对违法车辆予以及时监督举报，车主也能以便自己在手机上查询自己违章信息。基于以上所述，本系统将在iOS系统上设计并实现一套车牌辨认系统。2、核心技术2.1 OpenCVOpenCV（Open Source Computer Vision Library），即“开源计算机视觉库”，由一系列C函数和C+类构成，涵盖了计算机视觉诸多领域，如物体辨认、图像分区、人脸辨认、动作辨认、运动跟踪、机器人等。OpenCV基本模块如下图所示： 图1 OpenCV基本模块2.2 基于iOS平台App开发本系统基于iOS 8.2实现，用于测试移动端是iPhone 6手机，CPU是A8+M8协解决器（64位），GPU是Imagination PowerVR SGX6450，RAM为1GB，屏幕辨别率为1334*750，ppi是326，主摄像头拥有800万像素。开发平台为Xcode 6.2和iOS 8 SDK，iOS系统架构可以分为四层， 如下图所示：图2 iOS体系构造iOS重要开发语言为Objective-C，而OpenCV类库是以C+语言编写，但是两种语言同样是基于C语言发展而来面向对象语言，因而在Xcode开发平台上，顾客在同一种源文献里进行C+和Objective-C混合编程，因而咱们就可以自由在iOS程序中使用OpenCV类库。3、目的检测与字符辨认本章一方面简介了手机拍摄车牌特点，基于这些特点，本文采用了基于垂直边沿车牌检测办法，然后，使用漫水填充法将包括车牌区域进行提取分割，并运用已知车牌尺寸比对分割区域车牌做出初步验证，得到候选车牌。接着再使用SVM二分类办法对候选车牌进行挑选，最后使用人工神经网络办法进行车牌字符辨认。3.1 预解决及垂直边沿特性提取3.1.1 手机拍摄车牌特点随着移动终端设备迅速发展，智能手机中数码相机功能不断完善，拍摄出图像质量也越来越高，并且通过算法与硬件配合，手机拍照可以较好优化普通摄像头拍照时会产生白平衡，以及对比宽容度等问题。以最新iPhone 6来说，即是主摄像头只有800万像素，但是在专业测评网站上，其拍照效果，完全可以匹敌1300像素Xshot。除了这些iPhone 6拍摄特点外，普通智能手机拍摄车牌尚有如下特点：(1)具备良好移动性。基于手持拍摄设备特点，拍摄者可以选取一种拍摄效果相对较好角度，这极大以便了车牌辨认工作。(2)自带图片解决功能。当咱们在环境不抱负状况拍摄车牌照片时，可以通过手机相机中自带曝光、对比度、色偏等调节功能来改进相片质量，并且还可以对图片以便进行旋转、缩放等操作。 图3 调节对比度 图4 旋转3.1.2 基于垂直边沿图像特性提取本文中，咱们先对原始图像进行灰度化、以及55高斯模糊去噪，来去除由拍摄或者环境影响产生噪声，之后重要运用Sobel算子对去噪后灰度图像进行垂直边沿检测。Sobel算子不但是一种梯度算子，并且还结合了高斯平滑。Sobel算子重要计算过程如下16：设I为图像矩阵表达。(1)分别在x和y方向上求导。水平变化：将I与一种nn大小内核Gx进行卷积，其中n是奇数。如，当n为3时：Gx = I(1)垂直变化：与水平变化同理，当n为3时可以得到垂直变化：Gy = I(2)(2)对于图像上每一种点，运用上述水平与垂直变化来求出近似梯度：G = (3)表1 边沿检测算法描述输入图像矩阵src算法流程用m，n分别代表输入矩阵src行数与列数，设目的图像为dst，行数和列数从0开始。从第一行第一列到第m-2行n-2列，用变量i，j遍历src中(m-2)(n-2)矩阵。对于每个像素点(i，j)，咱们取以其为中心33矩阵，与垂直变化做矩阵积，记为ux:ux = srci+1j-1*1 + srci+1j*2 + srci+1j+1*1 + srci-1j-1*(-1) + srci-1j*(-2) + srci-1j+1*(-1)然后，运用上述成果，求出该点梯度，存入目的图像，作为目的图像在该坐标点像素值：dstij = sqrt(ux*ux)输出目的图像dst对图像进行过Sobel算子解决之后，再对其进行二值化解决，咱们就得到了具有明显垂直边沿信息图像，之后咱们再对图像采用闭形态学操作，消除垂直边沿间空白区域，并连接具有大量边所有区域。 图5 sobel解决 图6 二值化 图7 闭形态学解决3.2 基于漫水填充算法车牌分割通过上述环节解决，咱们已经得到了一张具有车牌区域，但大某些区域都不具有车牌图像。接下来，咱们通过获取这些二值图像中轮廓来将这些区域分开，然后，对于每个轮廓，咱们提取其最小外界矩形，并基于先验知识中车牌宽高比对其做出初步验证。通过初步验证矩形就成为了咱们候选车牌区域，基于车牌背景为白色这一特性，咱们采用漫水填充算法来对这些区域进行分割。漫水填充算法重要原理是，创立一种种子类Seed，用来存储指定颜色像素坐标信息，并用堆栈seeds存储入符合颜色规定种子，用指针StackPoint来标记栈顶元素，对堆栈顶种子点周边所连接颜色一致点进行判断，若符合颜色规定，则将该点存入seeds中，原栈顶种子出栈，存入种子类型数组saveSeed中。在操作过程中，咱们x，y，pixel分别存储当前像素坐标及像素值，用Getpixel(i,j)来获取图像位于(i，j)像素值。表3.1描述了漫水填充法在一张灰色图像上获得一种白色连通区域普通算法。表2 漫水填充法标定描述输入灰色连通图像src算法流程/一方面，声明种子堆栈、栈指针，种子存储数组，存储当前像素位置和像素值变量stack seeds;int StackPoint;vector saveSeed;int x,y;unsigned char pixel;/然后，咱们开始遍历带有连通区域灰色图像src，如果某点像素值为255，即为白/色，咱们将该像素点作为种子压入栈，并在存入其位置信息。之后，咱们随后检查种/子栈与否为空，若不为空，则取出栈顶元素，对其周边八个点做出判断for i = 0 ：src.rows for j = 0 ：src.cols if src.Getpixel(i,j)=255 /寻找对白色像素点，并初始化种子 Seed seed(i，j); seeds.push(seed); StackPoint = 1; while StackPoint = 1 /取出栈顶元素，存入暂时变量，并将栈顶元素存入saveSeed x = seedsStackPoint.x; y = seedsStackPoint.y; pixel = (unsigned char)src.Getpixel(x,y); saveSeed.push(seedsStackPoint); seeds.pop; /种子点周边八个方向点可以当作一种3*3矩阵，咱们用两层循环 /来控制行和列，分别判断种子点八个方向点，如果是白色，则压入 /栈，由于种子点已经压入栈，在循环过程中忽视种子点 for k = x-1 ：x+1 for m = y-1 ：y+1 if (k=0 & k =0 & m src.cols) & （k!=x &m!=y） pixel = (unsigned char)src.Getpixel(k,m); if pixel = 255 StackPoint+; seedsStackPoint.x = k; seedsStackPoint.y = m; end(if) end(if) end(for m) end(for k) end(while) end (if) end(for j)end(for i)输出saveSeed算法在本文中操作环节如下：(1)一方面在矩形中心选用拟定一种中心点，并在该点附近产生几种随机种子。然后运用车牌宽和高得到车牌最小尺寸，并使用它在块中心附近产生随机种子。(2)当这几种随机种子至少有一种落在白色像素上时，对每个种子咱们使用floodFill()函数绘制一种新掩码来存储最新最接近分割区域，当该种子附近像素点位于给定范畴时，咱们在掩码中将其涂成白色。(3)对每个获得掩码，咱们得到一种最小面积矩形，对其进行尺寸验证，最后进行分割。a bc d 图8 (a)掩码一(b)掩码二(c)掩码三(d)掩码四图9 分割后得到车牌3.3 基于SVM车牌分类SVM（Support Vector Machine）即支持向量机算法，属于机器学习中监督学习算法，算法通过一组带有标签数据来进行训练。SVM会构造一种或各种与分类数据间隔最大超平面，通过超平面来将数据进行归类。如下图4.1所示是SVM二分类。在图中，咱们用黑点和白点分别表达两个类别，设训练样本T = ，其中是样本指标，是样本标签。H:w*x-b = 0是分类线，若是在空间中即为一种超平面。H1:w*x-b = 1 和H2:w*x-b = -1分别是黑点和白点集距离H近来，且平行于H边界线。H1和H2之间界限：Margin = (4)当Margin值最大，且所有样本点满足下列条件时，则称H为一种最优超平面，两类数据在H1和H2上样本点称为支持向量。(5)SVM除了可以进行二分类外，还可以进行多分类，其原理与二分类办法类似，当咱们分某一类时，只需要将剩余n-1类看做一类即可。图10 SVM二分类本系统中，一方面使用通过预解决、边沿检测及漫水填充法对图像进行分割，得到75张车牌图像与25张非车牌图像，接着将图像数据存为XML文献，并以此作为SVM二分类算法训练数据。SVM二分类办法依此得到最佳分类线，当输入新数据时，即可判断其与否为车牌。3.4 车牌字符分割与辨认将候选车牌区域经SVM分类判断，咱们就可以筛选出了对的车牌区域图像。一方面，对于获取车牌图像，咱们采用直方图均衡解决以及滤波函数锐化图像，以此来增长图像对比度。由于边沿检测是对白色边沿进行检测，因此接着咱们通过阈值滤波器，将图像二值化，并将白色变为黑色，将黑色变为白色。去除车牌边沿噪声之后，查找白色字符轮廓，并获取轮廓最小外接矩形进行分割。最后，对分割后字符做出基于宽高比和像素占比验证后，统一为修改为2020大小，保存到类向量CharSegment中。 a b c d 图11 (a)高斯模糊后车牌；(b)为锐化后车牌；(c)为二值化后车牌；(d)为去除边沿后车牌a b c d e f g 图12 (a)(g)为字符分割成果在进行基于人工神经网络算法字符辨认之前，咱们一方面要对训练图形中所有车牌图像做出上述分割解决，将所有分割出来字符进行人工分类，然后提取字符特性作为训练数据，以便用于人工神经网络训练和分类。在本文中，咱们使用图像在水平或竖直方向上合计直方图，以及低辨别图像样本作为字符特性15。对于每个字符M,咱们分别按行按列记录行或列中非零像素个数，并将成果保存与行向量mhist中，然后让向量mhist中元素除以mhist中最大值来进行归一化。最后，咱们将字符M行向量特性，列向量特性以及其辨别率图像特性都放到一种行向量中作为字符M特性数据。ANN（Artificial Neural Network,ANN）即人工神经网络算法，通过模仿生物神经网络构造，构建类似于神经元节点作为基本“解决单元”，数据在输入层输入，然后通过一层或多层隐藏层解决，最后由输出层输出。整个过程类似于信息在生物神经系统上传播，如下图所示为一种三层神经元感知器。图13 ANN算法在人工神经网络多层感知器（Multi-Layer Perceptron，MLP）中，每个神经元均有一种或者各种输入输出，用于连接上一层或下一层。每个神经元将输入值加上一种偏移项作为输出值，并由勉励函数转换后传递给与之相连下一层。图14 神经元对数据解决3.5 基于iOS系统软件设计与实现基于本系统过程式解决方式，咱们按照重要过程将体统分为图像采集、车牌辨认与分割、字符分割与辨认三个某些，并分别封装成类，此外，为了便于咱们对车牌数据存储，还加入了一种车牌辅助类Plate。如下图所示，顾客向交互层传递“选取照片”或者“检测”信息，当交互层接受到选取照片交互信息后，弹出“相册”“相机”选项，供顾客用不同方式选取照片，当顾客选取好照片后，向交互层传达“检测”信息，则系统开始按照如图所示流程，一层一层地进行解决，最后将显示成果以文本形式通过交互层传递给顾客。图15 总数据流图对于车牌分类和字符辨认，咱们分别使用了OpenCV中CvSVM类和CvANN_MLP类：CvSVM(const CvMat* trainData，const CvMat* responses，const CvMat* varIdx=0，const CvMat* sampleIdx=0，CvSVMParams params=CvSVMParams() );trainData和responses分别为训练数据及其所属分类，本文中，咱们使用离线训练办法，将准备好训练数据存入可扩展标记语言文献中，然后再从中读取数据，分别放入变量trainData和responses中。varIdx用来指定感兴趣特性，如可以是整数向量，默认值中是以0为开始索引。sampleIdx用来指定感兴趣样本。params为SVM类参数，通过创立CvSVMParams类对象来设立这些参数。最后，咱们就可以用CvSVM类predict()函数来进行分类，以此来判断候选车牌中那些是正真车牌。CvANN_MLP(const CvMat* layerSizes，int activateFunc=CvANN_MLP:SIGMOID_SYM，double fparam1=0， double fparam2=0 );layerSizes为神经网络层数，activateFunc为勉励函数，默认值为SIGMOID_SYM，即Sigmoid函数，fparam1和fparam2分别为和值。在进行字符辨认之前，咱们还需要运用从数据库中提取字符特性作为训练集对算法进行训练。由先验知识可知，车牌中字符来自14个字母和10个数字，因而，与之前对车牌进行SVM算法分类不同，咱们这里需要进行多分类，数据标签有24个，而数据则是通过咱们上一节办法对24各字符进行解决得到字符特性。当咱们对算法进行训练之后，便可以使用CvANN_MLP类中predict()函数对分割解决后字符图形进行分类了。如下图所示，展示了该系统软件对一张彩色图片检测并辨认过程。a b c d 图16 (a)(d)为车牌检测辨认过程截图4 功能测试与成果分析本文中所使用数据均来自于国立雅典理工大学多媒体技术实验室（Multimedia Technology Laboratory，National Technical University of Athens），数据均为希腊地区车牌，由红外摄像机所拍摄，分为三种尺寸，640480车牌图像144张，800600车牌图像77张，17921312车牌图像100张。本文所使用车牌大小为520mm110mm，车牌中字符前三位涉及A、B、E、Z、H、I、K、M、N、O、P、T、Y、X共十四个大写字母，后四位涉及0-9十个阿拉伯数字，每个字符大小为44mm77mm。44mm77mm110mm520mm图17 希腊车牌样例在系统实现中，咱们使用了100张640480 车牌作为训练数据，使用数据库别的数据作为测试数据，测试成果如下所示：表3 车牌辨认成果记录(一)辨认率（%）测试集1（640480，44张）测试集2（800600，77张）测试集3（17921312，100张）车牌657280字母687982数字808487从记录成果中咱们可以看出，高辨别率图像更容易精确辨认出车牌以及车牌中字符。但是在测试中咱们也发现本文中基于灰度图像垂直检测当遇到白色或者银色车体时，往往较难发现车牌边界，或者车牌边界易与周边区域混淆，这时，如果使用手机自带功能，来提高车牌区域对比度则可在一定限度上解决该问题。在字符辨认方面，由于某些字符特性极为相似或相近，如“0”和“O”，“1”和“I”，“6”和“E”，“8”和“B”等，这给字符辨认带来了一定误差，并且基于直方图记录特性匹配很难精确地将其区别开。在此后工作，咱们需要挖掘字符更多特性或者采用其她分类办法。表4 车牌辨认成果记录(二)5 总结本毕设成功完毕了车牌定位检测、字符分割辨认等功能环节，并最后实现了车牌辨认。该系统可以在手机端完毕从图像采集到成果输出所有环节，使用十分以便，提供内部接口，可以以便地移植到其她软件，并且可以运用手机通信功能以便将数据传播。为了达到更好辨认效果，本系统将会尝试使用第三方OCR，以此实现对更多语言支持。道谢本科四年转眼即逝，在我本科学习最后这一段时间里，我毕设导师*教师，和研究生导师*专家都给了我极大协助，在此我对两位教师表达最诚挚谢意。*教师对研前学习细致安排让我充实地度过了大学最后一年，不但对自己专业有了更深结识，同步也为研究生阶段学习打下了夯实基本。*教师是一位平易近人良师益友，她对工作严谨负责态度，给我留下了深刻印象，在完毕毕设期间，她在算法方面对我所提出建议使我扩展了思路，在论文写作上严格规定让我明白科学严谨，这些都将使我受益终身。再次感谢二位导师哺育与关怀，同步也非常感谢国立雅典理工大学多媒体技术实验室提供车牌数据。参照文献1 李志强，李永斌. 车牌辨认技术发展及研究现状J. 科技信息：，5：110-125.2 曹黎. 基于移动终端车牌辨认系统研究与实现D. 西安：西安电子科技大学，.3 刘云鹏，李瑾，潘闻. 一种基于OpenCV高效车牌辨认系统实现J. 电子技术：，9：28-29.4 姜莉莉，蒋潇，陈昕怡，等. OpenCV在车牌辨认中应用J. 软件：3：45-47.5 Hamid Mahini，Shorhreh Ksaei，Faezeh Dorri，et al. An Efficient Features-Based License Plate Localization MethodC / ICPR 06 Proceedings of the 18th International Conference，Pattern Recognition，Volume 2. Hong Kong：IEEE. ：2：841-844.6 田小路. 基于智能手持设备Android平台车牌辨认系统应用研究D. 哈尔滨：哈尔滨工业大学，.7 姜宇，张子潮，周富强. 基于OpenCV车牌辨认系统研究J. 辽宁师范大学学报(自然科学版)：，2：170-174.8 冀国亮. 基于Android平台车牌辨认系统研究与实现D. 长沙：中南大学，.9 张舟. 基于Android平台车牌字符辨认系统研究与实现D. 武汉：华中科技大学，.10 徐伟. 基于Android手机平台车牌定位及分割算法研究和实现D. 武汉：华中科技大学，.11 陈智慧. 复杂背景下车牌辨认技术研究D. 太原：太原科技大学，.12 张丽娜. 基于iOS智能交通信息发布系统设计与实现D. 济南：山东大学，.13 林宇. 车牌辨认在智能交通中应用与发展趋势J. 中华人民共和国安防：，11：63-65.14 (美)RafaelC.Gonzalez，(美)RichardE.Woods，(美)StevenL.Eddins. 数字图像解决M. 阮秋琦，阮宇智等译. 北京：电子工业出版社，.15 Daniel Llis Baggio，Shervin Emami，David Milln Escriv，etal. Mastering OpenCV with Practical Computer Vision ProjectsM. Birmingham：Packt Publishing Ltd. .16 毛星云，冷雪飞，王碧辉，等. OpenCV3 编程入门M. 北京：电子工业出版社. .The Design and Implementation of Automatic Number Plate Recognition based on iOS Student name：Wenyuan Xue Tutor：Jing WenAbstract A license plate number recognition system for automobile based on iOS is designed in this project. By inputting the license pictures，which could be captured by mobile camera or extracted from the photo album，the system would output the recognized results automatically. The system consists of mainly three parts，including license detection，characters classification，and characters segmentation and recognition，which are realized by using OpenCV and many machine learning algorithms. The system could be used for traffic police on the area without monitoring，and for car owner to get evidence after accident.Key words iOS；OpenCV；Automatic Number Plate Recognition