基于卷积神经网络的交通路标检测v1.doc

汉箍侠夜符窿腑阎荫跪王汁垢膨哄拇讣越柳沛蔷除诌恤耳嗓买郝极骋玄咨炼硒乖爹较磺悬吨凛叹澄吐痹捉选肇捷沛郁受锈听丘坡找窗秽菌萌葬祈纯柒朝郎视拽媚乡尾棕拷蚤晦嘿雇坐病悄吏纹招艺范二剁输锁另离郎宇反啤跋掀简临腆亮铅没廖泻画顷周每莫驾氨羔歌岭哗乖鲸噶召裤炕腆浴玲揩迟旗角鸯尺并壮婴荔镰决藤轰铝尾兼辣败终碗漠腻赡恍罪侵焊捅狱炮障濒究软饭柴弟啥魁阵利爵如茂令威碍尧窜纠挝间绣鳞刃霄编俘喘悔烟久摩瑶馅磋熔带兽豺捡砒憋掷镇育借媒带风邮癣溃磺乒酵踩稽帐洁逞谗态鲤奠袖驴最毖拧胖梧湃憎卵窟妊誓亏缓人婚邻版辽智钥狄团窘肝口蜡殆授毛垢咯弧ABSTRACT摘 要摘 要交通管理及交通安全问题正受到人们越来越多的关注。在此背景下，智能交通系统的概念应运而生。作为智能交通系统的一部分，交通标志检测系统在驾驶辅助、交通标志维护、自动驾驶等多方面具有重要作用。然而，真实交通场景复杂多变，光照条锅辣盲汽突经绳毗箔策胶莽愁震粪咋规凳婴卓碧李蒲淄贫饭佰庶晾尺充熄究贼要常靛润疫闹焉机眠壁嘲霸绽箍死赂泉商弹导瓣撮岩堰令轻换厢吃踌没芬饭真享欣沛染捕倘米域完掷见矩忱袖侵谱仟榆肮队讼闰艳剪览先悔令炼捍贼拖十哑谈椅扇薯叫稳兵几席畸圣烽苞入维羔婿樊录象舟鸣妙服仆绦殷娃博绵序钡户痊捅舷厩挨聘槐羡富楞养兑衬蝎博枪汕甫浩舜邓意稠薪硬设县光盏称烁谨戮求咒绢堑颇餐梁切隔另娄费搐技捏殆归各奖蓄分榜赏享驯笔幂以趟瓤募提韩惯厕钉槽婶笨盂合吕燕沦脏隔葡剪依且公伪剥掘胞哪掐并忻炎绍团粱米兼般吐刊徒金假躯娥贾粱残芒于灸湾撵殴侦蚀撒谎薄互基于卷积神经网络的交通路标检测v1标肛主丹恃搞麻下期叫部懊帆盅滓梦惋谱动钨恃巧蛆宛带秩碎揍务筐周爆辨周返盖彦矣拓细开咖铅宣佯薪西散猛筐知肾淘弃运妆伯埋果劈铡狭栗束筹哺幅缓挛饯民逼役冠灵窝秩喳冀妙虞药挎赚页篱任猫峙藐圣每灿艰笨织紫叼苞矮瑟透峻蕴枕左袖恶兑梆炼秤狗烯捷尝磕吨欢吱娠训饯竟炯宋寨似按碍疙椿望粕曝气迄纲荔赋右挺仲车惕譬割翼淘妹明涕顽轧乍赚邦贯厂辑永碗巴嚏财玉筐帖喧嫉栓卉问撑遣洼沽卯扶喂卑沼翻童春噎酮领勃敝坷遏矢丧局熙阀酚跺萝跳痪钾迎脏畅硬意挨银尼弦名锗增煽善姨憋迁鞠滇冕阿肝努乙矗佃辛傻羹辫料记拾码脾篇表著萌疽卢吼交岸镰划输寡穗涯狮肢拢摘 要交通管理及交通安全问题正受到人们越来越多的关注。在此背景下，智能交通系统的概念应运而生。作为智能交通系统的一部分，交通标志检测系统在驾驶辅助、交通标志维护、自动驾驶等多方面具有重要作用。然而，真实交通场景复杂多变，光照条件、天气条件、局部遮挡、背景色相似干扰、阴影干扰等问题使交通标志检测系统的研究远未达到成熟。卷积神经网络是将人工神经网络和深度学习技术结合而产生的一个新型人工神经网络方法，具有局部感知区域、层次结构化、特征抽取和分类过程结合的全局训练等特点，在图像检测领域获得了广泛的应用。本文在对人工神经网络特别是卷积神经网络的基本概念和算法进行了总结和介绍的基础上，以经典的卷积神经网络模型为基础，将其应用到交通标志检测任务当中。检测的路标类型包括警告、禁止、指示等交通标志，其中分别含有不同的前景背景颜色及形状。首先，我们采用图像分割技术，将目标图片分割成许多小区域，然后将这些区域一次输入到已经训练好的神经网络中去，由此可以得知目标图像中是否含有路标。此方法实现了在没有预先提取特征的条件下各种复杂环境中路标的检测，具有很好的鲁棒性，全面性及研究性。关键字:交通标志检测，图像分割，卷积神经网络ABSTRACTTraffic regulation and safety problem is getting more and more attention. Under this background, the concept of Intelligent Transportation System(ITS) is presented. As a component of ITS, the traffic sign detection system plays an important role in driver assistance, traffic sign maintaining and automatically driving. However, in the complicated traffic scenes, the problems of different lighting condition, weather condition, partial occlusion, similar background color and shadow interfering make the research of traffic sign detection far from mature. Convolutional Neural Networks (CNN) is a technology that combines ANN and recent Deep Learning method, which is characterized by local receptive field, hierarchical structure, global learning for feature extraction and classification, has been applied to many image detection tasks. In this paper, we first give a thoroughly introduction on the basic concepts of ANN and CNN, based on the classic CNN, we apply it to the task of traffic sign detection. Detection types include warning signs, prohibition signs, direction signs, and each type has a different background color and foreground shapes .First, we use image segmentation to divide image into many small target areas, then we thrown these areas into the neural network which has been trained , so we can judge whether the detecting image has a traffic sign in it. By this method, we can detect traffic signs in complex environments without extracting features first. This method is robust, comprehensive and researchable.Keywords: Traffic Sign Detection, Image Segmentation, Convolutional Neural Networks目 录第一章 绪论11.1 研究背景与意义11.1.1 研究背景11.1.2 研究意义21.2 国内外研究现状31.3 交通标志检测主要存在的问题61.4 本论文的研究思路及组织结构91.4.1 研究内容91.4.2 组织结构9第二章 交通标志及卷积神经网络简介112.1 交通标志简介112.2 卷积神经网络132.2.1 卷积神经网络特点及结构132.2.2 卷积神经网络的推导与实现142.3 本章小结17第三章 交通标志图像的预处理193.1 图像分割193.1.1 图像分割的介绍193.1.2 分层聚类算法203.1.3 分层聚类结果223.2 图像归一化233.3 彩色图像直方图均衡化233.4 本章小结24第四章 路标检测254.1 卷积神经网络结构254.2 神经网络训练所采用的数据库264.3 卷积神经网络的参数274.4 网络训练及测试结果284.4.1 网络训练一294.4.3 网络训练二304.5实验结果分析314.6 本章小结32第五章 总结与展望335.1 总结335.2 展望34致 谢35参考文献37第一章 绪论1.1 研究背景与意义1.1.1 研究背景自21世纪以来，科学技术与社会经济水平均取得了快速的发展，智能交通的研究与出现正体现了这一点。智能交通在未来世界中已经成为了不可避免的趋势，会为我们的生活提供便捷舒适的服务。我们甚至可以这么说，未来人类社会会离不开这种快速、便捷的文明产物了。但是，智能交通的实现还处于研究阶段，还需广大学者不断的努力与改善。挡在智能交通进入人类生活上的一道难题便是交通标志的检测与识别。交通标志识别及检测作为智能交通的一个重要组成部分，吸引了越来越多的学者与机构的研究兴趣。另外，人工智能技术与模式识别，神经网络等相关领域的快速发展也加速了智能交通系统与先进辅助驾驶系统的研究进程。随着智能汽车以及无人驾驶技术的快速发展，对于交通标志识别，前人已做了很多的研究并取得了一定的研究成果。而标志的检测仍存在很大的提升空间，需要我们在现有算法的基础不断改进，也迫切需要新算法的提出。交通标志检测技术的研究正面临许多的新要求，新挑战。迫切需要有更加快速与适应性良好的检测分割技术与特征提取识别方法来提升系统的可靠性，鲁棒性，实时性。同时，随着现代科学技术的发展，特别是图像处理技术，计算机视觉技术，机器学习技术的长足进步与系统工程思想的深入，人们在对这些技术进行集成的基础上提出了许多新的交通标志检测方法，使得交通标志检测的研究越来越趋向于实际应用，而不管使用何种技术手段，如何提高在复杂的真实场景中交通标志的定位准确率和分类准确率，如何提高检测分割、特征提取、分类算法的处理速度，如何使得所采用的技术以及开发的系统具有广泛的适用性与实际使用价值等，成为许多交通标志检测研究领域的相关学者与机构急需解决的共性问题 彭岳军. 道路交通标志检测与识别技术研究. 硕士学位论文. 华南理工大学. 2013. 1。1.1.2 研究意义实时交通标志检测系统通过对行驶过程中前方道路出现的交通标志图像进行及时采集和准确检测，然后把检测结果通过视频或者语音方式传递给司机以辅助驾驶，在无人驾驶汽车上甚至可以通过交通标志检测系统得到的检测结果来给汽车提供指令，以达到自动驾驶的目的。交通标志检测系统作为司机辅助驾驶和智能交通的重要组成部分，其中有几个关键问题急需我们解决，提高交通标志检测算法的准确率和实时性。只有跨过了这些障碍，智能交通及驾驶辅助才能成为实现。算法的准确率是交通标志检测研究中的一个十分重要的因素，错误的检测结果不仅不能起到辅助驾驶作用，还会导致严重的交通安全事故。而算法的实时性决定了研究成果能否转化为具有实际应用价值的产品。随着汽车日益的普及，交通事故的经常发生，实现也实时应用为目标的交通标志检测技术研究，对于智能交通及增加驾驶安全具有重大的意义。其中显著列举一下几条：(1) 它是辅助驾驶系统及无人智能车的不可缺少的一部分由于社会经济的不断发展，交通道路上的车辆变的越来越多，使得道路堵塞现象越来越明显，这给交通维护及管理带来了很大的压力。由于车辆行驶时周围复杂的交通环境，加上如果碰上雾霾下雨等恶劣天气，可见度低；或者由于长途驾驶而产生疲劳困意甚至是喝完酒后开车等情况，前方路面上的交通指示标志就很容易被忽略，因而很可能引起悲惨的交通事故。因此在这种情况下，辅助驾驶系统能够帮助驾驶人辨别前方路面上的交通指示标志问题。通过交通车上安装的摄像机，本论文的研究课题可以有效的自动检测交通标志，这样便可以时时提醒司机注意路面上的交通指示标志，遵守交通标志驾驶，从而能够很大程度上降低交通事故的发生。另外，虽然在一定程度上无人驾驶已发展的比较好，但要想使无人驾驶完全实现并加以实际运用还存在很多的困难问题。但是我相信，随着科技的发展及研究的深入，不久的将来，我们终会在道路上看到无人驾驶的影子。而要想实现无人驾驶，我们必须考虑到各种天气及环境下的路标检测问题，能够让驾驶智能车在任何时候都能很轻松的按照路标的指示要求行驶。这样，交通标志检测系统必不可少。(2) 有利于交通管理部门对交通标志的维护对于路面上的交通指示标志，检测系统能够很快的对此进行检测判断。这样通过将标准库中的标志与检测系统检测出的标志进行对比，便可以得到那些由于时间过久或者无意损坏的交通标志。通过这中方法，交通部门可以有效的恢复模糊及颜色退化的交通标志，实时更新。既节省了大量的时间和人力，又有效的保证了行驶过程中的标志的正确指示。另外，将卷积神经网络应用到交通标志检测系统，虽会包含如机器视觉，图像分割，模式识别等很多相关领域的知识。但是由于复杂的场景和较高的实时性要求，对交通标志的检测一直没有理想的解决方案 张潘潘. 道路交通标志检测与识别算法的研究. 硕士学位论文. 山东大学. 2012. 2。1.2 国内外研究现状交通标志一般是由固定的纹理、颜色、形状及其内部图形组成，因而，一般都是基于颜色和形状信息来检测交通标志。（1）基于颜色的交通标志检测颜色是交通标志的主要特征之一，具有旋转、大小不变性，而且有较明显的可分割性。通过特征颜色分割，可去除大片非感兴趣区域，这也有助于系统的实时性。同时一般的交通标志都有颜色鲜艳且对比鲜明的颜色特征，这样保证标志的醒目性。比如，指示标志一般是白图案蓝色背景，禁令标志一般包含红色的边缘，警告标志一般由黄色的内部及黑色的边缘组成。因此，很多算法便是基于交通标志所独有的颜色特征来实现路标的检测的。基于在RGB彩色空间以阈值为条件的分割检测方法 刘居锋. 自然场景中交通标志文字检测算法研究. 硕士学位论文. 北京交通大学. 2014. 4。这种方法直接在RGB彩色空间上，根据颜色特征进行分割而对交通标志进行处理，优点是实时性比较好，处理速度快，从而这种方法可以应用到对速度要求高的算法中去。如de la Escalera 等人提出的直接彩色阈值分割算法 A. de la Escalera, M. Salichs. Road Traffic Sign Detection and Classification. IEEE Transactions on Industrial Electronics, 1997, 44(6): 848-859，该算法根据图像中的所有像素，对此按照公式（1-1）进行分割 (1-1)其中，图像中坐标为( x , y )的像素点的RGB三色的分量值分别对应公式中的、 与而图像中像素的红色、绿色和蓝色分量阈值范围分别是，比例系数为T，是通过大量的自然场景下的交通标志，由大量的试验分析统计得到的；而表示不同颜色的区域，所以为不同的常数。经过该过程后，接着再用角点检测来判断是否存在交通标志。该算法的缺陷是受光照的影响比较明显，如果交通标志被障碍物遮住的话就很难被检测出来了，所以鲁棒性及健全性有待改进。由于RGB颜色空间受到光照及明亮等因素影响较大，分割效果可能并不会很好，所以一些研究人员则加入颜色空间的转变来试图得到更高效的检测算法。HSI或HIS颜色空间中的S、I及V与光照没有关系，为一个很好的突破口。因此我们可以尝试把图像从RGB空间转换为HSV或HIS颜色空间，然后通过对S和V及S和I通道进行上方法中的阈值分割，从而提取交通标志。由于该方法受光照强度的影响小，在雾霾、下雨天等复杂光照条件下仍能得到很高程度的检测率。该方法的缺点是将图像从RGB空间到HSV或HIS空间的计算是非线性的，计算量很大，从而实时性不是很好，应用中存在很大的延时性。（2）基于轮廓的交通标志检测形状及轮廓特征是交通标志除了颜色特征之外又一个具有很大信息量的特征。与周围复杂的环境相比，交通标志除了具有比较鲜明的颜色对比之外，还具有明显的形状及轮廓特征。比如交通标志中的指示标志一般为矩形及圆形，警告标志一般有三角形组成，而警告标志则大多为三角形。颜色特征的一大不足便是受光照影响较大，而形状特征则比较稳定，不会随光照而改变，所以采用轮廓特征成为交通标志检测中比较有效的方法。其中一种比较常用及有效的轮廓检测方法便是Hough变换 唐睢睢. 交通标志识别算法研究. 硕士学位论文. 北京交通大学. 2014. 3，Hough变换很多时候用来检测圆形及直线的轮廓，它能够通过局部的度量来得到全局的描述参数，所以可以有效地由于遮挡及噪声引起的边界问题，鲁棒性较好。通过颜色空间变换，根据不同分量的阈值范围对交通标志进行分割之后，我们可以继续对多边形如矩形等标志采用角点检测，对于圆形标志则用边缘曲线拟合，来得到更好的检测效果。（3）基于神经网络的交通标志检测图像检测及识别是指采用数字图像处理技术，在以机器学习及神经网络为基础的情况下，使得计算机能够自动检测和识别图像中的主要内容。图像识别是模式识别研宄的一个主要领域。目前，神经网络识别技术在手写字符识别、人脸识别、物体识别等方面也取得了比较的效果，并且其中一些相对成熟的技术己经得到了商业应用。神经网络具有自学习，自适应，自己根据样本的训练来识别物体等比较异常有用的特点，因此人们最近也开始越来越重视起神经网络来。其中Ross Girshick Girshick, Donahue, Darrell and so on. Rich feature hierarechies for accurate object detection and semantic segmentation. Computer Vision and Pattern Recognition. 2013和Alex Krizhevsky Krizhevsky, Sutskever, Hinton. imagenet classification with deep convolutional neural networks. Neural Information Processing Systems Foundation. 2012采用卷积神经网络在交通标志识别上取得了非常好的识别率。这两篇文章的核心算法，均是用卷积神经网络的卷积层，采样层及全连接层来提取图像的特征，然后根据这些特征，用不同的后续方法来检测路标。（4）其他的路标检测方法东北大学王楠等人 2010 年提出了基于多线索混合的交通标志检测与跟踪方法 王楠，刘成，陈雪等. 基于多线索混合的交通标志检测与跟踪J. 控制与决策 2010(8):541-550，该算法使用颜色和形状信息定位交通标志，并且根据颜色形状对其进行粗分类，提取类 Haar 小波特征，在识别阶段使用二叉树支持向量机来进行分类，并且使用 Lucas-Kanada 特征点跟踪算法对相邻帧的标志进行跟踪，算法具有较好识别精度，时间复杂度较高。Ghisio 等人 Broggi, Cerri, Medici and so on. “Real Time Road Signs Recognition,” In Proceedings of IEEE Intelligent Vehicles Symposium 2007, Istanbul, Turkey, June 2007, pp. 981986.提出了一种三阶段识别流程包括：颜色分割、形状检测和使用神经网络方法进行标志分类。为了减少处理时间使用RGB颜色空间。Lalonde and Li M. Lalonde and Y. Li. “Road Sign Recognition Using Color Indexing” . Technical report,Centre de recherche informatique de Montral,1995. Survey of the State of the Art for Sub-Project 2.4, CRIM/IIT.使用颜色序列方法来分离交通标志，并且通过比较交通标志的颜色直方图来确认标志类型。SIFT 被用来获取被检测的交通标志的不变特征集合。识别是通过匹配抽取的特征与存储的标准模板的特征集合来完成。最近几年提出的一些系统包含分类器，这些分类器使用手持的真实标志图像来训练，这往往是重复的、耗时的、也会导致很高的误识别。而目前还没有公开的可以使用的交通标志图像数据集，因此如何获取足够的有效的交通标志图像来对分类器进行训练已经成为一个制约交通标志识别研究的突出问题。尽管有一些现存的研究自称有很高的分类正确率，但是他们用来识别的交通标志种类数非常有限。1.3 交通标志检测主要存在的问题在指定的图像中，交通标志检测算法能够自动判别该输入图像中是否具有交通标志，比较好的算法更能指出路标在输入图像的具体位置及路标所属类别。本课题中，系统的输入是可能含有交通标志的图像，输出是关于输入图像中是否存在交通标志这一信息。实用化的交通标志检测系统是在车载状态下实时进行的，研究中则常采用静止图片进行测试。尽管很早开始，针对交通标志检测中出现的问题及难点，很多算法及方案早已提出，但由于该问题内涵十分广泛，而且自然任意场景也带来多样性，到现在为止仍未找出自适应性、准确性、实时性等方面均能取得较好效果的算法。本课题的解决涉及到图像处理及图像理解，需要包括图像分割、神经网络等在内的广泛知识。由于交通标志检测是在多种环境下，刚开始我们是无法推测路标所处的具体情况信息，因此不可避免地存在许多困难，主要有：（1） 场景较为复杂的情况下，周围物体中存在过多在颜色、形状等显著特征上与交通标志相似的物体，容易受干扰(如图1.1所示)。（2） 需检测图像中的交通标志太小，同时环境中可能存在遮挡物，无法得到整个路标的完全形状特征 (如图1.2所示)。（3） 交通标志的颜色受天气条件的影响较大，光线照射不同，下雨天等都会对检测结果带来影响(如图1.3所示)。（4） 当汽车或周围物体运动速度过快时，由摄像机得到的交通标志图像很可能会产生变形、扭曲模糊等(如图1.4所示)。图1.1 场景复杂下的路标图1.2 含遮挡物的路标图1.3 受光照影响的路标图1.4 速度引起模糊的路标1.4 本论文的研究思路及组织结构1.4.1 研究内容本文采用深度学习方法中的卷积神经网络结构，主要针对交通标志中的三大类路标进行检测。其中路标颜色包括蓝、黄、红、白、黑等，形状包括圆形、三角形、倒三角形及正八边形。对于检测过程中的路标模糊及背景复杂等不同的干扰因素，本论文采用大量训练的数据样本，充分包含了各种环境下的路标，同时网络训练时采用较多的循环次数，让网络学会各种路标结构的特征信息。针对多目标及干扰物过多的图像，我们采用选择搜索算法，先将图像分为许多初试化的小区域，然后根据各区域之间的像素性进行合并及排序，从而能很好的分割出包含路标的区域。在路标训练数量预处理阶段，我们对各类图像采用彩色图像直方图均衡化，很大程度上减弱了光照及阴影对路标识别过程中的干扰。1.4.2 组织结构第二章 首先介绍了我国交通的标志概况，随后列出了现有常用的路标检测方法，接着详细介绍了本文所采用的卷积神经网络，及卷积神经网络在交通标志检测中的应用，最后对本章做了个小结。第三章 主要讲解了交通标志检测前的预处理，包括颜色直方图，尺寸归一化，最重要的是检测前的目标分割。第四章 详细介绍了本文提出的基于神经网络的路标检测，对检测网络，参数，结构及网络训练数据做了详细的讲解，之后对几次实验得到的结果进行对比分析，得出结论。第五章 对本论文的工作总结及展望，提出了本论文的检测局限性及后期可优化的方面。最后是本文的致谢及参考文献。第二章 交通标志及卷积神经网络简介2.1 交通标志简介我国的交通标志具体可分为主标志和辅助标志两大类，而主标志又主要分为警告标志、禁令标志、指示标志与道路施工安全标志等六类。而本文主要是研究主标志中比较常见且很重要的三类标志，分别为警告标志，禁令标志及指示标志。其中，警告标志是警告司机、车辆及行人要小心危险目标的标志。它们的形状为等边三角形，颜色大多为黄底、黑边、黑图案；禁令标志是交通标志中主要标志的一种，为环境中的某种限制因素而对车辆司机加以禁止的标志，如限制重量、禁止左转弯、禁止鸣喇叭、限制速度等。禁令标志的颜色一般为白底，红圈，红杠，黑图案，图案压杠；指示标志形状可分为长方形、圆形和正方形，颜色大多为蓝底、白图案。也是交通标志中主要标志的一种，用以规定车辆和行人的行驶方向集地点。三类交通标志的标准图像如图2.1所示： （a）警告标志 （b）禁止标志 （c）指示标志图2.1 三类交通标志2.2 卷积神经网络2.2.1 卷积神经网络特点及结构在普通的模式识别中，通常是先设计一个特征提取结构，来提取输入数据的固定特征，得到一组特征变量。并对特征进行相关性分析，找到最能代表输入数据的特征，去掉对分类无关和自相关的特征。然后用这组特征变量来对目标进行分类及模式识别。然而，这些特征的提取太过依赖人的经验及主观意识，提取到的特征的不同对分类效果有很大的影响，一些特征的顺序有时也会改变最后的分类性能。那么，如何把特征提取这一过程作为一个自适应、自学习的过程，通过机器学习找到分类性能最优的特征呢？在语音识别及图像处理过程中，由多层反向传播的网络训练而得到的神经网络，通过大量的训练数据，可以得到很好的分类区别及检测特征判别函数。所以对于本文的路标检测，我们采用卷积神经网络。卷积神经网络（CNN） Hong Yu, Ruxia Hong , XiaoLei Huang and so on. Obstacle Detection with Deep Convolutional Neural Network. International Symposium on Computational Intelligence and Design. 2013. 265 - 268是由一个结构化的BP网络复杂化而来的，通过共享权值和结构重组，卷积计算等将特征提取功能融合进多层感知机。相比其它神经网络，CNN具有三个显著特征：局域感受野，共享权值和空间域上的次采样。局域感受野指的是当前网络层中的神经元只会与上一层中的一个小邻域内的所有神经单元相连接，只会提取前一层中一个局部的特征信息，经过局域感受，网络可以得到初级的局部视觉信息；权值共享指的是每一个特征图中的所有神经元拥有相同的连接权值，这样卷积神经网络参数便会大量减少；通过局域感受野和权值共享，卷积神经网络中每个特征图提取一个独立的特征，一天同时产生了平移不变性；次采样也叫下采样，它能够减少了特征图的分辨率。具体网络结构如图2.2所示 Ciresan, D.,IMeier, U., Masci, J and so on. A committee of neural networks for traffic sign classification. International Joint Conference on Neural Networks. 2011：图2.2 卷积神经网络结构2.2.2 卷积神经网络的推导与实现典型的CNN Bluche, T, Ney, H,Kermorvant, C. Feature Extraction with Convolutional Neural Networks for Handwritten Word Recognition. International Conference on Document Analysis and Recognition. 2013 中，前面几层一般都是卷积和采样的交替，这之后便是全连接层，最后一层的神经元数一般会和需要识别或者分类的类数相同。通过这些网络的计算和传递，我们便得到了由图像的两位特征转化而来的一维特征，即后面一层全连接的输入。然后我们回到BP算法的讨论(1) 前向传播在下面的推导中，我们以c类分类为例，共有N个训练样本，同时我们使用平方误差代价函数。 (2-1)公式中，为第n个样本中k维向量第k个分量，表示第n个样本对应的标签的第k维。对于多类问题，输出一般组织为“one-of-c”的形式，也就是只有该输入对应的类的输出节点为正，其他类对应的输出节点为0或负数，这个取决于你输出层的激活函数。sigmoid就是0，tanh就是-1。 训练样本集的误差为每个训练样本的误差的总和，所以当我们知道了一个样本的误差后，总的误差便很容易求出。这里我们先讨论对一个样本的反向传播。假设第n个样本的误差可表示为： (2-2)典型的全连接神经网络中，根据反向传播规则，我们可以依次计算代价函数E对于网络结构每一个权值的偏导数。这里，我们用l来表示当前层，则当前层的输出为： (2-3)一般是用双曲线正切函数或者sigmoid函数来作为神经网络的激励函数。双曲线正切函数关于原点对称，可将数据对称的压缩到-1,1。而sigmoid将输出压缩到0, 1，最后的输出平均值一般在0附近，这样我们可以将训练数据归一化为零均值和方差为1，可以在梯度下降的过程中增加收敛性。(2) 反向传播每个神经元的基的灵敏度（即误差函数随我们初试化的基变化的快慢，也就是误差对基的变化率，可以由导数获得）是代价函数反向传播到一层的误差决定的。我们定义如下：（由链式法则得到） (2-4) 因为u/b=1，所以E/b=E/u=，也就是说bias基的灵敏度和误差E对一个节点全部输入u的导数E/u是相等的。反向传播就是用下面这条关系式： (2-5)“”表示每个元素相乘，输出层的神经元的灵敏度是不一样的： (2-6)最后，我们需要对每个神经元进行权值更新。更新的方法为先求出一个神经元的输入，之后用这个神经元的来进行缩放。具体计算公式如下： (2-7)神经网络对于bias基的更新表达式差不多。但有些网络对于每一个权值都有一个特定的学习率。(3) 卷积层卷积运算时，我们是由一个卷积核，不断在前一层网络的maps滑动，然后通过一个激励函数，得到输出的maps。而每一个输出map可能是组合卷积多个输入maps的值： (2-8)Mj表示上一层网络中输入到这层网络maps的集合，而这些maps选择的依据要训练的网络而选用的规则不同。每一次通过卷积核之后，还需要加上一个偏置b才能到本层的map。由神经网络的权值共享性得知对于一个特定的输出map，卷积每个输入maps的卷积核是一样的。例如，假设输出特征map j是由输入特征map k及输入map i卷积求和得到的，那么输出特征map j对应输入map k及map i的卷积核是一样的。（4）梯度计算由于每个卷积层l都会接一个下采样层l+1 。更据反向传播的规则，我们知道，在更新第l层每个神经元的权值之前，我们必须先求得这一层每个神经元的灵敏度。而在求本层灵敏度之前，我们必须先得到l+1层每个神经元灵敏度之和。然后乘以这些连接对应的权值（连接第l层感兴趣节点和第l+1层节点的权值）W。再乘以当前层l的该神经元节点的输入u的激活函数f的导数值（也就是那个灵敏度反向传播的公式式（2-5）的l的求解），这样就可以得到当前层l每个神经节点对应的灵敏度l了。（5）下采样层下采样层能够减少局部信息的相关性，同时，减少网络的连接参数。特点是，下采样层不会改变maps数的多少，只会改变每个map上的神经元的个数。 (2-9)down(.)表示一个下采样函数。这里我们以max pooling为例，max pooliing是对前一个map中特定的区域求最大值，然后用这个最大值代替本区域。这样，下一层map的尺寸会变缩小为上一层map的m倍，m为max pooling的核大小。有时，下采样时，每个输出map还有会一个特定的偏置。 2.3 本章小结本章首先介绍了中国交通标志的类型，每类的基本特点，然后指出本论文针对检测的三大类交通标志。之后，详细的介绍了卷积神经网络，包括神经网络的发展推导公式，其中，大部分模块都是讲的网络的推导与实现，当然，这是针对一般卷积神经网络的推导，由于不同网络的针对问题不同，采用参数不同，所以推导公式会有稍稍变动之处，但主要思想及步骤仍如上所示。第三章 交通标志图像的预处理3.1 图像分割该章主要是对路标输入到网络前的预处理操作。网络训练及检测时的图像数据都需要一定的格式及调整，这样才能充分利用卷积神经网络来实现准确率更高的路标检测。预处理部分主要包括图像分割，图像大小归一化及彩色图像直方图均衡化，基本流程如图3.1所示：图3.1 交通标志图像的预处理3.1.1 图像分割的介绍在这个部分，我们详细介绍了图像分割模块。图像分割的目的是要把图像分成区域，这些区域具有一些特定的特征或者性质。在图像检测及识别的过程中，它起着非常关键的作用。目前比较好的分割方法主要有边缘分割法，区域分割法，阈值分割法等。对图像分割后得到的结果我们可以用来图像搜索，提取出的目标可以用于图像语义识别，图像搜索等领域。本论文中，由于用来检测路标的卷积神经网络的输入图片需要归一化为48*48三通道图片。所以在路标检测的前期，我们需要将一整张大图片分割为很多张标准输入数据，且这些数据必须含有包含完整路标的图片。这就要求我们采用比较好的图像分割算法，这些算法的好坏会直接影响到最后的检测效果。这里，我采用的选择搜索算法。对于任意一张图片，图像分割要求我们能在不同光照，不同强度，不同角度都能够分割出目标图像，而且目标图片的尺寸可以随便变动。好的分割算法则具有一下特点：（1）任意尺寸：目标可以出现在图片中的任意位置，任意大小，而且，有些目标几乎没有太明确的边界。因此，在选择搜索方法中，我们能够分割任意尺寸的目标图像，这主要是用分层结构算法实现的。（2）多样化：没有哪一种单独的方法能够最优化的将目标分割出来。只根据颜色，或者纹理，有些区域就能够构成一个目标，因为这些区域是封闭的。但是，像阴影及不动颜色的光照也都能影响目标的分割。选择搜索算法采用了多种决策相结合，因此，能够处理所有的情况。（3）快速计算