基于图像识别的辅助驾驶避障预警系统设计与实现.pdf

第 卷 第 期 智 能 计 算 机 与 应 用 年 月 文章编号：（）中图分类号：文献标志码：基于图像识别的辅助驾驶避障预警系统设计与实现罗明睿，张翠平，李亚欣，李媛媛（北京信息科技大学 计算机学院，北京）摘 要：随着图像识别和大数据信息处理水平技术的提升，自动驾驶成为智能交通中重要的一环，其中制约自动驾驶发展的一大难题是对于障碍物的识别和处理。本项目基于 进行图像识别并用计算机视觉算法 实现对于行车记录仪图像的获取，并通过 进行了交互窗口界面程序的设计。本系统应用于车载电脑，通过车载行车记录仪获取路面实时图像，从而对前方物体进行识别、预警和提出避障建议。关键词：图像识别；，（，）【】，【】；?哈尔滨工业大学主办学术研究与应用基金项目：北京信息科技大学大学生创新创业训练计划项目（）。作者简介：罗明睿（），男，本科生，主要研究方向：网络工程、计算机应用技术；张翠平（），女，博士，讲师，主要研究方向：计算机应用技术、大数据与智能交通；李亚欣（），女，本科生，主要研究方向：计算机科学与技术；李媛媛（），女，本科生，主要研究方向：计算机科学与技术。通讯作者：张翠平 ：收稿日期：引 言随着交通智能化和人工智能技术水平提升，越来越多的传统车企和互联网企业参与到自动驾驶技术的研发。近几年自动驾驶技术愈来愈热，越来越多的消费者也更青睐于购买和使用具有辅助驾驶（自动驾驶）的车辆，从而减少驾驶员驾驶时的体力损耗，降低因疲劳驾驶带来的风险。与此同时，因自动驾驶技术的普及而产生的交通事故也越来越多。年 月 日，美国联邦政府公布了两份对于自动驾驶技术的报告，报告中首次公布了涉及自动驾驶汽车（）和配备先进驾驶辅助系统（）的汽车在碰撞和死亡事故方面的相关统计。其中，加州 起自动驾驶事故中有 起事故是因为自动驾驶状态中追尾或者撞到其他障碍物造成的。因此，在自动驾驶领域，如何对周围环境进行感知，对前方目标进行测距是非常重要的技术难题。目前，在自动驾驶领域比较有名的两大车企 特斯拉和蔚来所研发的自动驾驶平台中，特斯拉的 和蔚来的 均不能做到对人、动物、交通灯、墙、路障等非车辆目标做出反应，遇到这些情况会交予人为处理。当前，针对自动驾驶和辅助驾驶障碍系统国内外已有一些研究，其主要对于避障算法和图像识别方向展开的研究。如：胡正云等针对车道线图像识别的实时性和适应性等问题，提出了一种基于遗传算法，并且结合车道线图像阈值的分割优化算法来解决此问题。牛洪超等人对 图像识别进行改进，使得 更符合自动驾驶中图像识别的要求。等人对多种公共自动驾驶数据集的性能进行了全面调查，目前应用到实际中的障碍物预警系统，这种方式虽然能够迅速的对前方障碍物进行检测，但无法第一时间对障碍物类别进行识别，无法对目标障碍物是否在横向移动进行监控，从而导致无法为驾驶员提出有效的避障建议。本文基于 图像识别算法和基于 的自动跟随系统进行设计，从而设计出应用于车载电脑的驾驶辅助预警系统。系统需求分析本系统的目标使用者是 级别以下的自动驾驶车辆和驾驶人员，主要功能是利用摄像头对前方路面进行实时监控，检测到前方有障碍物后第一时间提醒驾驶员并给出避障建议。该系统需要对不同类型的障碍物，如动物、路障、塑料袋、行人、非行驶状态的车辆进行有效的识别，因此对系统设计有以下需求：（）能够通过图像识别对前方是否有障碍物进行有效识别；（）针对不同的障碍物能够进行快速分类，如：猫、狗等属于动物分类，车用警示标志牌、路障等属于需要躲避障碍物，塑料袋、杂草属于无需躲避障碍物等；（）对前方移动车辆进行有效监控，判断前方车辆是否处于正常行驶的状态，并对前方车辆紧急停车（减速）进行判断；（）能够判断所检测物体的运动状态；（）针对不同类型的障碍物给出合理的相关避障措施；（）在给出避障措施后发出警报，并给出语音播报障碍物的种类和避障建议。系统整体框架设计如图 所示，系统主要由前端 界面、图像识别和避障处理 部分构成。结果显示避障建议语音警报系统摄像头接口视频文件图像识别目标识别目标分类目标追随类别一类别二类别三类别四U I 界面数据处理返回数据参数给出避障建议图 系统框架图 前端 界面负责人机交互，主要完成摄像头的操作、视频流的读取、显示识别结果、避障建议以及语音播报和报警 部分内容。物体识别包括目标追随、图像识别两个主要部分。首先需要对于前方待识别物体进行选择、追踪，选定单个或多个目标之后，通过图像识别对其进行识别并返回识别的可能结果及相关物体属性。数据处理部分是基于不同的障碍物类型给出不同的避障建议，最后在 界面上返回识别结果及避障建议并发出警报和语音提醒。系统功能设计与实现 界面系统采用 进行界面设计（如图 所示），主要模块包括打开摄像头、读取视频流、识别结果显示、避障建议以及语音播报和报警 个部分。1 6 5 0 52 6 5 9 0 63 4 3 7 7 71 2 9 2 6 21 0 2 2 94 2 9 6 34 2 9 61 0 2 1 8 5 71 7 96 4 6 1公交车灯光指示牌人自行车卡车摩托车汽车火车骑车的人图片类别1 061 041 021 000图片数量图 数据集全部图片内容 第 期罗明睿，等：基于图像识别的辅助驾驶避障预警系统设计与实现 摄像头操作主要是利用 组件和 实现对车载行车记录仪的连接和断开。当用户点击开始之后连接车载行车记录仪，调用 中的图像获取功能，使用（）函数去获取行车记录仪的图像数据。将视频流看做 多个帧的图片，读取部分运用 中（）函数创建多个图像获取对象，用以读取视频文件内容。之后，使用 函数判断该视频文件是否被正确打开。（）函数将返回一个 量，用于判断视频流是否可以使用。写入部分使用（）函数得到视频的长和宽，并用初始化视频捕获对象并且把视频流读入内存。通过图像识别模块识别出不同的物体后，根据处理结果会产生不同的建议。此时，系统均采用 组件来显示参数名称、输出结果和避障措施。语音报播模块由一个音量调节器、预警静音开关（取消报警）和声音播放器构成。其中，音量调节器使用（）方法和 组件完成；预警静音开关使用（）方法和 组件完成；声音播放器使用 模块实现。由于 是对本地计算机底层播放框架封装，所以语音提示播放和预警声音均是接入录好的 音源。图像识别 目标追随目标追随系统选用 算法，借鉴柳天宇等人基于 算法的空中目标追踪模拟中提出的目标追踪思路。算法实现目标跟踪的基本流程为：读入视频序列，由 检测出的目标作为真实目标，在当前帧采样，用目标和背景信息训练分类器，得到相关滤波器；下一帧图像与相关滤波器做卷积，响应最大的区域作为预测目标，目标更新迭代，并进行跟踪；下一帧循环上述过程。训练样本的生成都是基于循环矩阵形式来构建的。其中基样本 为正样本，其他全部都是负样本。由于循环矩阵的性质，样本集可以很方便的利用快速傅里叶变换和傅里叶对角化的性质来进行计算。由任意基样本 生成的循环矩阵具有以下特性：（）（）（）其中，是 的离散傅里叶变换，是离散傅里叶常量矩阵，是 的厄米特转置。循环矩阵既简化了计算，降低了运算时间，又解决了跟踪器训练时样本不足的问题。岭回归的方法是 算法中用来训练跟踪器，如式（）所示。（，（）（）解得 形式为 （）（）之后，需要利用核函数将非线性在映射后满足线性要求，以此达到非线性到线性的转换，从而使得跟踪准确度提升。此时，可表达为式（）：（）（）（）可解出：（）（）（）（）最终可得训练样本的相关矩阵，如式（）所示。（）（）（）训练数据集本项目采用伯克利大学 年发布的开放式驾驶视频数据集（本数据集目前在 上为开源项目），本数据集中有近 万个视频图片资源，图片数量分布如图 所示。该数据集发布的目的是方便评估自动驾驶图像识别算法的发展，目前也是自动驾驶领域使用最为广泛的数据集。由于硬件配置所限，本项目只训练了数据集中的部分图片，并根据系统的实际应用，添加了对 于 类别的图片进行训练。训练图片的具体类别和数量见表。表 系统训练的内容数量和种类 实验组别类型数据类别数据数量总数数据集 由于 均使用 格式的文件存储，无法直接将 格式转换成适用于 格式，所以在训练数据集的过程中，先将 的智 能 计 算 机 与 应 用 第 卷数据集标签转换为 格式，之后再将 格式转换为本项目可以训练的 格式。XYO（0，0）（4，3）w=6h=4（x+w，y+h）图 的坐标系示意图 数据处理 判断物体运动状态判断物体的状态分为判断物体横向移动和物体是否停止或者减速。首先对物体进行横向位移的检测，利用 中的 对目标轮廓进行检测，并对矩形的长、宽、高、面积、周长测算并读出矩阵 个顶点的坐标，如图 所示。22YcZcCP2XcP2COc1XwPZwYwOw（）立体物体平面针孔平面w 成像平面fdw（）平面图 测距原理图 通过比较上一帧和下一帧目标物体所在矩形的坐标，以判断物体是否在水平运动。对于判断物体是否在加速或者减速，本项目利用空间的深度来实现，其原理如图 所示。如图（）所示，物体宽度为，物体 距离相机的长度为 ，对物体进行拍摄，拍得照片的像素宽度为，于是可以得出相机焦距 的公式如下：（）（）公式变换可得：（）（）由此可测出目标物体的距离。得到物体距离后，根据当前车速和反应时间测得下一帧 的理论值，对比 和 的大小，若 可知目标物体正在减速或者静止。避障建议避障建议本系统借鉴遗传算法的思路，在多个约束条件下给出最有效的解决方案，算法流程如图 所示。结束给出避障建议反馈信息变通否是左右车道是否有障碍物减速紧急制动物体是否水平移动减速否是是是正常行驶识别目标物体开始将目标物体进行分类物体是否可压过为减速状态否否否图 算法流程 算法描述如下：当目标障碍物识别成功后，对其运动状态进行分类，若为动态且为加速状态则继续行驶，反馈给避障建议为继续行驶；若为静止或者减速状态则对目第 期罗明睿，等：基于图像识别的辅助驾驶避障预警系统设计与实现标障碍物种类进行访问，若为可直接压过的种类（如塑料袋、杂草等），同时反馈建议为继续行驶；否则，对目标是否为正在移动的动态障碍物进行判断，根据判断出不同的内容进行分类。其中为动态障碍物有 类、类、类、类和 类，若是活物则继续判断其水平运动状态，不是则识别左右车道是否具备转向条件。当判断物体没有水平运动后视为物体非活物，进而判断左右车道是否具备转向条件；若目标物体仍在水平移动则进入紧急制动，并反馈出避障建议，避障建议为紧急刹车。若左右车道具备转向条件，则给出避障建议为向左转或向右转。系统测试效果本测试主要是针对 部分进行，其中包括：测试该项目是否可以识别出横向移动的障碍物；测试内容是测试对于同一个障碍物的目标追随能力；测试内容是按钮功能的完善情况。识别横向移动的障碍物本测试针对当前方突然出现障碍物后，系统是否可以识别出障碍物类型、分类和给出的避障建议。如图 所示，当前方出现行人穿过马路时，系统可以识别出类型为人，类别为 类。给出的避障建议是紧急刹车，完全符合系统设计要求。图 系统运行结果 目标追踪能力本测试针对前方一直跟随的障碍物，当其他障碍物进入摄像区域后，是否可以对目标物体继续跟随。如图（）所示，本系统一直跟随目标车辆，当侧后方出现白色车辆后依旧可以跟随目标车辆，如图（）所示。（）障碍物进入前（）障碍物进入后图 系统运行结果 结束语本文基于 图像识别和 图像处理，完成了基于图像识别的辅助驾驶避障预警系统。可以针对道路上不同类型的障碍物给予驾驶员不同的避障建议，辅助驾驶员在第一时间做出正确处理，从而降低驾驶中发生危险引起交通事故的几率。参考文献 胡正云，仝秋红，刘帅 自动驾驶车辆车道偏离识别及预警方法研究 重庆交通大学学报（自然科学版），（）：牛洪超，胡晓兵，罗耀俊 基于 的自动驾驶下目标识别算法 计算机工程与设计，（）：，：陶文玲，侯冬青 与 设计师在 开发中的应用湖南邮电职业技术学院学报，（）：柳天宇，王克强 基于 算法的空中目标跟踪模拟 激光与红外，（）：，：，（）：智 能 计 算 机 与 应 用 第 卷