基于YOLOv2视觉的路标检测系统与应用.pdf

叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期鄢广东理工学院 2022 年大学生创新创业训练计划项目渊省级冤院疫熠先锋渊S202213720016冤基于 YOLOv2 视觉的路标检测系统与应用鄢随着人工成本的上涨袁机器视觉尧机器自动化等人工智能技术得以迅速发展遥当前在工业园区内袁不同厂房间的物料运输存在成本高尧效率低袁在大学校园内袁外卖体系存在人手不足尧时间长效率低等情况遥伴随着机器视觉技术的发展袁通过目标检测技术来解决无人驾驶途中分岔口的选择和转向问题袁 可以有效利用机器视觉解决无人物流车在工业园区和大学校园内物资运送的成本高和效率低的问题遥目前袁YOLO 目标检测算法被广泛应用于各种工业检测中遥文献咱1暂介绍了 YOLO 将目标检测概括为一个回归问题袁实现端到端的训练和检测袁由于其良好的速度-精度平衡袁近几年一直处于目标检测领域的领先地位遥 而在对 YOLO 目标检测算法的研究中袁文献咱2暂提出了通过改进特征图尧调整分辨率尧优化NMS尧替换目标函数尧融合多模态尧修改检测框等措施袁分析了改进算法与原算法的性能遥 针对上述提到的在工业园区和大学校园内物资运送的成本和效率问题袁 本文提出了一种基于YOLOv2 视觉的路标检测系统遥1路标检测系统设计本文提出的系统以 MaixBit 开发板作为视觉信息处理核心袁经 OV5642 摄像头对路面环境中的路标物进行图像采集袁再通过 YOLOv2 模型网络完成对特定路向标识物的模型训练遥 此外袁再以 STM32 作为驱动核心袁驱动编码电机尧超声波和陀螺仪等模块构成整个底层驱动系统遥 该系统利用 YOLOv2 视觉对路向标识物的检测袁来判断在分岔口的转向选择袁并通过路向标识物来合理地进行路径规划袁 以此来解决封闭园区内无人物流车和机器人的物资传输与外卖运送的效率低的问题遥 其系统工作流程图如图 员 所示遥2 系统硬件设计本系统的硬件主控模块主要包括 MaixBit 视觉信息处理模块袁STM32 驱动行驶控制模块和 OV564 摄像头图像采集模块遥MaixBit 视觉信息处理模块基于其边缘智能计算芯片 K210运作袁芯片内置了 64位的双核处理器袁拥有 8 M月 的片上 SRAM袁其中还内置了多种硬件加速单元袁 使得总算力最高可达1 tops袁在 AI 机器视觉方面拥有良好的应用效果遥STM32 驱动行驶控制模块是以 杂栽酝32F103在耘栽6 作为主控芯片袁它具备 8 个的定时器袁拥有 2 个 I2C 接口尧3 个 SPI 接口和 3 个 USART 接口袁且板载 SD 卡接口和多个 IO 口袁能够满足众多模块联合使用的需求遥 在本系统采用这个芯片模块去控制搭载的电机驱动板尧超声波尧陀螺仪尧温度计和显示屏模块袁来完成对机器物流车的驱动行驶遥OV5642 摄像头图像采集模块袁 该模块支持最大 500 万像素的图像袁且支持使用 VGA 时序输出图像数据和多种输出图像数据格式袁还可对采集到的图像进行补偿袁支持白平衡尧饱和度尧色度等基础处理遥 该模块主要应用于在封闭园区路段内对路向标识物的图像采集遥系统中三个主控硬件模块相互工作袁 先由图像采集模块对分岔口的路标物进行图像采集袁 图像信息经过转换调节后传输Road Sign Detection Method and Application Based on YOLOv2 Vision黄文冠林华沐周莹李沛濠周小燕刘昱林渊广东理工学院电气与电子工程学院袁广东 肇庆 526000冤摘要院针对于封闭园区内物资和外卖递送袁及疫情时期社区内消毒喷洒等情况下出现的人手不足和效率低的问题袁提出了一种基于 YOLOv2 视觉的路标检测系统来帮助无人小车和机器人实现在封闭园区内的自主巡航功能遥 该系统基于YOLOv2 算法实现袁拟通过机器视觉识别路标来解决自主巡航的问题遥 YOLOv2 算法通过 FPS 和 MAP 来表示路标检测的效率和准确性袁其整个 YOLOv2 网络结构由 19 个卷积层尧5 个池化层和批量标准化层构成特征提取网络遥 通过该网络结构将路标物体中心点与分割出的网络单元格进行匹配袁利用所得的 IOU 分数作为回归 Label 值袁再通过载入模型网络平台不断训练得到的路标识别模型袁完成机器视觉帮助无人物流车和机器人自主巡航运送物资的应用遥关键词院YOLOv2曰视觉检测曰路标识别曰自主巡航Abstract:In this paper,a signpost detection system based on YOLOv2 vision is proposed to help unmanned vehiclesand robots realize the autonomous cruise function in the closed park.Based on YOLOv2 algorithm,the system aims to solvethe problem of autonomous cruise by recognizing road signs through machine vision.The YOLOv2 algorithm uses FPS andMAP to represent the efficiency and accuracy of road sign detection.The obtained IOU score is used as the regression Labelvalue,and then the road sign recognition model is loaded into the model network platform and constantly trained to completethe application of machine vision to help the unmanned logistics vehicle and robot autonomous cruise transport materials.Keywords:YOLOv2,visual detection,road sign recognition,autonomous cruise图 1系统工作流程图135基于 YOLOv2 视觉的路标检测系统与应用图 3模型训练效果的二维曲线图给 MaixBit 视觉信息处理模块袁 通过其在训练平台中基于YOLOv2 目标检测算法训练出来的模型完成对路标物的识别与分类袁 将所识别到的路标物类别与其模型中的 Label 类别相对应袁然后再通过串口将不同类别的信息传输给 STM32 驱动控制端口遥 STM32 在接收到其发来的串口信息后袁对其进行判断便可知道真实路标所要表达的信息袁 从而指示电机驱动等模块行驶向正确的路径遥3系统软件设计YOLOv2 网络结构是在 YOLOv1 的基础上做出的极大改进袁解决了 YOLOv1 定位不准确的同时还提高了检测速度遥 其结构主要由 19 个卷积层尧5 个池化层和批量标准化层构成特征提取网络袁将获取到的目标特征信息复制成两份袁分别输入到卷积层和批量标准化层所搭建的分类器袁 以及残差块搭建的判别器中袁两者分别完成对目标位置的预测和类别区分遥YOLOv2 的准确率比 YOLOv1 的准确率高出了 10豫遥3.员 路标检测的模型训练与测试本文的路标检测系统是基于 YOLOv2 模型网络的训练下得到的模型遥 在训练网络平台上袁采用的模型类型是迁移训练袁它是基于已有的模型和参数进行的微调训练袁 因为要对路标进行分类袁 所以这是基于模型主干网络结构修改输出层得到的最终模型遥 其主干网络 mobilenet_0.75 是针对于手机或嵌入式的轻量级模型袁直接影响模型的大小和效果袁以及推理时间袁模型大小大致为 1.85 M月遥在训练网络内收集了 2000 张图片作为模型训练的数据集袁并如图 2 进行了分类框标袁不同的类别对应不同颜色的框标袁该数据图片集来源于 OV5642 摄像头对 3 种路标物在应用场景下的取样拍摄袁图片集再分别通过手动标注将 2000 张训练集图片均匀分配成三种标签袁 分别为院stop 渊停止冤尧left 渊左冤 和 right渊右冤袁 并随机抽取了其中 200 张作为验证集来验证训练模型的检测成效遥图 2路标数据集的分类标注在路标检测的训练过程中袁迭代曲线中有三个重要的参数袁分别为 loss渊损失函数计算的损失值冤尧acc渊平均准确度冤和val_acc渊验证集的预测正确率冤遥 这三个参数的变化代表了模型训练的效果袁分别对应于图 3 的二维曲线图遥 其中 loss 曲线仍在下降代表模型还可以继续收敛袁而 acc 曲线在上升袁则代表模型在训练集上收敛袁 但二者的持续收敛不一定代表模型的效果好遥val_acc 则作为模型训练效果的依据袁它代表在验证集上的路标检测效果的正确率袁但实际效果与验证集和实际场景相关遥 最终在多次迭代训练中得到的模型准确率保持在 0.9 上下(即90豫)袁且为了避免在检测过程中相似物的干扰袁在检测程序中设置当路标准确率达到 75%时显示预测框和类别标签等信息袁以此滤除大部分相似物的干扰和信息误检的可能遥3.圆 路标检测与驱动的程序设计本文中的路标检测系统的程序设计流程如图 4 所示袁 在路标检测与图像数据处理端袁先对所需器件进行初始化设置袁然后开启摄像头的视觉采集功能和 LCD 显示屏袁待到检测到路标物时运载模型文件袁 对所采集到的图像与模型内的路标分类标签进行匹配袁当检测图像中路标物的所属类别后袁将相应的指令信息通过串口发送到与之级联的 STM32 上遥图 4程序设计流程图STM32 作为行驶驱动端袁开机先对各种模块进行初始化启动曰然后在主循环内等待串口信息到达袁当串口接收到信息后便对指令信息进行判断曰最后执行路标指示的相应操作遥在执行的过程中袁 主循环内陀螺仪将辅助转轮保持正确的路线不产生过大偏移袁 其中的超声波模块还将防止道路上有行人路过而撞上行人遥 此外袁内置的温度计模块会实时检测内部温度袁当运行时间过久发热严重时袁及时向用户报备显示待机指令袁以便尽快进入待机状态来降低内部温度遥4路标检测系统的效果与应用在经过 YOLOv2 模型网络的训练且反复迭代 150 次后袁得到一个正确率较为稳定的路标检测模型遥 该模型在训练初期可从表 1 的训练数据上看出袁 第 员园 次迭代时的 loss 损失率仍然比较高袁在 圆园 次迭代时损失率大幅下降袁之后在后续的迭代过程中损失率缓慢减小直至稳定遥 同样其 acc 平均准确率很快便达到平稳袁代表着检测的误差率不会过大遥学习率逐渐下降代表着需要机器视觉进行训练学习的难度变小袁路标检测趋于稳定遥经过反复训练后的 val_acc 验证集检测准确率不断上升袁 在第60 次迭代后缓慢上升直至平稳遥表 1在训练日志上 6 次迭代的数据渊下转第 139 页冤136叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期渊上接第 136 页冤在训练网络中袁 验证集上路标检测正确率的效果也比较稳定袁即大多数路标检测的准确性在 83豫至 93豫之间波动袁不会对检测的识别物正确性概率产生较大的波动袁减少了错检的可能遥最后袁 如图 5 所示的路标检测的模型应用到了无人物流车的模型上袁其路标检测模型加载于 MaixBit 内运作袁将检测到的路标信息指令发送至 STM32 所控制的小车端袁控制小车在分岔口对路向标识物的判断以选择运送路径袁 实现最终的基于YOLOv2 的路标检测系统遥图 5路标检测系统实物应用模型通过该系统的应用袁 可实现在封闭园区中对物资的高效运送遥 如在工业产区中袁可将无人物流车架设在产区门口袁当物资放置完毕后启动该系统进行路径规划袁 无人物流车便可以在园区道路上放置的路向标识牌指引下走向正确的路径遥 同样在大学校园内袁服务机器人也可搭载该系统袁完成外卖点和宿舍门口之间外卖的点对点运送袁 解决校园内外卖人手不足和时效性低等问题袁以降低人工成本袁并给予所服务用户更加良好的体验遥5结束语本文基于 YOLOv2 视觉的路标检测系统主要应用于封闭园区内袁且为道路情况相对简单尧行人较少的园区道路袁例如大型的工业园尧物流园尧大型厂房和校园道路上遥 通过在分岔口中放置可移动的路向标识物来帮助那些路线较为固定的物资运送袁通过路标检测系统规划好行驶路径袁帮助用户高效快捷地完成运送工作遥今后将对应用场景存在的问题持续进行改进袁增加更多不同信息的路标物的识别检测袁解决转向角度不一的问题以及防撞抱死系统的设计袁并且拟引入激光雷达模块与该路标检测系统协同配合袁在视觉和激光相协同的作用下建立三维视图袁提高无人物流车和机器人在园区道路上的稳定行驶和多路径规划袁协助园区和院校迈向工业自动化和校园服务智能化的持续发展遥参考文献咱员暂邵延华袁张铎袁楚红雨袁等.基于深度学习的 YOLO 目标检测综述咱J暂.电子与信息学报袁2022袁44渊10冤院3697-3708咱圆暂耿创袁宋品德袁曹立佳.YOLO 算法在目标检测中的研究进展咱J暂.兵器装备工程学报袁2022袁43渊9冤院162-173咱猿暂张文乐.基于深度学习的交通路标图像识别研究咱D暂.西安院西安石油大学袁2020咱源暂蔡志宏袁赵慧袁周亮袁等.一种多线激光雷达室外小范围导航算法设计咱J暂.机械设计与制造袁2022渊4冤院258-261咱缘暂刘龙阁袁刘洋袁赵鹏袁等.基于麦克纳姆轮的自主巡航售货机器人设计咱J暂.电子技术与软件工程袁2017渊13冤院91咱远暂陈金龙.基于机器视觉的室内水质检测巡航车导航技术研究咱D暂.镇江院江苏大学袁2021咱苑暂钟传平.基于深度神经网络的微小路标识别技术研究咱D暂.成都院西南交通大学袁2018咱愿暂陈颖.自动驾驶技术研究现状及发展趋势咱J暂.能源技术与管理袁2021袁46渊3冤院34-37咱收稿日期院圆园圆圆原员圆原园怨暂键词及关键词突现分析遥 研究结果表明院1冤近 20 年关于扩散模型的研究数量整体呈上升趋势袁相关的研究领域和机构分布较广袁 部分领域和机构缺乏长期持续性研究袁使其研究不够充分遥研究领域的主要期刊分布数量基本可以反映该领域研究情况和主要研究观点遥2冤关键词主要是野扩散模型冶野扩散冶野数值模拟冶野吸附冶等10个方面遥 使用聚类工具进行聚类袁关键词聚类在野稳定性冶野创新扩散冶野数值模拟冶等这 10 个中心遥总体看来袁扩散模型研究离不开稳定性尧吸附性尧扩散系数和图像去噪遥3冤利用 Citespace 对发文量和机构进行合作交流分析袁可明显看出袁各机构之间的合作交流少袁导致研究领域发展趋势受到一定阻碍遥 值得一提的是袁在该领域研究并没有集于一体发展袁而是各方面都在不断探索应用扩散模型研究遥因此袁在现阶段的研究上可以从合作交流上突破袁加强研究机构之间联系袁促进研究团队之间合作袁使扩散模型研究在深度上尧广度上全面充分发展遥参考文献咱1暂王景瑞袁赵建世袁胡诗若.地下水溶质反常运移的分数阶对流扩散模型研究进展咱J暂.中国环境科学袁2022袁42渊12冤院5845-5855咱2暂杨迎春袁桂志国袁李化奇袁等.基于分数阶导数的自适应各向异性扩散图像去噪模型咱J暂.中北大学学报渊自然科学版冤袁2011袁32渊4冤院512-517咱3暂韦芳袁吴蕴宏袁滕燕飞袁等.基于 CiteSpace 的电子病历知识图谱可视化分析咱J暂.现代医院袁2022袁22渊9冤院1371-1375咱4暂吴鹏袁赵洪涌.基于空间异质反应扩散 HIV 感染模型的最优治疗策略咱J暂.应用数学学报袁2022袁45渊5冤院752-766咱5暂汤馨怡袁张峥.基于 CiteSpace 分析的国内外创新扩散比较研究咱J暂.经济研究导刊袁2022渊4冤院124-126咱6暂马战平袁霍海峰袁向红.具 Michaelis-Menten 型收获的 Leslie-Gow鄄er 捕食-食饵扩散模型的动力学和模式咱J暂.数学物理学报袁2022袁42渊5冤院1575-1591咱7暂郭宏刚袁杨芳.基于影响力的跨社交网络谣言扩散模型与抑制方法咱J暂.计算机应用与软件袁2022袁39渊7冤院73-79袁153咱8暂吴胤昊袁陈荣达袁汪圣楠袁等.随机利率随机波动率混合指数跳扩散模型下的期权定价咱J暂.系统科学与数学袁2022袁42渊8冤院2207-2234咱9暂徐浩袁钱爱兵袁朱学芳袁等.科学知识图谱绘制工具 CiteSpace 的学科领域扩散特征研究咱J暂.情报杂志袁2017袁36渊5冤院69-74袁68咱收稿日期院圆园圆圆-12-16暂139