基于YOLO-UNet算法的路面病害定量分析方法.pdf

2023年/第8期 物联网技术智能处理与应用Intelligent Processing and Application1410 引 言近年来，机器学习在人脸识别、医学等领域的应用越来越广，而在交通领域的应用相对不成熟，本团队前期的实验中使用了神经网络 YOLOv5 进行路面病害检测，取得了较好的应用成果1。但是，神经网络的学习能力对图像的质量依赖过大的问题始终困扰着广大研究者，为了适用公路养护行业定量分析的需求，本文在原有成果的基础上，提出了一种YOLOv5 与 U-Net+相结合的多神经网络算法，提高了神经网络的抗干扰能力，降低了网络对于图像的要求，其训练速度和检测准确率都非常可观。1 YOLOv5 与 U-Net+算法本文所用的 YOLO-U-Net 多神经网络是由 YOLOv5 和U-Net+两个网络共同组成，组成示意图如图 1 所示。图 1 多神经网络融合整体框架YOLOv5 是由 Ultralytics 团队发布的一种单阶段目标检测算法，具有均值权重文件更小、训练时间和推理速度更短的特点2。YOLOv5 的结构如图 2 所示。图 2 YOLOv5 网络模型架构Input 端包括 Mosaic 数据增强、图片尺寸处理、自适应锚框计算三部分3。Mosaic 数据增强将 4 张图片进行组合，达到丰富图片背景的效果；图片尺寸处理对不同长宽的原始图像自适应地添加最少的黑边，统一缩放为标准尺寸2；在训练过程中将输出的预测框与真实框进行比对，通过计算两者的差距，反向更新网络参数4，然后通过迭代获取锚框值。Backbone 包 含 BottleneckCSP 和 Focus 模 块。这 两 个模块的主要作用都是通过减少计算量提升速度。其中 Focus结构最重要的是切片结构，以 YOLOv5s 的结构为例，原始6086083 的图像输入 Focus 结构，采用切片操作，先变成30430412 的特征图，再经过一次 32 个卷积核的卷积操作，最终变成 30430432 的特征图5。在 Neck 结构中，采用了自顶向下的 PAN（路径融合）结构，缩短低层特征流向预测层的路径；在 Head 结构和 Prediction 结构中，对特征进行整合6。基于 YOLO-UNet 算法的路面病害定量分析方法冷志鹏，孙文瑞，朱立伟，李宏伟（浙江杉工智能科技有限公司，浙江 宁波 315000）摘 要：针对基于传统神经网络实现路面病害检测的方法中受背景干扰多、病害信息弱等缺点的影响较大的问题，文章使用 YOLOv5 算法与 U-Net+相结合的多神经网络模型 YOLO-UNet，提高了神经网络的抗干扰能力，降低了网络对于图像的要求。同时通过这种方法可获得病害的具体信息，进而有利于病害的定量分析及路面状况评估，对公路的养护提供了强大的数据支撑，推动了公路养护行业智能化发展进程。关键词：YOLOv5；U-Net+；路面病害检测；定量分析；神经网络融合；状况评估；图像预处理中图分类号：TP391.41；U418.6 文献标识码：A 文章编号：2095-1302（2023）08-0141-03收稿日期：2022-09-16 修回日期：2022-10-27基金项目：宁波市交通运输科技项目（202101）DOI：10.16667/j.issn.2095-1302.2023.08.038物联网技术 2023年/第8期 智能处理与应用Intelligent Processing and Application142U-Net+网络是一种旨在克服以上限制的新型通用图像分割体系结构，如图 3 所示，由一系列不同深度的 U-Net 组成，其解码器通过重新设计的跳接以相同的分辨率进行密集 连接7。图 3 U-Net+网络结构2 多神经网络融合（1）数据集。本文所用的病害数据集的来源有三种，第一部分是公共数据集，即 Global Road Damage Detection Challenge，该公共数据集来自日本的路面病害数据集，其中包含了 10 506 张路面病害图片，用作训练集和测试集。第二部分是通过网络收集获得的路面有关图像。第三部分则是通过高清摄像拍摄所得，合作养护单位提供含有病害的路面图像，图片的病害类型主要分为横向裂缝图片、纵向裂缝图片、龟裂图片和坑槽图片等 4 种类型。（2）图像预处理。由于获得图像的途径不统一，导致图像质量、大小、像素、场景出现差异，规格不一的图像会极大地提高神经网络的学习难度和模型训练的复杂度。因此，需要对图像进行预处理。通过预处理将上述分布的样本数据能够聚集起来，集中于某一特定的区域内8，图 4 是预处理前后的对比图。图 4 路面病害图片预处理前后对比图（3）数据集增强。样本量的多少直接关系到神经网络的鲁棒性，模型的泛化会存在较大的误差。为了解决这一问题，本文采用了图形变换技术，例如翻转、平移、旋转等操作，达到了增加样本量的目的。（4）数据标记。YOLOv5 网络和 U-Net+网络在输入路面病害图像之前，都需要对路面病害图像进行标记，对于公共数据集而言，不必再次标记，而对于自己采集到的路面病害图片，由于 YOLOv5 和 U-Net+的网络适应能力不同，则需要借助不同的工具进行标注。本文实验中，针对 YOLOv5，采用 labelImg 工具对样本进行标记，而 U-Net+网络输入图像的标记则有所不同，使用 labelme 进行样本标注。分别生成以 XML 和 Json 为后缀的数据集，用于网络的训练。（5）网络训练。训练数据集并计算损失函数，使用梯度下降的方法对卷积神经网络 YOLO-UNet 进行训练，观察精准率、召回率、mAP 图像，当模型收敛时停止训练。（6）效果测试。经过 YOLOv5 和 U-Net+两个神经网络得到路面病害检测的最终结果过程如图 5 所示。对输出结果进行二值图像细化骨架提取，也叫二值图像细化（Thinning）。这种算法能将一个连通区域细化成一个像素的宽度9。通过这种方式检测到的病害信息可以最大程度地凸显病害目标的轮廓，减小计算量。图 5 多神经网络融合后输出结果3 病害定量分析及状况评估利用多神经网络输出的二值化图像，可以计算路面病害的长度和面积，计算轮廓的周长和面积分别用到了 OpenCV中的 cv2.arcLength 和 cv2.contourArea 方法。但这种方法获得的是像素长度和像素面积，实际长度与面积需要通过进一步变换得到。可以通过距离或参照物换算出实际 1 cm 对应多少像素，再根据比例关系进行换算，计算病害的长度和 面积。同时，本文可以用上面产生的二值化图像，来计算裂缝的最大宽度。这里采用的计算轮廓最大内切圆的算法是通过OpenCV 的 cv2.pointPolygonTest 方法来判断轮廓内部的圆散集是否与轮廓内切，取最大值，即裂缝的最大宽度。通过获取的病害信息对路面状况进行评估，评估方法是利用层次分析法的原理，将路面状况评估相关元素分为不同的病害类型，进行定性和定量的分析。赋予每个病害类型不同的权重，最后综合不同类型的得分获得最终评估分数。具体权重赋值见表 1 所列。2023年/第8期 物联网技术智能处理与应用Intelligent Processing and Application143表 1 沥青路面常见损坏类型和权重病害名称程 度权重 wi计量单位龟裂轻0.6面积/m2中0.8重1.0块状裂缝轻0.6面积/m2重0.8纵向裂缝轻0.6长度/m（影响宽度 0.2 m）重1.0横向裂缝轻0.6长度/m（影响宽度 0.2 m）重1.0坑槽轻0.8面积/m2重1.0松散轻0.6面积/m2重1.0沉陷轻0.6面积/m2重1.0车辙轻0.6长度/m（影响宽度 0.2 m）重1.0波浪拥包轻0.6面积/m2重1.04 结 语本文针对神经网络实现路面病害检测的方法中受背景干扰多、病害信息弱等缺点影响较大的问题，使用 YOLOv5 算法与 U-Net+相结合的多神经网络模型 YOLO-UNet。介绍两种神经网络融合的原理，以及训练测试的整体流程，最后针对网络的输出，使用 OpenCV 相关方法对病害进行定量分析，并介绍了一种通过层次分析法分析路面平整度的方法，获得的成果将为公路养护提供强大的数据支撑，推动公路养护领域实现机器换人的发展进程。参考文献1 朱立伟，李宏伟，冷志鹏.公路路面智能检测与管理系统研究 J.物联网技术，2021，11（8）：60-61.2 杨其晟，李文宽，杨晓峰，等.改进 YOLOv5 的苹果花生长状态检测方法 J.计算机工程与应用，2022，58（4）：237-246.3 谈世磊，别雄波，卢功林，等.基于 YOLOv5 网络模型的人员口罩佩戴实时检测 J.激光杂志，2021，42（2）：147-150.4 孙许鸽.基于机器视觉的鸡蛋外观品质检测技术研究 D.郑州：河南农业大学，2021.5 朱泽宇.基于复杂场景的跌倒行为检测研究 D.兰州：兰州大学，2021.6 张宇.基于深度学习的带钢表面缺陷检测方法 D.西安：西安工业大学，2021.7 雷智华.基于深度学习的医学图像分割技术研究与应用 D.成都：电子科技大学，2021.8 温佳乐.基于卷积神经网络的公路路面缺陷识别研究与实现 D.广州：广东工业大学，2019.9 杨益梅.基于全卷积网络的制动盘裂纹检测方法研究 D.北京：北京交通大学，2020.10李鹏，王青宁.基于FNLM和Frangi滤波的路面裂缝分割算法J.现代电子技术，2022，45（14）：69-73.数字化教学管理需求，尝试将本文系统在相关领域内推广 使用。参考文献1 龙瑶，余安顺.基于智慧教室环境下中职学生课堂体验研究：以“双师型”名师示范教学巡讲视频为例 J.内江科技，2023，44（1）：89-90.2 杨佳佳，黄莹.应用型高校混合式智慧教学模式探索与实践：以“家庭社会工作”课程为例 J.林区教学，2022，38（12）：63-68.3 章樊，黄佳程，罗婷婷，等.新文科背景下“商务英语高级视听说”智慧课堂建设途径探究及优化 J.湖北开放职业学院学报，2022，35（17）：180-182.4 缪玉周，周书民，高金贺，等.基于课堂教学改革为导向的高校智慧教室建设探析：以东华理工大学为例 J.东华理工大学学报（社会科学版），2022，41（4）：397-400.5 丁贵娥，陈代明，彭珊.基于人工智能的高职会计教育现代化智慧课堂教学模式构建 J.质量与市场，2022，42（14）：139-141.6 曹志宏，柯凤，亢彤琳.三维主体视角下陕西高校智慧教室使用现状及发展路径探索 J.西安电子科技大学学报（社会科学版），2022，32（2）：118-128.7 王妍莉，毛晓龙，李茂兰.智慧教室的研究现状、热点和趋势分析：基于 CiteSpace 的量化研究 J.阅江学刊，2022，14（2）：145-155.8 石亚鹏，唐洪刚.多媒体教室光环境与投影清晰度浅析：以贵州大学智慧教室为例 J.灯与照明，2022，46（1）：11-15.9 梅武成，赵筱斌，谢佳文.智慧教室管控融合平台助力智慧教室管理：以浙江建设职业技术学院为例 J.智慧中国，2022，8（2）：48-50.10 徐菲菲.智慧教室环境下小学课堂师生互动行为特征研究 D.重庆：重庆师范大学，2021.作者简介：陈 林（1980），女，湖北枣阳人，本科，研究方向为教学管理。（上接第140页）