基于深度学习的桥梁裂缝的智能识别与分类.pdf

现代电子技术Modern Electronics TechniqueDec.2023Vol.46 No.242023年12月15日第46卷第24期0 引 言公路桥梁是我国交通基础设施体系中的一项重要组成部分。根据中华人民共和国交通运输部 2020 年交通运输行业发展统计公报1显示，截至2020年末，全国公路桥梁 91.28 万座，其中特大桥梁 6 444 座，大桥119 935座。目前，我国桥梁多为钢筋混凝土结构，约占桥梁总数2的90%，在长期使用的过程中，由于受到车辆荷载、温度变化及其他因素影响，局部路面出现不均匀沉降、平整度不足等状况，桥梁路面结构也出现了裂缝、保护层脱落等问题。有关专家认为，我国 40%的桥梁在役时间超过25年，属于“老龄化”桥梁3。由于桥梁沥青路面养护多次大修中的铣刨、重铺，使路面结构与设计初期存在较大差异，部分路段裂缝问题严重；其次，有些路面未能及时监测保养，路面表面损害严重，行车舒适性显著降低，路面使用寿命大打折扣。我国当前所使用的桥梁检测手段仍然是以传统的人工检测为主，但人工检测过程中需要占道施工，对行车安全以及检测人员的安全都造成了一定的威胁，而且人工检测的工作量大、效率低、主观性强，难以保证评估结果的准确性与客观性。深度学习被广泛用于机器视觉、自然语言处理等领域，相比传统目标检测算法，基于深度学习的目标检测DOI：10.16652/j.issn.1004373x.2023.24.024引用格式：彭家旭，顾亦然.基于深度学习的桥梁裂缝的智能识别与分类J.现代电子技术，2023，46（24）：135140.基于深度学习的桥梁裂缝的智能识别与分类彭家旭1，顾亦然1，2(1.南京邮电大学 自动化学院、人工智能学院，江苏 南京 210230；2.南京邮电大学 智慧校园研究中心，江苏 南京 210230）摘 要：桥梁裂缝检测是桥梁养护作业中的一项重要工作，但目前的裂缝检测效率和质量仍有待提高，难以满足未来大量桥梁检测的任务需求。为解决传统检测存在的桥梁裂缝识别效率低、效果不佳等问题，提出一种基于深度学习YOLOv5s的改进算法，实现对桥梁裂缝的识别与分类。对数据集进行分割与数据增强处理，再采用 Labelimg图像标注软件制作裂缝分割模型训练数据集，构建自注意力机制（CBAM）增强模型。实验结果表明，所提出的裂缝检测模型能够实现对桥梁裂缝高精度、高效率、智能化的检测，具有较强的研究价值和广泛的应用前景。关键词：桥梁检测；裂缝识别；YOLOv5s；Labelimg；数据增强；自注意力机制；智能化检测；桥梁养护中图分类号：TN911.7334；TP391.41 文献标识码：A 文章编号：1004373X（2023）24013506Deep learning based intelligent identification and classification of bridge cracksPENG Jiaxu1,GU Yiran1,2(1.College of Automation&College of Artificial Intelligence,Nanjing University of Posts and Telecommunications,Nanjing 210230,China;2.Research Center of Smart Campus,Nanjing University of Posts and Telecommunications,Nanjing 210230,China)Abstract：Bridge crack detection is an important task in bridge maintenance operations.However,the current efficiency and quality of crack detection still need to be improved,which has brought difficulties to meet the needs of a large number of future bridge detection tasks.In order to solve the problems of low efficiency and poor effectiveness in identifying bridge cracks in traditional detection,an improved algorithm based on deep learning YOLOv5s is proposed to achieve the recognition and classification of bridge cracks.The dataset is segmented and enhanced,Labelimg image annotation software is used to create a crack segmentation model to train the dataset,and construct a self attention mechanism enhancement model.The experimental results show that the proposed crack detection model can achieve highprecision,highefficiency and intelligent detection of bridge cracks,which has strong research value and broad application prospects.Keywords：bridge detection;crack recognition;YOLOv5;Labelimg;data enhancement;selfattention mechanism;intelligent detection;bridge maintenance收稿日期：20230607 修回日期：20230713135135现代电子技术2023年第46卷技术可以自动提取目标特征4，使特征表达更具鲁棒性和泛化性5。根据有无候选框生成阶段作为区分6，基于深度学习的目标检测技术主要分为双阶段模型和单阶段模型，双阶段模型有RCNN7、FastRCNN8、FasterRCNN9、MaskR CNN10等，单 阶 段 模 型 有 SSD11、DSSD12、YOLO13、YOLOv214、YOLOv315、YOLOv416等。YOLO系列目标检测算法是一种检测精度高、速度快且检测性能好的单阶段检测器。因此，本文以 YOLO系 列 中 较 为 先 进 的 YOLOv5s 算 法 作 为 研 究 对 象。YOLO的整体思想是将整张图作为神经网络的输入，把目标检测的整个过程转化成一个回归问题，通过搭建的整个网络结构输出目标的坐标位置和它属于哪一个类别，达到定位检测的目的。基于深度学习的目标检测弥补了传统方法硬件成本高、现场布置复杂等缺点，对桥梁检测工作有着较大的帮助，对未来桥梁养护也有着深远意义。1 YOLOv5s算法简介YOLOv5s网络是 YOLOv5系列中深度最小、特征图宽度最小的网络。YOLOv5s 由 Input、Backbone、Neck、Head四个部分组成，图1所示为YOLOv5s模型结构。Input 部分进行 Mosaic 数据增强、自适应锚框计算16及自适应图片缩放。Mosaic 数据增强丰富了图片信息，对图片随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好。自适应锚框计算针对不同的数据集都会有初始设定长宽的锚框，训练时网络在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数。自适应图片缩放可以有效提高检测的准确率。Backbone 部 分 主 要 包 含 CBL 模 块、Focus 模 块、CSP17模块、SPP18模块。CBL 为标准卷积模块，包括普通卷积层Conv、批量归一化层BN和Leaky ReLU激活函数层。Focus模块是对图片进行切片操作，具体操作是：在一张图片中每隔一个像素取一个值，类似于邻近下采样，可以得到 4张采样图片，4张图片互补。CSP模块是将原输入分成两个分支，分别进行卷积操作使得通道数减半，然后进行BottleneckN操作，Concat两个分支使得Bottlenneck CSP的输入与输出一样大小，让模型获得更多的特征。SPP模块称为空间金字塔池化模块，通过引入不同的池化核来提取特征图中不同大小目标的特征。Neck 部分采用了 PANET19的结构，将特征金字塔网络（Feature Pyramid Network,FPN）20和路径聚合网络（Path Aggregation Network,PAN）19相结合。其中，FPN是自顶向下，将深层的语义特征传递到浅层，增强了语义信息，不过对浅层的定位信息没有传递；PAN 是对FPN的补充，在FPN的后面添加了一个自底向上的金字塔结构，将浅层的强定位特征传递到深层。FPN和PAN又被称为“双塔战术”。Head 部分中的主体部分就是3 个 Detect检测器，即利用基于网格的 anchor在不同尺度 的 特 征 图 上 进 行 目 标 检 测 的 过 程。采 用 了Boundingbox损失函数和NMS非极大值抑制。非极大值抑制主要是用来抑制检测时出现冗余的框。2 YOLOv5s算法改进对现有 YOLOv5s 网络结构进行扩展和优化，使网络结构更简单、更轻量。本文在删除部分网络结构的同时，还嵌入了注意力机制模块，这样网络就不会失去太多的准确性。CBAM模块是一种的轻量级注意力模块，模块结构如图2所示，可以在通道和空间维度上增加关注。CBAM 模块由通道注意力模块和空间注意力模块两个独立的子模块组成，分别在通道和空间中添加注意力模块，不仅可以节省参数和计算能力，还可以确保它作为即插即用模块插入现有的网络架构中。CBAM 模块在特征映射上操作，通过通道注意力模块和空间注意力模块更细化地提取特征，提高了模型的表现力。本文在 C3模块中相邻的瓶颈模块之间增加了 CBAM 模块，如图3所示，该模型称为YOLOv5sCBAM模型。通道注意力模块是将特征图输入注意力模块，分别为全局绘制池和空间最大池，然后分别变成两层神经网络，将这两个特征与 Sigmoid 激活函数相结合，得到权系数 Mc，将权系数与原有特征相乘可以得到新特征 F，公式如下：Mc(F)=()MLP()AvgPool()F+MLP()MaxPool()F =()W1()W0()Fcavg+W1()W0()Fcmax （1）式中MLP为多层感知机。空间注意力模块是对获得的新特征进行平均池化和最大池化，然后把两个输出进行拼接，经过一个 77的卷积层和 Sigmoid 激活函数后，得到权系数 Ms，再乘以F得到F。最后，将F与原始输入相加，得到整个CBAM输出的新特征，公式如下：Ms(F)=()f7 7()AvgPool()F,MaxPool()F =()f7 7()Fsavg;Fsmax （2）式中：AvgPool为平均池化；MaxPool为最大池化。136第24期图2 CBAM模块结构图3 本文CBAM模块结构由于原 YOLOv5模型结构大、层次深、参数多，考虑到模型的运行速度和精度，本文进行了信道修改和删除，删除了所有不重要的信道。但修改强度大、删除层数多会影响精度，因此，增加了CBAM注意机制模块，确保在信道删除时通过调整注意力机制将模型保持到一定的精度。YOLOv5s 模型的输入图像大小一般为 640640、8080、4040、2020。特征图中的1个像素分别对应输入图像的 8、16 和 32 个像素。当输入图像被下采样到2020时，图像中小于 3232的像素目标会被压缩到小于一个像素点的大小，这样目标的特征信息会丢失更多，所以用 2020 的检测头检测更小的目标是没有意义的。桥梁路面裂缝经图像拍摄上传后，表现效果差异不大，属于小目标检测，由于大目标检测探头检测小目标意义不大，因此删除了 2020大目标检测头，针对优化后目标尺寸的特点，YOLOv5sCBAM 模型结构如图 4所示。3 实验结果及分析3.1 数据集制作本文研究对象为国内低等级桥梁，制作训练集的过程中，从Github上的桥梁裂缝数据集的开源图片中选出了 2 068张裂缝的图片。由于数据集中的图像不足，因此本文决定使用数据增强来扩展数据集。本文将原始图像按 1 4的比例展开，对图像进行裁剪、旋转、平移、镜像等操作，最终获得 8 190 张图片。5 000张图分配给训练集，2 200张分配给验证集，990张图1 YOLOv5s模型结构彭家旭，等：基于深度学习的桥梁裂缝的智能识别与分类137现代电子技术2023年第46卷分配给测试集。由于图像分辨率较高，直接计算量过多，因此将图像缩放到 416416像素，并尽可能添加不同尺度和角度的桥梁裂缝，这样有利于避免训练过程中出现过拟合现象，从而提高网络的泛化能力。根据要求，将图像转换为 VOC 格式，使用 LabeImg标注工具对图像进行标注，将桥梁裂缝的位置标记为横向裂缝（Transverse）、纵向裂缝（Longitudinal）、斜向裂缝（Oblique）以及交叉裂缝（Cross），如图5所示。图4 YOLOv5sCBAM模块结构图5 数据集标注3.2 实验环境本实验使用的配置如下：计算机系统使用 Windows 10，CPU使用AMDRyzen55600X，GPU使用NVIDIAGeForceRTX3070，深度学习框架使用Pytorch。3.3 模型对比表 1所示为不同模型大小对比。从表 1可以看出，改进后的YOLOv5s模型网络结构层数减少了36.3%，参数数量减少了 77%，都比原来的 YOLOv5s 模型要小得多，加快了运算速度，更容易放入移动设备中进行检测。3.4 评价指标实 验 采 用 准 确 率（Precision,P）、召 回 率（Recall,R）、F1分数（F1 score）平均精度均值和每秒帧数来评价目标检测方法的性能。准确率、召回率和F1分数计算公式如下：138第24期P=TPTP+FP（3）R=TPTP+FN （4）F1=()P-1+R-12-1=2PRP+R（5）式中：TP为被正确检出的目标数；FP为被错误检出的目标数；FN表示未被检测出的目标数。表1 模型大小对比模型YOLOv3YOLOv5YOLOv5sCBAM层数333283180参数量61 949 1497 063 5421 603 300GFLOPS156.416.410.73.5 实验结果分析本文YOLOv5sCBAM的检测效果如图6所示，利用改进模型对桥梁裂缝进行检测和分析，裂缝识别结果如表2所示。从实验结果来看，改进的基于YOLOv5s的桥梁裂缝检测模型对不同裂缝类型具有较好的识别效果。模型总体准确率、召回率和F1分数分别为91.8%、92.6%和 91.9%。综上，YOLOv5sCBAM模型可实现高精度的裂缝识别定位。图6 YOLOv5sCBAM的检测效果3.6 YOLOv5sCBAM与其他算法对比本文算法与其他目标检测算法的对比实验结果来自 COCO 数据集，将 YOLOv5sCBAM 与其他目标算法的性能进行对比，结果如表 3 所示。表2 裂缝识别结果%评估参数准确率召回率F1分数裂缝类型横裂缝92.593.192.2纵裂缝92.195.394.1斜裂缝91.390.490.5交叉裂缝90.785.689.5总体91.892.691.9表3 不同模型的算法检测结果对比模型YOLOv3YOLOv4YOLOv5sYOLOv5sCBAM参量/MB87.662.37.25.1mAP0.5/%82.369.178.185.3FPS96.299.1110.2116.5由表 3可知：YOLOv5sCBAM和 YOLOv3、YOLOv4、YOLOv5s 相比，模型参量更小，mAP 有明显提升，并且FPS 也 有 提 升。实 验 结 果 表 明，相 较 于 YOLOv3、YOLOv4这些模型较大的算法并综合模型参数量、mAP和 FPS 来看，本文模型 mAP0.5 为 85.3%，相比改进前提高了 7.2 个百分点，模型参量仅为 5.1 MB，相比之前降低了 2.1 MB，YOLOv5sCBAM 有更好的性能，在删除通道并嵌入CBAM注意力模块后，增强了模型在复杂背景下的特征提取能力，提高了模型的检测精度，并且提升了检测速度。4 结 语本文针对桥梁裂缝检测模型内存消耗大、实时性差等问题，提出了一种基于 YOLOv5s 目标检测模型的改进轻量级检测模型，在尽可能保证精度的前提下，根据目标尺寸的特点删减网络层数、裁剪通道、增加注意力机制。实验结果表明，与其他主流的目标检测算法相比，本文方法具有更高的准确率和效率，可以大大提高桥梁裂缝检测的效率和安全性。参考文献1 交通运输部.2020年交通运输行业发展统计公报N.中国交通报，20210519（2）.2 雷俊卿.桥梁安全耐久性与病害事故分析J.中国安全科学学报，2005（2）：8993.3 李志鹏.桥梁健康监测数据可视化系统设计与实现D.重庆：重庆大学，2016.4 崔艳海.基于深度学习的道路目标检测算法研究D.镇江：江苏大学，2020.彭家旭，等：基于深度学习的桥梁裂缝的智能识别与分类139现代电子技术2023年第46卷5 NI K,LIU P,WANG P.Compact global local convolutional network with multifeature fusion and learning for scene classification in synthetic aperture radar imagery J.IEEE journal of selected topics in applied earth observations and remote sensing,2021,14:72847296.6 ZHAO Yongqiang,RAO Yuan.A survey of deep learning object detection methods J.Journal of image and graphics,2020,25(4):629654.7 GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation tech report(v5)C/2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014:580587.8 GIRSHICK R.FastR CNN C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.S.l.:IEEE,2015:14401448.9 REN S,HE K,GIRSHICK R,et al.Faster RCNN:towards realtime object detection with region proposal networks J.IEEE transactions on pattern analysis&machine intelligence,2017,39(6):11371149.10 HE K,GKIOXARI G,PIOTR D,et al.Mask RCNN J.IEEE transactions on pattern analysis&machine intelligence,2017,42(2):386397.11 BERG A C,FU C Y,SZEGEDY C,et al.SSD：single shot MultiBox detector C/European Conference on Computer Vision.Cham:Springer,2016:2137.12 FU C Y,LIU W,RANGA A,et al.DSSD：deconvolutional single shot detector EB/OL.20220518.https:/arxiv.org/abs/1701.06659.13 REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,realtime object detection C/Computer Vision&Pattern Recognition.Piscataway:IEEE,2016:779788.14 FARHADI A,REDMON J.YOLO9000:better,faster,stronger C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu,HI,USA:IEEE,2017:72637271.15 REDMON J,FARHADI A.YOLOv3:an incremental improvement EB/OL.2022 05 18.http：/arxiv.org/abs/1804.02767.16 BOCHKOVSKIY A,WANG C Y,LIAO H Y M.Yolov4:Optimal speed and accuracy of object detection EB/OL.20220617.https:/arxiv.org/abs/2004.10934.17 WANG C Y,LIAO H Y M,WU Y H,et al.CSPNet:a new backbone that can enhance learning capability of CNN C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.S.l.:ACM,2020:390391.18 HE K,ZHANG X,REN S,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition J.IEEE transactions on pattern analysis and machine intelligence,2015,37(9):19041916.19 LIU Shu,QI Lu,QIN Haifang,et al.Path aggregation network for instance segmentation C/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,UT,USA:IEEE,2018:87598768.20 LIN T Y,DOLLR Piotr,GIRSHICK R,et al.Feature pyramid networks for object detection EB/OL.20220807.https:/ui.adsabs.harvard.edu/abs/2016arXiv161203144L/abstract.作者简介：彭家旭（1996），男，硕士，研究方向为计算机视觉。140