基于深度学习的路面缺陷检测方法研究.pdf

中国新技术新产品2024 NO.4（下）-62-工 业 技 术道路使用过程中产生的表面缺陷会给公路监管和养护带来严重影响，增加事故率，发现越晚，维护成本越高1，因此道路缺陷的检测识别问题亟待解决。早期路面检测主要方式为传统图像处理技术和手动检测，方法费时、费力，精度和速度不佳，难以满足实际需求。而人工智能的迅猛发展在一定程度上缓解了上述问题，尤其是深度学习技术，极大提升了识别精度与速度。路面缺陷检测问题的关键是目标检测和图像分割。1 系统结构和原理基于深度学习技术的路面缺陷方法与系统如图 1 所示，具体原理包括以下 4 点。1）采集足量的路面缺陷图像，构建目标检测数据集。对图像进行处理后，构建图像分割数据集，本文使用成熟的数据集。2）建立目标检测模型和图形分割模型。采用 YOLOv5 方法构建目标检测模型，采用 U-MDN方法构建图形分割模型。基于目标检测数据集和图像分割数据集进行模型准确性验证。3）基于图像分割数据集进行路面缺陷轮廓提取。4）根据常规路面缺陷量化评定方法，进行长度、宽度、方向和面积等路面破损指标计算，对路面进行健康状况评定。2 路面缺陷目标检测建模路面缺陷图像目标检测是系统的关键环节，可以减少后续图像分割的计算量。YOLO 算法为经典路面缺陷图像采集方法，其中经过多次迭代的 YOLOv5 算法较成熟2。2.1 YOLOv5算法原理YOLOv5算法为经典One-stage识别网络，核心为网络化检测，通过将图形划分为 FF 个网格并计算目标落在某个网格的概率来完成预测，需要回归目标位置信息和 confidence值。其中，目标位置信息为（ox，oy，ow，oh），confidence 值如公式（1）所示。confidence=prde（Obj）IoUtruth prdeit （1）式中：confidence 值为目标覆盖网格的准确度；pred（Obj）为预测边框预测到某类目标 Obj 的概率，其取值有 1 和 0，其中落在预测边框内时为 1，否则为 0；IoUtruth predict为预测边框与真实边框间的交并比。2.2 YOLOv5算法结构YOLOv5 分为输入端、Backbone 网络、Neck 网络和输出端 4 个部分。输入端完成图形的预处理工作，包括缩放图片为网络输入大小、数据归一化以及数据增强等内容。其中数据增强采用 Mosaic 方式，对图像做随机缩放、剪裁和排布后进行拼接。数据增强完成后计算自适应锚框。Backbone 网络负责图像特征提取，提取图像深度语言信息并供 Neck 网络使用，公开 Focus 和 CSP 共 2 个结构。其中，Focus 结构用于图像切片操作，以加快训练速度，CSP结构用于提高卷积神经网络学习能力，降低计算量。Neck 网络负责对提取的特征进行深度融合，包括特征图金字塔网络（Feature Pyramid Network，FPN）和路径聚合网络（Path Aggregation Network，PAN）2 个结构。FPN 将深层特征携带的语义信息传递给浅层特征，PAN 将浅层特征的定位信息传递给深层，增加信息丰富性。输出端采用耦合式输出。其中分类损失和置信度损失均采用 BCE_Loss 损失函数，如公式（2）所示，定位损失采用CIoU_Loss 损失函数，如公式（3）所示。BCE_Loss=-（ylog（p（x）+（1-y）log（1-p（x）（2）式中：p（x）为预测数值；y 为真实数值。CIOULossIoUb bcvgt_,?122?（3）基于深度学习的路面缺陷检测方法研究韩东耀（山东远通公路工程集团有限公司，山东 滕州 277500）摘 要：路面缺陷会给公路监管和路面养护带来严重影响，本文针对目前路面缺陷图像采集方法成本高、效率低的问题，提出一种基于深度学习的路面缺陷检测方法。该方法包括目标检测和图像分割子系统，其中，目标检测使用 YOLOv5模型来提升路面缺陷位置识别精准率；图形分割使用“U”形多尺度扩张卷积网络（U-Multiscale Dilated Network，U-MDN）来增强路面缺陷深度特征提取。使用目标检测数据集和图像分割数据集进行试验，其中 YOLOv5模型精度为92%；比较 U-Net 模型和 U-MDM 模型，U-MDN 模型的 Precision、Recall 和 F1-score 指标综合表现最优，充分证明了该方法对路面缺陷检测具有有效性。关键词：深度学习；路面缺陷检测；目标检测；图像分割；YOLOv5模型；“U”形多尺度扩张卷积网络中图分类号：TP39文献标示码：A图 1 系统结构路面缺陷图像目标检测模型图像分割模型图像分割数据集路面缺陷轮廓提取路面缺陷量化评定方法路面健康状况评定模型准确性目标检测数据集中国新技术新产品2024 NO.4（下）-63-工 业 技 术式中：IoU 为预测边框与真实边框间的交并比；2（b，bgt）为预测框和真实框的中心点的欧式距离；c 为预测框和真实框最小闭包区域的对角线距离；v 为衡量长宽比的一致性的参数，如公式（4）所示；为衡量参数，如公式（5）所示。vwhwhgtgt?422?arctanarctan（4）?vIoUv1（5）式中：arctan（）为三角函数；wgt、w 分别为预测框和真实框宽度；hgt、h 分别为预测框和真实框高度。2.3 试验结果与分析2.3.1 试验设置试验基于 Python 的 Keras 框架构建分割网络，并进行训练与测试。电脑配置如下：CPU 为 i7-12700 KF，GPU 为 Nvidia GeForce RTX 3060Ti。为减少其他干扰，同一设置训练批次为16，训练设置 500epoch，初始学习率为 0.01，利用 SGD 优化器来更新网络参数。2.3.2 评价指标和数据集为保证试验的公平性和有效性，采用成熟的路面缺陷数据集 NHA12D，包括 448448=9889 幅，划分训练集 8405 幅，验证集 1484 幅，包括 12 类路面缺陷。本文使用 YOLOv5 模型、YOLOX 模型和 Faster RCNN 模型进行对比试验。将 Precision（精确率）、Recall（召回率）、AP（PR 曲线下面积）、mAP（m 个 AP值的均值）和 F1 score（值越大，表明模型效果越好）指标作为评价标准，各指标均可由 Precision 和 Recall 计算得出，AP 值越大，表明模型效果越好，如公式（6）公式（10）所示。TPPrecision=TP+FP（6）TPRecall=TP+FN（7）12Precision RecallF scorePrecisionRecal=+（8）APPrecisionM?（9）mAPAPN?（10）式中：TP 为交并比大于阈值的检测框数；FP 为小于阈值的检测框数；FN 为没有检测到的真实框数；M 为某一类别目标总数；N 为类别数。2.3.3 试验结果分析使用 3 种网络对 NHA12D 数据集进行训练和测评。本文以纵向裂缝、横向裂缝、车辙、坑洞、网状裂缝和井盖为例，设置标签 L1L6，3 种网络在 NHA12D 数据集合中的测试结果见表 1。表 1 目标检测模型结果比较网络APmAPL1L2L3L4L5L6YOLOv50.930.950.970.870.970.830.92YOLOX0.890.900.900.890.890.870.89Faster RCNN0.820.880.910.780.960.710.84由表 1 可以发现，Faster RCNN 模型收敛速度最快，约在80 代 mAP 值为 80%后逐步收敛；YOLOv5 模型约在 200 代mAP 值为 90%后逐步收敛；YOLOX 模型约在 400 代 mAP 值为 88%后逐步收敛。根据训练结果可知，YOLOv5 模型的训练速度较快，训练结果最好；Faster RCNN 模型训练速度快，但训练效果较差；YOLOX 模型训练效果较好，但训练速度过慢，因此 YOLOv5 模型总体效果最优。从表 1 可以发现，不同模型的 mAP 指标均超过 80%，效果良好。对于不同类别的缺陷，YOLOv5 均取得了优异效果，尤其是纵向裂缝、横向裂缝、车辙和网状裂缝等裂缝类型的目标，AP值均为最高。坑洞和井盖类目标的AP值仅次于YOLOX模型。综上所述，YOLOv5 模型训练和测试效果最优，其次为YOLOX 模型。3 路面缺陷图像分割路面缺陷图像分割是缺陷量化的关键，U-Net 模型为该领域关键模型，U-MDN 为该模型的变体。3.1 U-Net 和 U-MDM 模块U Net 的网络结构是含有下采样图像压缩路径（Contracting Path）和上采样图像扩展路径（Expanding Path）的对称“U”形结构。U Net将路面缺陷图像经过下采样展现环境信息，并将下采样各层信息和上采样输入信息相结合来还原细节信息，进而逐步还原图像精度，最终得到缺陷的二值图像。U-Net 中使用了 3 种不同数量的卷积模块，并在每个卷积模块的卷积层和激活函数间加入批归一化来避免梯度消失问题，其中激活函数使用了 ReLU 函数和 Sigmoid 函数，如公式（11）、公式（12）所示。ReLU xex?11e（11）Sigmoid xxxxx?max,0000 （12）式中：x 为经过卷积处理的数据值；ReLU 函数和 Sigmoid 函数均为激活函数。基于 U-Net 模块的“U”形多尺度扩张模块（U-Multiscale Dilated Network，U-MDM）网络结构，该模块融合 4 种不同尺度深度特征信息。U-MDM模块并非将U-Net模块下采样后获得的特征层直接进行融合，而是经历 16、8、4、2 共 4 种不同尺度的最大池化操作后再进行卷积操作，并在卷积模块和 ReLU 激活函数间进行批归一化操作，最后将下采样特征信息输入 U-Net 上采样结构进行融合，以便进一步提取更深层次的特征。3.2 U-MDN 网络U-MDN 网络是在 U-MDM 模块嵌入 U-Net 的上采样阶段中形成的。该网络以 U-Net 模型为主干提取多尺度特征，利用 U-MDM 进一步提取深层特征，将浅层特征和深层特征进行有效融合后得出最终预测结果。该网络由 3 种卷积模块组成，其输入图像类型为 2562563（宽 256 像素，高 256 像素，3个通道），输出特征类型为 2562562 的路面缺陷检测图像，均为黑白两值图像，分为缺陷区域和背景区域，其中白色区域代表缺陷，黑色区域代表背景。中国新技术新产品2024 NO.4（下）-64-工 业 技 术3.3 试验结果与分析3.3.1 试验设置试验基于Python的Keras框架构建分割网络并进行训练与测试，电脑配置如下：CPU 为 i7-12700 KF，GPU 为 Nvidia GeForce RTX 3060Ti。为减少其他干扰，同一设置训练批次为 16，训练设置 200epoch，初始学习率为 0.001，利用 Adam优化器来更新网络参数。3.3.2 评价指标和数据集为保证试验的公平性和有效性，采用成熟的路面缺陷数据集 CrackForest 和 CNRDD，数据集具体情况见表 2。本文将裂缝分为裂缝和非裂缝类型，为二分类问题，将 Precision、Recall 和 F1 score 指标作为评价标准，如公式（6）公式（8）所示。表 2 数据集比较数据集训练数据验证数据测试数据CrackForest330611021102CNRDD30226496483.3.3 试验结果分析为验证本方法的有效性，与目标分割领域常见的 U-Net模型和U-MDM模型进行比较和分析。不同模型、不同背景下的识别结果如图 2 所示。图 2 中的（1）（3）为 CrackForest数据集部分数据测试结果，图像中裂缝纤细且存在椒盐噪声干扰。（4）（6）为 CNRDD 数据集部分数据测试结果，背景较复杂，分别为阴影、车道线和雨雪异物。图 2 中的（a）为测试原图，（b）为 Ground truth，（c）为 U-MDN 模型测试结果，（d）为 U-MDM 模型测试结果，（e）为 U-Net 模型测试结果。不同模型不同指标的分析结果见表 3。由图 2 可知，U-MDN 模型对纤细裂缝的识别效果更好，复杂背景下的干扰能力更强，在阴影背景下对颜色较浅的裂缝识别较好，能够克服车道线、雨雪等异物带来的干扰并有效识别裂缝。表 3 不同模型不同指标比较方法CrackForestCNRDDPrecisionRecallF1scorePrecisionRecallF1 scoreU-Net0.6820.6160.6720.6660.5360.594U-MDM0.7130.6160.6610.7710.6980.733U-MDN0.6970.7010.6990.7680.7320.7503 种网络从 2 个数据集中得到的各种评价指标结果见表3。与其他网络相比，U-MDN 在不同数据集中的 Recall 和 F1 score 方面表现最优，Precision 也仅次于 U-MDM 模型，说明 U-MDN 模型的裂缝区分能力更强，对抗复杂背景干扰的能力更强，模型更稳健。4 结论本文提出了一种基于深度学习的路面缺陷检测方法。该方法通过 YOLOv5 模型进行目标检测，并通过 U-MDN 模型进行图像分割。本文利用目标检测集和图形分割集合验证模型有效性，结果表明，该方法充分考虑了目标检测和图像分割问题，比其他方法精准性更高，运行速度更快，抗干扰能力更强，提升了路面缺陷检测的实时性和准确性，可为后续的路面缺陷等级评定提供依据。参考文献1 交通运输部.2020年我国交通运输行业发展统计公报发布J.隧道建设，2021，41（6）：963 963.2 刘新海，聂忆华，彭小林，等.废瓷砖再生砂掺配率对砂浆强度的影响及机理分析 J.广东公路交通，2020，46（2）：1-5.图 2 不同数据集部分测试结果（1）（2）（3）（4）（5）（6）（a）（b）（c）（d）（e）