基于语义分割的沥青路面裂缝智能识别.pdf

DOI:10.3785/j.issn.1008-973X.2023.10.018基于语义分割的沥青路面裂缝智能识别杨燕泽1，王萌1，刘诚2，徐慧通1，张小月1(1.北京交通大学土木建筑工程学院，北京100044；2.中路高科交通检测检验认证有限公司，北京100088)摘要：针对传统的沥青路面人工检测效率低、缺乏客观性的弊端，提出基于语义分割的沥青路面裂缝智能识别方法.综合考虑数据集规模、算法种类、网络种类及深度、损失函数类型的影响，对22个语义分割模型开展对比研究，提出适用于较大、较小规模数据集的优选裂缝智能识别方案及对应模型.基于北京六环高速公路沥青路面，建立裂缝分割数据集 R-Crack，对提出的智能识别方案进行应用检验，并自动量化裂缝参数.结果表明：检测准确率最高达到 83.45%，通过对比人工及自动化检测方式获得的裂缝参数计算结果，裂缝长度和宽度平均误差分别为 2.84%和 2.39%，提出的智能识别方案为高速公路等场景下沥青路面裂缝的智能检测实践提供依据.关键词：沥青路面检测；交并比；语义分割；裂缝识别；卷积神经网络中图分类号：U416.217文献标志码：A文章编号：1008973X（2023）10209412Intelligent identification of asphalt pavement cracks based onsemantic segmentationYANGYan-ze1,WANGMeng1,LIUCheng2,XUHui-tong1,ZHANGXiao-yue1(1.School of Civil Engineering,Beijing Jiaotong University,Beijing 100044,China;2.China Road Transportation Verification and Inspection Hi-Tech Co Ltd.,Beijing 100088,China)Abstract:An intelligent method of asphalt pavement crack recognition based on semantic segmentation wasproposed,solvingtheshortcomingsoftraditionalmanualinspectionofasphaltpavement,suchaslowefficiencyandlackofobjectivity.Consideringtheeffectsofdatasetsize,algorithmtype,networktypeanddepth,andlossfunctiontype,theoptimalcrackintelligentidentificationschemeandcorrespondingmodelwereproposedforbothlargeandsmallscaledatasetsthroughthecomparativestudyof22semanticsegmentationmodels.BasedontheasphaltpavementofsixthringroadinBeijing,thecracksegmentationdatasetR-Crackwasestablished.Theproposedintelligent identification scheme was verified and the crack parameters were automatically quantified.Resultsshowedthatthehighestdetectionaccuracyreached83.45%.Theaverageerrorsofcracklengthandwidthwere2.84%and2.39%respectivelybycomparingthecalculationresultsofcrackparametersobtainedthroughmanualandautomatic detection methods,The proposed intelligent recognition scheme provided a basis for the intelligentdetectionpracticeofasphaltpavementcracksintheexpresswayandotherscenes.Key words:asphaltpavementinspection;intersectionoverunion;semanticsegmentation;crackidentification;convolutionneuralnetwork截至 2021 年末，全国公路通车总里程达到528.07 万km，是 1984 年末的 5.7 倍，其中高速公路通车量达 16.91 万km，总里程规模位居世界第一.沥青公路凭借养护便捷、行车舒适的优点，在高速公路里程中占比超过90%1-2.随着运营年限的增加，运营维护问题突显，沥青公路整体面临收稿日期：20221205.网址： 3 类10：图像分类、目标检测、语义分割.其中语义分割方法能够根据图像的纹理、场景和其他高层语义特征得出图像本身需要表达的信息，因此在裂缝检测中，语义分割能够在像素级别分割出裂缝的本身形态，有利于裂缝参数的量化计算11.众多学者基于语义分割地进行路面裂缝检测研究，不断提升裂缝检测精度及效率.翁飘等7提出改进的全卷积神经网络(fullyconvolutionalnet-works,FCN)，并基于自建的路面数据集对改进前后的网络分别进行测试，一定程度上提升了复杂环境下路面裂缝的检测精度.李刚等12提出改进轻量级全局卷积网络的路面裂缝图像分割模型，在公开路面裂缝数据集上对比测试并验证其精度.陈泽斌等13基于自建路面裂缝数据集，运用改进后的 U-net 模型实现对路面裂缝图像自动识别并验证其识别精度.阙云等14为了解决现有路面裂缝图像采集数量不足的问题，提出以改进型U-Net 网络模型为基础的路面裂缝语义分割算法.Zhang等15基于提出CrackNet-R 递归神经网络(recurrentneuralnetwork,RNN)算法，并采用该算法对测试沥青路面裂缝图像进行识别.Xiang 等16提出新的路面裂缝检测方法，是基于端到端（end-to-end）、可训练的深度卷积神经网络，在公开数据集上进行训练和测试，结果表明它可以准确识别裂纹特征.Yang 等17提出用于路面裂缝检测的特征金字塔分层增强网络，运用特征金字塔融合上下文信息，可以准确识别裂缝.针对沥青路面裂缝检测的相关领域，仍存在以下问题：1）大多路面裂缝识别的研究并未区分具体路面场景，针对沥青路面研究及应用少，普通路面主要分为水泥混凝土、沥青路面，两者图像背景特征差别大，混合检测会影响自动识别结果的精度；基于语义分割的裂缝检测研究多分布在混凝土结构表面18-21，针对沥青路面场景下的应用研究较少.2）缺乏公开沥青路面裂缝数据集.训练卷积神经网络需要大量标签样本，分割数据集获取难度高，虽然已有学者开展沥青路面裂缝识别相关研究，但是公开数据集仍然较少，裂缝标签样本数据匮乏.3）缺乏针对沥青路面裂缝智能识别及量化的整体解决方案.对于裂缝自动识别的研究通常是基于文章中的特定数据集、网络结构开展，多数方法及模型尚未开源不便于实用，因此很难对不同研究进行复现，得到统一的性能评估.基于裂缝提取结果，满足实际应用需求的裂缝参数自动量化研究开展较少.基于以上问题，提出适用于沥青路面裂缝、基于语义分割的智能识别及量化的整体解决方案.通过对开源的语义分割方法进行优化，得到兼顾效率及精度的沥青路面裂缝自动识别模型，便于实际应用需求.为了满足不同训练需求，分别针对较大规模数据集及较小规模数据集提供优选方案及对应模型.基于北京六环高速公路沥青路面，建立沥青路面裂缝分割数据集R-Crack，对提出的智能识别方案进行应用检验.通过对比分析人工、自动化检测方式获得的裂缝参数量化结果，为沥青路面场景下的裂缝自动化检测实践提供参考依据.1基于深度学习的语义分割方法Csurka 等22提出语义分割（imagesemanticsegmentation，ISS），目标是图像中的每个像素进行分类，并将其标记为不同的语义类别.与传统的图像分割相比，ISS 的特点是为图像中的目标加上一定的语义信息11.在沥青路面检测中，对裂缝目标进行像素级的分割，有利于裂缝参数（长度、宽度）的计算.常用语义分割算法的优势及存在的问题总结如表 1 所示.第10期杨燕泽,等：基于语义分割的沥青路面裂缝智能识别 J.浙江大学学报：工学版,2023,57(10):20942105.20952语义分割模型对比研究对语义分割算法的统一性能评价仅在包含多类目标的公开数据集（例如 PASCALVOC201223、COCO24、Cityscapes25）上开展过.在对裂缝自动识别的众多研究中，模型的评估通常是基于特定的数据集、网络结构等开展，并且多数方法及模型尚未开源，不便于实用，因此很难对不同研究进行复现，从而得到统一的性能评估.基于相同的实验室条件，综合考虑数据集规模、网络结构、损失函数种类的影响，开展针对沥青路面裂缝，基于开源语义分割方法的对比研究，得到一套兼顾效率与精度的沥青路面裂缝自动识别模型的优选方案.2.1 数据集信息选用公开沥青裂缝分割数据集CRACK500和GAPS38417,26，裂缝分别来自天普大学主校区沥青路面和德国沥青路面，数据集信息及示例如表 2和图 1 所示.表 2 中 N 为图片数量，R 为分辨率，Bit 为位深度.将原始图像及标签图划分成训练集、验证集和测试集.如表 3 所示.由于 2 个数据集裂缝图像特点存在差异，为了保证测试的公平性，从 2 个数据集中分别挑选约 60 张共同作为试验测试集.表 3 语义分割比选试验的数据集划分情况Tab.3Datasetpartitioningofsemanticsegmentationcompar-isonexperiments数据集训练集数验证集数测试集数CRACK5001753430123GAPS384407411232.2 对比方案设计选择表 1 所示的 4 种语义分割算法 U-Net、DeeplabV3、PSPNet、DeeplabV3+，同时综合考虑数据集训练规模、算法种类、训练网络种类及深度、训练损失函数的影响，开展沥青路面裂缝自动化检测模型的对比研究如图 2 所示.对比思路GAPS384CRACK500U-NetDeeplabV3+DeeplabV3PSPNetPSPNetU-NetDeeplabV3+DeeplabV3数据集规模的影响网络种类及深度的影响损失函数的影响算法种类的影响CrossEntropyLossDice LossFocal Loss图 2 语义分割模型的对比方案Fig.2Comparativeschemesforsemanticsegmentationmodels2.3 试验参数设置模型训练的硬件设备是基于实验室的 Linux表 1 常用语义分割算法总结11Tab.1Summaryofcommonsemanticsegmentationalgorithms时间网络特点及优势存在问题2014FCN传统CNN的全连接层换成卷积层，可以对图像每个像素预测，实现任意分辨率图像的输入.结果准确率不高，忽略像素之间的关系，缺乏空间一致性2015U-Net采用编码器解码器结构、跨层连接编码解码过程、网络结构小、模型简洁.速度慢，检测区域重叠，定位准确性和上下文信息不兼得2016PSPNet在FCN基础上，提出金字塔池化模块，融合局部和全局获取上下文信息，提取特征多样化，包含不同尺度信息.分割目标的边界信息部分易丢失2017DeepLabV3改进金字塔池化模块，使用全局平均池化结构，强调全局特征.分割速度慢，对小尺寸物体分割效果不明显2018 DeepLabV3+新的编码-解码结构实现多尺度上下文信息探索，优化运行速度.表 2 训练裂缝数据集的基本信息Tab.2Basicinformationoftrainingcrackdatasets数据集名称NRBitCRACK50026224464036024GAPS3842750954064054044024(a)CRACK500(b)GAPS384图 1 训练裂缝数据集的示例Fig.1Exampleoftrainingcrackdatasets2096浙江大学学报（工学版）第57卷操作系统，采用的是 PyTorch-1.9.1 深度学习框架、CUDA10.2 和 python3.8 的运行环境，在 NVIDIATeslaV100-SXM2-16GB 上完成网络的训练与测试.优化算法选择随机梯度下降法27（stochasticgradientdescent,SGD）来最小化目标函数 D，批量大小（batch-size）设置为 16，迭代训练共 400 次.在训练过程中，学习率根据训练情况动态调整，采用 Poly 指数变换策略28，使得学习率不断衰减.在本试验中，初始学习率为 0.001，控制曲线形状的权重值 W 为 0.9.lrnew=lrbase1EEmaxW.(1)lrnewlrbase式中：为新的学习率；为基准学习率；epoch为迭代次数；Emax为最大迭代次数；W 值为控制曲线的形状（通常大于 1）、人为设定的超参数.1）模型训练流程及各关键步骤的逻辑关系如图 3 所示.对输入的数据集通过统一的预处理，增广数据及特征信息.2）采用统一数据集格式完成对不同算法的训练，训练迭代完成后.3）得到的语义分割模型，并在测试集上检验训练效果.数据集数据预处理调整大小随机裁剪随机翻转扭曲图像归一化图像统一数据集格式训练集验证集测试集建立网络结构初始化训练模型语义分割模型测试结果评估结果评估模型迭代完成?是否调整模型测试图 3 语义分割模型训练的流程图Fig.3Flowchartofsemanticsegmentationmodeltraining2.4 评估指标为了衡量不同语义分割模型的作用及贡献建立混淆矩阵，其中 TP 为模型预测是裂缝且真实值也是裂缝的像素个数、FP 为模型预测是裂缝但是真实值不是裂缝的像素个数、FN 为模型未预测是裂缝但是真实值是裂缝的像素个数、TN 为模型未预测是裂缝且真实值的确不是裂缝的像素个数.基于 TP、FP、FN、TN，采用模型评价指标包括交并比（intersectionoverunion,IOU）、准确率 Acc、召回率 Re、F1 分数、精确率 Pr5，其定义及计算公式如表 4 所示.3试验结果及分析在训练结束后，各数据集基本信息如表 5 所示.表中加粗部分的模型为较小规模数据集.由于分割数据集构建成本大，缺乏足够的数据量，而且不同研究所采用的数据集规模不一，需要考虑表 4 试验评估指标的汇总Tab.4Summaryofevaluationindicatorsforexperiment指标全称指标说明计算公式IOU交并比：真实分割与系统预测分割结果两个几何之间的比值，IOU越大，表明模型预测到的裂缝与实际图片中的裂缝重合度越高.IOU=TP(TP+FP+FN).Accuracy准确率：预测正确的像素数量占实际总像素数量的比例，Accuracy值越大，表明模型在像素预测的正确性上效果更好.Acc=TP+TNTP+TN+FP+FN.Precision精确率：针对预测结果而言的，用于衡量模型检测的有多准，一类实际像素个数占模型预测为该类像素的比例，值越大，表明模型在该类的所有预测结果中正确预测的可能性越高.Pr=TPTP+FP.Recall召回率：针对原样本而言的，用于衡量模型预测结果有多全面的指标；其含义是在实际为正的样本中被预测为正样本的概率.Re=TPTP+FN.FscoreF1分数：它以两者同样重要的权重将召回率和精确率加权调和平均，该值越大，表明被正确识别的裂缝像素越多，分割结果越精确，效果越好.F1=2PrRePr+Re.Loss损失函数值：损失函数是表现深度学习模型预测和实际数据差距程度的函数，其值越小，说明模型的鲁棒性越好.第10期杨燕泽,等：基于语义分割的沥青路面裂缝智能识别 J.浙江大学学报：工学版,2023,57(10):20942105.2097数据集规模对模型训练的影响.将训练数据集大于 1000 张的 CRACK50017作为较大规模数据集，小于 1000 张的 GAPS38426作为较小规模数据集，通过分别训练及测试，考虑不同的训练因素（网络结构、损失函数），针对较大规模数据集及较小规模数据集分别提供优选方案及对应模型.3.1 训练数据集规模及算法的影响在不同数据集规模下，不同算法训练得到的模型 14 和 912 的损失函数曲线及准确率曲线，如图 4 所示.随着迭代次数增加，模型损失函数值均随迭代次数不断下降，没有出现过拟合、欠拟合的情况，表明试验超参数选择合理.模型 3、4、11、12 训练过程稳定，特点在于准确率高，损失函数值低，特征学习能力强.PSPNet 和 DeepLabV3+算法在模型学习中，调用金字塔模块，兼顾裂缝目标物浅层和深层的特征融合，促进局部信息的上下文的获取.在训练结束后，模型测试结果对比如表 6 所示.模型 14 的交并比、准确率、F1 分数远大于模型 912，说明较大规模的数据有助于模型的表征学习，从而提高裂缝的预测精度.模型 1、9 测试交并比最低，分别为 57.78%和 69.59%，表明裂缝的预测结果图与原标签图重合度最低，这是由于表 5 训练模型的基本参数Tab.5Basicparametersoftrainingmodel模型序号算法网络损失函数占用空间/MB训练时长/h模型模型1（M1）U-NetR101CROSS4233.12模型模型2（M2）DeepLabV3R101CROSS6654.56模型模型3（M3）PSPNetR101CROSS5193.43模型模型4（M4）DeepLabV3+R101CROSS4783.53模型模型5（M5）DeepLabV3R101FOCAL6653.79模型模型6（M6）PSPNetR101FOCAL5192.72模型模型7（M7）DeepLabV3R101DICE6653.78模型模型8（M8）PSPNetR101DICE5192.71模型9（M9）U-NetR101CROSS42311.68模型10（M10）DeepLabV3R101CROSS66520.40模型11（M11）PSPNetR101CROSS51915.80模型12（M12）DeepLabV3+R101CROSS47814.21模型13（M13）DeepLabV3R101FOCAL66518.29模型14（M14）PSPNetR101FOCAL51912.98模型15（M15）DeepLabV3R101DICE66518.23模型16（M16）PSPNetR101DICE51915.86模型17（M17）DeepLabV3R50CROSS51813.40模型18（M18）DeepLabV3R18CROSS1064.80模型19（M19）DeepLabV3MV2CROSS1424.10模型20（M20）PSPNetR50CROSS3738.20模型21（M21）PSPNetR18CROSS97.64.90模型22（M22）PSPNetMV2CROSS1043.90010020030040000.040.080.120.16n0100200300400n0100200300400n(b)较大规模数据集Loss0.960.970.980.991.00AccAcc00.10.20.30.40.5Loss0.880.900.920.940.960.981.00 M1_U-Net M2_Deeplab V3 M3_PSPNet M4_ Deeplab V3+M9_U-Net M10_Deeplab V3 M11_PSPNet M12_ Deeplab V3+M9_U-Net M10_Deeplab V3 M11_PSPNet M12_ Deeplab V3+M1_U-Net M2_Deeplab V3 M3_PSPNet M4_ Deeplab V3+0100200300400n(a)较小规模数据集图 4 不同算法模型的准确率和损失曲线Fig.4Accuracyandlosscurvesofdifferentalgorithmmodels2098浙江大学学报（工学版）第57卷U-Net 在获取图像的上下文信息和保证定位准确性上是不兼得的，因此识别效果较差.模型 3、4 及 11、12 的准确率、F1 分数均较高且相差不大.在图像的所有像素点中，准确率最高为 86.76%，表明最高有 86.76%的像素被正确预测.在保证精度的前提下，模型 3、11 的 FPS 值最大，分别为0.85、0.71帧/s.PSPNet 算法得到的模型在检测精度和效率上有较好的性能.在裂缝可视化结果中，将模型 9、12 分割结果的误识别（FN）、漏识别（FP）面积进行对比，如图 5 所示，在测试集上准确率最高的模型 12“FN+FP”总面积比准确率最低的模型 9 小得多，表明DeepLabV3+漏识别、误识别像素点更少，分割结果与人工标签图更吻合，分割效果更好.图中中间部分 FN 为被误识别为背景的实际裂缝区域，上下部分 FP 为被识别在裂缝范围内实际没有裂缝的区域.模型 912 的裂缝分割结果可视化结果如图 6所示，通过对比，模型 11、12 分割出的裂缝，边缘轮廓更精确，连续性更好，表明 DeepLabV3+和PSPNet 对沥青路面裂缝的分割确实有更好的效果.(a)原图(b)标签图(c)模型 9(d)模型 12FNFPFNFP图 5 模型 9、12 模型分割结果误识别（FN）、漏识别（FP）面积对比Fig.5Areacomparisonoffalseidentification(FN)andmissingidentification(FP)ofmodelsegmentationresults(a)原图(b)标签图(c)模型 9(d)模型 10(e)模型 11(f)模型 12图 6 模型 912 裂缝分割结果可视化Fig.6Model912visualizationofcracksegmentationresults通过批量对比模型 912 在检测集中其余所有的裂缝分割结果图，得到分割结果中产生 FP 区域（模型预测为裂缝但是真实值不是裂缝的像素个数）的 2 个主要原因.1）裂缝周围部分区域存在类似于裂缝的划痕、树枝阴影、标线等特征物被模型误识别.2）模型对于裂缝目标边缘的分割不够精确，导致识别到的裂缝稍宽于实际裂缝，产生误识别的裂缝像素.3.2 不同损失函数的影响选用交叉熵（cross-entropyloss）、骰子（diceloss）、Focal 损失函数（focalloss）29-30分别作为模型训练的损失函数，对比训练及测试结果.选用交叉熵（cross-entropyloss）、骰子（diceloss）、Fo-cal 损失函数（focalloss）29-30分别作为模型训练的损失函数，对比训练及测试结果.交叉熵损失函数是一种主要用于度量 2 个概率分布间的损失函数；骰子损失函数由 Dice 系数衍生而来，是一种区域相关的损失函数；Focal 损失函数是一种通过对交叉熵损失增加权重，在一定程度上解决正负样本分布不均衡问题的损失函数.训练结束后，损失函数、准确率曲线如图 7 所示，测试结果如表 7所示.在小数据集上，模型 2、3 的训练准确率更高，表明运用交叉熵损失函数模型训练效果更好，检测精度更高.在大数据集上，模型 10、11、13、14 训练效果相近，运用交叉熵损失函数和 Focal 损失函数都获得了较好的训练及检测效果.但模型 7、8、15、16 训练曲线整体波动幅度大，且准确率较低，表明不论在大数据集上还是小数据集上，使用骰子损失函数训练的模型学习效果较差，训练过程不稳定且学习不充分.从原理上看，由于交叉熵函数是对所有样本的损失函数值求平均，而骰子损失函数在裂缝检表 6 不同算法模型的测试结果Tab.6Testresultsofdifferentalgorithmmodels分类模型序号IOU/%Acc/%F1/%FPS（帧/s）小数据集M1_U-Net57.7859.160.620.45M2_DeeplabV363.9165.620.710.87M3_PSPNet65.5167.180.730.85M4_DeeplabV3+65.2767.290.730.69大数据集M9_U-Net69.5985.090.790.87M10_DeeplabV375.6086.300.840.56M11_PSPNet75.1286.760.840.71M12_DeeplabV3+75.7086.660.850.63第10期杨燕泽,等：基于语义分割的沥青路面裂缝智能识别 J.浙江大学学报：工学版,2023,57(10):20942105.2099测的应用中（“背景”和“裂缝”2 类像素），小目标“裂缝”作为正样本，一旦有部分像素预测错误，便会导致骰子损失函数值发生大幅度的变动以及梯度的剧烈变化.由于模型没有得到充分的学习，交并比与其他模型相比低 3%6%，识别结果与标签图重合度低.3.3 不同网络深度及种类的影响裂缝检测任务首要满足的应是模型识别精度，选择 3.2 节中精度更高的交叉熵损失函数作为对不同网络深度及种类影响研究中的不变量，由于较小规模数据集训练所得的模型识别精度低，因此不再进一步开展不同网络深度及种类的影响研究.ResNet31是深度学习领域十分常用的特征提取网络，由何凯明团队于 2015 年提出.它主要通过构建残差块解决了堆叠式的传统深层网络带来的模型识别准确度“退化”问题.在裂缝自动化检测的实际应用中，大多数会使用移动或者嵌入式设备，因此对轻量级网络的研究十分必要.Google 团队在 2018 年提出深度可分离卷积网络MobileNetV232，引入线性瓶颈(linearbottleneck)和逆残差(invertedresidual)来提高网络的表征能力，在计算量与内存占用上远小于标准卷积.选用 ResNet101、ResNet50、ResNet18 以及更轻量化的 MobileNetV232-334 种网络结构开展对比研究，训练损失函数、准确率曲线如图 8所示，模型测试结果如表 8 所示.在相同的试验条件下，运用不同种类和深度的网络进行模型训练，获得不同的训练效果.随迭代次数增加，模型 18、21 分别与模型 10、17 和模型 11、20 相比，训练准确率低，损失函数值高，更深的特征提取网络（ResNet50、ResNet101）能够让模型获取更好的训练效果.原因是网络深度的增加能够增加网络的非线性映射次数，使得网络能够提取具有更好判决信息的特征，从而提升模型性能.简单地增加网络的深度并不会自动提高模型的精度，例如模型 10、17 和模型 11、20，分别采用 50 层的 ResNet 网络和 101 层 ResNet 网络，但准确率与损失函数值接表 7 不同损失函数模型测试结果Tab.7Testresultsofdifferentlossfunctionmodels分类模型序号IOU/%Acc/%F1/%FPS（帧/s）小数据集M2_CROSS63.9165.620.710.87M5_FOCAL61.7063.330.680.87M7_DICE58.1359.630.640.87M3_CROSS65.5167.180.730.85M6_FOCAL63.2965.610.700.82M8_DICE58.3459.750.630.85大数据集M10_CROSS75.9086.300.850.56M13_FOCAL77.4185.380.860.55M15_DICE71.6084.760.810.55M11_CROSS75.1286.760.840.71M14_FOCAL74.1385.310.830.67M16_DICE69.9484.710.790.670100200300400nAccAcc0.9700.9750.9800.9850.9900.995Acc01002003004000.9700.9750.9800.9850.9900.99501002003004000.900.920.940.960.981.00Acc01002003004000.900.920.940.960.981.00 M2_CROSS M5_FOCAL M7_DICE M3_CROSS M6_FOCAL M8_DICE M10_CROSS M13_FOCAL M15_DICE M11_CROSS M14_FOCAL M16_DICEnnn(b)较大规模数据集(a)较小规模数据集图 7 不同损失函数模型的准确率曲线Fig.7Accuracycurvesofdifferentlossfunctionmodels2100浙江大学学报（工学版）第57卷近，训练效果相差不大.因此在数据集数量小且条件有限的情况下，运用浅层网络例如 ResNet-50、ResNet18，也能达到较好的训练效果.模型19、22 与其他模型相比，训练速度最快，内存占用少.此外，在对测试集图像的推理中，分别达到了3.50 和 4.56 帧/s 速度，远快于其他模型.表明采用轻量级的深度可分离卷积网络 MobileNetV2 训练得到的模型，在损失一定精度的同时，训练时间、检测速度以及内存占用等方面均占有较大优势，能够满足实时检测的场景需求.3.4 语义分割模型优选方案基于对比结果，提出分别适用于较大规模数据集及较小规模数据集的优选智能识别方案及对应模型如图 9 所示，供高速公路等场景下沥青路面裂缝的自动化检测实践提供参考.在没有计算资源等条件的限制下，检测精度最高的两个优选方案模型分别是 DeepLabV3+_R101_CROSS 和PSPNet_R101_CROSS.4基于语义分割模型的应用检验基于北京六环高速公路检测车数据，构建裂缝分割数据集 R-Crack.对提出的智能识别解决方案在实际的沥青路面裂缝上开展应用检验.并基于检验结果及实际检测需求，完成裂缝参数的量化与对比分析.4.1 沥青路面裂缝智能识别应用整体方案沥青路面语义分割的裂缝自动化识别及量化整体解决方案如图 10 所示.利用裂缝数据集进行语义分割模型训练，将所得模型应用于已有路面数据的检测中，分析测试结果及裂缝参数的量化结果、精度及效率是否满足实际工程需求.若是满足，所得模型可以用于生产检测；若是不满足，则需要通过改进算法、数据集质量及规模等方式循环优化模型，直到满足为止.4.2 沥青路面裂缝数据集构建在语义分割模型的训练过程中，模型的训练质量与预测结果的准确率与所选数据集质量息息相关23.公开的路面裂缝分割数据集如 CRACK-500、GAPS 等17,26，图像数量少，需要采用旋转、镜像等图像处理操作来增广数据集.由于不同地表 8 不同网络结构模型的测试结果Tab.8Testresultsofdifferentnetworkstructuremodels模型序号IOU/%Acc/%F1/%FPS/（帧s1）M10_R10175.9086.300.850.56M17_R5077.9686.720.870.62M18_R1872.7285.530.822.67M19_MV275.6785.590.853.05M11_R10175.1286.760.840.71M20_R5076.2085.690.851.03M21_R1874.7586.230.842.67M22_MV271.7182.090.814.56AccAcc00.10.20.30.40.5Loss01002003004000.900.920.940.960.981.0000.10.20.30.40.5Loss0.900.920.940.960.981.000100200300400n01002003004000100200300400nnn(b)PSPNet(a)DeeplabV3 M10_R101 M17_R50 M18_R18 M19_MV2 M10_R101 M17_R50 M18_R18 M19_MV2 M11_R101 M20_R50 M21_R18 M22_MV2 M11_R101 M20_R50 M21_R18 M22_MV2图 8 不同网络结构的准确率和损失曲线Fig.8Accuracyandlosscurvesofdifferentnetworkstructures第10期杨燕泽,等：基于语义分割的沥青路面裂缝智能识别 J.浙江大学学报：工学版,2023,57(10):20942105.2101区拍摄条件、路面环境不同，同样是沥青路面，但裂缝特征存在明显差异.因此本文针对现有公开数据集不足的问题，结合北京六环高速公路的实际数据，制作沥青路面裂缝分割数据集 R-Crack，数据集构建流程如图 11所示，收集共有路面采集车原始图像有 4479 张，通过 540p640p（长宽分配根据实际裂缝形态确定）的滑动窗口滑动筛选并裁剪出形态不一、且包含不同特征物的裂缝，得到共468张清晰的裂缝图像.通过图像标注软件 Labelme 制作人工标签，人工判断并选取较为准确的裂缝区域，对于裂缝的边缘像素，本着“疑有从无”的原则进行添补，得到更为精确的裂缝标签，保证检测精度.将裂缝像素标记为 255，背景像素标记为 0，得到自制沥青路面裂缝数据集R-Crack，数据集标注结果如图 12 所示.4.3 裂缝参数计算基于实际应用需求，对识别结果进行参数量化的计算与分析，包括提取裂缝中轴骨架、裂缝长度、宽度的计算.大规模数据集小规模数据集裂缝数据集实时检测(追求效率)后处理检测(追求精度)后处理检测(追求精度)实时检测(追求效率)计算资源有限计算资源无限制计算资源有限计算资源无限制PSPNet_R101_CROSS扩充数据集PSPNet_R101_CROSSDeepLabV3+_R101_CROSSDeepLabV3+_R101_CROSSPSPNet_R50_CROSSPSPNet_MV2_CROSSPSPNet_MV2_CROSS优选方案DeepLabV3+_R50_CROSS大于 1 000 张小于 1 000 张图 9 沥青路面裂缝智能检测模型的优选方案Fig.9Optimalschemeofintelligentdetectionmodelforasphaltpavementcracks待检测路面图像采集数据清洗数据集规模相机标定裂缝数据集裂缝识别模型训练满足要求?裂缝参数量化参数误差分析网络结构损失函数算法优化模型检测速度测试结果公开数据集模型测试自建数据集应用检测是否图 10 沥青路面裂缝自动化识别及量化整体解决方案的流程图Fig.10Flowchartofintegratedsolutionforautomaticidentificationandquantificationofasphaltpavementcracks道路采集车路面原图(分辨率:40962000 pixel)滑动窗口滑动人工辅助查看筛选并裁剪Labelme 软件裂缝像素:255背景像素:0裂缝标签图“R-Crack”裂缝分割数据集裂缝图像(分辨率:540640 pixel)图 11 沥青路面裂缝分割数据集 R-Crack 构建的流程图Fig.11FlowchartofasphaltpavementcracksegmentationdatasetR-Crackconstruction(a)原始裂缝