多层次特征融合和注意力机制的道路裂缝模型_宋榕榕.pdf

2023，59（13）公路作为国民基础设施的重要组成部分，已然成为现代社会发展的命脉。据政府统计公报显示，截至2020年底公路总里程达到519.81万公里，呈现近5年数值新高1。强大的公路干网为社会建设与经济发展提供坚实保障，而良好的路面状况为安全出行奠定切实基础。然而受使用年限、施工工艺以及自然环境等多重因素的影多层次特征融合和注意力机制的道路裂缝模型宋榕榕1，2，王财勇1，2，田启川1，2，张琪31.北京建筑大学 电气与信息工程学院，北京 1000442.建筑大数据智能处理方法研究北京市重点实验室，北京 1000443.中国人民公安大学 信息网络安全学院，北京 100038摘要：针对现有裂缝检测方法易受各类噪声干扰从而导致误检及小尺度裂缝漏检的问题，提出一种基于多层次特征融合和注意力机制的道路裂缝检测模型，采用编解码结构DeepCrack网络作为基本架构。设计单尺度多层次特征融合模块应用于特征提取，通过多级网络表征增强裂缝的细节特征。同时在编解码端对称融合部位，引入改进后的三重注意力模块，从通道、高和宽3个维度进行跨维度交互，凸显裂缝特征和抑制噪声特征，并进行跨维度的特征融合，以获得更具互补性的裂缝特征。实验表明，在道路裂缝数据集CRKWH100上，模型在多个边缘评估指标上实现了当前最优，同时在Stone331石材裂缝数据集中也验证了该模型的泛化性。关键词：深度学习；编解码网络；裂缝检测；特征融合；注意力机制文献标志码：A中图分类号：TP391.41doi：10.3778/j.issn.1002-8331.2203-0531Road Crack Model Based on Multi-Level Feature Fusion and Attention MechanismSONG Rongrong1，2,WANG Caiyong1，2,TIAN Qichuan1，2,ZHANG Qi31.School of Electrical and Information Engineering,Beijing University of Civil Engineering and Architecture,Beijing100044,China2.Beijing Key Laboratory of Intelligent Processing for Building Big Data,Beijing 100044,China3.Schoo of Information and Cyber Security,People s Public Security University of China,Beijing 100038,ChinaAbstract：In order to solve the problem that existing crack detection methods are easily interfered by various noises,which leads to false detection and missed detection of small-scale cracks,this paper proposes a road crack detection modelbased on multi-level feature fusion and attention mechanism,and adopts the codec structure DeepCrack network as thebasic framework.A single-scale multi-level feature fusion module is designed for feature extraction,and the detailedfeatures of cracks are enhanced through multi-level network representation.At the same time,the improved triple atten-tion module is introduced into the symmetric fusion part of the codec end,and cross-dimensional interaction is carriedout from the channel,height and width dimensions to highlight crack features and suppress noise features,and cross-dimensional feature fusion is carried out to obtain more complementary crack features.Experiments show that the modelachieves the current best in several edge evaluation indexes on the road crack data set CRKWH100,and the generalizationof the model is also verified in the Stone331 stone crack data set.Key words：deep learning;encoder-decoder network;crack detection;feature fusion;attention mechanism基金项目：国家自然科学基金（62106015，61906199）；北京建筑大学青年教师科研能力提升计划项目（X21079）；北京建筑大学“建大英才”培养工程（JDYC20220819）。作者简介：宋榕榕（1996），女，硕士研究生，研究方向为计算机视觉、深度学习；王财勇（1990），通信作者，男，博士，讲师，CCF会员，研究方向为生物特征识别、模式识别，E-mail：；田启川（1971）男，博士，教授，CCF会员，研究方向为人工智能、模式识别、计算机视觉与图像处理等；张琪（1988），女，博士，讲师，研究方向为生物特征识别、深度学习、计算机视觉等。收稿日期：2022-03-28修回日期：2022-05-18文章编号：1002-8331（2023）13-0281-08Computer Engineering and Applications计算机工程与应用281Computer Engineering and Applications计算机工程与应用2023，59（13）响，导致公路频繁出现以裂缝为主的表面缺陷，特别是对于高速公路、高架桥梁等，一旦出现较严重裂缝，将极大地降低来往车辆的安全系数。此外，从投资成本角度考虑，及时快速地发现并修复道路缺陷有利于降低运营成本，减少经济损失。因此，进行路面缺陷检测是非常必要的。人工路面检测通常由专业人员沿线行驶获取缺陷信息，这种方式不仅效率低、成本高，并且缺乏统一的评估规范标准导致检测结果主观不统一。计算机视觉技术的出现给公路质检带来了新的机遇，通过机器检测有效地避免了人为误差，提升了检测的精度和效率。传统的视觉技术基于经典的图像处理方法，例如，Zhu等人2将多种边缘检测算子Canny、Roberts和Sobel等应用到裂缝检测，并分析了各自的特点以及应用场景；Akagic等人3通过对直方图的观察改进阈值分割算法，从而进行裂缝检测；Song等人4和Fernandez等人5将Canny算子与阈值分割算法相结合，提升裂缝检测的性能；小波变换6和数学形态学7方法也被分别应用到裂缝检测领域。这些方法通常依赖专家知识和经验，且在处理背景复杂、噪声较大的图像时，很难获得准确的结果。近年来，深度学习在图像分析、人脸识别、医学影像等领域的成功也启发了裂缝检测的研究。深度学习可以提取多尺度的上下文语义信息，为缺陷判别提供了有力的支撑。目前大多数道路裂缝检测模型采用经典的 CNN 网络作为研究基础，例如 U-Net8、SegNet9等。Chen等人10和Song等人4采用SegNet进行裂缝缺陷分割。Lau等人11提出了一种改进的U-Net路面裂缝分割网络。Zou等人12提出了一个改进SegNet的DeepCrack裂缝检测网络，采取编码端与解码端相结合的思路进行多尺度融合与多重监督学习，在多个数据集上均实现了最好的效果。DeepCrack能够有效抑制噪声对于裂缝检测的影响，但仍然存在小尺度裂缝漏检与外观相似的噪声误检的问题。针对 DeepCrack 存在的问题，本文对其进行了改进，首先应用单尺度多层次特征融合模块增强裂缝的细节特征，然后嵌入三重注意力模块到DeepCrack的编解码端特征融合部分，以实现特征权重重新分配和互补融合，从而有力地减少了噪声的干扰，同时提升了小尺度裂缝的有效检测。本文的主要贡献列举如下：（1）提出了一种基于多层次特征融合和注意力机制的道路裂缝检测模型。针对小尺度裂缝漏检的问题，设计单尺度多层次特征融合模块，从而充分地提取裂缝细节信息，有效地降低小尺度裂缝特征丢失的概率。（2）针对噪声干扰的问题，在编解码特征融合部分引入轻量型三重注意力机制。通过通道、高和宽跨维度交互实现特征权重重新分配和互补融合，凸显裂缝特征，同时有效抑制噪声特征，从而减少裂缝误检的发生。（3）提出的模型在公开道路裂缝数据集CRKWH100上达到了当前最好的裂缝边缘检测性能，并在Stone331石材裂缝数据集上验证了本模型的泛化性。1网络模型1.1模型建立本文采用当前道路裂缝检测效果最好 DeepCrack作为基础架构网络。DeepCrack是一个深度全卷积裂缝分割网络，主要由编码端、解码端、特征融合三部分构成。编码端采用VGG16作为特征提取的主体，由13个卷积层和5个下采样池化层组成，卷积个数按照前向传播顺序采用2、2、3、3、3共5个阶段分布的设计思路。卷积层后均进行批量归一化和ReLU激活层操作。每个阶段结束时，连接最大池化层使得特征图分辨率减小一半，并存储最大池化的位置信息。与编码端相对应的解码端执行上采样和卷积操作，卷积个数遵循3、3、3、2、2的分布原则。为了减小最大池化操作对于边界特征信息的损失，调用最大池化索引（max pooling indices）进行上采样。这个上采样步骤会产生稀疏特征图，相较于编码侧稠密特征图具有突出的边缘信息。在语义分割领域，多尺度特征融合已经成为提高检测性能的重要手段之一。鉴于这个思路，DeepCrack将编码端和解码端同一尺度下的最后一个卷积层拼接起来，再经过卷积操作及上采样恢复到原图尺寸，自此得到5个不同尺度下生成的裂缝预测图。进一步地对它们执行拼接操作，并通过一个11卷积得到最终的预测图。DeepCrack还采取了多重损失监督学习机制，使得不同尺度的预测图在训练阶段均发挥作用。该网络在道路裂缝主体形态的检测上取得了较好的效果，但是针对小尺度裂缝部位却有不同程度上的丢失，并且也存在噪声误识别的问题。本文针对以上问题，提出了一种基于多层次特征融合和注意力机制的道路裂缝检测模型，如图1所示。设计单尺度多层次融合模块对同一尺度出现的所有卷积层进行信息提取和融合，获取丰富的细节纹理信息，增强小尺度裂缝特征表达；引入三重注意力模块实行针对性的特征选择与裂缝特征信息互补融合，降低裂缝误检的概率。与当前主流方法相比较，本文方法呈现如下不同之处：（1）实现单一尺度下不同层特征的选取融合。通常方法执行中部特征融合时直接采用同一尺度下的末端层特征，却忽略了前端特征层。而不同层级所包含的信息量却不尽相同，有效获取所有特征层丰富的裂缝信息有利于小尺度部位的检测。使用单尺度多层次模块可以最大限度地筛选保留前期裂缝有效特征，为后续高阶操作奠定基础。（2）特征融合引入跨注意力机制。主流方法通过简单拼接操作完成编解码对应层级的特2822023，59（13）征融合，使得目标区域无法被有效捕捉。注意力机制的引入能够提高裂缝部位的权重比例，有针对性地降低误识别的可能性。从现存问题检与漏检问题。1.2单尺度多层次特征融合模块从整个网络来讲，DeepCrack网络采用编解码端各分辨率中未经任何处理的最后一层特征图作为融合阶段的预备材料，但却存在小尺度漏检的问题。如何在现有网络的基础上获取丰富语义信息成为设计的出发点。单尺度多层次特征融合模块考虑到同一分辨率下相同位置的不同卷积层表达不尽相同的特点，将相同分辨率下的所有卷积层均考虑在内，使用11卷积操作将不同卷积层融合，确保多重语义的有效结合以及精密裂缝特征的提取。本文提出的单尺度多层次特征融合模块如图2所示（以编码端为例）。现对该模块做如下陈述。（1）首先通过11卷积操作对各卷积层进行特征提取，通道数设置为64，此数值根据网络各阶段通道数的最大公约数进行设置既能最大限度提取各层信息也不会增加很多参数量。（2）再将各卷积层操作后的结果进行逐像素相加，在不增加额外内存压力的同时对具有相似表达的特征进行信息互补，提升了语义的丰富性。（3）再经过一个 11 卷积对相加后的特征进行融合，通道数仍设为64，最后达到编码端特征语义丰富提取的目的。1.3三重注意力模块注意力机制已广泛应用于视觉任务中。通过引入注意力机制可以帮助网络关注特征图的有效区域，抑制背景区域的干扰。通常注意力机制从通道和空间两个角度考虑，通过构建通道之间的关联程度或空间像素之间的依赖关系使得目标物体得到更多的关注，然而两个角度通常采取先降维后升维的举措来保证与原始特征相匹配的要求，过程则呈现为先进行互不关联、各自独立的权重学习，再将两部分逻辑连接起来的操作。这里维度变化则会导致信息量的丢失，通道注意力机制引入的全连接层以及两种机制的顺序连接也会增加一定的参数量与运算复杂度。因此如何在保持维度不变的情图1基于改进的DeepCrack道路裂缝检测网络结构图Fig.1Network structure diagram of road crack detection based on improved DeepCrack单尺度多层次模块512512643232512注意力模块Max pool UpsampleDeconv,Loss/sigmoid2562561281281282566464512512512325625612816165126464512128128256512512643232512Conv11Loss/sigmoidConcat编码端特征融合解码端Conv 33 Conv 11 64646464输入输出图2单尺度多层次模块Fig.2Single-scale multi-level module宋榕榕，等：多层次特征融合和注意力机制的道路裂缝模型283Computer Engineering and Applications计算机工程与应用2023，59（13）况下实现有效的轻量注意力模型成为了本文出发点。利用跨维度交互的思想实现通道C与空间标志信息H、W的有效融合，同时并未采用降维操作以保证信息最大化留存13。本文设计的三重注意力模块如图3所示。注意力模块由三个并行部分组成：第一分支是通道C与宽度W之间的交互，第二分支是通道C与高度H之间的交互，第三分支是高度H与宽度W之间的交互，最后将三支线拼接后输出。（1）第一分支：通道C与宽度W之间的交互。首先将高低阶特征拼接得到特征设为FRCHW。对特征图进行维度置换后得FhRHCW。将特征Fh经过最大池化和平均池化操作生成单通道特征图Fhmax和Fhav，将两者拼接后经过一系列的卷积与批量归一化操作以及Sigmoid激活后得到空间权重图。第一分支注意力权重的特征图Mh的计算如式（1）所示：Mh=(ConvFhavFhmax)（1）（2）第二分支：通道C与高度H之间的交互。对特征图F进行维度转置后得到FwRWHC，其余部分与上述操作类似，得到注意力权重特征图Mw。第二分支注意力权重的特征图Mw的计算如式（2）所示：Mw=(ConvFwavFwmax)（2）（3）第三分支：高度H与宽度W之间的交互。无须进行维度转置并且经过以上相似的操作，得到权重特征图Mc。第三分支注意力权重的特征图Mc的计算如式（3）所示：Mc=(ConvFcavFcmax)（3）最后整个三重空间注意力模块的处理过程如式（4）所示：|F1=T(MhFh)F2=T(MwFw)F3=McF（4）其中，表示激活函数Sigmoid，表示拼接操作，Conv表示卷积操作，表示对应元素相乘，T表示维度转置回初始状态。由上得到三个分支的注意力特征图F1、F2、F3，最后通过简单的拼接操作进行信息聚合，并经过33卷积将通道数恢复到初始值C，自此完成对编解码端特征融合部分的三重注意力机制设计。1.4损失函数裂缝区域相较于整个图像占据较小的面积，裂缝目标比例过小将导致类别之间存在严重失衡的问题。因此，本文使用二元交叉熵（binary cross entropy，BCE）损失函数（式（5）和Focal损失函数14（式（6）进行联合优化，有助于解决训练中的类别不平衡问题，具体损失函数计算如式（7）所示：LBCE=-ylogp-(1-y)log(1-p)（5）LFocal=-y(1-p)logp-(1-y)plog(1-p)（6）L=LBCE+LFocal（7）其中，y表示标签值p表示预测值，为超参数，此处设置为2；和都是超参数，根据经验，本文将两者都设置为0.5。LBCE损失函数无差别地学习图像中的像素分类。LFocal损失函数是针对正负样本极度不平衡提出的，调节因子(1-p)的存在使得网络减少对于区域背景的关注度，提高了裂缝像素的影响力。2实验结果与分析2.1数据集为验证模型的有效性，本文选取公开道路裂缝数据集CrackTree26015进行模型训练，然后直接在其他裂缝数据集上进行性能评估。该训练数据集由面阵相机拍摄，总共有260张像素级标注的图像，每张图像的分辨率大小为800600。其中图像包含多种噪声干扰，比如树阴、斑污等。本文分别采用同类的CRKWH10012道路裂缝数据集和异类的 Stone33116石材裂缝数据集测试所提模型的有效性和泛化性。CRKWH100数据集由线阵相机拍摄的100张路面图像组成。Stone331数据集是由面阵相机拍摄石材表面所得，共计331张图像。部分缺陷图像如图4所示。图3三重注意力模块结构图Fig.3Structure diagram of triple attention moduleConcat转置TransposeMaxpoolAvgpoolConv 77BNSigmoid转置TransposeHCW1CW2CWCHW转置TransposeMaxpoolAvgpoolConv 77BNSigmoid转置TransposeConcatWHC2HC1HCCHWMaxpoolAvgpoolConv 77BNSigmoidCHW2HW1HWCHWConv 33输出第一分支第二分支第三分支EncoderDecoder3CHWCHW2842023，59（13）2.2实验设置本文实验环境基于Python3编写，使用PyTorch1.8深度学习框架并在Linux系统下运行。实验均在NVIDIATesla V100 32 GB GPU上进行操作。本文采用Adam优化器训练神经网络模型，默认参数1=0.9，2=0.99。初始学习率设置为 0.000 5，批量大小（batch size）设置为4，在训练过程采用随机初始化方式训练模型。由于裂缝数据有限，本实验进行了数据增强处理，对原始图像进行左上、左下、居中、右上、右下5种形式的随机裁剪、水平垂直翻转、对比度变换等操作，得到分辨率大小为512512的输入图像，并将经过数据扩增后的图像按照4 1的比例划分训练集和验证集。2.3评价指标本文选取边缘检测四种通用评价指标：F1值、最优数据集规模（optimal dataset size，ODS）、最佳图像规模（optimal image size，OIS）和平均精度（average precision，AP）来验证模型的效果。所有指标的数值均与模型效果成正比。F1值是准确率P（precision）和召回率R（recall）的调和平均，是评价模型好坏的重要指标。通过设定阈值得到边缘图像，并与真值图像比较得出 TP（真阳性）、FP（假阳性）、FN（假阴性），从而即可求得F1/P/R。具体计算见式（8）（10）：P=TPTP+FP（8）R=TPTP+FN（9）F1=2PRP+R（10）根据不同阈值的设置，延伸出最优数据集规模（ODS）和最佳图像规模（OIS）。最优数据集规模ODS是指选取固定阈值使整个数据集最大的F-measure值。最佳图像规模OIS是指选取灵活阈值使每张图片最大的F1值。此外，在不同的阈值下，可以绘制PR曲线，其中平均精度AP相当于PR曲线下的面积，通常通过在曲线上采样求均值得到。2.4注意力模块对照实验为了验证三重注意力模块的性能，本文选用裂缝数据集CRKWH100进行不同注意力机制的对照试验。选取当前应用广泛的SENet17、CBAM18、BAM19、ECA-Net20这4个代表注意力模块与本文三重跨维度注意力模块进行对比分析，其结果如表 1 所示。本实验选择DeepCrack作为基线网络。从结果上来看，相比基线网络，融合了通道注意力SENet反而使得三项指标都有所下降，而轻量型通道注意力ECA-Net的ODS值提高了0.006 3，OIS值提高了0.009 5，但提升较弱。通道空间注意力BAM和CBAM的结果较好，其中BAM的OIS值达到了0.937 0，达到了所有注意力机制的最高值。本文采用的三重注意力在ODS值、OIS值、AP值达到了0.928 8、0.936 3、0.934 4，相较于基线网络提高了0.019 3、0.019 3、0.002 9，在所有注意力模块中综合效果最好。通过实验发现融入通道空间注意力和三重注意力均有不同程度上的性能提升，而通道注意力单独作用下的效果不明显。混合通道与空间注意力机制从两个维度独立筛选目标特征，而本文的三重注意力机制则从通道、高和宽三个维度进行了两两之间的跨维度交互，实现了充分的、多角度的注意力权重提取和融合，更好地凸显了裂缝特征，并抑制了噪声干扰，获得了更优的性能提升。同时，从模型参数量来讲，三重注意力机制相较于基础网络DeepCrack几乎增加很少量的参数，而其他注意力机制则需要添加较多的参数，模型运算复杂度较高。2.5消融实验为了验证不同组件对裂缝检测网络的有效性，本文在CRKWH100数据集上进行了消融实验，研究单尺度多层次特征融合模块和三重注意力模块在基线网络DeepCrack 中所起到的真实作用。实验结果如表 2 所示，其中添加单尺度多层次特征融合模块相较于基线网络，ODS值提升了0.017 3，达到了0.926 8；OIS值提升了0.011 3，达到了0.928 3。而添加三重注意力模块相较于基线网络，ODS值提升了0.019 3，达到了0.928 8；OIS值提升了 0.019 3，达到了 0.936 3。两种模块叠加在一起相较于基线网络在3个指标上均有提升，其中ODS值、OIS 值、AP 值分别达到了 0.939 9、0.947 2、0.940 8。实验结果表明，通过单尺度多层次特征融合模块和三重注意力模块高质量提取了有效的裂缝特征信息，抑制了噪声的干扰，提升了基线网络的检测性能。图4数据集示意图Fig.4Schematic diagram of dataset（a）CrackTree260（b）CRKWH100（c）Stone331ImageImageImageLabelLabelLabel表1不同注意力机制的对照结果Table 1Comparative results of different attention mechanisms方法DeepCrack+SENet+ECA-Net+BAM+CBAM+Triplet attention参数量/1061.611.911.621.701.921.61CRKWH100ODS0.909 50.903 40.915 80.925 30.921 30.928 8OIS0.917 00.913 90.926 50.937 00.932 20.936 3AP0.931 50.914 10.924 40.929 40.928 50.934 4宋榕榕，等：多层次特征融合和注意力机制的道路裂缝模型285Computer Engineering and Applications计算机工程与应用2023，59（13）（a）Image（b）Label（c）DeepCrack（d）单尺度多层次模块图5单尺度多层次模块的可视化消融研究Fig.5Visualization ablation study of single-scalemulti-level module（a）Image（b）Label（c）DeepCrack（d）三重注意力模块图6注意力模块的可视化消融研究Fig.6Visualization ablation study of attention module以第二尺度的编码端特征图作为示例进行可视化，如图5所示，其中图（c）展示了DeepCrack模型所采取的最后一个卷积层提取的裂缝特征图，而图（d）展示了本文模型所采取的单尺度多层次模块捕获的多个卷积层特征融合后的裂缝特征图。可以看出相较于 Deep-Crack，本文所提出的单尺度多层次模块可以提取更加丰富细致的裂缝特征，特别是小尺度的裂缝边缘特征，由此进一步地表明了单尺度多层次模块在减少小尺度裂缝漏检上的有效性。以第二尺度的特征融合部位的特征图作为示例进行可视化，如图6所示，其中图（c）展示了DeepCrack模型所采取的简单拼接操作进行特征融合后的特征图，图（d）展示了本文模型所采取的三重注意力模块进行特征融合后的特征图。由图可以清晰地观察到，三重注意力模块的介入使得裂缝部位的特征更加凸显，并且噪声得到了较好的抑制，表明了三重注意力模块在减少裂缝误检上的有效性。2.6模型对比为了验证本文模型的先进性，本组实验选用在语义分割领域代表性网络 U-Net8、SegNet9，边缘检测突出表现网络 HED21、RCF22，以及当前在裂缝检测领域表现最好的 DeepCrack12网络作为对照组。所有模型在道路裂缝数据集 CRKWH100 上进行评估，同时采用Stone331石材裂缝数据集进行算法泛化性比较。量化结果如表3所示。HED、RCF经典边缘检测网络利用VGG16作为特征提取网络，并在不同尺度下完成特征融合。两个模型在CRKWH100数据集上ODS值分别为0.840 3、0.862 1，OIS值为0.885 1、0.890 9，AP值为0.909 6、0.907 9，性能上相差不大，而在Stone331数据集上HED为所有网络中性能指标最低。U-Net与SegNet网络通过特征压缩与复原实现像素级别的类别标注。在CRKWH100数据集上，U-Net与SegNet相较，ODS值高出0.027 5、AP值高出 0.052 5。DeepCrack通过实现 SegNet编解码端的特征融合与多重损失的监督训练达到了更好的效果，但融合特征并没有进行有效筛取。本文提出的单尺度多层次特征融合模块和三重注意力模块的改进策略，使得新的DeepCrack在CRKWH100数据集上ODS值达到了0.939 9，OIS值达到了0.947 2，AP平均准确率达到0.940 8，均优于当前最先进的结果。此外，在Stone331数据集上较原先的DeepCrack在ODS值提升了0.024 0，OIS值提升了0.027 0，AP值提升了0.011 1，获得了最佳效果，进单尺度多层次模块三重注意力模块CRKWH100ODS0.909 50.926 80.928 80.939 9OIS0.917 00.928 30.936 30.947 2AP0.931 50.932 30.934 40.940 8表2不同模块的消融实验结果Table 2Ablation experiment results of different modules表3不同数据集下对比结果Table 3Comparison results under different datasets方法HEDRCFU-NetSegNetDeepCrackOur method数据集CRKWH100Stone331CRKWH100Stone331CRKWH100Stone331CRKWH100Stone331CRKWH100Stone331CRKWH100Stone331ODS0.840 30.718 60.862 10.788 90.845 90.757 00.818 40.793 80.909 50.855 90.939 90.879 9OIS0.885 10.762 70.890 90.828 70.853 90.776 30.851 80.815 10.917 00.875 10.947 20.902 1AP0.909 60.758 20.907 90.818 90.902 10.808 80.849 60.787 40.931 50.888 30.940 80.899 42862023，59（13）误检漏检（a）Image（b）Label（c）HED（d）RCF（e）U-Net（f）SegNet（g）Deep-Crack（h）Our图9裂缝检测结果可视化对比Fig.9Visualization comparison of crack detection results而证明本文提出的模型具有更好的泛化性。不同模型在测试集上的PR曲线如图7和8所示。PR曲线是以召回率Recall与准确率Precision作为横纵坐标的曲线，其线上的每个点对应不同的阈值下准确率与召回率。通过PR曲线的整体表现，能够对模型进行更加全面的评估。曲线所占面积越大，表明性能越好。图中显示本文设计的网络具有最大面积的曲线，表明本文基于单尺度多层次特征融合模块和三重注意力模块改进的DeepCrack模型有效地提取了裂缝特征，抑制各种噪声的干扰，提高了检测性能。为了更加直观地展示本文模型的优势，选取若干测试样例进行了可视化分析，如图9所示。第一列与第二列分别为原图与人工标注图像，其余列依次为 HED、RCF、U-Net、SegNet、DeepCrack和本文的分割结果。从00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0Recall0.10.20.30.40.50.60.70.80.91.0PrecisionCRKWH100HEDRCFU-NetSegNetDeepcrackOur Method图7CRKWH100数据集上不同网络的PR曲线Fig.7PR curves of different networks on CRKWH100 dataset图8Stone331数据集上不同网络的PR曲线Fig.8PR curves of different networks on Stone331 dataset00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0Recall0.10.20.30.40.50.60.70.80.91.0PrecisionStone331HEDRCFU-NetSegNetDeepcrackOur Method宋榕榕，等：多层次特征融合和注意力机制的道路裂缝模型287Computer Engineering and Applications计算机工程与应用2023，59（13）图9中可以发现。HED与RCF对于裂缝边缘整体把握程度适中，但明显存在断续现象。U-Net、SegNet 与DeepCrack均存在不同程度上的漏检和误检问题。本文模型对于裂缝边缘分割清晰，噪声干扰最少，针对小尺度裂缝也实现了最好的分割。由此表明了本文模型的有效性和先进性。3结束语本文针对道路裂缝检测过程中小尺度裂缝易漏检和噪声干扰导致误检的问题，设计了一种基于多层次特征融合和注意力机制的道路裂缝检测模型。该模型改进了性能先进的DeepCrack网络，通过单尺度多层次特征融合模块将丰富的细节特征有效地聚合，将三重注意力机制应用到编解码端特征融合中，有效地凸显了裂缝特征，抑制了噪声干扰。实验结果表明，本文的方法优于现有的道路裂缝检测方法，在两个公开数据集上均取得了当前最好的效果。在研究的过程中，也发现道路裂缝检测的数据集存在数量不足、不同缺陷样本数不均匀、缺陷类型单一等问题。因此接下来将研究多种道路裂缝缺陷图像的生成方法，例如生成对抗网络（GAN）、变分自编码器（VAE）等，通过生成更多的数据来更好地训练神经网络，提升道路裂缝检测的准确性。参考文献：1 Ministry of Transport.Statistical bulletin on the dervelop-ment of the transportation industry in 2020EB/OL.（2021-05-17）2022-02-15.https：/ ZHU Q B.Pavement crack detection algorithm based onimage processing analysisC/Proceedings of the Interna-tional Conference on Intelligent Human-Machine Systemsand Cybernetics，2016：15-18.3 AKAGIC A，BUZA E，OMANOVIC S，et al.Pavementcrack detection using Otsu thresholding for image seg-mentationC/Proceedings of the International Conventionon Information and Communication Technology，Elec-tronics and Microelectronics，2018：1092-1097.4 SONG Q，LIN G Y，MA J Q，et al.An edge-detectionmethod based on adaptive canny algorithm and iterativesegmentation thresholdC/Proceedings of the Interna-tional Conference on Control Science and Systems Engi-neering，2016：64-67.5 FERNANDEZ A，RODRIGUEZ-LOZANO F，VILLATOROR，et al.Efficient pavement crack detection and classifi-cationJ.EURASIP Journal on Image and Video Processing，2017（1）：1-11.6 WU G F，SUN X M，ZHOU L P，et al.Research onmorphological wavelet operator for crack detection ofasphalt pavementC/Proceedings of the 2016 IEEEInternational Conference on Information and Automation，2016：1573-1577.7 瞿中，鞠芳蓉，陈思琪.结构森林边缘检测与渗流模型相结合的混凝土表面裂缝检测J.计算机科学，2018，45（11）：288-291.QU Z，JU F R，CHEN S Q.Concrete surface