多尺度特征增强的路面裂缝检测方法_翟军治.pdf

第 卷第期 年月交 通 运 输 工 程 学 报 收稿日期：基金项目：国家重点研发计划（）；国家自然科学基金项目（，）；陕西省重点研发计划（）；中央高校基本科研业务费专项资金项目（）作者简介：翟军治（），男，河南开封人，长安大学工学博士研究生，从事路面裂缝图像自动化检测技术研究。导师简介：孙朝云（），女，安徽太和人，长安大学教授，工学博士。引用格式：翟军治，孙朝云，裴莉莉，等 多尺度特征增强的路面裂缝检测方法 交通运输工程学报，（）：，（）：文章编号：（）多尺度特征增强的路面裂缝检测方法翟军治，孙朝云，裴莉莉，呼延菊，李伟（长安大学 信息工程学院，陕西 西安 ；东南大学 交通学院，江苏 南京 ）摘要：针对路面裂缝检测不完整和分割出现断裂的问题，提出了一种多尺度特征增强的路面裂缝检测网络 ，实现端到端的路面裂缝图像检测、分类和分割处理；设计了多尺度注意力特征增强模块，建立了网络模型的上层多尺度特征通道与底层特征通道权重系数之间的映射关系，以提升有效通道的特征输出；基于路面裂缝的坐标信息和像素语义信息在物理位置上的相关性，设计了多语义特征关联模块，实现不同语义信息之间的特征融合增强，并通过特征维度转换实现对路面裂缝图像的前景特征过滤；提出了一种针对深度特征强度进行量化评估的方法，用于提升模型提取特征能力的可解释性。在自采集数据集上的研究结果表明：对路面裂缝图像检测的平均精准率和平均召回率相比 分别提升了 和 ，相比基线模型 分别提升了 和 ；对路面裂缝图像分割的平均精准率和平均召回率相比 分别提升了 和 ，相比 分别提升了 和 ；与 等主流方法相比，对不同类型路面裂缝图像的检测、分割精度最高。在公开数据集（、）上的研究结果表明：在不同场景下的数据集上，的检测、分割精度均高于 等主流方法，模型的鲁棒性更强。另外与 相比，在不同数据集上的处理速度也均有所提升。关键词：路面裂缝检测；多尺度注意力；特征增强；多语义；可解释性；鲁棒性中图分类号：文献标志码：，（，；，）：，交通运输工程学报 年 ，（），：；：（），；（），：（）；（，）；（）；（）引言高效的路面裂缝检测方法可以为道路养护部门提供有力的技术支撑，提高道路养护质量和出行安全。然而受自然环境的影响，路面裂缝自动化检测技术一直未能满足实际应用的要求，还存在检测精度低、模型通用性差、人力成本高等诸多问题。因此高精度的路面裂缝自动化检测技术仍是当前的研究热点。目前主要的路面裂缝检测方法包括传统图像处理方法、基于 图像的处理方法以及深度学习的处理方法。其中传统图像处理方法受环境影响大，降噪处理十分复杂，且模型使用场景受限问题较为严重；检测模型虽然处理的图像信息更丰富，但模型计算量大、效率低，且对硬件的要求较高；深度学习的方法可以端到端学习数据特征，是目前计算机视觉领域最为关注的一项新技术，对路面裂缝自动化检测产生了重大的推进作用。、等网络模型的出现，增加了网络结构的深度和宽度，提取到的图像特征更加的准确和完整。基于这些模型所构建的分类、目标检测和图像分割等网络，目前已经被有效的应用到了路面裂缝检测任务当中。采用分类的方法可以判别图像中是否存在裂缝，或 者 直 接 对 图 像 中 的 裂 缝 类 型 进 行 判 别。等将原始图像裁剪成 像素 像素的小块，然后使用一个 网络在裁剪后的数据集上训练分类器，在测试集上达到了 的分类精度；等先采用分割模型将路面区域提取出来，去 除 背景 干 扰，然后再将得到的图 像裁剪成 像素 像素的小块进行分类，达到了 的分类精度；章天杰等采用 网络直接对种沥青路面裂缝进行分类，平均精度达到 左右。然而分类模型不能定位裂缝在图像中的具体位置，无法进行破损面积的估算，不能满足公路技术第期翟军治，等：多尺度特征增强的路面裂缝检测方法状况评定标准的使用要求。使用目标检测模型进行路面裂缝检测，可以通过边界回归和分类的方法，分别得到裂缝的检测框顶点坐 标 和 类 别 信 息。等采 用 进行路面裂缝检测，相比网裂和块状修补裂缝的检测结果，对线状裂缝的检测精度较低；孙朝云等 采用一种优化了的 进行路面灌封裂缝检测，该方法只是在 中选用了多种不同尺寸的锚框进行优化，并不能保证找到的锚框尺寸是最优的；等 采用 进行路面裂缝检测，与两阶段模型相比，降低了计算复杂度，同时使用 减小了裂缝数据不均衡带来的影响，但该方法仍需与人工结合使用，裂缝检测精度还存在提升空间；由于 在图像处理方面表现出色，刘军等 在其基础上构建了 用于路面裂缝检测，多种裂缝的平均 检 测 精 度 达 到 了 。但 多 尺 度 的 结构使得模型处理速度下降很多。现有目标检测模型大多通过边界回归进行裂缝区域定位，还普遍存在检测结果不准确的问题，如在同一条裂缝上，出现了多个检测框，或检测框只覆盖了部分裂缝区域等。使用分割的方法进行路面裂缝检测，要逐像素判别属于背景还是裂缝，最终找出所有属于裂缝的像素，再通过二值化的方法，得到整个裂缝区域轮廓。陈涵深等 对 的上采样分支进行高保真处理，并加入了不同扩张系数的空洞卷积，分割精度比基线模型提升了；瞿中等 在 的编码器中加入残差结构，并在网络中加入空洞卷积，在 数据集上值达到了 ；陈良全等 在 的编码器中，设计了一种连续注意力机制，并在解码器前加入金字塔卷积结构，使得模型的值提升了 ；张伯树等 在 的基础上优化上采样处理，并加入了通道注意力机制，使得模型在 上的值达到了 。分割模型大多是在编码器解码器的网络框架上进行优化的，但这种网络框架只能获取像素语义特征，无法获取裂缝整体区域的位置特征，当有些像素语义识别错误时，会出现裂缝断开的问题，导致裂缝区域面积计算不准确。网络模型对路面裂缝特征表示的准确性是影响最终检测、分割精度的主要因素之一。而单一的检测网络或分割网络只能从裂缝位置或像素语义的角度进行特征提取。检测模型忽略了像素间的语义关系，有时会导致定位错误。分割模型缺少裂缝的整体位置信息，有时会导致对边界像素的判别出现混淆。为了提升路面裂缝检测精度，等 利用 和反卷积模块构建分割网络，在多尺度特征融合的基础上完成图像重建，并在网络末端添加 构建分类器，使路面裂缝分割精度和分类精度得到同步提升；等 提出了一种 的卷积神经网络，在完成检测的基础上再使用 进行路面裂缝分割，使检测和分割的值分别达到了 和 ，但该方法涉及多个处理过程和中间结果保存，增加了实现复杂度；等 提出的 模型，将检测信息和分割信息进行特征融合，能够从一定程度上提高检测精度。但该模型需要将检测和分割模型分开训练，处理过程比较复杂，仍有优化空间。针对上述问题，本文重点研究了通过特征增强的方式来提升路面裂缝的检测精度。一方面采用注意力机制引导的方式增强有效通道的特征输出；另一方面将路面裂缝的坐标信息和像素语义信息进行融合，进一步提升路面裂缝特征的显著性。本文创新点主要包括如下三方面。（）基于通道间多尺度特征的相关性和不同语义特征间的相关性，提出了一种单阶段的多尺度特征增强的路面裂缝检测网络。能够端到端完成路面裂缝的检测、分类和分割任务。（）设 计 了 多 尺 度 特 征 注 意 力（，）模块，将分割网络中上层的多尺度特征转换为对底层特征不同通道的注意力权重，增强各通道的特征输出。（）设 计了 多 语 义 特征关联（，）模块，将检测分支的建议区域特征与分割分支的像素语义特征进行融合，提升模型对路面裂缝检测和分割的精度。多尺度特征增强的路面裂缝检测网络 网络模型总体框架 由主干网络、检测网络和分割网络构成。检测网络基于主干网络输出的多尺度特征，完成检测和分类的任务，并输出包含裂缝位置信息的建议区域特征。分割网络通过注意力机制对多尺度特征进行引导增强，并通过上采样的方式完成图像特征重建，获得路面裂缝的分割语义信息。检测网络与分割网络通过多语义特征关联模块进行特征融合，进一步增强分割网络的特征输出。交通运输工程学报 年网络结构如图所示，其中“”代表卷积操作，“”代表加法操作，“”代表乘法操作。图多尺度特征增强的路面裂缝检测网络 特征金字塔网络（，）作为主干网络，采用 完成自底向上的特征提取，选取 、最后一个残差块的输出作为 的中间特征，记为、。这个特征层相对于原图的下采样步长分别为、。然后自顶向下使用最邻近插值的方式进行倍上采样，并将上一层上采样结果与当前层的特征相加，完成特征融合，得到、。最后在的基础上采用倍下采样再进行次卷积处理，以获取语义更强的全局特征和。的最终输出分别标记为，相对于原图的下采样步长分别为、，每层的特征输出均为 通道，因此，若输入图像的尺寸为，和分别为输入图像的宽和高，则输出特征图的尺寸分别为 、。在图中，检测网络采用多尺度卷积核构造检测器，使用个结构相同但不共享参数的全卷积神经网络分别进行特征提取，在得到的特征图上设置锚框，预测裂缝的位置，并通过分类器获取裂缝类型。分割网络利用多尺度特征之间的相关性，首先通 过 全 局 平 均 池 化（，）分别对上层特征进行聚合，再使用 对 的输出进行激活处理，将上层个模块的特征输出转换为对底层特征的注意力权重，增强有效通道的特征输出。另外本文设计了一个路面裂缝多语义特征关联模块，将分割网络增强后的裂缝像素语义特征与检测分支中提取的建议区域特征进行融合，使分割网络输出特征的语义信息更加丰富。分割网络在有监督训练过程中，通过 的反向传播，也能够驱动检测分支的参数优化。最终达到提升路面裂缝检测和分割精度的目的。多尺度特征注意力增强分割网络多采用类似 的编码器解码器网络结构。编码器自底向上逐级下采样进行特征提取，解码器通过上采样去除背景干扰，完成图像特征重建，并在上采样过程中完成与解码器中对应层或相邻层之间的特征融合。这种操作虽然可以获取更丰富的裂缝特征信息，但也会导致计算量大幅增加，处理速度下降。还会出现因计算量增加而导致显存资源不足的问题。考虑到模型在真实场景中的可使用性，本文借鉴注意力机制的原理，设计了一种多尺度特征注意力模块 ，将 输出的上层多尺度特征转变为对底层特征的注意力权重。的网络结构如图所示。图中，共输出种尺度的特征，均为 个通道。首先采用 分别对上层种尺度的特征进行聚合。可表示为（）（，）（，）（，）（）式中：（）为对求全局平均池化的函数，为输入的多尺度特征矩阵；、分别为输入特征的宽度、第期翟军治，等：多尺度特征增强的路面裂缝检测方法图 增强前后的通道特征对比 高度和通道数；和分别为当前通道特征图上的行索引和列索引；（，）为当前特征图上（，）位置处的特征值；（，）为（，）所在的特征向量空间。（）的输出为 的特征矩阵。考虑到并非所有通道的特征都相关，因此，采用的卷积核对（）的输出进行处理，只对局部相邻通道进行特征聚合，一方面避免了通道降维导致的特征损失，另一方面也兼顾了执行效率，最后使用 函数获得不同通道的权重，上述操作可表达为 （，）（，）（，）（，）（）式中：为对上层个通道特征转换得到的底层通道权重系数矩阵的平均值；为上层多尺度特征的通道个数，其最大值为；为卷积核大小；（，）为（，）对应的权重系数；（，）为第个通道的第个近邻通道特征向量；（，）为第个通道的个近邻通道特征空间。本文将上层种尺度特征得到的 结果相加取平均，得到一个 尺寸的矩阵，作为底层特征各层的权重系数矩阵，其中为模型批量处理的图像的个数。然后将该系数矩阵与底层的特征矩阵相乘。底层特征保留了较多的裂缝细节，在上层权重系数的引导下，起到对通道特征增强的作用。图给出了 对底层各通道特征进行注意力强化前、后的可视化效果，可以看出，经过 处理，有效抑制了背景噪声干扰，使裂缝特征变得更加清晰。为了对 处理前后各通道特征的有效性进 行 量 化 评 估，本 文 采 用 峰 值 信 噪 比（，）计算各通道特征相比原图的失真程度。用表示峰值信噪比，即 （）（）（，）（，）（）交通运输工程学报 年式中：为单个像素的二进制值最大长度，为图像像素可取到的最大值；为原图像与通道特征图之间的均方误差；和分别为图像中行和列的像素坐标索引；（，）为原始输入图像；（，）为经过模型处理得到的通道特征图。各通道特征经 处理前后与原图的 指标对比如图所示，可以看出：经过 处理之后通道特征的 明显大于处理之前，越大，两张图像差异越小，因此，可以有效增强各通道的裂缝特征输出。图 增强前后各通道特征图与输入图像间的 对比 多语义特征关联增强在主干网络提取的底层特征基础上，分别使用检测网络和分割网络来提取裂缝边界框坐标和像素特征的高层语义信息。检测结果和分割结果是对同一路面裂缝的不同表示方法，在物理位置关系上，二者对应着图像中的同一区域。为了有效利用路面裂缝不同语义特征之间的关联性，在检测分支和分割分支之间设计了一个多语义特征关联模块 ，对路面裂缝的边界框特征和像素语义特征进行融合。包括两部分网络结构：其中一部分利用检测分支的坐标框信息，从特征图上获取包含裂缝的建议区域。生成特征图的网络结构描述如表所示。表 中用于提取路面裂缝建议区域特征的网络结构 网络层输出特征尺寸 （，）（，）（，）（，）（，）该部分网络由个结构相同的卷积单元和个卷积 层 构 成。其 中 每 个 卷 积 单 元 由 卷 积 层、层和 层组成。最后一个卷积层使用 个通道来提取每个锚框对应的前景和背景特征。然后根据检测框的坐标信息，输出裂缝建议区域特征。的另一部分网络结构，用来接收分割分支中注意力机制强化后的特征。并对该特征进行一次上采样操作，完成裂缝分割语义特征重建。然后将特征通道数从 降维为，保持与裂缝建议区域特征的通道数一致。最后将分割语义特征与建议区域特征进行卷积融合。用于重建裂缝分割语义特征的网络结构如表所示。表 中用于重建路面裂缝分割语义特征的网络结构 网络层输出特征尺寸 （，）（，）（，），（，）（，）（，）给定输入图像，若表中网络接收到检测分支的特征为，则得到的建议区域特征可表示为（）（，），其中（，）为（）所属特征向量空间，（，）为其特征维度尺寸。（）将原始输入转换到对前景和背景特征进行描述的维空间，为单个通道的特征尺寸。若表中网络接收的像素语义特征为，则裂缝分割语义重建后的特征为（）（，），其中（，）为（）所属的特征向量空间，（，）为其特征维度尺寸，为扩展维度。对裂缝位置特征与像素语义特征进行卷积融合，其操作可表达为（）（）（，）（）式中：为特征融合后的特征图；（，）为所属特征向量空间，其中（，）为其特征维度尺寸；第期翟军治，等：多尺度特征增强的路面裂缝检测方法为卷积操作。（）对前景和背景有较好的区分，能够为分割分支提 供 属于前 景的 位置 参 考，提升 分割效 果。模块对特征增强的效果如图所示，可以看出：针对指定输入图像，在特征融合前对分割网络的输出特征进行可视化，只有少数通道可以看到清晰的路面裂缝轮廓，路面裂缝的特征响应不太强烈。而对融合之后的特征再次进行可视化，可以得到很多清晰的裂缝轮廓，因此，特征融合可以起到对路面裂缝特征进行增强的作用。图 融合前后的通道特征对比 为了进行量化比较，分别计算了 处理前、后的前景通道特征与原图的 值，计算结果对比如图所示，可以看出：经过 处理后，裂缝前景通道特征与原图的失真度明显低于处理前，裂缝特征得到有效增强。路面裂缝检测试验对比 模型训练与参数优化（）训练及测试环境：为了和不同模型的检测精度进行对比，本文中所有的试验均使用相同的软、硬交通运输工程学报 年图 增强前后各前景通道特征图与原始图像间的 对比 件环境。除此之外，使用到所有的依赖包、驱动程序也都完全相同。（）超参数设置：采用 下卡并行的方式进 行 训 练，大 小 设 置 为，总 共 训 练 个 ，共计 个 。采用 作为目标函数的优化器，为了能够让 稳定收敛，设 置 为 个 。（）的初始值为 ，调整策略为 ，设置为 。（）模型训练：训练过程中 的收敛情况如图所示：经过 个 之后 趋于平缓。在验证集上的检测精度变化曲线如图所示：条 曲 线 分 别 为 交 并 比（，）阈值在 （步长：）取值时的平均精准率（，）和平均召回率（，）。图 在训练集上的 收敛曲线 代表个集合之间的交并比，在目标检测中，将其作为阈值用来判别是否检测到目标物。如图训练过程中 在验证集上的检测精度曲线 果预测框与真实坐标框之间的 大于阈值，则表示检测到目标。分割任务中，代表分割区域与目标物真实区域的交并比，功能及取值与检测任务类似。路面裂缝数据本文对所述模型的性能进行了研究分析，将其与其他不同模型在自采集数据集和公开数据集上进行了试验对比。自采集数据该数据集是使用检测车和手机种设备从沥青路面（，）和水泥路面（，）种不同材料路面上采集的。数据采集相关信息如表所示。数据采集过程中，均采用摄像头垂直路面的角度进行拍摄，并针对存在光照不均、阴影及道路标志线干扰的场景，进行了样本采集。采集到的图像包括横缝、纵缝和网状裂缝种路面病害类型。为了提升检测精度，本文对原始数据进行了增强处理，第期翟军治，等：多尺度特征增强的路面裂缝检测方法表自采集数据集详情 检测设备检测车手机路面类型水泥路面沥青路面沥青路面分辨率像素 ，采集数量 总数 图自采集数据集路面裂缝图像样本 将每个图像等分，并对裁剪后的图像进行 或 的随机旋转，然后再进行筛选。为了增加图像尺度的多样性，将处理后的图像和原始图像放在一起，以大约:的比例对数据集进行划分，具体划分如表所示。路面裂缝图像样本如图所示，可以看出：沥青路面与水泥路面的纹理有明显区别。另外为了增加表训练集、测试集和验证集的数据详情 ，数据集类型横向裂缝 纵向裂缝 网状裂缝总数占比训练集 测试集 验证集 总数 样本的多样性，采集的数据中，包括了带有阴影和道路标志线等背景噪声的路面裂缝图像。公开数据集为验证模型的有效性和泛化能力，本文又选用了 和 对模型进行测试。共包含 张图像，尺寸均为 像素 像素，包括横向裂缝和网状裂缝种类型。中的测试集共包含 个图像，图像尺寸从 像素交通运输工程学报 年 像素到 像素 像素不等，包括横向裂缝、网状裂缝和纵向裂缝种类型。试验结果与讨论近年来，很多基于深度学习的路面裂缝检测方法仍是基于 和 或它们的变体进行优化实现的，其中 实现了对疑难样本的挖掘。另外，也被应用于路面裂缝检测和分割的多任务场景中，取得了不错的效果，而 是本文的基线模型，因此，将这些方法作为 的对比研究对象。自采集数据测试对比在自采集数据集上，各模型针对路面裂缝检测精度的对比测试结果如图所示。图中，表示对路面裂缝进行检测，获取边界框（）的处理。（）（），：（），表示交并比阈值为 （步长：）时的平均精准率。（）（），：，表 示 交 并 比 阈 值 为 时的平均精准率。（）（），：，表 示 交 并 比 阈 值 为 时的平均精准率。（）（），：（），表示交并比阈值为 （步长：）时的平均召回率。从图中可以看出：和 作为单一的路面裂缝检测模型，平均精准率和召回率均在 以下，明显低于多任务的检测模型；而在多任务模型中，本文所提出的 检测精度最高，与 相比，平均精准率提升了 ，平均召回率提升了 ；与 相比，平均精准率提升了 ，平均召回率提升了 。在自采集数据集上，各模型针对路面裂缝检测速度的对比测试结果如图 所示。图 与其他方法在自采集数据集上的检测精度对比 图 与其他方法在自采集数据集上的检测速度对比 从图 中可以看出：的检测速度为 帧，与 （帧）相比提升了 帧，涨幅约为 ，但是低于 （帧）、（帧）、（帧）的检测速度。在自采集数据集上，各模型针对路面裂缝分割精第期翟军治，等：多尺度特征增强的路面裂缝检测方法度的对比测试结果如图 所示。图 中，表示对路面裂缝进行分割，获取掩码信息 的处理。（）（），：（），表示交并比阈值为 （步长：）时的平均精准率。（）（），：，表 示 交 并 比 阈 值 为 时的平均精准率。（）（），：，表 示 交 并 比 阈 值 为 时的平均精准率。（）（），：（），表示交并比阈值为 （步长：）时的平均召回率。从图 可以看出：与 相比，平均 精 准 率 提 升 了 ，平 均 召 回 率 提 升 了 ，与 相比，平均精准率提升了 ，平均召回率提升了 。在自采集数据集上，各模型针对路面裂缝分割速度的 对 比 测 试 结 果 如 图 所 示，可 以 看 出：的分割处理速度为 帧，与 （帧）相 比 提升了 帧，涨 幅 约 为，但是低于 （帧）的分割速度。图 与其他方法在自采集数据集上的分割精度对比 图 与其他方法在自采集数据集上的分割速度对比 为了进一步研究 对不同类型路面裂缝的检测性能，从测试集中随机抽取了横缝、纵缝和网状裂缝各 个，并针对各模型的检测和分割结果进行了对比分析。路面裂缝检测精度的对比测试结果如图 所示。检测速度的对比测试结果如图 所示。从图 可以看出：针对不同类型路面裂缝的检测，在不同阈值下的平均精准率和平均召回率 均高于其 他方 法；另 外，单 任 务 的检测 网络 和 对网状裂缝的检测精度下降比较严重，而多任务的检测模型表现比较稳定。从图 可以看出：本文所提出方法在 基础上优化之后，对各类型裂缝的处理速度也均有提升，但仍低于 、和 的处理速度。针对不同类型路面裂缝的分割精度对比测试结果如图 所示，分割速度的对比测试结果如图 所示。交通运输工程学报 年图 与其他方法在自采集数据集上对不同类型裂缝的检测精度对比 图 与其他方法在自采集数据集上对不同类型裂缝的检测速度对比 图 与其他方法在自采集数据集上对不同类型裂缝的分割精度对比 从图 可以看出：在不同阈值下，对不同类型路面裂缝的分割精度均高于其他种方法。从图 可以看出：与基线模型 相比，处理速度也有所提升，但低于 的处理速度；另外，各模型对不同类型裂缝的处理速度变化不大，主要是因为模型的处理速度受图像尺寸的影响较大，但与图像内容无关。各模型检测结果的可视化对比如图 所示。自采集数据集由于包含了复杂路面背景图像，如阴影、强光照射等，对路面裂缝检测造成了一定挑战。第期翟军治，等：多尺度特征增强的路面裂缝检测方法图 与其他方法在自采集数据集上对不同类型裂缝的分割速度对比 图 不同方法在自采集数据集上的检测、分割结果可视化对比 交通运输工程学报 年从图 中可以看出：其他几种检测方法，在同一条裂缝上检测时会出现多个检测框、检测不完整以及检测区域与分割区域不一致等问题，而 能够有效解决这些问题。公开数据集测试对比（）数据集检测与分割结果在 数据集上，各模型针对路面裂缝检测精度的对比测试结果如图 所示，可以看出：在各种 取值条件下，的平均精准率和平均召回率均远高于其他各模型。说明该模型针对不同场景数据进行路面裂缝检测时具有较好的通用性。在 数据集上，各模型针对路面裂缝检测速度 的 对 比 测 试 结 果 如 图 所 示，可 以 看 出：的 处 理 速 度 为 帧，与 （帧）相比提升了 帧，涨幅 约 为 ，但 是 低 于 （帧）、（帧）、（帧）的处理速度。图 与其他方法在 数据集上的检测精度对比 图 与其他方法在 数据集上的检测速度对比 在 数据集上，各模型针对路面裂缝分割精度的对比测试结果如图 所示，可以看出：与自采集数据集相比，各模型对路面裂缝分割的平均精度下降比较严重，但 的分割精度仍明显高于 和 ，表明该模型针对不同场景数据进行路面裂缝分割时的通用性更好。在 数据集上，各模型针对路面裂缝分割速度的对比测试结果如图 所示，可以看出：在 数据集上，的分割速度为 帧，与 （帧）相比提 升了 帧。但是低于 （帧）的处理速度。（）数据集检测与分割结果在 的数据集上，各模型针对路面裂缝检测精度的对比测试结果如图 所示。为了综合评估各模型在不同 阈值下的表现，针对 在 取值时的平均精度进行对比。从图 可以看出：与自采集数据集的测试结果相比，各模型的检测精度均有明显下降，这主要是因为 与自采集数据集的样本差别较大造成的。但 的平均精准率和平均召回第期翟军治，等：多尺度特征增强的路面裂缝检测方法图 与其他方法在 数据集上的分割精度对比 图 与其他方法在 数据集上的分割速度对比 图 与其他方法在 数据集上的检测精度对比 率仍明显高于其他方法，再次说明 是一种泛化能力较强的路面裂缝检测网络。在 的数据集上，各模型针对路面裂缝检测速度的对比测试结果如图 所示，可以看出：由于 的图像分辨率 较大，尺 寸从 像素 像素到 像素 像素不等，导致各模型的处理速度均有下降，的处理速度为 帧，与 （帧）相比提升了 帧，但是低于 （帧）、（帧）、（帧）的处理速度。在 的数据集上，各模型针对路面裂缝分割精度的对比测试结果如图 所示，可以看出：的平均精准率和平均召回率均高于交通运输工程学报 年图 与其他方法在 数据集上的检测速度对比 图 与其他方法在 数据集上的分割精度对比 和 ，但与自采集数据集上的图 与其他方法在 数据集上的分割速度对比 测试结果相比，各模型在 数据集上的分割精度均有明显下降。说明当测试数据与训练数据存在较大差异时，会对模型精度产生很大的影响。还需要增加训练样本的多样性，来进一步提升模型的通用性。在 的数据集上，各模型针对路面裂缝分割速度的对比测试结果如图 所示，可以看出：的 处 理 速 度 为 帧，与 （帧）相比提升了 帧，但是低于 （帧）的处理速度。随着图像尺寸的增加，各模型的分割速度也出现明第期翟军治，等：多尺度特征增强的路面裂缝检测方法显下降。结语（）本文针对深度特征在路面裂缝图像检测、分割过程中所起到的关键作用，设计了基于深度特征增强的路面裂缝检测网络模型 。其中包括：设计了多尺度特征注意力机制模块，用于增强有效通道的特征输出；设计了多语义特征关联模块，用于对检测框和分割像素语义进行特征融合增强。通过特征增强的方式提升模型的特征提取能力，最终提升模型对路面裂缝图像的检测、分割精度。（）构建了用于模型训练和测试的路面裂缝图像数据集，并基于该数据集完成了 与其他主流 方 法 的 性 能 对 比 研 究。分 析 结 果 表 明：的路面裂缝检测、分割精度与其基线模型 ，以 及 其 他 主 流 使 用 的 、等方法相比，均有明显提升。在 不 同 场 景 数 据 集 上 的 研 究 结 果 表 明，的鲁棒性更好。（）在进行跨场景数据集测试时，各模型的精度均会出现不同程度的下降。目标域数据集的样本分布差别越大，模型精度下降越严重。模型的泛化能力依赖于大规模的数据驱动，然而采用有监督学习需要花费大量成本进行数据标注，因此，如何使用半监督或无监督方法进行高精度的路面裂缝检测，将成为下一步的研究目标。参 考 文 献：，：徐志刚，车艳丽，李金龙，等路面破损图像自动处理技术研究进展 交通运输工程学报，（）：，（）：（），：，：，（）：，：，：，：，（）：章天杰，韩海航基于残差神经网络的沥青路面裂缝识别分类研究公路，（）：，（）：（），（）：，：，（）：孙朝云，裴莉莉，李伟，等 基于改进 的路面灌封裂缝检测方法研究 华南理工大学学报（自然科学版），（）：，（），（）：（），（），（）：，（）：，：，：刘军，王慧民，张兴忠，等基于 的端到端路面裂缝检测方法太原理工大学学报，（）：，（）：（）陈涵深，姚明海，瞿心昱基于型全卷积神经网络的路面裂缝检测 光电工程，（）：，（）：（），：交通运输工程学报 年 ，：瞿中，陈雯基于空洞卷积和多特征融合的混凝土路面裂缝检测计算机科学，（）：，（）：（）陈良全，王彩玲，刘华军，等基于连续注意力机制和卷积金字塔的路面裂缝检测计算机系统应用，（）：，（）：（），：，（）：张伯树，张志华，张洋改进的 应用于路面裂缝分割与检测 测绘通报，（）：，（）：（），：，：，：，：，（）：，：，：，：，：，（）：，（）：，（）：，：，：，：，：，：，：，：，：