基于DCGAN和改进YOL...5s的桥梁表面缺陷检测识别_何金宝.pdf

收稿日期：基金项目：江西省交通运输厅科技课题（，）资助项目作者简介：何金宝（），男，江西德兴人，高级工程师，主要从事港口与航道项目管理研究：通信作者：赖 毅（），男，江西会昌人，高级工程师，主要从事桥梁工程、港口工程健康监测与管理研究：何金宝，胡秋宝，付志超，等 基于 和改进 的桥梁表面缺陷检测识别 江西师范大学学报（自然科学版），（）：，（），（）：文章编号：（）基于 和改进 的桥梁表面缺陷检测识别何金宝，胡秋宝，付志超，赖 毅，刘知远（江西省港口集团有限公司，江西 南昌；江西省路港检测中心有限公司，江西 南昌）摘要：针对人工检测桥梁表面缺陷存在精度低、速度慢和漏检率高等问题，该文提出了基于深度卷积生成式对抗网络（，）和改进 的桥梁表面缺陷检测识别模型 首先，通过 网络对自主采集的桥梁表面缺陷图像进行数据增强，建立每类缺陷样本数量较为均衡的数据集；其次，在 模型基础上嵌入 注意力机制模块，使模型将注意力集中于缺陷区域，从而提升图像分类的准确率；最后，为验证所提方法的适用性，将包含 类桥梁表面缺陷的数据集进行训练与测试 实验结果表明：该文提出的模型在桥梁表面缺陷检测上的准确率为，相比其他深度学习模型具有更高的检测精度和鲁棒性关键词：表面缺陷检测；深度卷积生成式对抗网络；注意力机制；中图分类号：文献标志码：引言桥梁作为在现代综合立体交通体系中至关重要的一项基础设施，在运营过程中经常受到外部荷载冲击和基础不均匀沉降等因素的影响，表面容易出现裂缝缺陷，当裂缝宽度过大时会直接降低桥梁承载能力，对桥梁结构安全和长期性能带来隐患，若不及时处理则可能会引发垮塌事故 然而目前中国对桥梁表面缺陷的检测大多还是通过人工定期巡检，不仅消耗大量的人力、物力和财力，而且还对日常交通造成影响，且检测效率低下、误检率高，很难满足桥梁日常养护的需求 因此，亟需建立一种桥梁表面缺陷智能识别模型，提升桥梁管理养护水平基于传统机器学习的桥梁表面缺陷检测算法主要是通过提取有效特征，再输入到分类器中进行模式识别 陈飞飞等先提取灰度直方图、颜色矩及纹理等统计特征，再输入到支持向量机进行桥梁裂缝的识别，结果表明：图像干扰噪声越少，其识别精度越高 魏武等引入高幅小波系数比、高频能量比、变换最大值和概率统计参数作为特征值，利用 神经网络对桥梁缺陷图像进行分类 等利用桥梁裂缝图像的形状特征和灰度特征，结合 分类器检测桥梁裂缝 但由于裂缝缺陷形态各异且背景噪声干扰较大，选择的特征在较大程度上取决于先验知识，因此，传统方法提取的特征代表性不足，这导致模型识别准确率较低深度学习技术近年来不断发展，已经在目标检测与模式识别等问题上得到了广泛的运用，目前基于深度学习的目标检测算法根据预测流程可分为 类）以、等为代表的基于候选区域的 级目标检测算法，此类算法包括 个阶段：（）使用区域建议算法创建可能包含检测对象的候选区域，并对部分背景区域进行剔除；（）第 卷 第 期 江西师范大学学报（自然科学版）年 月 （）使用 对候选区域进行置信度和位置修正，采用非极大值抑制算法对其进行处理，得到最终的检测框 等将 模型用于从桥梁裂缝图像中有效地提取多样化的特征，已经证明了其在检测大型建筑物和结构裂缝方面的可行性 等将 应用于具有复杂背景的混凝土桥梁图像，使用包含复杂干扰信息的图像来评估建立的网络模型性能，实现自动从原始图像中定位裂缝）以、等为代表的基于分类回归的单级目标检测算法，通过使用多个尺度的特征图来弥补感受野的影响，将特征提取和定位一体化完成，识别速度要比前一类算法快很多，但精度略有不足 周清松等提出一种改进 的桥梁表观病害检测识别方法，通过添加固定池化模块和引入 结构，相较于原始模型进一步提高了检测精度 孙朝云等设计了深度残差网络和 卷积神经网络融合的模型，并根据损失函数的收敛程度优化在模型中的超参数，得到了较好的分类效果在主流的目标检测算法中，网络在不同对象的检测任务中均表现出色，国内外学者对其提出了不同的改进方案 本文提出了一种基于深度卷积生成式对抗网络和改进 的桥梁表面缺陷检测识别模型 为有效解决模型在训练时样本不均衡的问题，将 网络用于训练自主采集的小样本裂缝图像数据，生成桥梁表面缺陷图像数据集；再以 为基础网络框架，集成 注意力机制模块，增强重要特征的表征能力，从而进一步提升模型检测的准确率 实验结果表明：在对不同类型的桥梁表面缺陷的检测任务中，本文所提出的模型能有效识别缺陷并达到较好的效果 深度卷积生成式对抗网络深度卷积生成式对抗网络（）是在生成对抗网络 的基础上，引入卷积神经网络 衍生出的一种深度学习模型 模型的基本框架主要由生成器 和判别器 构成，其中生成器 通过学习真实数据 的分布，再输入随机噪声 就能生成新的样本数据（）；判别器 能够区分输入样本是真实数据样本还是网络生成样本，其作用类似于二分类器 结构如图 所示图 结构 的基本原理与 类似，只是在以下方面进行优化：）对 中生成器 和判别器 的结构使用 拓展，上采样由生成网络通过反卷积完成，在判别网络中引入具有 的卷积替换池化；）同时使用全局池化层替代全连接层，使模型训练更加稳定；）通过添加批量归一化等操作提高样本的质量和收敛的速度；）生成网络使用 激活函数，输出层使用 函数；）判别网络使用 激活函数，有效防止梯度稀疏生成网络 的作用是使生成的样本（）尽可能地接近真实样本，从而通过判别网络 判定为真实数据，即最小化目标函数（，）；判别网络 的作用是将生成的（）数据判别为假，真实数据输入判别为真，即最大化目标函数（，）因此 模型训练的本质就是生成网络 和判别网络 通过不断地进行动态的博弈对抗学习，最终达到纳什均衡 由此可知，目标函数是最大化（）和最小化（），即（，）：（）（）：（）（），其中 为真实样本，为随机噪声，（）为真实样本分布，（）为随机噪声分布，（）为生成网络生成的样本；（）和（）分别表示判别网络对输入图像判别为真实图像和生成图像的预测概率，取值在 之间，其中 表示判定为生成图像，表示判定为真实图像将采集的小样本桥梁表面缺陷图像分类输入搭建好的 模型中，生成网络和判别网络的学习率均设置为 ，为 ，图 显示了在经过 次迭代后的输出结果 从图 可以看出：模型生成的桥梁表面缺陷图像形态和尺寸位置以及大小都具有较高的随机性，且具备较好的纹理信息，其灰度信息和轮廓信息与真实图像相似度较高，能有效扩充样本并解决深度学习模型训练样本不足的问题图 生成图像 网络模型改进 模型 网络模型是在 系列检测模型江西师范大学学报（自然科学版）年中的一种，具有检测精度高、体积小和运行速度快等特点，非常适合部署到嵌入式的设备中 本文对 网络结构进行改进和优化，实现在不影响正常交通的场景下对桥梁表面缺陷进行自动化检测识别 的结构主要由、和 等 个部分组成，网络模型整体结构框架如图 所示图 模型结构 输入端实现 数据增强、自适应图像缩放和自适应锚框计算的功能，完成输入数据的预处理任务 主干网络包含、和 结构 结构进行切片操作，目的是减少模型层数、提高运行速度（）基础模块用于特征提取（）基础模块在特征提取过程中优化在网络中的梯度信息，减少推理运算量，并加快网络运算速度 空间金字塔模块拓展了特征图的感受野，解决了输入图像尺寸不统一的问题 颈部网络在 特征金字塔网络的基础上参照了 金字塔注意力网络，形成了 结构的多尺度特征融合网络 层自上向下对图像进行上采样，并通过引入的 网络模块将提取的语义特征与主干网络中提取的特征进行特征融合；层自下向上对图像进行下采样，将提取到的定位特征和 层提取的特征进行融合，从而实现不同尺度的目标特征融合，进一步提升检测网络性能 输出端通过 卷积模块输出 种不同的检测尺度，并用 作为 损失函数优化边界框不相交问题，同时引入 非极大值抑制机制筛选多目标框 网络模型的改进注意力机制可以根据特征的重要性，将计算资源更多地集中在检测目标最具信息性的部分，以增强对检测任务贡献度更大的特征的表征能力 为实现同时在通道维度和空间维度上强化重要特征并抑制无用特征，等融合了通道注意力机制（，）和空间注意力机制（，），于 年提出了卷积注 意 力 机 制（，），模块示意图如图 所示图 模块 和 通过串联的方式从通道域和空间域 个维度考虑特征相关性，从而计算出注意力权重，在经过 轮卷积操作后，依次生成通道注意力图和空间注意力图，最后空间注意力图与空间注意力模块的输入相乘，得到 模块的输出 注意力机制的处理过程为 （），（），其中 为输入特征图，为在通道维度上的注意力映射计算，为在空间维度上的注意力映射计算 机制通过最大池化 和平均池化 并行连接，对在特征图上每一个像素点进行反馈，在进行梯度反向传播时对特征图响应最大的点进行反馈 不同层次的池化意味着能够减少信息的丢失，得到 种池化在每个通道上聚合空间信息得到的特征表示符 和，采用多层感知机（）进行卷积处理，经过 激活函数获得 维通道注意力 计算过程如下：（）（）（），（）（）（），其中 表示 激活函数，表示多层感知机模型，（）、（）分别为 个隐藏层的参数 机制将通道注意力模块的输出特征进行空间上的最大池化和平均池化，分别得到 和 个空间通道描述符，拼接后得到通道数为 的空间特征图，通过激活函数为 的 卷积层进行卷积，就能得到 维空间注意力 计算过程如下：（）（）；（），（）（；），其中 为 函数，表示卷积核为 卷积运算注意力机制最重要的功能是对特征图进行注意力重构，突出在特征图中的重要信息，抑制一般信第 期何金宝，等：基于 和改进 的桥梁表面缺陷检测识别息，而 网络就是在 模型中提取特征最关键的部分 本文将 模块集成在 网络之后，而在 网络进行特征融合之前，这主要是因为 模型是在 网络中完成的特征提取，然后经过 网络特征融合之后在不同的特征图上预测输出 因此 模块在此处进行注意力重构，可以突出重要特征并抑制无效特征，从而提高检测精度 改进后的模型具体结构如图 所示图 改进 模型结构 实验结果与分析 实验数据本文实验平台由 部分组成：图像采集系统和图像处理系统 图 显示了本文用于采集桥梁表面缺陷的图像采集设备 该系统由大众朗逸汽车、支架、运动相机组成 图像处理系统是在 操作系统下，基于 和 搭建的深度学习框架，硬件环境为 ，显示内存图 图像采集装置在自然光条件下，使用 全向运动相机通过线性扫描的方式采集桥桥梁表面图像，获得共计 幅像素为 的桥梁表面缺陷图像，其中横向裂缝 幅、纵向裂缝 幅、交叉裂缝 幅、网状裂缝 幅，部分数据集样本如图 所示 为提高模型的识别精度和泛化能力，避免因样本数量不均而导致过拟合的问题，使用 进行数据增强，每类缺陷数据扩充到 幅，并将数据集按 的比例划分为训练集和测试集图 桥梁表面缺陷数据集 评价指标本文选取了平均精度（）、平均精度均值（）和帧率（）等指标对改进后的网络模型进行评价 用于评估模型在单个检测类别中的性能，通过计算网络模型的 曲线所围成的面积得出；能直观反映模型整体性能，将每个类别的 平均后就可得到；用于衡量网络模型处理图像的速度，表示模型每秒能处理图像的数量 和 的计算如下所示：（），其中精确率（）和召回率（）的计算如下所示：（），（），这里表示输入为真且判定为真的样本个数，表示输入为假且判定为真的样本个数，表示输入为真且判定为假的样本个数，为在数据集中的类别数 实验结果与分析对 模型和改进的 模型分别进行训练，参数设置如下：优化器为，初始学习率为 ，为，动量参数为 ，衰减系数为 ，最大迭代次数为 次 图 显示了江西师范大学学报（自然科学版）年 原始模型和在嵌入 模块改进后的 模型的识别准确率和损失值 从图 可以看出：随着训练轮数的增加，改进的 模型的识别准确率逐渐高于原始模型；前期损失值下降较快，改进后收敛速度明显要优于原始模型的收敛速度 将测试集输入搭建的模型中获得桥梁表面缺陷的识别混淆矩阵（见如表）结果表明：改进 模型能够正确识别不同类型的缺陷，识别准确率达到 图 迭代训练准确率和损失值表 准确率识别混淆矩阵类别横向裂缝纵向裂缝交叉裂缝网状裂缝横向裂缝 纵向裂缝 交叉裂缝 网状裂缝 为了进一步验证本文提出的模型在桥梁表面缺陷检测识别方面要优于其他先进的检测算法，使用同样的数据集对文献提出的模型（）、文献提出的模型（）、文献提出的模型（）进行识别任务的训练和测试 表 是本文提出的模型与主流模型进行随机试验的结果对照 通过分析可知：相较于其他主流检测算法，本文提出的方法有更好的分类性能，且 达到了，具有重要的实际运用价值，能够有效作为桥梁表面缺陷检测识别的模型表 不同模型性能比较诊断模型（）横向裂缝纵向裂缝交叉裂缝网状裂缝 本文方法 结语本文提出一种 和改进 的桥梁表面缺陷检测模型，首先使用 网络对采集到的桥梁表面缺陷图像进行数据增强，然后引入 注意力机制模块，提出改进后的 模型 实验结果表明：相比于原始 模型和其他主流算法，本文提出的模型在网络性能、模型识别率和模型收敛速度方面表现更为突出，能为桥梁日常维护提供更好的辅助作用 参考文献 吉伯海，傅中秋 近年国内桥梁倒塌事故原因分析 土木工程学报，（）：胡兴意，陈波，刘国强，等 融合 与影像建模技术的桥梁检测方法及其应用研究 中外公路，（）：，（）：陈飞飞，张宇峰，韩晓健 基于图像特征值的混凝土桥梁表面病害图像分类 结构工程师，（）：魏武，王俊杰，蔡钊雄 基于小波和 变换的桥梁裂缝检测 计算机工程与设计，（）：，（）：，：第 期何金宝，等：基于 和改进 的桥梁表面缺陷检测识别，：（），：，：，（）：，（）：，：，（）：，：，（）：周清松，董绍江，罗家元，等 改进 的桥梁表观病害检测识别 重庆大学学报，（）：孙朝云，马志丹，李伟，等 基于深度卷积神经网络融合模型的路面裂缝识别方法 长安大学学报（自然科学版），（）：，（）：，：，（）：，：，：，（）：薛勇，王立扬，张瑜 基于 深度迁移学习的苹果缺陷检测方法 农业机械学报，（）：，：，（）：，（，；，）：，（），：；（责任编辑：冉小晓）江西师范大学学报（自然科学版）年