基于YOLO v5-IBX网络模型的公路隧道衬砌裂缝检测方法研究.pdf

年 月第卷 第 期沈 阳 建 筑 大 学 学 报(自 然 科 学 版)().收稿日期:基金项目:国家重点研发计划项目()交通运输部科技示范项目()作者简介:何兆益()男教授博士生研究生导师主要从事道路工程等方面研究文章编号:():./.:.基于 网络模型的公路隧道衬砌裂缝检测方法研究何兆益常宝霞吴逸飞李冬雪(重庆交通大学交通运输学院重庆 陕西服装工程学院信息工程学院陕西西安 重庆奉建高速公路有限公司重庆)摘 要 目的 针对传统隧道衬砌裂缝检测效率低、成本高、周期长以及当前基于计算机视觉、图像处理技术的裂缝智能检测方法效率低、精度低、检测结果不准确等问题提出一种改进的网络模型 对公路隧道衬砌裂缝进行智能检测 方法在原始 网络模型的检测层中新增一个低维尺度和在特征提取层中融入注意力机制提高特征融合利用和对小目标的检测精度降低网络参数的计算量达到减少裂缝细节信息丢失的目的对采集到的公路隧道衬砌裂缝图像通过图像翻转、裁剪、调整图像饱和度、对比度等随机转换方式来进行数据增强增加数据特征样本建立数据集以满足模型检测的需求在建立的隧道衬砌裂缝数据集上进行试验以精确率、召回率、计算平均精度及平均精度均值作为检测精度的综合评价指标将笔者提出的网络模型 与原始的 等其他网络模型进行对比 结果 采用改进的网络模型 检测隧道衬砌裂缝在迭代 次的情况下训练损失可以降到 裂缝检测精度率达到 左右召回率达到 左右精度均值达到 左右均优于其他模型检测精度得到有效提高 结论 相比较传统的人工检测方法和原始 检测算法改进的网络模型 可以更快速、准确地识别出隧道衬砌裂缝为隧道衬砌裂缝检测提供新的更加实用的检测方案关键词 公路隧道裂缝检测 模型隧道衬砌裂缝注意力机制中图分类号 文献标志码 ()第 期何兆益等:基于 网络模型的公路隧道衬砌裂缝检测方法研究:.:衬砌裂缝是公路隧道施工和运营过程中最常出现的病害影响隧道的结构稳定及安全行车 传统裂缝的检测和识别主要依靠人工巡检不仅效率低、准确率低且容易出现漏检情况无法满足隧道裂缝快速检测的要求而主流的数字图像处理技术和机器视觉方法因隧道图像中存在水渍、划痕、光照不均匀、噪声大等复杂情况导致其效率低、准确率低且实时性差因此需要更有效的方法对隧道衬砌裂缝及时检测在隧道图像的数据采集中江桁等采用上海同岩公司开发的公路隧道快速检测车采集隧道图像其图像采集成本较高孟庆成等采用智能手机采集图像其采集过程较为主观 等采用无人机自带的线阵相机获取采集图像其采集方式在隧道中使用受限 因此笔者考虑到研究的实用性与经济性选用较普遍的单反相机在大数据时代不少研究学者用深度学习的检测方法检测隧道衬砌裂缝 赵慧洁等对神经元模型改良得到脉冲耦合神经网络 但因衬砌裂缝图像的复杂性所用的分割方式不能充分提取图像信号分离效率不佳 等基于滑动窗口扫描技术设计了一种卷积神经网络识别混凝土裂缝通过与传统边缘检测技术(如、算子)的识别方法比较发现裂缝识别时深度学习技术优于数字图像处理方式 将滑动窗口扫描技术应用于深度卷积神经网络中进行视频序列的裂缝识别考虑到视频序列中裂缝在时空上的一致性给出一个融合各种频率序列和结合贝叶斯决策的数据融合方法以减少错误率 刘新根等基于深度学习提出一种隧道衬砌裂缝自动识别算法验证了深度学习识别裂缝的优越性 沙爱民等将卷积神经网络 沈 阳 建 筑 大 学 学 报(自 然 科 学 版)第 卷技术运用于道路病害识别与检测中发现经图形处理器加速卷积神经网络检测效率较高 李建超等分析了隧道衬砌裂缝检测系统的不足提出基于图像识别技术的裂缝检测系统可对后端裂缝快速识别并提取裂缝特征但该方法精度仅有 刘新根等基于卷积神经网络提出二叉树与曲线拟合的裂缝识别方法可以较好地修正裂缝边缘但对于水渍、划痕等伪裂缝未作判断柴雪松等采用超像素对包含裂缝的区域先分类再分割实现裂缝识别但超像素对背景干扰较多且特征不明显的裂缝分块效果不佳 等提出接缝消除算法和渗流检测算法相结合的隧道裂缝检测算法可以去除表 面 噪 声 但 精 度 受 环 境 影 响 较 大 等提出一种 算法对隧道裂缝实现了自动化检测但检测精度还有待优化综上所述进行隧道裂缝识别时神经网络系统只有设备好、训练时间长、数万次训练后裂缝识别精度才能较高 这无法满足隧道衬砌裂缝检测成本低、操作简单、效率高的现实要求 为保证隧道长期安全稳定地运行笔者针对隧道衬砌裂缝检测面临的实际困难在原始 网络模型的检测层中新增一个低维尺度和在特征提取层中融入注意力机制提出改进的网络模型 对其公路隧道衬砌裂缝进行检测研究表明笔者所提方法高效、灵活、成本低可以快速地对公路隧道衬砌裂缝进行检测 研究方法 算法在检测的实时性方面具有独特优势随着技术的不断改进 系列网络已经从初始的 模型逐渐进步为目前的 模型本研究中主要需要识别的目标为公路隧道衬砌表观的裂缝对模型的实时性和轻量化都有较高的要求因此选取 网络 从原始的 模型到较新的 模型的优缺点如表 所示 架构包含四个架构分别命名为 、和 主要区别在于网络具体位置的特征提取模块和卷积核的数量不同四种体系结构的模型尺寸和模型参数数量依次增加 在这四种架构中 相对来说是较轻快的模型表 系列算法优缺点 算法优点缺点 检测速度相对有所提升对小目标和密集目标检测效果不佳 分类精度有所提升需要预训练小目标检测效果不佳 实现多尺度检测模型较为复杂中大目标检测效果较差 权衡了精度与速度之间的关系检测精度有待进一步提升 模型尺寸小检测精度相对较高性能有待进一步提升 由于隧道衬砌裂缝图像受隧道中光照、噪声的影响为了提高目标检测精度本研究基于 构架在检测层网络中新增一个 的低维尺度原 采用 的三种尺度对特征进行融合尚未完全利用网络中分辨率较大的浅层特征图的位置信息直接采用此网络进行检测在多次卷积后会使部分隧道衬砌裂缝图像信息丢失不能很好完成检测任务 加入低维尺度后通过融合多种尺度的特征信息进行隧道衬砌裂缝检测可以强化特征学习 并在特征提取层融入 注意力机制可以更好地提取衬砌裂缝图像的目标特 征 注 意 力 机 制(第 期何兆益等:基于 网络模型的公路隧道衬砌裂缝检测方法研究 )是一种用于改善神经网络特征提取能力的通道注意力机制 对于任意给定的输入()经过变换()做一次卷积映射映射到特征 上其中 通过卷积操作可以构造相应的 模块来执行特征的校准工作 模块包括压缩和激励两个步骤在压缩过程中特征 先经过全局平均池化变换将 的特征图压缩为一个 的特征图 这个特征图包含了输入特征图中每个通道的平均值用于表示该通道的重要性 在激励过程中 模块通过采用一个全连接神经网络将 的特征图映射到一个 维的向量然后通过一个 激活函数将向量中的每个元素压缩到 到 之间 这个向量表示了每个通道的重要性权重用于调整输入特征图中每个通道的响应 最后 模块将调整后的特征图与原始特征图进行比例相乘()运算得到被赋予了相应注意力权重的特征图 这个特征图可以用于后续的分类和检测 注意力机制可以根据数据的特征自动调整每个通道的重要性权重通过特征映射生成的通道描述符来提升有用的特征同时弱化噪声和背景等不重要的特征从而能在保证准确的同时提高网络速度更好地适应现场应用环境 因此将 目标检测方法应用于隧道衬砌裂缝检测 作为隧道衬砌裂缝检测的网络模型其结构如图 所示图 网络结构图 沈 阳 建 筑 大 学 学 报(自 然 科 学 版)第 卷 数据采集及处理 数据采集目前国内还没有公开的隧道衬砌裂缝数据集为了达到研究目的笔者以重庆涪陵区打石场隧道为研究对象进行数据采集 打石场隧道位于 厦成线涪陵段洞门为端墙式结构隧道长 高 路面宽 检修道宽度为 衬砌为复合式结构路面为沥青混凝土结构通过使用单反相机共拍摄 张裂缝图像图像格式为 每张图片分辨率为 位深度为 建立了一个隧道衬砌裂缝数据集选取的部分样本图像如图 所示图 隧道衬砌裂缝样例 数据处理由于隧道内部环境较暗采集图像时隧道采光不均匀不可避免地出现采集到的图像光照不均匀的现象而隧道衬砌背景较复杂且裂缝较窄导致裂缝检测精度不高这些都对隧道衬砌裂缝的标注有了不同的需求 从 个标注的样本中选取 个典型的隧道衬砌裂缝图像展示裂缝标注的不同情形如图 所示图 不同情形隧道衬砌裂缝图标注样例 由图 可以看出隧道衬砌裂缝背景复杂 首先隧道衬砌表面光照不均匀导致图像裂缝像素亮度不均匀其次隧道衬砌裂缝呈线状、拉长状中间可能出现断裂和交叉然后隧道衬砌表面受到油渍或水渍的污染使得裂缝像素与背景像素难以区分最后隧第 期何兆益等:基于 网络模型的公路隧道衬砌裂缝检测方法研究 道衬砌裂缝图像中的裂缝像素在图像总像素中所占比例很低导致检测时样本负荷较大数据集是网络模型训练的基础而数据标注也是直接影响数据集质量的重要因素本研究采用 对采集到的图像进行标注标注后的图像命名为 在标注完成后保存自动生成的 文件然后利用 系统将 文件转换为裂缝图像标注信息的 文件文件中含有裂缝的数量和位置信息 目前获取的数据集不能满足模型训练的需求所以需要在现有的数据集基础上进行数据增强通过翻转、裁剪和调整图像对比度、饱和度、亮度来使采集到的 张图像扩充到 张增大数据特征样本以满足训练需求 裂缝标注信息情况如表 所示其中“”代表的是隧道衬砌中的裂缝类型“”的个数代表的是所标注的裂缝条数 坐标 代表的是标注框的中心点横坐标坐标 代表的是标注框的中心点纵坐标坐标 代表的是标注框的宽度坐标 代表的是标注框的高度表 裂缝标注信息情况表 类别代码坐标 坐标 坐标 坐标 试验分析 试验方案本试验使用 主频 处理器 内存 独立显存硬件环境操作系统为 开发平台使用 使用基于 语言的 深度学习框架搭建 实现网络模型对公路隧道衬砌裂缝的检测本研究将打石场隧道衬砌裂缝的 张图像作为数据集其中训练集图像 张验证集图像 张基于 网络模型检测图像中的衬砌裂缝 在模型训练时设置参数批尺寸为 迭代次数为 次动量为 权重衰减值为 学习率初始值为 在训练过程中采用梯度优化器对网络模型参数进行更新同时采用小批量梯度下降法进行迭代训练 在每次迭代中计算损失函数的输出值以评估模型的性能和训练进度随着损失函数的输出值逐渐变小并趋于稳定迭代过程会自动停止此时网络模型已经训练完毕保存网络模型的权重将该权重用于公路隧道衬砌裂缝图像的检测 笔者改进的 网络模型采用端到端的随机梯度下降()方法进行训练设置训练次数为 次但在训练 次后损失函数曲线趋于平滑稳定所以最终训练的次数为 次 保存训练后的权重文件利用测试集对模型性能进行评估 研究评价指标在目标检测时通常将预测框与目标真实框的交并比大于 设定为成功预测到目标位置通过精确率、召回率、计算平均精度 和平均精度均值 作为目标检测精度的综合评价指标 其中精确率体现为所有预测为裂缝的目标中预测准确的目标占整个所有检测为裂缝的比例反映模型的误判能力其主要衡量公路隧道衬砌裂缝检测模型正确分类的程度 召回率体现为正确预测为裂缝的数量占所有检测样本中裂缝数量的比例反映模型的漏检能力 用于评估模型在单个检测类别上精度而 评估整体检测精度由于本研究中隧道衬砌裂缝只有一种类型 与 取值相同因此采用计算平均精度和平均精度均值评价裂缝检测精度效果一致 越大表明检测精度越高效果越好具体计算公式为 沈 阳 建 筑 大 学 学 报(自 然 科 学 版)第 卷 .().().().()式中:为识别出裂缝的正样本条数为无裂缝识别的负样本条数为含有未识别裂缝的正样本条数 为分类数 训练结果分析训练结果如表 和图 所示在迭代 次时曲线变化幅度很大在迭代 次以后曲线趋势逐渐缓和最后在靠近 次时趋于稳定 在迭代 次后边界框回归损失最后值约为 该值越小训练时的损失就越小表明训练的结果越准确 置信度损失值约为 该值越小说明检测精度越高 由于样本中只有一个标注类别标记为 所以该类类别值为 裂缝识别精确率约为 则误判率为 说明裂缝检测精度较高召回率约为 则漏检率为 说明查找正确含裂缝类型的准确率较高平均精度均值为 说明模型训练较好表 裂缝训练结果 迭代/次边界框损失置信度损失类别.:.第 期何兆益等:基于 网络模型的公路隧道衬砌裂缝检测方法研究 图 训练结果 试验结果对比分析为了更好地验证笔者改进的 公路隧道衬砌裂缝检测模型的提升效果基于 试验方案与数据集对原始的 检测模型进行训练对比模型性能对比结果如表 和图 所示表 模型性能对比 方法/:/注:和 :中 表示平均 后面的数表示判定交并比为正负样本的阈值 表示阈值取 (从 到 步长为 )后取均值通过对比发现改进的 模型在训练集上的精确率达到 左右召回率达到 左右都高于原 模型的精确率和召回率分别为 和 分别提升 和 在阈值为 时改进的 模型平均检测精度为 模型的平均检测精度为 提升 在阈值为 时笔者改进的 模型的平均检测精度为 模型的平均检测精度为 提升 由检测结果分析可知笔者改进的 模型优于 模型为进一步分析该算法对衬砌裂缝的识别性能将改进的 网络与原始的 、网络进行比较 以模型的精确率、召回率、平均精度均值和权重大小作为评价指标每个网络模型的识别结果如表 所示 沈 阳 建 筑 大 学 学 报(自 然 科 学 版)第 卷图 改进前后模型对比 表 不同模型在隧道裂缝检测中性能对比 算法/权重/通过对比发现本研究改进的 识别模型的精确率、召回率、平均精度均值分别达到 、权重仅有 均优于其他方法 这说明笔者改进的隧道衬砌裂缝检测模型在满足检测精度、轻量化等要求的同时优于其他算法不仅保证了识别的准确性还满足隧道衬砌裂缝检测的实际需求 测试结果曲线在训练 次时趋于平稳表明模型训练良好没有过拟合 为验证公路隧道衬砌裂缝检测模型的性能随机选取数据集中 张图像进一步分析该模型的检测结果 检测结果显示该模型对于隧道衬砌裂缝图像能够较好地识别检测通过在特征层引入注意力机制可以更加有效地提取隧道衬砌裂缝特征增强深度满足衬砌裂缝的日第 期何兆益等:基于 网络模型的公路隧道衬砌裂缝检测方法研究 常检测要求 从验证的 张裂缝图像中选取以下三种较典型的衬砌裂缝进行分析如图 所示图 裂缝验证结果 从图 中可以看出对于背景简单和背景复杂、干扰较多的隧道衬砌裂缝该模型都能很好地识别并标记出来且对非裂缝没有误判 在背景简单的隧道衬砌中可以准确地识别出细小裂缝 在背景复杂的隧道衬砌中该模型能够很好地区分出真实裂缝与伪裂缝 证明了笔者改进的 网络模型可以满足公路隧道衬砌裂缝检测高精度、高效、实时性等实际要求 结 论()基于原 架构在检测层中新增一个低维尺度和在特征提取层中融入注意力机制提出一种改进的 检测算法模型 增加特征融合地利用减少网络参数的计算量提高对小目标的检测精度能够满足公路隧道衬砌裂缝检测高精度、高效、实时性的实际要求()采用笔者改进的公路隧道衬砌裂缝检测模型 对裂缝进行检测时比原来的 以及其他网络模型检测效果要好经过 次训练后总损失率降低到 左 右 裂 缝 检 测 精 确 率 达 到 左右召回率达到 精度均值达到 左右并且每帧图像的检测时间达到 权重仅有 在提高检测精度的情况下保证了模型检测时间和网络轻量化优化了检测模型为隧道衬砌裂缝检测提供了新的更加实用的检测方案()采用本研究改进的公路隧道衬砌裂缝检测模型对于隧道衬砌背景复杂干扰较多的情况没有误判没有漏检能够有效地区分真实裂缝与伪裂缝经后期人工复核证实检测效果较好且对于隧道拱顶的检测较人工检测方法更为准确与高效参考文献 江桁刘学增朱合华.基于隧道快速检测车数据的公路隧道衬砌开裂识别模型研究.现代隧道技术():.(.():.)孟庆成万达吴浩杰等.基于卷积神经网络的混凝土裂缝图像识别方法.沈阳建筑大学学报(自然科学版)():.(.()():.).():.王琨.基于深度学习的路面破损检测研究及应用.武汉:武汉理工大学.(.:.)杨杰文章光陈西江等.基于深度学习的较复杂背景下桥梁裂缝检测.铁道科学与工程学报():.(.沈 阳 建 筑 大 学 学 报(自 然 科 学 版)第 卷.():.)曹锦纲杨国田杨锡运.基于注意力机制的深度学习路面裂缝检测.计算机辅助设计与图形学学 报():.(.():.)赵慧洁葛文谦李旭东.最小误差准则与脉冲耦合神经网络的裂缝检测.仪器仪表学报():.(.():.).():.黄时杰曾建华.图像边缘检测与分割的 实现.赤峰学院学报(自然科学版)():.(.()():.)吴术路.基于 算子图像边缘检测的 实现.电脑知识与技术():.(.():.).:.():.刘新根陈莹莹朱爱玺等.基于深度学习的隧道裂缝识别方法.广西大学学报(自然科学版)():.(.()():.)沙爱民童峥高杰.基于卷积神经网络的路表病害识别与测量.中国公路学报():.(.():.)李健超张翠兵柴雪松等.基于图像识别技术的隧道衬砌裂缝检测系统研究.铁道建筑():.(.():.)刘新根陈莹莹王雨萱等.基于级联神经网络的隧道衬砌裂缝识别算法研究.铁道学报():.(.():.)柴雪松朱兴永李健超等.基于深度卷积神经网络的隧道衬砌裂缝识别算法.铁道建筑():.(.():.).():.():.杨文伟杨霞蒙卉恩.基于压电陶瓷的 混凝土柱裂缝损伤监测.沈阳建筑大学学报(自然科学版)():.(.()():.)李太文范昕炜.基于 的道路裂缝识别.电子技术应用():.(.():.).():.:.(责任编辑:刘春光 英文审校:范丽婷)