基于卷积神经网络的钢箱梁裂缝检测算法研究.pdf

第 卷 第 期 年 月世 界 地 震 工 程 .收稿日期:修回日期:基金项目:国家自然科学基金项目()黑龙江省头雁行动计划 作者简介:沈俊凯()男博士研究生主要从事基于深度学习的结构损伤检测研究:.通信作者:张令心()女研究员主要从事结构抗震研究:.文章编号:():./.基于卷积神经网络的钢箱梁裂缝检测算法研究沈俊凯张令心朱柏洁(.中国地震局工程力学研究所 地震工程与工程振动重点实验室黑龙江 哈尔滨.地震灾害防治应急管理部重点实验室黑龙江 哈尔滨)摘 要:地震作用和车辆动载的日常冲击常常会引起钢箱梁的表面裂缝损伤 在日常检修和震后开展安全检查时由于裂缝在整张图像中的占比较低且受到笔迹、锈迹和焊缝等因素的严重干扰很难从现场采集到的图像中高效并精确地检测出裂缝 为此本文基于卷积神经网络提出了一种结合裂缝定位和裂缝分割的级联裂缝检测模型 首先采用分类模型在原始图像中定位出裂缝所在位置然后采用 模型实现对裂缝的像素级检测 结果表明:本文方法可以实现对大部分裂缝的精确检测 分数达到.高于仅采用分割模型的.此外相比仅采用分割模型的检测方法本文方法的检测效率提高了近 可达到.每张关键词:图像处理深度学习计算机视觉卷积神经网络裂缝检测中图分类号:文献标识码:(.):.:引言随着建筑工业化的发展装配式钢箱梁在钢结构建筑和大跨度桥梁建设中得到了广泛应用 这类桥梁世 界 地 震 工 程第 卷结构在服役过程中不可避免的受到车辆动载的持续冲击或地震作用影响钢箱梁表面尤其是焊缝处极易出现裂缝损伤 为确保钢箱梁工作的安全需要定期对钢箱梁开展健康诊断和安全评估工作 然而这种采用钢箱梁的桥梁结构跨度较大裂缝常出现在工程师难以直接使用肉眼观察到的位置人工检测难度很大 此外由于震后地震现场安全状况不明工程师直接进入钢箱梁内部进行观察与评判存在较大的安全隐患 随着无人机技术的飞速发展目前已经实现了利用无人机近距离地采集裂缝图像工程师仅需根据采集到的图像即可完成对钢箱梁的健康诊断和震后损伤判别 但这种诊断过程依然费时费力诊断准确度高度依赖于工程师的专业知识储备主观性较强无法达到快速诊断的目标 因此为了能够更加高效、精确地检测出图像中的裂缝损伤有必要引入计算机视觉技术对采集的图像开展裂缝识别和提取研究为桥梁结构的健康诊断和震后损伤判别提供依据针对这一需求国内外众多学者开展了广泛的研究尤其是近几年随着人工智能的快速发展基于深度学习方法的计算机视觉技术被广泛的应用于结构损伤检测领域 例如 等提出了一种基于卷积神经网络的混凝土裂缝检测算法结果表明:该算法的检测精度远高于传统的边缘检测方法 等提出了一种基于 ()的混凝土桥梁表面损伤检测算法 等提出了一种基于融合卷积神经网络检测钢结构表面裂缝和笔迹的方法李良福等提出了一种基于深度学习的桥梁裂缝检测方法利用卷积神经网络对切割好的小尺度子图像进行分类实现对裂缝的检测 然而上述这类检测方法都是通过对小窗口内的子图像进行分类实现裂缝检测检测精度仍停留在窗口级无法实现像素级的裂缝检测也就无法对裂缝开展量化分析为了实现像素级的裂缝检测 等提出了基于全卷积神经网络的 模型像素检测精度明显优于窗口级模型肖创柏等提出了一种基于 的铁轨裂缝检测算法通过结合深度学习算法和数学形态法实现了裂缝的像素级检测 等构建了四种不同尺度的 的模型研究了模型尺度对像素级裂缝检测精度和效率的影响 上述像素级裂缝检测方法均为基于编码器解码器框架的单一模型 这类模型所能处理的图像尺寸较小 然而现实世界中采集的图像尺寸较大裂缝只占原始图像中的小部分区域直接使用像素级检测模型检测整幅图像会造成大量计算资源的浪费降低检测效率综上所述窗口级检测方法在检测效率方面优势明显但检测精度不足 像素级检测方法的检测精度更高但检测效率较低 因此本文提出了一种将窗口级方法和像素级方法级联的钢箱梁裂缝检测算法使用窗口级分类模型准确地定位并提取出原始图像中包含裂缝区域的子图像再利用像素级分割模型对裂缝子图像进行像素级的检测从而高效、精确地完成对任意尺度图像的像素级裂缝检测方法概述本文所提出的钢箱梁裂缝检测算法的实现框架如图 所示 首先通过分类模型在原始图像中定位出裂缝所在区域提取出裂缝子区域然后将裂缝子区域输入到分割模型中实现像素级的裂缝检测最后将分割出来的像素级检测结果依次拼接得到最终的检测结果图 本文方法实现框架.第 期沈俊凯等:基于卷积神经网络的钢箱梁裂缝检测算法研究.分类模型分类模型主要负责在整体图像中定位出裂缝所在的区域 首先需要将整体图像采用滑动窗口的方式划分为若干个子区域滑动窗口的尺寸为 像素滑动步长为 像素然后采用分类模型对每个子区域进行判别剔除大量无裂缝的背景区域提取出含有裂缝的子区域 为了节省图形存储空间用于训练分类模型的子区域尺度可以压缩为 像素图()展示了将整体图像划分为子区域的过程图()展示了经过分类模型检测后的裂缝子区域的定位结果图 裂缝子区域定位.模型结构该研究中所使用的分类模型的骨架为 并根据分类任务的复杂度将原来的 个全连接层减少为 层包含 个神经元的全连接层模型架构如图 所示 卷积层中的卷积核以给定的步幅在输入张量上滑动在训练过程中通过不断调整卷积核中的参数实现对特征的提取 最大池化层负责进一步提取特征和减少模型复杂度 同时为了提高模型的非线性映射能力并降低反向传播时求导的难度本文采用了非线性激活函数()计算公式如下:()()式中:是提取到的特征()是激活函数图 分类模型的结构.以输入向量 为例 在经过若干次的卷积和池化后得到一个尺度为()的特征图 计算公式如下:()()()式中:代表卷积 代表最大池化 代表激活函数 代表模型深度 特征图 连接到一个具有 个神经元的全连接层输出一个尺度为()的向量 之后再与输出层 相连最后采用 函数将输出层中的一维向量 归一化为:()世 界 地 震 工 程第 卷式中:和 分别为裂缝和背景的预测类别概率.分类模型的损失函数本文采用二元交叉熵作为评价预测类别与真实类别之间差异的损失函数计算公式如下:()()()式中:为分类的类别数此处 和 分别代表分类对象的真实类别.分割模型本文基于 搭建了实现像素级裂缝检测的分割模型模型架构和各层特征图尺度如图 所示分割模型是一个基于编码器解码器框架的全卷积神经网络 编码器类似于 中的特征提取单元由卷积层和池化层负责提取裂缝特征 解码器则包含了反卷积层和卷积层负责将编码器提取到的高维特征还原为具有与输入向量相同尺度的像素级检测结果图 分割模型的网络结构.与分类模型的训练过程类似假定输入为 尺度为()在经过编码后得到特征图 尺度为()计算公式如下:()()()式中:代表 卷积 代表最大池化 代表激活函数 代表模型深度 之后特征图 将被输入到解码路径得到解码后的特征图 尺度为():()()()式中:代表通道维度的拼接 代表反卷积 为 卷积 最后对解码特征图 进行 激活得到预测结果:()().边缘填充与特征图拼接在编码阶段若不采用边缘填充的方式对输入图像进行补全特征图的尺度在卷积的过程中将不断缩小导致解码后的输出图像尺度缩水难以计算预测结果与真实标签之间的损失值 因此 本文将采用边缘图 卷积中的边缘填充.第 期沈俊凯等:基于卷积神经网络的钢箱梁裂缝检测算法研究同值填充的方式为图像四周进行补全如图 所示 从图 可以看出对输入进行边缘填充后输出尺度与输入尺度将会保持一致 特征图拼接操作是通过通道连接的方式将编码器的特征和解码器的特征进行融合从而达到提高检测精度的目的而特征图拼接的前提是两个特征图的宽高尺度一致 因此边缘填充的加入也为编码特征图与解码特征图相互拼接提供了便利.反卷积在解码阶段需要将提取到的高维特征向量重新还原成与输入图像相同尺度的向量 本文采用反卷积对高维特征进行还原如图 所示 在反卷积过程中卷积核与输入向量中的每一个元素相乘生成中间特征图之后将所有的中间特征图按照卷积的方向和步长进行合并得到输出 相比于插值上采样反卷积操作中卷积核中的参数可以在训练过程中动态调整兼具特征提取的作用图 反卷积操作示意图.分割模型的损失函数在训练分类模型时裂缝图像样本和背景图像样本是均衡的可以采用常规的二元交叉熵作为损失函数 与分类模型不同训练分割模型所使用的图像中存在裂缝像素和背景像素样本严重不平衡的问题 由公式()计算得到的预测结果 和真实标签 中的裂缝像素与背景像素间存在着数量级的差异常规的损失函数无法有效的描述预测结果与真实标签之间的差异 为了解决问题本文引入了 ()作为损失函数该函数通过给不同类别的数据赋予不同的权重来提高裂缝像素在损失函数中的比重计算公式如下:()()()式中:是真实标签里的类别的总数以本文的裂缝检测任务为例 为 分别包括裂缝像素和背景像素是像素 中类别 的真实值 是相应的预测值 是每个类别的权重 是一张图像中的像素总数例如在一张尺寸为 像素的图像标签中裂缝像素数量为 个背景像素数量为 裂缝像素值为 背景像素值为 按照公式()计算裂缝像素的权重为/背景像素的权重为/实验与分析.实验数据集和超参数设置本文所有代码运行的硬件平台为:代码均采用下的 平台开发使用基于 语言的 深度学习框架 本文所采用的数据集是由 提供 数据集中包括 张分辨率分别为 和 的原始图像和裂缝标注图像 原世 界 地 震 工 程第 卷始图像与标注出的裂缝图像如图 所示 选取其中的 张图像用于训练模型 张用于测试训练好的模型图 原始图像与标注后裂缝图像样例.首先将 张原始图像切割成 个 像素的子图像其中 张裂缝子图像背景子图像与裂缝子图像的比例为.为了解决两类子图像之间数据不平衡的问题需要对裂缝子区域进行数据增强对裂缝子图像进行拉伸、旋转等操作以获取更多裂缝子图像 最终用于训练分类模型的数据集中包含 个裂缝子图像和 个背景子图像 用于训练分割模型的数据集中包含 张裂缝区域的子图像和其对应的裂缝标签 两个数据集都按照:的比例分别划分为训练集和验证集本研究采用 优化器来优化分类模型和分割模型 优化器中的一阶和二阶矩估计的默认指数衰减率分别设置为.和.初始学习率设置为.学习衰减率设置为.每一个 的学习率根据下式确定:初始衰减率()式中:为该 下的学习率初始为初始学习率 分类模型的 设置为 分割模型的 设置为 均设置为 分类模型和分割模型在训练阶段的损失函数变化情况如图 所示图 分类模型和分割模型的损失.分类模型结果分析表 分类模型在测试集上的混淆矩阵 混淆矩阵真实标签裂缝子区域()背景子区域()预测标签裂缝子区域.().()背景子区域.().()测试集中共包括 张原始图像经过裁切后共有 张子图像其中裂缝子图像 张背景子图像 张表 展示了训练好的分类模型在该数据集上的表现从表 中可以看出:分类模型对于裂缝和背景子图像的分类精度均达到了 以上 图 展示了分类模型的部分预测结果 从图 中可以看出:第 期沈俊凯等:基于卷积神经网络的钢箱梁裂缝检测算法研究大部分裂缝子图像和背景子图像能够被准确的识别出来 但是也有少数背景区域由于受到字迹和阴影的干扰而被误识别为裂缝(图()红色虚线方框内)还有少数处在子图像边缘或过细的裂缝也未能被正确识别(图()红色虚线方框内)图 分类模型预测结果.分割模型结果分析用于检验分割模型的测试集中共包含 个裂缝子图像及其对应的标签图像分割模型的部分检测结果如图 所示 从图 中可以看出:大部分的裂缝都能够被分割模型精准的检测出来只有少数处于图像阴影处和非常细微的裂缝未能被完整的检测出来图 分割模型检测结果.整体检测结果为了更精确的评估所提出方法的裂缝检测性能本文选取 分数和均交并比()作为评价指标 分数的计算公式如下:()()()世 界 地 震 工 程第 卷式中:为标签标注为裂缝且检测结果也为裂缝的像素点的个数 为标签标注为背景但检测结果为裂缝的像素点的个数 为标签标注为裂缝但检测结果为背景的像素点的个数 的计算公式如下:()式中:为检测结果中裂缝像素点的个数 为标签中裂缝像素点的个数本文所提出的方法在测试集 张图上的 分数和 如图 所示两个评价指标越接近 说明检测的效果越好 从图 可以看出:除对少数图像中的裂缝检测效果较差外本文方法对于多数图像均可以精确地检测出裂缝 为了更清楚地观察对于不同裂缝的检测效果本文将检测出的裂缝图像与真实裂缝图像进行叠加 若检测出的裂缝与真实裂缝图像中的裂缝重叠表明裂缝检测结果是准确的将该像素标记为黄色若不重合表明检测结果与真实裂缝存在误差将该像素标记为蓝色 图 展示了 张裂缝图像的检测结果图 测试集检测结果的 分数和.图 部分测试集裂缝检测结果.表 两种检测方法的检测效率对比 方法一张图像的处理时长/本文方法.仅使用分割模型.从图 可以看出:无论是长裂缝还是短小裂缝本文所提出的方法都可以有效的进行精确检测 从图 还可以看出:本文所提出的方法可以有效地分辨出裂缝与笔迹之间的区别不会出现将笔迹误认为裂缝的情况 但本文方法对于两块高低不平整的钢板之间所形成的狭小阴影区域容易出现误判 总体而言本文方法对于大部分常规裂缝都能实现精确检测 本文方法的检测效率和检测精度与仅使用分割模型的对比见表 从表 可以看出:本文方法检测一张千万像素级的完整图像中的裂缝平均仅花费.而仅使用第 期沈俊凯等:基于卷积神经网络的钢箱梁裂缝检测算法研究分割模型需要花费.相比于仅使用分割模型本文所提出的基于级联的检测方法的检测速度提高了 同时本文方法的检测精度也明显高于仅使用分割模型的方法 分数和 分别提高了.和.结论为精确和快速的实现对桥梁钢箱梁内部裂缝的像素级检测本文提出了一种基于深度学习的级联式混合方法得出以下结论:)所提出的方法结合了基于深度学习的分类模型和分割模型利用分类模型效率高、定位准确的特点快速定位裂缝区域利用分割模型检测精度高的特点对裂缝区域进行像素级检测解决了窗口级算法精度低和像素级算法效率低的问题)相较于现有方法只能检测固定尺度图像中的裂缝本文采取的级联策略可以实现任意尺度图像裂缝的像素级检测)本文方法在测试集上的结果表明:训练好的级联模型可以对大部分图像中的裂缝进行像素级检测不仅精度高于仅采用分割模型的精度提取效率也提高了 处理一张千万像素级的图像平均用时仅为.)本文方法具有提高检测效率降低人工成本的特点后续可对提取出的裂缝进行量化分析进而对其进行更为精细的健康诊断参考文献:.:.():.江炳根 马强 陶冬旺.基于卷积神经网络的地震预警震级持续估算方法研究.世界地震工程 ():.():.().():.():.():.李良福 马卫飞 李丽 等.基于深度学习的桥梁裂缝检测算法研究.自动化学报 ():.():.().():.肖创柏 柏鳗晏 禹晶.基于 的缝隙检测与提取算法.北京工业大学学报 ():.():.().():.():.:/.:.:/./.