基于智能机器人的水下建筑物裂缝检测方法与应用_刘巍.pdf

收稿日期：；修回日期：基金项目：北京工业大学教育部重点实验室基金项目（）作者简介：刘 巍（），女，黑龙江牡丹江人，高级工程师，主要从事电气工程方面的研究。：通信作者：徐妍彦（），女，湖北武汉人，主要从事机械设计制造及其自动化方面的研究。：，（）：，基于智能机器人的水下建筑物裂缝检测方法与应用刘 巍，葛海彬，徐妍彦，赵洪光，金京善，季昊巍（国网黑龙江省电力有限公司 牡丹江水力发电总厂，黑龙江 牡丹江；湖北工业大学底特律绿色工业学院，武汉；中国建筑第八工程局有限公司 工程研究院，上海 ）摘 要：针对水下建筑物裂缝检测问题，研发了一款新型智能水下机器人，此机器人具备恒温控制、低耗能驱动功能，可以在超低温深水环境下进行自主采集数据、导航与定位。基于机器人采集得到的图像数据，在图像预处理、深度卷积网络理论和裂缝特征数据标注的基础上，改进了原始的 模型，提出了特征金字塔融合卷积神经网络模型，对不同类型的裂缝进行了提取。将 网络应用于莲花水电站大坝的裂缝检测工程中，计算结果表明 在检测率、召回率和 值上都处于较高的水平，达到了、和，耗时为；网络普适性与鲁棒性更佳，能够适应大多数的裂缝数据，生存能力更好，有利于解决常规 模型在水下建筑物检测中检测率低、效率低的问题。该智能机器人可将检测人员从高寒水下恶劣、繁重和危险的现场作业中解脱出来，同时解决水电站传统检测中因弃水造成的巨大经济损失问题，并能提高检测效率和精度。关键词：智能机器人；裂缝检测；水下建筑物；特征金字塔融合卷积神经网络；检测率中图分类号：；文献标志码：文章编号：（），（，；，；，）：，（），（），第 卷 第 期长 江 科 学 院 院 报 年 月 ：；研究背景水电是当前及今后一段时期内我国可再生能源的主力。按照我国可再生能源发展规划，年将实现水电发电量约占可再生能源发电量的。为顺利实现该目标，确保水电站的安全稳定运行至关重要。我国地域幅员辽阔，水电站遍布全国，其中高寒地区的水电站面临着严重的水下建筑物裂缝与缺陷问题，这对水电站的安全运行造成了极大的威胁。水电站进入冬季后，水库冰层与水工建筑物之间紧密接触，对水工建筑物产生挤压或下拉冲击，同时，冰盖层受温度影响时产生的静冰推力对水工建筑物会造成严重破坏。此外，水库弃水后，冰凌也会对水工建筑物结构造成巨大的冲击破坏，进而可能造成水工建筑物表面开裂、库区护坡塌裂、坝面破损、泄洪门槽损坏和坝面渗水等危害。极限温差、水库结冰与冰凌等会造成水工建筑物裂缝与缺陷，为确保高寒地区大坝安全稳定运行，工程人员需要对水工建筑物进行及时检测。传统的水工建筑物缺陷检测需要在放空水的条件下，采用人工测量的方法进行，这种方法检测效率和精度不高，且安全隐患较大，难以满足高寒地区水下建筑物动态检测的需求。近年来，水下工程智能机器人得到了快速发展，多种先进、高效的水下机器人设备相继被开发，但是目前针对高寒地区水电站特点的智能检测鲜见报道。综上所述，高寒地区水电站水下建筑物裂缝与缺陷的智能机器人检测系统的研发具有重要的实际意义。新型智能水下机器人具备恒温控制、低耗能驱动功能，可以在超低温深水环境下进行自主探照、导航与定位；利用基于特征金字塔融合卷积神经网络（，）算法的裂缝检测方法对高寒环境的水下建筑物表面缺陷进行精准检测和可视化，为后续水下建筑物修复等工作奠定基础。上述针对高寒地区水电站的水下建筑物裂缝与缺陷智能检测系统，可对水下建筑物全时段多频次动态检测，将检测人员从恶劣、繁重和危险的现场作业环境中解脱出来，提高检测工作效率和精度，同时解决水电站传统检测中因弃水造成的巨大经济损失问题，最终保障水电站的安全可靠运行。水下建筑物裂缝检测系统 恒温控制及推进系统机器人在高寒水下环境具备 以上续航能力并且不应低于 深度的探测能力。为实现这一目标，机器人将装有恒温控制系统和低耗能推进系统。恒温控制系统主要用于维持机器人本体内工作环境温度，确保机器人在高寒环境下各元部件能可靠工作，减少低温环境对供能装置的影响。机器人的可调速推进器控制如图 所示。图 可调速推进器控制系统 稳固搭载系统智能机器人中支持水下成像的设备搭载系统，主要包括附着物吹散剥离装置、激光辅助识别装置和多角度照明装置。吹散剥离装置可对淤泥覆盖较多的水下建筑物检测表面进行水力吹散和剥离，从而保障机器人水下行走的安全性和检测图像的清晰度。激光辅助识别系统如图 所示。图 激光辅助识别系统 实时定位系统智能机器人在水面上时，通过 系统确定自身位置。超声波导航定位的工作原理与激光和红外类似，通常由超声波传感器的发射探头发射出超声 第 期刘 巍 等 基于智能机器人的水下建筑物裂缝检测方法与应用波，超声波在介质中遇到障碍物而返回到接收装置。通过接收自身发射的超声波反射信号，根据超声波发出及回波接收时间差及传播速度，计算出传播距离，就能得到障碍物到机器人的距离。由于超声波传感器具有成本低廉、采集信息速率快、距离分辨率高等优点，长期以来被广泛地应用到移动机器人的导航定位中。而且它采集环境信息时不需要复杂的图像配备技术，因此测距速度快、实时性好。同时，超声波传感器也不易受天气条件、环境光照及障碍物阴影、表面粗糙度等外界环境条件的影响。超声波进行导航定位已经被广泛应用到各种移动机器人的感知系统中。光学成像系统光学成像系统主要由相机、数据传感器和图像采集卡组成，如图 所示。图 水下光学成像系统 声学成像系统声学成像系统能够识别目标的整体轮廓和部分细节特征，在光学成像条件极差的条件下，声学成像系统将成为主要检测手段，此外声学成像系统还可以作为机器人水下航行的避碰手段。该系统主要包括由多接收子阵组成的接收基阵阵列和由多发射阵组成的发射基阵，如图 所示。(a)(b)图 声学成像系统的发射器与接收器 基于 算法的裂缝检测方法传统的卷积神经网络（，）依靠反向传播来训练网络，通过相对于误差的偏导数逐步更新权重。该算法基于梯度的特性本身是有代价的，它的缺点之一是收敛到有意义的特征阶段需要很多个时期。事实上，如果采取较大的方法步骤会面临语意有分歧的风险。此外，由于梯度值在第一层的方向上减小，因此浅层的训练与学习变得非常困难，而且反向传播的算法非常容易出现梯度消失的现象。如果不将特征进行正确分布并反向传播到浅层，这些层中获得的特征质量将受到阻碍，这对特征检测任务产生了负面影响。网络的具体方法为：网络以 网络架构为基础，共分为 组卷积，每组卷积都使用 的卷积核，卷积后都使用 的 池化，最后接 个全连接。基于原始的卷积神经网络模型进行改进，由 个主要部分组成：图像特征提取、特征金字塔、集成学习。具体功能为：图像特征提取用于裂缝层次特征提取；特征金字塔用于将背景信息融合到下层；集成学习用于多个分类器一起进行深度监督学习，如图 所示。12345特征金字塔输出金字塔1金字塔2金字塔3金字塔4金字塔5集成学习特征1特征2特征3特征4特征5分类器1分类器2分类器3分类器4分类器5图 网络示意图 图像特征提取在本文所用模型中，图像特征提取结构由 部分组成，其中包括位于卷积层之间的最大池化层。通过特征提取的架构，卷积网络分别逐层计算出具有层次性的裂缝特征形态。由于最大池化层数的限制，特征层次的结构总是保持在固有形状。与基于多尺度图像的多尺度特征不同，深度卷积网络计算得到的多尺度特征的方差更小，对于不同复杂的裂缝图像具有更强的鲁棒性，从而有利于在多种输入尺度上进行识别。特征金字塔为了增强高层特征中的小目标信息，提高重要地物的检测性能，采用特征金字塔（，）结构来解决这一问题。对于小目标，随着层数的增加，特征分散很多，原因是高层特征提供的目标信息往往过于单一。因此，在小目标检测过程中，低层次的特征信息尤为重要。是一种多路径水平连接和自顶向下连接架构。它是对 特征 长江科学院院报 年 提取的改进，主要包括自底向上分支、自顶向下分支和后向连接分支 部分。集成学习由于不同 模型和分类方法提取的特征存在明显差异，单独使用个体特征或分类方法很难实现高精度分类。集成学习（，）通过构建多个分类器以集成的方式完成学习任务，不仅利用了分类器之间的优势互补，获得比单个分类器更好的结果，而且降低了对训练数据的依赖程度。利用初始训练数据学习多个子分类器组成一级分类器（基分类器），并将一级分类器的预测结果作为新特征训练二级分类器（元分类器），进行重复循环，其算法如图 所示。数据集训练二级分类器生成新的数据集训练三级分类器分类结果一级分类器测试二级分类器测试三级分类器图 集成学习流程 集成学习中的每一层的网络都要分别进行裂缝预测，这种学习结构被称为深度监督学习。深度学习对于加强边缘检测非常关键，进行深度学习的关键在于特征检测不仅仅存在于最高层中，而是深度渗透到每一层的网络中，这种方法能够很大程度地提升特征提取的准确度。深度学习主要分为训练和测试两个部分。训练阶段将裂缝训练集表示为 （，），其中 和 分别表示原始裂缝图像和对应的真实裂缝图像。整个网络的参数记为，假设有 个集成网络，每个集成网络与一个分类器相关联，其中相应的权值记为 （，）。集成网络的目标损失函数可以表示为（，）（，）。（）式中：为裂缝图像每一个集成网络的损失函数；为一级分类器的参数；为集成网络的映射表达式。在裂缝图像的训练过程中，需要计算训练图像（，）和裂缝图像 （，）中的所有像素点的损失函数，但这种损失函数毫无差异地对待正负样本，对正负样本都施以同样的权重，不符合实际情况，需要进行改进。对于典型的裂缝图像，裂缝和非裂缝部分的像素的分布有很大的偏差，图像的大部分区域都是非裂缝像素，不可能同等对待，使用上述损失函数计算的结果将会不准确。因此，考虑用以下改进方案：首先，以每一个像素级的方式引入平衡权重，假设图像索引 处于图像 的空间维度上，然后，用来消除裂缝和非裂缝像素之间的不平衡性，损失函数将会根据实际情况中裂缝和非裂缝所分布的区域范围进行计算，占多少范围分配多少权值，得到的结果将会更加准确，见式（）。（，）（；，）（）（；，）。（）式中 为图像索引 处的网络参数，可以由（）表示如下：（；，）（）。（）其中，为激活函数处的网络参数：（，）。（）式中：和 ，为非裂缝，和分别表示地面真实图像中的裂缝和非裂缝像素，为裂缝图像总的像素值，为激活函数，为整个图像空间。是利用已知样本使其达到最大值的概率，由于 函数是单调递增的，所以 也会达到最大值，而损失函数求解的是真值和预测值之间的差异，损失函数越小，检测模型就越好，精度越高，更加容易提取到需要的裂缝特征信息，因此需要求解 的最小值，即在前面加上负号。（；，）是样本 被预测为裂缝（为裂缝）的概率，由像素 处的激活函数（）计算得到。裂缝的预测结果通过集成网络的输出（）得到，是第 层 像素映射输出的激活函数。测试阶段在测试过程中，对于图像，通过集成网络处理之后可以得到一组裂缝预测图：（，）（，（，）。（）式中（）表示集成卷积神经网络裂缝分类器。学习速率参数的最优设置模型训练的过程既要追求效率，又要保证精度，第 期刘 巍 等 基于智能机器人的水下建筑物裂缝检测方法与应用过慢的速率虽然可以保证精度，但是会拖慢计算机系统的运行。为了寻找最适合参数训练的学习速率，设置了几种不同的学习速率，分别为、，根据精度的计算方法，分别计算了它们不同学习速率下进行训练可以达到的精度，其变化曲线如图 所示。0 5 1 0 1 5 2 0/s1.0 40.9 60.8 80.8 00.7 20.6 4/%1 0-61 0-51 0-41 0-31 0-21 0-1/s图 考虑学习速率参数的精度评价分析 从图 的总体趋势上分析可知，不同学习速率下对 进行训练可达到不同的精度，精度会随着学习速率的增加而逐渐下降。从 可看出，学习训练的速率快了，但是精度降低了，从降到了；从 可以看出随着学习训练的速率增加，精度不会一直增加，会在 的周围进行浮动。在保证一定精度的情况下，学习速率有一个最优值。最终可以选取的最优范围为，这种范围下 的效率和精度可以达到最优状态。裂缝检测试验与结果首先，在对混凝土结构样本数据进行训练之前，需要对其进行标注。为了减少背景对裂缝特征的影响，需要尽可能减少背景的面积，因此采用小面积密集方框标注的方法来对样本进行标注。各类裂缝样本标注的结果如图 所示。图 裂缝特征数据标注结果 图 中的裂缝标注必须很小，否则容易出现检测不到的情况。然后对裂缝数据进行训练，裂缝图片的训练过程中对每一次迭代都计算一次丢失率，总共进行了 次的迭代，迭代程序如图 所示。图 中检测模型的训练是一步一步进行的，初始的丢失率为，迭代速率为 步，随着迭代次数的增加，模型开始收敛，最终的丢失率为，迭代速率为 步。图 迭代过程 通过训练和学习得到模型，然后用该模型对本文数据集 各种典型类型的裂缝进行特征提取，得到检测结果和检测率如图 所示。(a)(b)图 学习样本的裂缝检测结果 图（）的裂缝检测率 为，图（）的裂缝检测率 为，绿色方框是检测出的裂缝部位。为了将裂缝特征进行显示，将上述结果用二值图的方式转化，得到结果如图 所示。(a)(b)图 学习样本的二值化图像 检测率是正确检测出的裂缝数量与总裂缝数量的比值；召回率是实际检测出裂缝的样本中被预测为裂缝的比率；值是对检测率和召回率的一个综合评估。二值化将噪声等都过滤掉了，只留下裂缝纹理。对图像的检测结果进行评估，得到 在检测率、召回率和 值上都处于较高的水平，分别达到了、和，耗时为。这些结果表明，相比其他方法，网络的裂缝缺陷提取精度更高，同时综合性能也较好。长江科学院院报 年 基于 算法的裂缝检测工程应用 莲花水电站位于黑龙江省海林市三道河乡木兰集下游 ，距牡丹江市 ，地理坐标处于、，是牡丹江梯级大型水电站，在镜泊湖水库下游约 大坝为钢筋混凝土面板堆石坝，坝顶高程，最大坝高为，坝顶长度。坝顶宽度，上、下游坝坡坡比均为 ，混凝土面板厚度底部为、顶部为。坝体主要划分为垫层料、过渡料区、主堆石区和下游堆石区，总填筑方量 万。通过检查发现，面板及其止水橡胶板和压板均存在一些缺陷。选取两张典型的图片进行工程应用分析。为了将裂缝特征进行显示，将原始图像用二值图的方式转化，得到的结果如图 所示。(a)(b)图 实测图像的二值化图像 通过训练和学习得到模型，然后用该模型对各种典型类型的裂缝进行特征提取，得到检测结果如图 所示。(a)(b)12345123图 实测图像的裂缝检测结果 基于提取得到的裂缝特征，提出基于简化中轴骨架提取与细化方法的裂缝参数计算模型，分别作裂缝上下两个边缘的内切圆，统计内切圆的圆心的集合作为骨架，对裂缝进行骨架提取，然后分别统计裂缝图像的像素和其骨架的像素，通过两者计算裂缝的平均宽度，内切圆集合如图 所示。图 中，红色部分是裂缝边缘，白色是内切圆，绿色是裂缝骨架。根据上述方法得到裂缝的连续宽度分布如图 所示。最大宽度为，最小宽度为。C 1C 2图 裂缝的宽度计算示意图 00.10.20.30.40.50.60.71 02 03 04 05 06 07 08 09 0宽度/m m裂缝骨架线/m m00.10.20.30.40.50.61 02 03 04 05 06 07 08 09 0宽度/m m裂缝骨架线/m m(a)(b)图 不同裂缝的连续宽度 结 论通过利用图像处理的相关理论方法对裂缝图像数据进行预处理，在图像预处理的基础上改进了原始的 模型，提出了 网络。模型由 个主要部分组成：图像特征提取、特征金字塔、集成学习。通过将背景信息融合到下层，不断调整样本权重，然后利用多个分类器一起进行深度监督学习，能够进行不同层次的裂缝特征的精确提取；得到 在检测率、召回率和 值上都处于较高的水平，达到了、和，耗时为，这些结果表明 网络综合性能较好。将 网络应用于莲花水电站面板堆石坝混凝土面板的裂缝检测中，得到裂缝的基本特征和裂缝的连续宽度分布，裂缝检测与宽度分布结果能够有利于解决常规 模型在水下建筑物检测中检测率低、效率低的问题。参考文献：夏 坚，周利君，张 伟基于迁移学习与 深度神经网络的建筑物裂缝检测方法福建建设科技，（）：，贺 欢基于粘结滑移的衬砌裂缝宽度计算模型研究长江科学院院报，（）：史晓东，刘 洋基于特征显著性的地震灾害发生后建筑物裂缝智能检测模型灾害学，（）：吕兴栋，李家正面板堆石坝混凝土面板裂缝现状、成因与防 裂 技 术 进 展 长 江 科 学 院 院 报，（）：，（下转第 页）第 期刘 巍 等 基于智能机器人的水下建筑物裂缝检测方法与应用 ，（）：，（）：“”，（）：，：，：，：吴珍妮，穆兴民，高 鹏，等 北洛河上游基流分割适宜性方法及基流特征 人民黄河，（）：王晨杨，闫铁柱，翟丽梅，等密云水库白河流域基流演变特征研究生态学报，（）：杨 蕊，王 龙，韩春玲 种基流分割方法在南盘江上游的应用对比 云南农业大学学报（自然科学），（）：冯新灵，罗隆诚，冯自立 中国近 年降水变化趋势及突变的 指数试验 干旱区地理，（）：姜丽霞，王晾晾，吕佳佳，等 基于 指数的黑龙江省作物生长季降水趋势研究 气象与环境学报，（）：熊立华，周 芬，肖 义，等 水文时间序列变点分析的贝叶斯方法 水电能源科学，（）：，樊 辉，刘艳霞，黄海军 年黄河入海水沙通量变化趋势及突变特征 泥沙研究，（）：潘雅婧，王仰麟，彭建，等 基于小波与 方法的汉江中下游流域降水量时间序列分析 地理研究，（）：谢 平，雷红富，陈广才，等 基于 系数的流域降雨时空变异分析方法 水文，（）：杜嘉妮，蔡宜晴，王岗 长江源区径流变化归因分析 水文，（）：（编辑：占学军）（上接第 页）李孟军，郭运冲基于无人机的建筑物裂缝图像采集与处理系统科学技术创新，（）：许星光浅谈建筑物裂缝检测与分析判断中应注意的几个问题广西城镇建设，（）：邵 磊，余 挺，迟世春堆石微裂缝扩展规律及其影响因素长江科学院院报，（）：徐 刚 水下机器人在福建水电工程水下建筑物质量检测中的应用 水利水电快报，（）：李晓磊 水下电视在水下建筑物故障检测中的应用水利规划与设计，（）：，李文鹏，李连喜，张增涛大坝砼面板裂缝处理应用与研究长江科学院院报，（）：，张仕山，孙振海，汪小钦，等集成 证据理论和模糊集的建筑物检测方法遥感信息，（）：王 瑜，赵其华某电站坝区左岸深部裂缝特征及成因机理浅析长江科学院院报，（）：董 彪，熊风光，韩燮，等基于改进 算法的遥感建筑物检测研究计算机工程与应用，（）：刘 波，刘 露 一种基于高分辨率 图像的城市地区建筑物检测方法 军民两用技术与产品，（）：饶锦蒙 移动增强现实中的建筑物智能检测与注册方法武汉：武汉大学，（编辑：黄 玲）本刊电子信箱：长江科学院院报 年