钢桥密集螺栓异常状态视觉识别方法.pdf

Vol.44 No.5September，2023中国铁道科学CHINA RAILWAY SCIENCE第 44 卷，第5期2 0 2 3 年 9 月钢桥密集螺栓异常状态视觉识别方法王保宪1,2，欧丙泽3，赵维刚1,2，谭兆4，秦守鹏4（1.石家庄铁道大学 河北省大型结构健康诊断与控制重点实验室，河北 石家庄 050043；2.石家庄铁道大学 省部共建交通工程结构力学行为与系统安全国家重点实验室，河北 石家庄 050043；3.石家庄铁道大学 电气与电子工程学院，河北 石家庄 050043；4.城市轨道交通数字化建设与测评技术国家工程研究中心，天津 300308）摘要：针对传统机器视觉方法无法从不同拍摄视角和拍摄距离的图像中较好地识别出异常螺栓的问题，依据钢桥密集螺栓区域自身视觉特点，提出基于区域异常点分析的密集螺栓异常状态视觉识别方法。该方法首先提取和比对图像蓝色和红色通道灰度，完成梁体颜色分割，并运用选定的Canny算子提取梁体区域内边缘，采用Hough线识别方法剔除杂波；其次依据密集螺栓呈现簇状分布特点，运用密度聚类分析定位螺栓簇区域，并依据密集螺栓位置呈现平行网格分布的特点，运用投影分析定位单个螺栓区域；然后依据各螺栓的阴影特征，利用切比雪夫不等式快速判定螺栓状态，完成螺栓异常识别；最后，制作钢桥节点板模型，采集不同螺栓松动或脱落图像，对该方法进行测试。结果表明：该方法对图像拍摄视角和距离的适用度高，对螺栓脱落的识别能力优于对螺栓松动的识别；不同场景下单个螺栓定位的平均交并比大于0.75，且螺栓脱落和松动识别的准确率和召回率分别在0.89和0.85以上。关键词：钢桥；螺栓；脱落；松动；视觉识别；密度聚类分析；投影分析中图分类号：TP391.41；U446 文献标识码：A doi：10.3969/j.issn.1001-4632.2023.05.09由于钢桥具有自重轻、跨越能力大、施工快捷等优点，已被广泛应用于大跨桥梁中1。随着交通运输量骤增，钢桥服役状态日趋严峻。大跨钢桥结构多由螺栓完成构件间的固定与连接，螺栓松动或脱落将影响钢桥结构安全性。因此钢桥螺栓异常状态识别已成为钢桥巡检工作的一项重点内容。由于钢桥节点板区域分布大量螺栓，且螺栓松动或脱落一般随机地发生在密集螺栓区中的任意一两处，这导致螺栓松动或脱落识别很困难。目前针对螺栓异常状态识别问题，国内外学者提出了多种方法，基本可分为传感器识别和机器视觉识别2类。传感器识别需在螺栓附近布设传感器进行异常状态识别。邵俊华等运用压电阻抗频率变化分析技术，通过压电传感器测量螺栓区域螺栓松动前后的阻抗变化，可实现螺栓松动识别2。王刚等借助压电传感器采集Lamb波信号，提取螺栓松动特征参数并建立高斯混合模型，判定监测区域内的螺栓松紧状态3。由于钢桥螺栓数量众多，上述2种方法需要铺设大量传感器耗时耗力且成本高。Zhang等利用锤子敲击螺栓区域并通过回声信号分析判定螺栓是否松动，但是该方法无法给出异常螺栓的位置4。相比于接触式传感器识别方法，机器视觉识别主要通过相机拍摄螺栓区域后，利用视觉分析方法判定所拍摄区域内螺栓是否发生松动或脱落。Cha等利用内六角螺栓外观特征，采用霍夫圆识别方法定位螺栓并通过二分类技术识别螺栓帽高度变文章编号：1001-4632（2023）05-0081-13引用格式：王保宪，欧丙泽，赵维刚，等.钢桥密集螺栓异常状态视觉识别方法 J.中国铁道科学，2023，44（5）：81-93.Citation：WANG Baoxian，OU Bingze，ZHAO Weigang，et al.Visual Recognition Method for Abnormal States of Dense Bolts for Steel Bridges J.China Railway Science，2023，44（5）：81-93.收稿日期：2022-03-21；修订日期：2023-04-17基金项目：国家重点研发计划课题（2022YFB2603303）；国家自然科学基金资助项目（52178293，51808358）；中国国家铁路集团有限公司实验室基础研究项目（L2021G013）；河北省自然科学基金创新研究群体项目（E2021210099）；河北省高等学校科技研究项目（BJ2020057）第一作者：王保宪（1987），男，河北邢台人，副教授。E-mail：第 44 卷 中国铁道科学化，由此确定螺栓是否松动5。Kong等通过固定相机拍摄同一片螺栓区域在不同服役状态下的2张图像，通过特征点匹配方法判定螺栓是否松动6。近几年随着深度学习方法的快速发展，不少学者提出利用深度学习模型识别异常螺栓。Zhao等利用深度学习网络建立了端到端的螺栓异常识别模型，测试并验证了在不同拍摄条件下该模型可取得较好的螺栓松动识别效果7。沈浩等在对钢桁架桥螺栓图像进行传统图像处理的基础上，采用 Inception-V3 深度学习模型对螺栓服役状态进行识别8。考虑螺栓目标区域较小，赵江平等通过将不同卷积层输出的特征图融合成多尺度特征图，提高了对脱落螺栓的识别率9。杨培盛等提出利用深度学习网络定位螺栓区域，通过计算螺栓标记线的斜率判定螺栓是否松动10。上述深度学习模型在螺栓异常识别方面表现出了巨大潜力，但由于螺栓发生松动或脱落等异常概率较小导致有效的异常样本数量远少于模型训练所需样本数量，这在一定程度上导致深度学习识别模型无法有效训练进而限制了该类方法的识别性能。综上所述，目前将机器视觉分析技术应用于钢桥螺栓脱落或松动等异常识别仍存在4个问题待解决：其一，钢桥螺栓帽有内六角与外六角之分，简单利用霍夫圆识别方法很难定位每个螺栓位置；其二，钢桥螺栓分布较分散，无法有效获取螺栓出现异常前后的图像数据，进而无法通过对比单个螺栓自身变化感知螺栓异常；其三，受不同拍摄视角和拍摄距离的影响，同一螺栓的形态也会发生多种变化，实现螺栓异常识别仍有较大难度；其四，深度学习识别方法需要依赖一定数量的异常螺栓数据，而异常螺栓数据收集难度较大。针对上述问题，本文进行一种不依赖于深度学习训练、利用钢桥螺栓自身特点的螺栓异常视觉识别方法研究。1 钢桥螺栓异常状态视觉识别方法本文提出的大跨钢桥密集螺栓异常状态视觉识别方法的主要识别对象是钢桥节点板密集螺栓区域内的单个螺栓，目标是实现对单个螺栓脱落或松动的视觉识别。该方法主要包括3部分：密集螺栓区域提取、单个螺栓位置定位和螺栓异常识别，具体流程如图1所示。1.1密集螺栓区域提取1.1.1图像预处理为了保证螺栓异常识别的准确性，需对可能影响螺栓异常识别的多种背景干扰进行剔除，而剔除背景干扰需要找到目标区域与背景杂波的不同特征。调研表明，这些不同特征主要有2个：螺栓所在梁体一般涂有固定颜色；螺栓凸出且具有明显边棱。基于此，本文提出颜色分割和边缘识别联合的图像预处理方法，下面以沪通大桥为例具体说明。1）颜色分割预处理图2为待识别输入图像。由于沪通大桥的梁体为蓝色，因此在不同光照下梁体区域同一像素点的蓝色通道灰度IB大于红色通道灰度IR的关系式保持稳定不变，即IBIR（1）利用式（1）对输入图像中的所有像素点进行遍历分析，提取满足式（1）的所有像素点，得到梁体区域分割预处理结果，如图3所示。2）边缘识别预处理为进一步提取梁体区域中的螺栓边缘，选定Canny算子对梁体区域内的所有像素点进行噪声滤 密集螺栓区域提取单个螺栓位置定位螺栓异常识别输入钢桥区域图像螺栓区域聚类分析确定最优投影角单个螺栓位置判定松动脱落特征计算螺栓异常特征识别输出异常螺栓识别结果颜色分割、边缘识别 预处理 图1钢桥密集螺栓异常状态识别流程图2待识别输入图像82第 5 期钢桥密集螺栓异常状态视觉识别方法波、边缘梯度计算、非极大值抑制以及边缘产生等处理。提取经过Canny算子处理后梁体区域内仍存留下的所有像素点，得到梁体区域内边缘识别预处理结果，如图4所示。由图4可知，梁体边界杂波在边缘预处理后仍有残留。考虑正常的螺栓边缘一般为弧状，而边界杂波主要为直线、折线等，故采用 Hough线识别方法剔除这些杂波。提取梁体区域内边缘点坐标组成集合 A，任取 2 个元素点的坐标，通过式（2）确定经过这2个元素点的直线方程系数k，b。b=-kx+y（2）利用式（2）对集合 A 中的坐标进行两两计算，可获得一系列（k，b）系数，并构成直线方程系数集合B。统计集合B中相同（k，b）系数的数目，并将该数目大于 50 的直线方程系数挑选出，组成新的系数集合B1。从集合A中删除满足集合B1条件的元素点坐标，得到梁体区域内螺栓边缘识别预处理结果，如图5所示。1.1.2密集螺栓区域聚类分析定位单个螺栓位置是螺栓松动或脱落识别的前提。由于钢桥节点板区域存在大量螺栓，导致单个螺栓定位较为困难。但钢桥螺栓在空间分布上呈现多个簇状，且不同簇区域之间有一定间隔。基于此，提出基于密度聚类分析（Density-Based Spatial Clustering of Applications with Noise，DBSCAN）11的螺栓区域提取方法。该方法将单个螺栓视为1个点，把空间位置聚集、排列方向一致的多个螺栓点定义为1个螺栓簇。DBSCAN包括2个步骤。步骤1：给定聚类半径和聚类半径内点个数k，然后对全部样本点进行扫描，如果以某样本点为圆心、给出的聚类半行为半径的圆形搜索范围内存在的样本点数大于k，则将该样本点确定为核心点，如图6中的红色样本点m，p，q，n和j，对应搜索范围内的所有样本点确定为临时对象集M，P，Q，N和J；若以某样本点为圆心、给出的聚类半行为半径的圆形搜索范围内存在的样本点数小于k，则将其定义为噪声。步骤2：两两检查步骤1中形成的所有临时对象集，若2个临时对象集存在公共样本点，则将其合并形成1个对象集，如图6中的矩形。为了更精准地定位单个螺栓，本文共进行2次DBSCAN过程。第 1 次 DBSCAN：通过设置较小的聚类半径和聚类半径内点个数k，对图7（a）（图中红色框部分为螺栓周边小范围内噪声，蓝色框部分为螺栓簇周边范围内噪声）中的边缘点坐标进行第1次聚类分析。将属于1个对象集的所有边缘点坐标聚在一起，得到1个螺栓对象集，并把确定为噪声的点剔除，得到螺栓周边小范围内噪声滤除结果，如图7（b）所示。第 2次 DBSCAN：提取第 1次 DBSCAN 后留下的每个螺栓对象集内所有边缘点的均值坐标，构成集合C；重新设置较大的聚类半径和半径内点个数k，对集合C中的所有坐标进行第2次聚类分析，图3梁体区域分割预处理结果 qnjpm对象集噪声MPQNJ对象集图6DBSCAN实现过程图4梁体区域内边缘识别预处理结果图5梁体区域内螺栓边缘预处理结果83第 44 卷 中国铁道科学将属于每个螺栓簇区域内的螺栓对象集聚在一起，且把确定为噪声的对象集定义为背景对象集；把确定属于背景对象集的所有点剔除，得到螺栓簇周边范围内噪声滤除结果，如图7（c）所示。1.2单个螺栓位置定位1.2.1最优投影角由于钢桥节点板上单个螺栓簇区域内的螺栓位置分布为平行网格状，因此可通过该平行网格中的各直线交点确定该区域内每个螺栓的中心位置，如图8所示。基于此，提出基于Radon变换的投影分析法定位单个螺栓位置。设f(x，y)为一个二维函数，如图9所示，其灰色正方形外的点均为0，灰色正方形内的点均为1。取任意给定的某一方向x，其与水平方向x的夹角为。将图9中灰色正方形内点对应的f(x,y)在x方向上的投影定义为f(x,y)沿垂直于x的y方向上的线积分，即f(x,y)在方向角度上的Radon变换r()，其计算式为r()=-+f(xcos-ysin,xsin-ycos)dy（3）依据第2次DBSCAN结果提取单个螺栓簇区域，如图10中的黑色矩形区域。区域内各点对应的f(x,y)取值为f(x,y)=1 螺栓边缘点0其他点（4）将f(x，y)在角度上进行Radon变换，得到该螺栓簇区域在角度上的Radon变换r()。r()为向量形式，并称之为投影向量。将从0179进行遍历，得180个投影向量r（0），r（179）。显然，在从0179的遍历中，会存在2个角度1和2，使得单个螺栓簇区域内同一行（或列）螺栓边缘点集中投影在相近区域，本文将1与2这2个角度称为最优投影角。图8螺栓中心位置确定f(x,y)yyyxxxr()OO图9Radon变换的几何关系图102个最优投影角及投影示意图（a）处理前（b）螺栓周边小范围内噪声滤除结果（c）螺栓簇周边范围内噪声滤除结果图72次DBSCAN过程84第 5 期钢桥密集螺栓异常状态视觉识别方法为了确定最优投影角，定义投影密度（）为()=1L=0179r()（5）式中：L为投影长度。对应从 0179的遍历，有 180个投影密度（0），（179）。显然，在2个最优投影角时产生的 2 个投影长度均小于其他情况下的投影长度，对应的2个投影密度也均大于其他情况下的投影密度。因此在180个投影密度中提取最大和次大密度对应的角度，便可确定2个最优投影角。1.2.2单个螺栓位置判定在2次DBSCAN后，可能仍存在少量杂波会干扰单个螺栓定位，如图10中红色虚线标注部分。在图10中的最优投影角1下，投影向量(1)中存在6个连续非零段，分别计算(1)在6个非零区域内的累加和，可得6个投影累加分量1，2，3，4，5和6。相比于正常螺栓边缘点投影产生的3，4，5和6，背景杂波边缘点投影产生的1和2的值较小。基于此，假定在最优投影角下投影向量中存在n个连续非零段，判定每个投影累加分量是否大于阈值，阈值的计算式为=12ni=1ni（6）在该螺栓簇区域内剔除小于阈值的投影累加分量对应的边缘点，得到滤除杂波后的单个螺栓簇区域，结果如图11所示。显然在滤除少量背景杂波后，在最优投影角1下会存留 4 个连续非零段，统计这 4 段的左右坐标，可生成4个白色条带，同样操作可在最优投影角2下生成5个条带。前后2组条带便构成直线网格图，如图12所示。直线网格的交叉区域即为单个螺栓的位置区域，提取每个交叉区域内的边缘点，便可确定单个螺栓位置。1.3螺栓松动或脱落识别在钢桥节点板区域的大量螺栓中，螺栓松动或脱落的数量一般占比很小，且松动或脱落螺栓相比于正常螺栓的外观特征有一定差别。基于上述 2点，提出一种基于异常点分析的螺栓松动或脱落识别方法。该方法主要包括松动或脱落特征量计算和松动或脱落特征识别2部分。1.3.1松动或脱落特征量计算通过上述单个螺栓位置定位，可提取每个螺栓区域图像以及对应区域内的边缘，如图 13 所示。其中，每个螺栓区域内的边缘会构成1个连通体，脱落螺栓边缘连通体的尺寸会小于松动或正常螺栓边缘连通体的尺寸。基于此，根据图像连通体统计方法，计算每个螺栓边缘连通体的高度h与宽度w，并将其作为螺栓脱落分析特征量。螺栓松动会使螺栓帽凸出，在一定的光照条件下，松动螺栓的阴影轮廓会大于正常螺栓的阴影轮廓。基于此，提出利用区域生长方法12提取每个螺栓区域内的阴影轮廓。根据螺栓阴影区像素灰度偏小特点，把每个螺栓区域的图像中心点确定为搜索起始点，并以1/3的图像高度D为搜索半径寻找（a）脱落螺栓区域（d）脱落螺栓边缘（b）松动螺栓区域（e）松动螺栓边缘（c）正常螺栓区域（f）正常螺栓边缘图13脱落、松动及正常螺栓的边缘对比图12单个螺栓簇区域内直线网络图11滤除杂波后的单个螺栓簇区域85第 44 卷 中国铁道科学灰度更小的像素点作为种子点；然后，以种子点像素为对象，将种子点周围点的像素和种子点像素进行灰度比较，若两者的灰度差小于20，则判定为相似点，将相似点合并后继续向外生长，直到没有满足条件的像素点被包括进来为止，最终由所有相似点生成螺栓阴影轮廓，如图14所示。根据图像连通体统计方法，计算螺栓阴影轮廓区域的面积s，并将其作为螺栓松动分析的特征量。1.3.2松动或脱落特征识别在不同拍摄视角或拍摄距离下，钢桥不同螺栓簇区域间的螺栓外观形态差异较大，应用常规视觉分析方法难以完成螺栓脱落或松动识别。但在单一螺栓簇区域内，各正常螺栓的外观形态差异较小，而松动或脱落螺栓与正常螺栓之间会存在外观差异，而且由于松动或脱落的螺栓数量一般占比较小，因此提出利用切比雪夫不等式的异常点分析螺栓松动或脱落判定式p()|x-1-22（7）式中：x为输入的某一螺栓外观特征量；为该螺栓所在簇区域内所有螺栓该特征量的平均值；为该特征量的标准差；为切比雪夫距离参数。由式（7）可知：1个螺栓外观特征量x在其平均值附近距离范围内出现的概率等于大于1-22。为了保证螺栓异常识别的准确率，需将参数设为1个较小值。根据概率论，当分别被设为，2和3时，所统计的螺栓样本数据中分别至少有68%，95%和99%的样本数据被认定为属于正常螺栓。考虑螺栓松动或脱落为小概率事件，且同时为了尽可能地确保异常螺栓不被漏检，本文将参数设定为2（即最多有5%的样本数据被认为存在异常）。因此通过下式判断输入样本的特征量x是否异常。|x-|2hw -w2w（9）式中：h和w 分别为脱落特征量h和w的均值；h和w分别为脱落特征量h和w的标准差。当 1 个螺栓的 2 个脱落特征量均满足式（9）的条件时，该螺栓被判定为发生脱落。2）第2阶段，进行松动螺栓识别将被识别为脱落螺栓以外的该簇区域内剩余螺栓的松动特征量（面积s）输入下式进行松动判定。s-s 2s（10）式中：s 为螺栓松动特征量s的均值；s为该类特征量的标准差。当1个螺栓的松动特征量满足式（10）的条件时，该螺栓被判定为发生松动。2 识别方法测试根据沪通大桥实桥参数，制作11比例的钢桥节点板模型。该模型全长2.5 m、高1.5 m，其中间区域螺栓为M30螺栓，两侧区域螺栓为M24螺栓，如图15所示。考虑到实际桥梁巡检中需要相机与钢桥结构保持一定的拍摄距离，设定拍摄距离为 25 m。同时为了保证在最远距离下对单个螺栓区域成像的像素总数不小于800个，选用像素分辨率为4 608（a）确定搜索起始点（c）确定阴影种子点（b）确定搜索半径（d）提取阴影轮廓区域图14螺栓阴影轮廓区域提取（a）实桥节点板（b）节点板模型图15测试模型86第 5 期钢桥密集螺栓异常状态视觉识别方法3 456的Canon-HS125相机在不同角度、背景以及光照条件下采集500幅图像。随机抽取100幅用于方法参数确定和调试，余下的400幅用于方法性能测试。虽然钢桥结构内外侧均有密集螺栓，但由于桥梁巡检无人机无法有效进入钢桥内侧进行拍摄，因此将识别范围缩减为钢桥外侧无人机拍摄可及的区域。由于螺栓松动或脱落发生具有随机性，因此在每个螺栓簇区域随机设置12个松动或脱落螺栓。下文将依次从螺栓簇区域提取、单个螺栓定位、螺栓异常识别等方面进行测试。2.1螺栓簇区域提取将钢桥节点板模型放置于不同的拍摄距离、光线及背景环境中，获取3个不同场景下密集螺栓的彩色图像，如图16所示。提取彩色图像的蓝色通道和红色通道数据，并提取对应每个像素点的蓝通道灰度IB和红通道灰度IR，挑选出IB大于IR的像素点，得到3个模型场景图像中的梁体区域，如图17所示。可见，该颜色分割预处理方法对不同拍摄距离、光线等背景环境均具有较好的鲁棒性。设定Canny算子参数，高阈值为0.4、低阈值为 0.07，方差为 0.2，对 2，3，4和 5 m 共 4个不同拍摄距离下的螺栓图像进行边缘预处理，结果如图18所示。可见，该边缘预处理方法对不同拍摄距离下的螺栓图像预处理效果均良好，说明其对一定拍摄距离内的图像具有良好的适用性。对图18的边缘预处理结果进行直线及折线杂波滤除，结果如图19所示。可见，经本文基于Hough线识别处理，可较好地滤除钢桥节点板边界直线及折线杂波，并提取出属于螺栓区域内的边缘。（a）场景1（b）场景2（c）场景3图163个场景下的密集螺栓图像（a）场景1（b）场景2（c）场景3图173个模型场景下密集螺栓图像颜色分割预处理结果（a）2 m（b）3 m87第 44 卷 中国铁道科学在完成颜色分割、边缘预处理步骤后，通过2次聚类分析进行螺栓簇区域定位。通过设置较小的聚类半径r=20像素和半径内点个数 k=1，对属于单个螺栓小范围内的所有边缘点进行第 1 次聚类分析，获取若干个螺栓对象集，如图20（a）和（b）所示。进一步计算单个螺栓对象集内所有边缘点的均值坐标，如图20（c）所示。通过第1次聚类分析，大大减少了坐标点数目，有助于提高后续螺栓区域定位效率。设置较大的聚类半径 r=160像素和半径内点个数k=3，对第1次聚类分析得到的每个螺栓对象集的均值坐标进行第2次聚类分析。图21给出了图17中的3个模型场景图像在第2次聚类分析后的图19边缘预处理后的边界杂波滤除结果（a）第1次聚类分析结果（b）局部放大（c）均值坐标图20对单个螺栓边缘点坐标的聚集结果（a）场景1（b）场景2（c）场景3图21螺栓簇外背景杂波的剔除结果（c）4 m（d）5 m图184种拍摄距离下的边缘预处理结果88第 5 期钢桥密集螺栓异常状态视觉识别方法结果。通过第2次聚类分析，可有效剔除不属于每个螺栓簇区域的背景杂波（见图21中的虚线圆框标记），进而精准地提取出每个螺栓簇区域。2.2单个螺栓区域定位对图16（a）场景1图像中的右侧螺栓簇区域进行投影分析，得到2个最优投影角分别为39和148。通过Radon变换，得到2个最优投影角下螺栓簇区域内边缘点的投影向量如图22所示。由图 22可见：在最优投影角 1下投影向量存在8个连续非零段，在最优投影角2下投影向量存在6个连续非零段。将各非零段内的投影分量与相应阈值比较，在最优投影角1下识别出L1和L4是杂波，在最优投影角 2 下识别出L1和L4是杂波，如图22中的椭圆虚线框所示。在识别并删除少量杂波后，生成每个螺栓簇区域内的平行网格，并将网格的十字交叉区域确定为单个螺栓位置区域。为了验证单个螺栓区域定位方法的有效性，选取6个不同拍摄场景下的钢桥节点板螺栓图像进行识别。图23展示了其中2个典型场景下的单个螺栓区域定位结果，为了更清楚地呈现单个螺栓区域定位效果，将每一簇螺栓的定位结果放大并在子图右侧展示。图中红色框为人工标定结果，而黄色框为本文方法的定位结果。由图23可见，本文方法可较好地定位不同场景下的单个螺栓区域。为了定量评估定位结果，利用交并比（Intersection over Union，IoU）方法 13 对实验结果进行分析。IoU计算原理如图24所示。设定红色框W2为人工标定框，蓝色框W3为识别结果框，二者重叠部分为W1，则交并比IoU的计算式为IoU=sW1sW2+sW3-sW1（11）式中：sw1，sw2和sw3分别为W1，W2和W3的面积。IoU值越大，表示对螺栓区域定位的精度越高。将钢桥节点板图像中的螺栓按空间位置分成左、中、右3簇，并分别统计每簇区域中所有螺栓识别结果IoU的平均值。表1给出了图23中2个典型螺栓图像的IoU计算结果。可见，不同场景下单个螺栓定位的平均IoU大于0.75，验证了本文方法对不同场景下的螺栓图像均取得了较好的单个螺栓定位结果。2.3单簇区域内螺栓异常识别利用每个螺栓簇区域内生成的平行网格，提取（a）最优投影角1（b）最优投影角2图222个最优投影角下螺栓簇区域的投影向量（a）场景4（b）场景5图23典型场景下的单个螺栓区域定位人工标定框方法识别结果框W1W3W2 图24IoU计算原理图表12个典型场景下图像中单个螺栓定位的交并比场景号12左边簇平均交并比0.7880.775中间簇平均交并比0.8060.804右边簇平均交并比0.7940.78789第 44 卷 中国铁道科学该簇区域内所有螺栓对象集的边缘数据，利用图像连通体分析方法进行螺栓异常识别。对图25所示已标记螺栓序号的有脱落（图25中红色标识）和松动（图中黄色标识）单个螺栓簇图像统计每个螺栓区域内边缘连通体的高度h与宽度w，结果如图26所示。依据上述脱落螺栓识别方法，识别出标号7，14和17这3个螺栓为脱落螺栓。可见，识别结果与实际螺栓脱落情况相符。利用图像连通体面积统计方法，统计剩余螺栓的松动特征量，结果如图27所示。依据松动螺栓识别方法，识别出标号4，9，12，16和18共5个螺栓为松动螺栓。可见，松动识别结果与实际螺栓松动情况相符。2.4方法性能在不同环境（包括光照、场景、拍摄距离以及视角等）下采集了多幅钢桥节点板模型图像进行方法整体性能测试。图28给出了2幅待识别图像的螺栓松动和脱落识别结果。为了清楚呈现结果，将识别结果放大并在每个子图的右侧展示。图中红色框为脱落识别结果，黄色框为松动识别结果，黑色虚线框为识别错误结果。由图 28可见：在场景 6图像的右侧螺栓簇区域内，有1个脱落螺栓被漏检，其漏检原因是在当前光线条件下，该脱落螺栓区域内的边缘特征不显著，导致无法有效计算该螺栓脱落特征量，进而出现脱落螺栓漏检；在场景7图像的右侧螺栓簇区域内，有1个正常螺栓被误检为松动，其误检原因是该簇区域内螺栓松动程度较弱，导致松动螺栓的阴影面积与正常螺栓的阴影面积差别较小，进而容易产生一定概率的误检。因此，相比于螺栓松动识别，本文方法对螺栓脱落识别精度更高。这是因为在不同环境中，螺栓脱落异常特征更为明显，而螺栓松动特征在一定程度上受拍摄视角以及螺栓松动程度影响，识别更困难。利用准确率与召回率作为指标，定量评估本文（a）场景6（b）场景7图28典型场景下螺栓松动和脱落识别结果2040608010002468101214161820螺栓标号脱落特征量h的像素（a）高度h0246810121416螺栓标号20406080100脱落特征量w的像素1820（b）宽度w图26单个螺栓簇区域内边缘连通体的高度h与宽度w图25标记脱落和松动的螺栓簇图像0.60.81.01.21.41.61.802468101214161820螺栓标号螺栓松动特征量s的像素/105图27螺栓松动特征量90第 5 期钢桥密集螺栓异常状态视觉识别方法方法对螺栓松动脱落的识别性能。这里准确率为方法正确识别到的脱落（或松动）螺栓数目与识别到的脱落（或松动）螺栓数目之比；召回率为方法正确识别的脱落（或松动）螺栓数目与实际的脱落（或松动）螺栓数目之比。准确率与召回率越大，则表示该方法的识别精度越高。采用本文方法对400幅性能测试螺栓图像进行识别，该方法对螺栓脱落和松动识别的PR和RE见表2。由表2可见，本文方法对螺栓脱落的识别能力优于对螺栓松动的识别，其原因在于螺栓脱落视觉特征比松动视觉特征更为显著。而螺栓松动作为一种隐蔽性缺陷，其识别结果受自身松动程度影响较大。3 与深度学习网络识别方法对比本文提出的基于异常点分析的密集螺栓异常识别方法，其最大特点是无须预训练便可进行识别。为了进一步验证该方法的有效性，将本文方法与R-CNN深度学习网络方法14进行对比。为构建R-CNN识别网络，对图像样本集中随机选定的100幅图像的正常螺栓、松动螺栓以及脱落螺栓进行标记。图29给出了R-CNN深度学习网络识别方法与本文方法对相同待识别图像的螺栓异常识别结果。从图29可见：R-CNN网络虽可以较好地定位出螺栓帽区域，但无法进一步区分正常螺栓与松动螺栓（因为这2者的形态差异较小）；R-CNN网络可识别出部分脱落螺栓，但由于同一脱落螺栓在不同视角下的形态差异也较大，致使待识别图像的脱落螺栓可能与脱落训练样本存在差异，导致出现一定程度的脱落螺栓漏检，见图29中的黑色虚线框部分。相比之下，本文方法利用螺栓位置的先验分布规律，取得了与R-CNN网络相近的单个螺栓定位效果；在此基础上，进一步计算异常螺栓的视觉特征量，并通过异常点统计分析实现了螺栓松动或脱落的识别，其最终整体的识别效果优于R-CNN网络。为了与R-CNN网络模型的识别结果进行定量比较，采用R-CNN网络方法对本文方法识别过的400 幅螺栓图像进行识别，识别结果的 PR 和 RE见表3。由表 2 和表 3 对比可见，本文识别方法优于R-CNN网络识别方法。4 结 语针对大跨钢桥螺栓松动脱落精准识别需求，提出一种新的螺栓松动脱落视觉识别方法。该方法充分利用大跨钢桥螺栓区域具有局部聚集、平行网格分布的特点，基于密度聚类分析和投影分布计算进行单个螺栓定位；在单个螺栓定位的基础上，将螺栓异常识别过程建模为局部区域异常点识别问题，通过计算螺栓脱落、松动异常特征量，基于切比雪夫不等式判定进行异常螺栓识别。利用制作的钢桥节点板模型，通过对多种场景下螺栓脱落和松动的识别效果测试，验证了本文方法具有良好的工程应用价值。该方法对图像拍摄视角和距离的适用度高，且对螺栓脱落的识别精度比对螺栓脱落识别更高；不同场景下，单个螺栓定位的平均交并比大于0.75，螺栓异常状态识别的准确率和召回率分别在0.89和0.85以上。在方法实际应用中，由于螺栓脱落后会存在明显的特征变化，且该变化基本不受光照强弱影响，因而螺栓脱落识别结果也较为精准。相比之下，螺栓松动更为隐蔽，本文方法需要提取松动螺栓在一表2本文方法识别的准确率和召回率螺栓异常种类脱落松动准确率0.950.89召回率0.940.85（a）R-CNN深度学习网络（b）本文方法图29R-CNN深度学习网络方法和本文方法识别结果表3R-CNN网络识别的准确率和召回率螺栓异常种类脱落松动准确率0.810.75召回率0.790.7091第 44 卷 中国铁道科学定光照条件下的阴影轮廓面积。若不存在合适的太阳光条件，需要通过辅助光源产生合适的光照条件。此外，本文方法在一定的相机拍摄视角下才能完整地获取螺栓簇区域图像，因此在应用无人机等飞行设备进行图像采集时，需要设定一定范围的巡检拍摄角度，可确保钢桥节点板螺栓区域被完整拍摄到。参考文献1 王春生，张静雯，段兰，等.长寿命高性能耐候钢桥研究进展与工程应用 J.交通运输工程学报，2020，20（1）：1-26.（WANG Chunsheng，ZHANG Jingwen，DUAN Lan，et al.Research Progress and Engineering Application of Long Lasting High Performance Weathering Steel Bridges J.Journal of Traffic and Transportation Engineering，2020，20（1）：1-26.in Chinese）2 邵俊华，王涛，汪正傲，等.基于压电阻抗频率变化的螺栓松动检测技术 J.中国机械工程，2019，30（12）：1395-1399，1408.（SHAO Junhua，WANG Tao，WANG Zhengao，et al.Bolt Looseness Detection Using Piezoelectric Impedance Frequency Shift Method J.China Mechanical Engineering，2019，30（12）：1395-1399，1408.in Chinese）3 王刚，肖黎，屈文忠.Lamb波高斯混合模型螺栓松动损伤检测 J.机械科学与技术，2020，39（4）：493-500.（WANG Gang，XIAO Li，QU Wenzhong.Bolt Looseness Damage Detection Using Lamb Wave Gaussian Mixture Model J.Mechanical Science and Technology for Aerospace Engineering，2020，39（4）：493-500.in Chinese）4 ZHANG Y，ZHAO X F，SUN X W，et al.Bolt Loosening Detection Based on Audio Classification J.Advances in Structural Engineering，2019，22（13）：2882-2891.5 CHA Y J，YOU K，CHOI W.Vision-Based Detection of Loosened Bolts Using the Hough Transform and Support Vector Machines J.Automation in Construction，2016，71：181-188.6 KONG X X，LI J.Image Registration-Based Bolt Loosening Detection of Steel Joints J.Sensors，2018，18（4）：1000-1019.7 ZHAO X F，ZHANG Y，WANG N N.Bolt Loosening Angle Detection Technology Using Deep Learning J.Structural Control and Health Monitoring，2019，26（1）：e2292.1-e2292.14.8 沈浩，江臣，陈宇文，等.基于深度学习的钢桁架桥螺栓病害智能识别方法 J.南京工业大学学报：自然科学版，2020，42（5）：608-615.（SHEN Hao，JIANG Chen，CHEN Yuwen，et al.Intelligent Identification Method for Bolt Diseases of Steel Truss Bridge Based on Deep Learning Model J.Journal of Nanjing University of Technology：Natural Science Edition，2020，42（5）：608-615.in Chinese）9 赵江平，徐恒，党悦悦.基于改进Faster R-CNN的铁路客车螺栓识别研究 J.中国安全科学学报，2021，31（7）：82-89.（ZHAO Jiangping，XU Heng，DANG Yueyue.Research on Bolt Detection of Railway Passenger Cars Based on Improved Faster R-CNN J.China Safety Science Journal，2021，31（7）：82-89.in Chinese）10 杨培盛，王华军，张用，等.一种基于深度学习的地铁车体螺栓松动检测方法 J.轨道交通装备与技术，2021（5）：38-41.（YANG Peisheng，WANG Huajun，ZHANG Yong，et al.An Inspection Method for Bolt Looseness in Metro Car Body Based on Deep Learning J.Rail Transportation Equipment and Technology，2021（5）：38-41.in Chinese）11 赵振兵，张帅，蒋炜，等.基于DBSCAN-FPN的输电线路螺栓缺销检测方法 J.中国电力，2021，54（3）：45-54.（ZHAO Zhenbing，ZHANG Shuai，JIANG Wei，et al.Detection Method for Bolts with Mission Pins on Transmission Lines Based on DBSCAN-FPN J.Electric Power，2021，54（3）：45-54.in Chinese）12 郭保青，余祖俊，张楠，等.铁路场景三维点云分割与分类识别算法 J.仪器仪表学报，2017，38（9）：2103-2111.（GUO Baoqing，YU Zujun，ZHANG Nan，et al.3D Point Cloud Segmentation，Classification and Recognition Algorithm of Railway Scene J.Chinese Journal of Scientific Instrument，2017，38（9）：2103-2111.in Chinese）13 刘畅，王鹏钧，张美玲，等.基于