基于机器视觉方法的高铁桥梁监测技术研究.pdf

文章编号202303-0045-05NO.3(Ser.294)JOURNALOFRAILWAYENGINEERINGSOCIETY第3期（总2 94）Mar2023报学程道铁2023年3月基于机器视觉方法的高铁桥梁监测技术研究雷冬1*杜文康朱国靖李润璞（1.河海大学，南京2 1 0 0 98；2.中国铁路上海局集团有限公司南京桥工段，南京2 1 0 0 1 1；3.南京铁道职业技术学院，南京2 1 0 0 31）摘要：研究目的：由于高铁轨道的封闭性和复杂性，高铁线路尤其是高铁桥梁的检测受限因素较多。同时，现有管养技术大多依赖于人工检测，消耗大量人力物力，且检测效率有限。为此，本文提出一种基于机器视觉方法的动态位移测量系统，通过现场试验对运营状态下高铁桥梁的结构变形进行识别。研究结论：（1）基于机器视觉方法的动态位移测量系统能够较好地识别结构在运营状态下位移变化和结构动态响应；（2）基于机器视觉的测量技术具有非接触、成本低、多点测量以及对列车运行干扰小等多方面优势，能够在非“天窗”时间实现结构状态的监测，进一步提高管养效率；（3）本研究成果能够满足高铁桥梁定期检测及长期监测需求，对高铁桥梁检测技术的发展及健康监测系统的构建具有指导意义。关键词：机器视觉；高速铁路；桥梁；监测技术；位移测量中图分类号：U24文献标识码：AResearch on the Monitoring Technology of High-speed Railway BridgeBased on Machine Vision MethodLEI Dong,DU Wenkang,ZHU Guojing,LI Runpu(1.Hohai University,Nanjing,Jiangsu 210098,China;2.Nanjing Bridge Division,China Railway Shanghai GroupCo.Ltd,Nanjing,Jiangsu 210011,China;3.Nanjing Institute of Railway Technology,Nanjing,Jiangsu 210031,China)Abstract:Research purposes:Due to the closure and complexity of high-speed rail tracks,there are many restrictivefactors in the process of detection,especially in high-speed rail bridges.Meanwhile,most of the existing managementand maintenance technologies still rely on manual detection which consumes a lot of manpower and material resources,and limited detection efficiency.In this paper,a dynamic displacement measurement system based on machine vision isproposed to identify the structural deformation of high-speed rail bridges under operating conditions through fieldexperiments.Research conclusions:(1)The dynamic displacement measurement system based on the machine vision method canbetter recognize the displacement changes of the structure and identify structural dynamic responses in the operatingstate.(2)The technology based on machine vision has many advantages such as non-contact,low cost,multi-pointmeasurement and little interference to train operations.It can realize the monitoring of the structure state during non-skylight time,and improve the efficiency of management and maintenance.(3)The research results can meet therequirements of periodic inspection and long-term monitoring and provide significant support for the development ofhigh-speed rail bridge inspection technology and the construction of health monitoring systems for high-speed rail收稿日期：2 0 2 1-1 0-2 9基金项目：国家自然科学基金（U1765204，51 6 7 90 7 8）*作者简介：雷冬，1 97 8 年出生，男，教授，博士生导师。2023年3月报程学道铁46bridges.Key words:machine vision;high-speed railway;bridge;monitoring technology;displacement measurement1研究背景随着十余年的高速铁路快速发展，我国高铁通车里程达3.5万公里，超过世界高铁里程三分之二，位居世界第一，已然成为高铁强国 。由于高速铁路需要保证高铁运行的稳定性及平顺性，因而对线路的坡度、曲率等因素提出较高要求。而我国幅员辽阔、地势复杂，在加快铁路建设速度和贯彻节约土地基本国策的背景下，高铁线路建设中大量采用了“以桥代路”的建设方式，高铁桥梁也成为高速铁路建设的重要组成部分。目前,除了少数大跨度且结构形式复杂（斜拉桥、悬索桥等）的桥梁配备了基于传感器技术的自动化检测及监测系统外，绝大多数结构简单（梁式桥）的高铁桥梁仍然采用人工检测为主的检修方式，且大多利用紧张的“天窗时间”完成检测以及维修工作，需要消耗大量人力物力，难以获得较高检测效率2 。同时，“天窗时间”内的检测大多数集中于结构表观损伤的分析，难以对桥梁结构运营状态下挠度及动态响应的变化进行分析，缺乏对桥梁结构整体动态性能变化情况的掌握3.4 O当前，随着计算机及图像采集技术的进步，基于机器视觉的变形测量方法以其非接触、检测方便、测量成本低等优势逐渐成为国内外研究热点，并广泛应用于桥梁结构的变形测量5。常见的基于视觉的位移测量方法包括模板匹配方法和特征点检测方法6 。模板匹配方法是一种基于区域相关性计算的图像匹配方法，在像素级的位移测量过程较为可靠，亚像素估计方法的提出进一步提升了该方法的测量精度，并应用于各种类型桥梁及建筑结构的结构位移测量试验，能够实现多目标点的识别捕捉。而特征点检测方法侧重于从图像区域中提取关键点，通过点对匹配实现区域内位移的提取,因此具有更好的精度表现和鲁棒性,大量的试验研究探索了不同特征点方法的应用潜力7 为了解决高铁桥梁传统检测方法效率有限、检测内容不足的问题，同时考虑方法在工程应用过程中的可操作性，本文提出一种新的基于机器视觉的高铁桥梁变形测量思路，即将模板匹配方法与特征点检测方法相结合。利用模板匹配方法基于区域匹配的特点，发挥其在像素级精度所具有的准确性优势，应用于标记点所在区域的准确定位，并根据标记所在位置及尺寸确定感兴趣区域的位置参数。同时，利用特征点检测方法所具有的尺度不变性、旋转不变性以及光线变化稳定性的优势和亚像素精度的测量效果，将其应用于结构变形及位移的计算。本文所提出的方法可以实现对采集视频数据的自动化计算分析，获取标记所在位置的位移变化以及结构的动态响应。2基于机器视觉的位移测量系统基于机器视觉的位移测量系统通常设置一台或多台相机在固定位置拍摄结构振动视频，并通过视频处理方法提取标记点的位移。其中，单相机测量时，相机光轴需要与结构侧平面保持垂直，研究表明倾斜角度不大于1 8 时，测量误差可以控制在5%以内；当相机光轴与测量平面倾斜角度较大时，采用双相机测量能够有效提升方法的稳定性。同时，相机设备与测量结构距离需要根据设备分辨率和标记点尺寸综合确定，相机设备的分辨率越高，测试设备可放置距离越远。标记点主要分为人工设置和结构自有两种类型，人工设置标记类型需要根据不同算法进行设计，喷涂散斑是较为常见的方式。为了减少繁琐的安装工作，一般优先考虑结构的自有标记。此外，在确定拟采用的标记点后，感兴趣区域也需要被同步确定。在本文提出的方法中，视频采集设备包括一个消费级智能手机（H U A WEIm a t e 30）和一个三脚架。方法主要包括五个步骤：图像采集、标记点区域（ROT）定位、感兴趣区域（ROT)尺寸确定、结构位移获取以及相机标定。采集的视频利用自主开发的视频处理软件包进行位移数据提取分析，该视频分析处理软件利用Visual Studio2015,基于C+语言和OpenCV库进行编写2.1目标识别方法目标识别方法是基于视觉的位移测量系统的核心，其主要内容包括标记位置确定和结构位移提取，模板匹配方法和特征点方法是常见的两种方法。为了发挥两种方法不同的特点和优势，本试验将模板匹配方法应用于标记位置的确定，将特征点检测方法应用于结构位移测量。模板匹配方法是将模板图像在待分析的图像中进行搜索，通过相关性计算，匹配与模板图像最相似的区域。基于区域匹配的搜索是模板匹配方法的重要特点，其在像素级精度具有很好的表现，能够较好地估计标记点在图像中的位置。如图1 所示，该模板匹配方法基于归一化相关系数匹配方法进行匹配，其图像计算结果为1 时（即图像中最亮点，最大值所在位置）为最佳匹配。冬雷朱国靖等：基于机器视方法的高铁桥梁监测技术研究杜文康47第3期误匹配：误匹配：多余匹配倾斜匹配一对多匹配参考图像分析图像特征点匹配误匹配剔除图1特征点检测方法流程在确定目标在图像中的具体位置后，ROI尺寸需要根据目标的尺寸参数确定。为了保证识别效果，ROI区域的尺寸的选取要大于标记点尺寸。基于特征点方法获取结构位移的主要步骤包括特征点检测、特征点匹配、误匹配剔除以及数据处理。其中，特征检测采用SIFT方法，特征匹配采用FLANN匹配方法，并采用渐进一致性采样PROSAC方法对误匹配点对进行剔除。此外，由于感兴趣区域和特征点区域的差异，结构表面的其余特征会导致非标记点区域内匹配的出现（如图1 所示），通过数据处理流程，这些非必要的多余匹配将会被进一步剔除。为了保证测量精度，结构在该位置的位移通常取多个特征点位移的平均值。2.2位移标定方法相机标定一般是计算图像位移（像素）和物理位移（毫米）之间的转换关系，在已知标记的图像位移变化和转换关系的情况下，可以很容易地获取结构的真实位移。在单相机系统中，标定是通过减少目标运动的维数来实现，即将三维空间运动假设为二维图像平面（即平行于相机平面）的位移。在桥梁长期运营过程中,结构产生的位移大多是竖向的,且为面内位移，故简化为二维运动更符合工程实际。常见的位移标定方法包括尺度因子法、平面单应性矩阵以及全投影矩阵法。其中，尺度因子法基于一维特征相关性构建相机与目标的距离的比例关系，最为简单，因此广泛应用于结构位移测量。该方法要求相机光轴与结构平面垂直，即光轴与结构平面法线共线，计算过程如式（1）所示。ZSRd(1)二pixel式中SR-一比例因子；Z一相机到结构平面的距离；镜头焦距；d像素尺寸。pixel3现场试验验证3.1试验桥梁介绍现场试验选择一座连续梁桥开展，位于江苏省南京市，主跨长度为58.6 m。该桥梁位于宁安高速铁路某段，设计最高时速为2 50 km，下方跨越城市道路。数据采集的设备为智能手机（HUAWEImate30，分辨率38 40 2 1 6 0 pixels，顿率6 0 fps），利用三脚架进行固定。相机光轴与桥跨侧平面保持垂直，且距离桥梁侧面跨中位置约51.2 m。前期试验表明，分辨率为38402160pixels时，测量有效距离可以达到8 0 m。桥梁侧面印刷有多个汉字标记，考虑列车通行时，跨中位置的位移变化对结构影响最大且跨中变形更为明显，故选择中间位置的三个汉字（国、中、铁）用结构的变形识别。3.2试验结果分析通过相关性计算，基于模板匹配的方法能够较好地识别定位出标记点所在位置。标记点准确定位后，感兴趣尺寸可以根据标记点的信息进一步确定，本次试验取标记尺寸的2 倍作为感兴趣区域。基于特征点方法的匹配识别能够实现结构位移的获取，不同标记点的特征识别结果如图2 所示，可以看出，特征点的大多数匹配集中于所选择的标记点区域内，少量匹配处于标记点区域之外，而处于标记点之外的匹配会在后续数据处理中进一步剔除图3（a）给出了列车通过桥跨过程中不同标记点所在位置的位移变化情况，对比三点位移变化可以看出，不同测点位置的位移变化保持一致。随着高铁通过桥跨，跨中位置的位移呈现逐渐变大并恢复至正常状态的趋势。图3（b）为视频中提取不同时刻的列车通行的图片序列（第1 s、第4s和第8 s），可以看出，位移变化能够较好地反映列车通行情况，在第1 s时，列车刚刚到达桥跨位置，跨中位移逐渐增大；第4 s时，列车完全处于桥跨之上，跨中位置位移达到最大2023年3月报程学道铁48(a)(b)一(c)图2三个标记点特征点匹配结果值，约为1.7 5mm；第8 s时，列车已经通过桥跨，跨中位置位移逐渐恢复至正常状态。当列车经过桥梁时，位移变化能够直观地反映结构的变形。此外,结构在列车的冲击下,也会发生一定程度的振动。图4给出了基于不同标记点位移数据的傅里叶变换结果，进一步提取出结构的振动频率信息，一阶频率分别为0.51 Hz、0.51 H z 和0.58 Hz，二阶频率分别为1.0 8 Hz、1.0 1 H z 和1.0 1 Hz,三点获取的频率信息也呈现出较好的一致性。相关研究8 表明，高(1)(2)(3)0.5u/1.01.5注：一一国；一中;一一铁2.0024681012时间/s（a）三个标记点位移测量结果(1)(2)(3)(b）列车分别在第1 s、第4s和第8 s的图片序列图3三个标记点位移测量结果和列车分别在第1 s、第4s和第8 s的图片序列铁桥梁竖向振动频率与列车通行速度相关，二者关系可以归纳为f=0.011u(2)式中于一振动频率；一列车通行速度。通过对视频中车头位置变化的测算，列车通行速度约为39.0 1 m/s（1 40 k m/h），计算所得理论振动频率为0.43Hz,与通过位移计算所得第一阶频率(0.51 Hz)相近。400.51320.581.08铁241.01168002468频率/Hz图4标记点位移的傅里叶变换结果冬雷朱国靖等：基于机器视觉方法的高铁桥梁监测技术研究杜文康第3期494结论与展望本文提出一种新型的基于机器视觉方法的动态位移测量系统，是对现有高铁桥梁检测及监测手段的有效补充。该方法具有非接触、无需中断交通、检测速度快以及多点测量等突出优势。试验表明：（1)该方法能够获取运营状态下结构位移的变化，并基于位移数据识别列车通行状态下的结构响应信息，为桥梁结构的模态分析、损伤判定以及状态评估提供有益支撑（2)本文所采用的智能手机适用于结构的定期性检测，具有良好的便携性，且手机设备具有数据上传功能，通过与服务器的连接，可以构建更加高效的桥梁检测及监测系统。（3）对于需要重点关注的桥跨结构，通过高精度摄像机设备的安装可以实现长期性监测，实时获取结构变形情况，为人工检测提供针对性建议及指导。（4)未来在长期监测中，可以采用单相机或双相机测量方式以满足不同地形、结构类型的测量需求。同时，可以采用散斑等具有良好鲁棒性的标记提高方法的测量精度。因此，随着图像采集设备和图像处理算法的不断提升，基于视觉方法的结构动态位移测量在未来具有机器十分广阔的前景和巨大的发展潜力。参考文献：1章浩高速铁路桥梁管养技术研究D.广州：广州大学,2 0 1 8.Zhang Hao.Research on Management and MaintenanceTechnology of High-speed Railway Bridge D.Guangzhou:Guangzhou University,2018.2王翔，汪正兴.高速铁路桥梁雷达非接触测试技术研究J.铁道工程学报，2 0 2 0（1）：50-54.Wang Xiang,Wang Zhengxing.Research on the RadarNon-contact Testing Technology of High-speedRailway Bridges J.Journal of Railway EngineeringSociety,2020(1):50-54.3杜彦良，张玉芝，赵维刚.高速铁路线路工程安全监测系统构建J.土木工程学报，2 0 1 2（S1）：59-6 3.Du Yanliang,Zhang Yuzhi,Zhao Weigang.Constructionof the High-speed Railway Line Engineering SafetyMonitoringSystemJ.ChinaCivilEngineeringJournal,2012(S1):59-63.4施洲，蒲黔辉，岳青.基于健康监测的高铁大型桥梁运营性能评定J.铁道工程学报，2 0 1 7（1）：6 7-7 4.Shi Zhou,Pu Qianhui,Yue Qing.Service PerformanceEvaluation of High Speed Railway Long Span BridgeBased on Healthy Monitoring J.Journal of RailwayEngineering Society,2017(1):67-74.5Du Wenkang,Lei Dong,Bai Pengxiang,etc.DynamicMeasurement of Stay-Cable Force Using Digital ImageTechniques J.Measurement,2020(151):1-10.6叶肖伟，董传智.基于计算机视觉的结构位移监测综述J中国公路学报，2 0 1 9（1 1）：2 1-39.Ye Xiaowei,Dong Chuanzhi.Review of ComputerVision-based Structural Displacement Monitoring J.China Journal of Highway and Transport,2019(11):21-39.7Xu Yan,Brownjohn J,Kong Dali,etc.A Non-Contact Vision-Based System for MultipointDisplacement Monitoring in a Cable-Stayed FootbridgeJ.Structural Control and Health Monitoring,2018(25):2155 2177.8李小珍，张志俊，冉汶民，等桥上列车高速运行引起的地面振动试验研究J.西南交通大学学报，2 0 1 6（5）：815823.Li Xiaozhen,Zhang Zhijun,Ran Wenmin,etc.FieldTest of Ground Vibration Induced by High-SpeedTrain on Elevated Bridge J.Journal of SouthwestJiaotong University,2016(5):815-823.