墩柱结构病害精确测量的柱面校正方法.pdf

物联网技术 2023年/第8期 全面感知 Comprehensive Perception40 引 言21 世纪以来，自动化技术得到显著发展，工业无损检测技术逐渐被应用在桥梁的裂缝检测上，基于图像处理的裂缝识别1-5得到广泛关注。由于摄像机视野的限制，需要将拍摄到的图像进行拼接才能得到墩柱结构的表观全景图。但其曲面结构特性使得像面产生了几何畸变，影响了后续裂缝的识别与测量。因此需要利用柱面图像反投影技术对表观原始图像进行柱面展开。目前所提出的柱面反投影技术主要应用于二维码的扭曲变形校正及柱状包装上的标签缺陷检测。最常见的柱面反投影技术是建立三维数学模型6-9，结合柱面与投影面之间的空间几何关系进行公式推导，但该方法要求相机与柱状物体位置要相对固定，且需要了解柱状物体的半径、相机与柱面的距离等参数。Lay 等人10为了识别出粘贴在柱状表面的二维码，提出了一种基于二次曲线分割的方法。苏育挺等人11 提出了一种 3D 柱面失真 QR 码的修复算法，通过逆向变换求解出三维世界中的坐标，再进行柱面的展开；曹济英等 人12提出了一种灵活的柱面反投影算法，针对贴合在柱状表面的棋盘格，利用二次曲线模型拟合出图像像素当量的分布情况，对水平方向和竖直方向进行处理，进而实现柱面图像的展开。本文介绍了一种桥墩病害攀爬检测环形视觉扫描作业机器人系统，并提出了基于二次曲面拟合的柱面反投影技术。通过该机器人系统，获得了桥墩的局部表观图像。根据桥墩的柱状几何结构得知，柱面上的各点与摄像机之间的距离呈二次曲面分布，因此认为像素当量随距离的远近也呈现相同的分布。针对贴合在柱面上的棋盘格，提取其亚像素级角点位置信息，通过研究角点之间的距离关系来拟合图像中像素当量的分布情况。1 系统设计系统主要由机器人运动控制单元、上位机控制显示单元和图像采集单元组成，如图 1 所示，上位机通过 LoRa 模块发送指令，控制步进电机动作和相机的开关。从结构损伤病害精细化检测作业平台的动力学原理和模型入手，设计了一款可现场进行重构的多足作业机器人，如图 2 所示。通过多陀螺仪多驱动电机联合爬升控制系统，保证所有爬行机构处于一个相对水平的位置，进而保证机器人的安全平稳运动和采集图像的水平精度。通过在机器人上搭载环形轨道，使图 3 所示的采集小车可以对整个桥墩病害进行非接触、全域、高效的检测。2 柱面反投影校正上述系统在获取图像的过程中并未改变相机与桥墩之间的距离，所有获取到的图像都存在相同的畸变情况。在固定相机的位置后，将打印的棋盘格纸张固定在桥墩表面，得到带有角点信息的棋盘格图像，如图 4 所示。通过这些角点间的关系，完成对原始桥墩图像的柱面校正。2.1 竖直方向校正棋盘格上每一格的高度都是一致的，但在不同位置会发墩柱结构病害精确测量的柱面校正方法杨 蓓1，王会峰1，仝亚雄1，何 波1，王晓艳1，梁雅茹2（1.长安大学，陕西 西安 710064；2.西南交通大学，四川 成都 610031）摘 要：基于图像处理的墩柱结构表面病害测量中，由于墩柱的曲面结构特性，使得测量结果精度较低，而传统的柱面反投影技术受限于相机与柱面的距离，当距离发生变化时，就需要重新建立模型，适用性不强。为此，提出了一种桥墩病害攀爬检测环形视觉扫描作业机器人系统以及基于二次曲面拟合的柱面反投影方法。根据柱面各点到相机的距离的变化情况，拟合出二次曲面模型，对图像竖直方向、水平方向分别进行校正，实现了柱面图像的反投影变换，提高了墩柱结构病害测量结果的精度。关键词：墩柱结构；表面病害测量；柱面校正方法；柱面反投影；二次曲面；无损检测中图分类号：TP29；TM391.4 文献标识码：A 文章编号：2095-1302（2023）08-0004-03收稿日期：2023-01-07 修回日期：2023-02-06基金项目：陕西省重点研发计划项目大型基础设施墩塔结构全域病害多模视觉智能检测及攀爬作业机器人关键技术（No.2021GY-285）；国家自然科学基金面上项目紧致框架下的偏振多模视觉非常态车路环境智能感知关键技术（No.52172324）；陕西省自然科学基础研究计划（2022JM-298）DOI：10.16667/j.issn.2095-1302.2023.08.0012023年/第8期 物联网技术全面感知 Comprehensive Perception5图 2 系统整体效果 图 3 采集小车 图 4 棋盘格角点图图 4 中共检测到 35 个角点，从上到下依次为 N11 N17、N21 N27、N31 N37、N41 N47、N51 N57，根 据 式（1）计算出待拟合点坐标及高度差：xN xNxyNyNyijijijijijij71171122()+()()+()=+()=+()././z zNyNyijijijij7111 2 3 41 2 37()+()=.,（1）式中：x*、y*、z*分别代表待拟合点的横纵坐标和 y 方向上的高度差；N*.x、N*.y 分别表示该角点的 x、y 轴坐标。利用 MATLAB 的拟合工具箱，采用二次曲面模型拟合的结果如图 5 所示。图 5 竖直方向曲面拟合结果根据拟合出的二次曲面模型 z=ax2+by2+cx+dy+e，以图像(x0,y)处的像素当量为基准，调整图像各处像素当量的大小。对原始图像中任意一点(x,y)，建立如下公式：yhz x yyhz xy()=()220,（2）式中：y 表示校正后的 y 轴坐标；h 表示图像高度；x0表示拟合曲面最大值处的横坐标值。2.2 水平方向校正根据上节分析的分布原理，水平方向上的像素当量分布也呈二次曲面。将棋盘格宽度变化作为因变量来拟合水平方向上像素当量的变化情况。利用式（3）来计算待拟合点的坐标及宽度差：xN xNxyNyNyijiji jijiji j71171122()+()()+()=+()=+()././z zNxN xijiji jij7111 251 26()+()=.,（3）式中：x*、y*、z*分别代表待拟合点的横纵坐标和 x 方向上的宽度差；N*.x、N*.y 分别表示该角点的 x、y 轴坐标。用上式得出的待拟合点坐标以及宽度差拟合出二维曲面z1=a1x2+b1y2+c1x+d1y+e1，拟合结果如图 6 所示。图 6 水平方向曲面拟合结果与竖直方向上不同的是，水平方向上的像素坐标会随着前一个像素坐标的变化而变化，所以不能使用竖直方向上校正的方法，这里采用迭代增加的思想进行校正。对于原始像素中心轴右侧任一像素点来说，迭代增量表示为：=()()=xz xyz x yinii01 2 3,/,（4）图 1 硬件系统整体框图生不同的长度变化。将高度变化作为因变量来拟合竖直方向上像素当量倒数的变化情况。物联网技术 2023年/第8期 全面感知 Comprehensive Perception6进行迭代累加后像素新坐标可表示为：xxxxxxxnnnnn=+=+0111 （5）3 实验结果实验选取长安大学彩虹桥桥墩进行测试，固定好相机后将打印好的棋盘格贴在桥墩上进行拍照。拍摄得到的原始图像如图 7 所示。为了对比校正后的效果，绘制了长度、宽度已知的图形来模拟裂缝，如图 7（b）所示。图 7 原始图像提取棋盘格中的角点，选用二次曲面模型进行校正后的图像如图 8 所示。图 8 二次曲面拟合校正图像选取棋盘格的平均高度和平均宽度作为标准，对比校正前后的实际效果如图 9 所示。从结果可以看出，本文提出的方法可以很好地校正由于柱形结构而引起的图像几何畸变，提高了后续裂缝测量的精度。图 9 校正前后的效果对比选取平均高度与平均宽度的中间值对展开后的棋盘格进行标定，该棋盘格实际边长为 30 mm，得到当前像素当量的大小为 0.101 16 mm/pixel。为了计算裂缝长度，采用 Zhang-Suen 法13对裂缝细化，去分叉后计算相邻两像素点的直线距离之和为裂缝长度。对于宽度的测量，最短距离法14、正交骨架法15等都已发展成熟，这里采用的是正交骨架法。对校正后的裂缝计算长度、宽度，结果对比见表 1 所列。4 结 语本文提出了墩柱结构病害精确测量的柱面校正方法，从三维几何结构出发，分析了水平、竖直方向上像素当量的分布情况；利用棋盘格构建二次曲面模型，分别从不同的延展角度出发，对墩柱结构病害图像进行了柱面校正。结果表明，该方法与传统方法相比，适应性更强，具有较高的精度。表 1 裂缝测量结果对比测量指标实际裂缝/mm二次曲面校正后/mm长度195194.329 3宽度 155.058 0宽度 2109.913 7宽度 31514.769 4宽度 455.058 0宽度 52019.524 0宽度 655.058 0宽度 71514.668 3宽度 8109.812 6宽度 954.956 9参考文献1 谭晓晶，许国山，宋军，等.基于数字图像处理技术的混凝土表 面裂缝识别 J.低温建筑技术，2020，42（8）：11-13.2 YUAN Y T，GE Z D，SU X，et al.Crack length measurement using convolutional neural networks and image processing J.Sensors，2021，21（17）：5894.3 LIN W G，SUN Y C，YANG Q N，et al.Real-time comprehensive image processing system for detecting concrete bridges crack J.Computers and concrete，2019，23（6）：445-457.4 JO B W，LEE Y S，KIM J H.A review of advanced bridge inspection technologies based on robotic systems and image processing J.International journal of contents，2018，14（3）：17-26.5 LINS R G，GIVIGI S N.Automatic crack detection and measurement based on image analysis J.IEEE transactions on instrumentation and measurement，2016，65（3）：583-590.6 梁桥康，谢兵兵，郭东妮，等.基于机器视觉的柱面标签缺陷检测方法 J.无人系统技术，2020，3（2）：43-48.7 JIN J，WANG K Y，WANG W.Research on correction and recognition of QR code on cylinder C/Proceedings of 2021 IEEE 4th Advanced Information Management，Communicates，Electronic and Automation Control Conference（IMCEC）.Chongqing，China：IEEE，2021：1485-1489.8 王湘明，孙建建，伞宏力.柱面展开在安全套表面缺陷检测中的应用 J.沈阳工业大学学报，2022，44（1）：79-83.9 许会，刘慧芳，陆昊，等.一种曲面药瓶标签校验方法关键技术 J.沈阳工业大学学报，2019，41（3）：286-291.10 LAY K T，WANG L J，WANG C H.Rectification of QR-code images using the parametric cylindrical surface model C/2015 International Symposium on Next-Generation Electronics（ISNE）.Taipei，China：IEEE，2015：1-5.11 苏育挺，严昌飞，刘婧.基于透视变换的 3D 柱面失真快速响应码修复算法 J.激光与光电子学进展，2021，58（8）：180-187.（下转第9页）2023年/第8期 物联网技术全面感知 Comprehensive Perception9图 8 应用平台登录界面人员信息绑定功能可以保证外勤人员与设备绑定并显示当前状态，实现了对人员信息的有效管理；路径监测功能可以实时接收外勤人员的位置信息，若外勤人员在执行户外任务时失踪或受伤则可通过定位找到其所在地；体征监测功能可对外勤人员实时地进行心率、血氧、体温监测，若数据异常则发起预警；环境监测可以实时监测外勤人员所处环境的温湿度、氧气浓度和有害气体浓度情况，若超出阈值则发起预警设备信息监测，若设备发生故障能在第一时间发现，减少不必要的损失。图 9 为人员信息管理界面。图 9 人员信息管理界面4 结 语目前针对外勤人员的生命体征监测系统产品还不够全面。考虑到外勤人员经常处于危险情况下，尤其在疫情爆发地，外勤人员需要穿着厚重的防护服，这无疑增加了他们的身体负担，所以设计一款针对外勤人员的监测系统显得十分重要。本文设计的监测系统结合物联网技术和北斗定位技术，配合客户端网页，对外勤人员做到位置信息、生命体征信息和外部环境信息的实时监测，可有效减少伤亡，更大程度保障外勤人员的安全，这对之后外勤人员开展工作有着重要 意义。注：本文通讯作者为吴有龙。参考文献1 苏杰，吴有龙，沈亮，等.基于心率和血氧传感器的智能安全帽人体体征状态系统设计 J.物联网技术，2022，12（3）：14-16.2 王记陵，万其，徐昊明，等.基于阿里云物联网的多传感器消防安防系统设计 J.物联网技术，2021，11（12）：101-103.3 王靖懿，崔国强，韩东奇，等.基于 LoRa 的有害气体无线监测设计与实现 J.物联网技术，2021，11（6）：29-31.4 黄晓红，尹扬帆，梁聪.基于 MEEMD 和 apFFT 的人体生命体征信号的提取研究 J.现代电子技术，2020，43（23）：30-34.5 戴欢，束沁冬，周泽仑.基于信道状态相位信息的生命体征监测算法 J.计算机科学，2020，47（10）：48-54.6 孙旭东，董思招，王亚龙，等.基于 ZigBee 的定位及体征监测系统的设计与实现 J.电子设计工程，2019，27（2）：52-55.7 丁蕾，潘梅竹，牟为，等.人工智能在个体健康管理和群体疾病监测中的应用进展 J.同济大学学报（医学版），2022，43（2）：272-277.8 JOHN A，MICHAEL C.IoT system for vital signs monitoring in suspicious cases of Covid-19 J.International journal of advanced computer science and applications，2021，12（2）：174-180.9 SUGONDO H，AKHMAD A，ROHMAT T，et al.Internet of things based real-time vital sign monitoring system using mobile application J.Journal of applied engineering science，2021，19（3）：1-7.10 XU J，WANG Y，LI B，et al.Vital signs monitoring system based on piezoelectric film sensors J.Journal of physics conference series，2020，1633（1）：012137.作者简介：许佳彤（2002），女，本科在读，研究方向为嵌入式系统、物联网相关技术等。吴有龙（1987），男，博士，副教授，研究方向为物联网应用技术、多源信息融合、卫星组合导航技术、创新创业教育。作者简介：杨 蓓（1997），女，硕士，研究方向为墩柱结构表面病害视觉智能检测与数字孪生化建档。12 曹济英，陆高勇，李勃，等.一种灵活的柱面反投影算法 J.哈尔滨工业大学学报，2016，48（11）：75-82.13 ZHANG T Y，SUEN C Y.A fast parallel algorithm for thinning digital patterns J.Communications of the ACM，1984，27（3）：236-239.14 房铭坤，付国.基于数字图像处理的混凝土裂缝宽度检测方法研究 J.建筑结构，2019，49（S2）：630-634.15马嘉斌.基于图像处理的桥梁裂缝识别与测量方法研究D.北京：北京交通大学，2021.（上接第 6页）