多传感器信息融合技术在防波堤状态检测中的应用.pdf

多传感器信息融合技术在防波堤状态检测中的应用雷尚彬1，刘良志1，2*，程林1，宋效第1，李维奇1（1.天津市北洋水运水利勘察设计研究院有限公司，天津300452；2.天津大学建筑工程学院，天津300350）Application of multi-sensor information fusion technologyin breakwater detectionLEI Shang-bin1,LIU Liang-zhi1,2*,CHENG Lin1,SONG Xiao-di1,LI Wei-qi1（1.Tianjin Beiyang Water Transport&Hydraulic Survey and Design Institute Co.,Ltd.,Tianjin 300452,China;2.School of Civil Engineering,Tianjin University,Tianjin 300350,China）Abstract：As a key infrastructure,port breakwaters are prone to deformation and damage due to their special geographicallocation,unique geological conditions,and complex construction materials,resulting in extremely complex operatingenvironments and enormous risks.In order to detect the current situation of port breakwaters and surrounding riprap,a multi-sensor information fusion water-land integrated measurement method is proposed.This method includes equipment such asunmanned aerial vehicle aerial photography system,multi beam bathymetry system,portable side scan sonar,and shallow layerprofiler system.The collected 3D point cloud,boundary line,seabed mud layer thickness,and other data are combined with ICPalgorithm for data fusion processing,more accurate measurement data can be obtained,and the advantages of different sensorsare complementary.This water-land integrated measurement method can more effectively and intuitively understand thechanges in water structures and the erosion situation of underwater engineering,and provide effective technical support forbetter evaluation and monitoring of the status of breakwaters.Key words：breakwater;detection;information fusion;land-water integration;point cloud摘要：防波堤作为关键基础设施，由于其特殊地理位置、独特的地质条件和复杂的构筑材料等因素，运行环境异常复杂，承受着巨大风险，因此防波堤很容易出现变形和破损等现象。为了检测防波堤堤身及周边抛石的现状，提出了一种多传感器信息融合水陆一体化测量方法，该方法包括无人机航摄系统、多波束测深系统、便携式侧扫声呐和浅地层剖面仪系统等设备，通过将采集的3D点云、边界线、海底泥层厚度等多种数据结合ICP算法进行数据融合处理，可以获取更加精确的测量数据，并且不同传感器之间实现了优势互补。这种水陆一体化测量方法能够更加有效、直观地了解水上结构的变化和水下工程的冲刷情况，为更好地评估和监测防波堤的状态提供有效的技术支撑。关键词：防波堤；检测；信息融合；水陆一体化；点云中图分类号：U656.2文献标志码：A文章编号：2095-7874（2024）03-0001-05doi：10.7640/zggwjs202403001中国港湾建设China Harbour Engineering第44卷第3期2024年3月Vol.44No.3Mar.2024收稿日期：2023-09-11修回日期：2023-11-09基金项目：天津市交通运输科技发展计划项目（2024-A25）作者简介：雷尚彬（1991），男，天津市人，硕士，工程师，主要从事海洋测绘、工程测量、航空摄影测量、变形监测等方面的研究。*通讯作者：刘良志，E-mail：llz_0引言防波堤在海港各类水工建筑物中具有防波阻沙的功能，可以改善港区的水文泥沙条件1。防波堤一般分为水上结构和水下结构，由于基础的沉降、长期波浪力以及地震、台风等外力因素的影响，防波堤会发生变形和破损，如果不断积累则中国港湾建设2024年第3期会导致损毁的事故发生1。水下结构具有隐蔽性，无法使用陆上的传统测绘技术进行测量，在日常维护中难以发现细微的破损变形2。所以防波堤的水上水下检测对港口的安全平稳运行至关重要。近年来先进的设备和技术如无人机航摄系统、三维激光扫描仪、水下机器人、多波束测量系统、水下三维声呐成像系统等逐步应用于水运结构检测，大大提高了检测效率和精度3。目前对涉水工程的稳定性及发展趋势监测和评估又迫切需要水上水下高精度三维数据融合并进行定量分析2。因此本文以无人机和无人船为载体，基于无人机航摄系统、GeoBeam400M便携式多波束测深系统、GeoSide500便携式侧扫声呐和Innomar SES2000浅地层剖面仪等多个传感器数据融合的方法，对天津港某港区的防波堤开展了水陆一体防波堤检测，将联合测量获得的水上和水下结构数据进行了融合处理，建立了真实的水上与水下点云三维模型，并结合便携式侧扫声呐和浅地层剖面仪数据对防波堤抛石轮廓现状进行了分析，为防波堤堤身及周边抛石现状的检测提供了一种可行的办法。1研究区域及研究方法1.1研究区域本试验选择在天津港某港区防波堤进行，研究区域长2 km，宽0.1 km，区域面积0.2 km2。防波堤主要由扭王字块结构、半圆形构件结构、箱筒结构组成，采用固定的顺序排列。防波堤减小了海浪的冲击力，使港区免受不良天气的影响，保证港区内的船舶正常通行。防波堤自建成以来，每年承受着海浪的侵蚀、暴风的影响，对防波堤的水上结构和水下海床造成了一定的损坏。为了更加全面地了解防波堤堤身结构现状和周边水下地形的变化情况，采用以无人机和无人船为载体，多传感器结合的方式对研究区域防波堤进行检测与评估。1.2测量方法1）陆上测量无人机航摄系统以无人机作为飞行载体，以高分辨可见光相机采集图像数据，利用3S技术在系统中集成应用，能够获取实时大比例尺的航测遥感数据。本试验采用大疆精灵4 RTK对防波堤水上堤身部分进行了航拍测量，提供了实时厘米级定位数据。在航拍外业数据采集之前，在试验区内均匀布设了像控点和平高检查点。为了保证航摄安全，根据现场情况规划了飞行航线，飞行相对航高为60 m，飞行速度为5 m/s，作业区域四周临海，航线规划过程注意起始点和返回点的位置，合理地规划时间。在最低潮的时候航拍测量，最大限度地采集防波堤水上部分的数据。在外业无人机影像数据获取后，需要对无人机影像数据进行初步查验和筛选，影像的重叠度需要重点检查，若重叠度小、有漏洞则需要及时补飞和重飞4。2）水深测量多波束测深系统是一种多传感器集成的较为复杂的系统，发射换能器在垂直于航迹方向上以较小的角度向水底发射宽覆盖的声波脉冲条带，接收换能器以密集排列的窄波束进行接收，它能够准确快速地测出平行航线方向水下目标的地物特征5。本文采用GeoBeam400M多波束测深系统对防波堤水下堤身部分及块石部分进行水深测量，该系统由发射接收换能器、内置OEM INS姿态仪、内置OEM GNSS控制系统、数据处理器组成，配合无人船的搭载平台非常适合防波堤周边如水深较浅、块石高低不平的复杂作业环境。为了提高水深点云的数据质量，将换能器安装在船体的中心位置，换能器安装的旋转角为0毅或15毅。因姿态仪集成在多波束探头中，不需要进行探头安装位置的校准。测线应按照平行于防波堤方向布设，测线间距参照水深的2.5倍，以满足多波束扫测时的测线重叠率，提高外业采集的数据质量。多波束测深外业采集时，采用GeoBeam Survey软件的实时采集模块进行，测量船匀速按规划航线进行数据采集，为了保证防波堤水下堤身部分及块石部分完全覆盖，在最高潮时物理调整换能器角度0毅或15毅混合采集，采集时合理地调节扫宽的角度限值，保障测量数据质量，保证测量区域全覆盖。3）侧扫声呐水下扫测侧扫声呐系统扫测能较精确地测绘出水底地貌及水下障碍物的位置，得到实时的水下连续声图。当侧扫声呐扫测时，就会以球面波的形式发射声脉冲信号，到达海底后反射波沿原路线返回，根据距离的远近反射波先后到达换能器的接收单元。工作时发射波投射到海底表面呈长条形状，换能器的接收单元回收投射区的反射波信号，经2窑窑2024年第3期图3水下3D点云数据Fig.3Underwater 3D point cloud data扭王字块半圆体甲板单元放大、解调和记录，在记录显示器上清晰地显示海底图像。本试验采用GeoSide500侧扫声呐对防波堤水下堤身部分及块石部分进行扫测，能够获得高精度海床声学图像，根据现场水域环境，为了保障侧扫拖鱼安全、减少船体尾流对侧扫声呐的影响，将拖鱼安装在测量船的中间，采用了固定作业的方式。测线平行于防波堤方向布设，其测线间隔为10 m，保证了全覆盖无死角测量。使用GeoSideScan软件对侧扫声呐数据进行采集，测量船保持低速且匀速行驶，减少风浪、潮流对拖鱼的影响，使拖鱼姿态变化较小。现场测量时实时记录每条测线图像的异常，对侧扫声呐声图中发现的异常目标进行及时标注，以便后处理时进行再确认。4）浅地层剖面仪水下探测海底浅地层剖面仪工作原理与测深仪相似，测量地层厚度时换能器的发射单元每隔相同的时间垂直向下发射声脉冲，当到达海底后一部分能量反射回来被换能器的接收单元收集，其他的能量继续向海底地层深处传播，并陆续反射回来被换能器接收，向下传播的声波的能量逐渐损失，直到损耗干净停止。本试验采用Innomar SES2000浅地层剖面仪对防波堤水下块石部分的泥层厚度进行测量，根据现场环境和采集数据要求本次采用固定式安装在测量船中间，可以安装于小船上作业，也可以集成在较大船只进行500 m内水深的离岸工程调查，在比较浑浊的水域也能较好地完成探测任务。进行浅地层调查之前，先连接仪器，然后将换能器放入水中，分别选用不同的脉冲宽度、能量、量程范围进行测试，调节TVG使浅地层剖面仪的图像效果最佳，选择最佳的工作参数6。测线平行于防波堤方向布设，测线间隔为10 m。使用Hypack测量软件进行实时导航、航迹线定位数据以及地层剖面系统数据的采集，测量前应将浅地层剖面系统安装于测量船上，并精确测量各个传感器的相对空间位置数据。2多传感器信息融合2.1数据处理流程图本试验通过一种多传感器信息融合水陆一体化测量方法来检测防波堤堤身及周边抛石的现状，其数据处理流程图如图1所示。2.2数据处理方法1）无人机航拍数据处理采用Pix4D软件处理航拍影像，平面坐标系为CGCS2000坐标系，后处理流程主要为：原始资料准备（原始影像、POS数据、相机检校参数、8个控制点数据）、对齐照片、建立密集点云、建立网格、建立瓦片模型、生成数字高程模型（DEM）、生成正射影像（DOM）。影像分架次依次处理，最终生成的成果主要有DOM、DEM、3D点云数据、瓦片模型。将水上3D点云数据（图2）保存为LAS格式，可以和水下3D点云融合处理。2）多波束点云数据处理先将GeoBeam Survey软件采集的原始数据输出为XTF格式文件，利用CARIS11.3软件内业处理模块进行处理。处理的主要步骤为：建立船型文件，对船的姿态（Pith、Roll、Heave、Gyro）数据、深度数据、定位数据进行质量检查，删除低精度数据；对深度数据进行声速（SVP）、潮位改正；将数据合并生成点云数据，将点云数据（见图3）转换成LAS格式，用于和水上3D点云数据融合。图1数据处理流程图Fig.1Flow chart of data processing图2水上3D点云数据Fig.23D point cloud data on land侧扫声呐扫测浅地层勘测数据来源水下影像数据水上3D点云无人机航拍水下3D点云多波束测深水上水下3D点云海底泥层厚度点云融合（ICP）边界线提取声波未穿透地层坝体-抛石分界线泥面-抛石分界线声波穿透地层断面图结合实际施工断面图多传感器信息融合成果轮廊现状图高程图半圆体圆筒扭王字块雷尚彬，等：多传感器信息融合技术在防波堤状态检测中的应用3中国港湾建设2024年第3期3）侧扫声呐数据处理声呐影像的处理采用GeoSideScan软件，分别进行底跟踪、增益调整、图像纠正、斜距改正、数字化特征采集等一系列处理内容。在侧扫声呐处理系统的计算机上对外业采集的数据进行反复回放，结合现场测量记录和水深测量成果，最终确定水下防波堤的形态。在软件处理生成的防波堤声呐影像（图4）中，由于声波在水底不同目标物的反射率不同，图像中的泥面、抛石和坝体会呈现不同的特征，进而根据这些特征提取出水下坝体和周围抛石的分界线及抛石和泥面的分界线，生成CAD图纸。4）浅地层剖面仪数据处理浅地层勘测的直接探测成果是双程反射时间剖面，其物理本质是地层界面间声波阻抗的反映7。资料解释前，首先要识别剖面记录上的干扰波，去除地质假象，然后初步分析各层序的空间形态及层序间的接触关系，最后确定各层序的地质特征，同时，还应识别下列灾害地质：古河谷、滑坡、塌陷、断层、泥丘、海底软土夹层、侵蚀沟槽等，确定它们的性质、大小、形态及分布范围。根据浅剖后处理软件的图像进行分析，可大致分为2种数据结果，分别为声波未穿透地层类型以及穿透地层类型（见图5），其中未穿透地层图像所形成的原因是水底的石头等物质阻隔了声波的传播。根据声波的这个原理可以求出抛石表面的泥层厚度。图4水下影像数据Fig.4Seafloor image data坝体沙地石头图5浅地层剖面仪数据Fig.5Shallow profile data（b）声波穿透地层图像（a）声波未穿透地层图像声波穿透地层声波未穿透地层图6水上水下3D点云融合数据Fig.63D point cloud fusion data of land and water块体堆叠过高海床冲刷块体滑落2.3多传感器信息融合1）3D点云融合测量时水上水下均采用CGCS2000坐标系，因为定位的方式和测量时周边环境不同，两者的数据不能完全融合。由于多波束测量在传感器相对位置量取和数据改正等方面存在着测量误差，本次点云融合以无人机航摄3D点云为主。在数据融合算法中，采用最为经典的迭代最近点（ICP）算法，ICP算法主要应用最小二乘法的基本原理，能够保证源点云和目标点云的精准匹配。ICP点云拼接算法的基本原理是：根据一定的约束条件，通过迭代计算源点云和目标点云中的同名点之间的距离，直到满足收敛所需要的阈值要求，获得2个点云数据之间的最优变换矩阵，使得融合误差最小8。如图6所示，点云融合的结果显示防波堤水上水下结构全覆盖，水上部分位于半圆体的结构段，特征为中间高两边低，防波堤水上结构段存在明显破损。水下部分由于施工工艺、海底冲刷的影响，可以分辨出防波堤两侧护面块体高低不平、块体滑落的情况，有些地方存在块石缺失的现象。4窑窑2024年第3期图7防波堤轮廓断面图Fig.7Profile of the breakwater（b）半圆体1050-5-10-5距离/m30-1020-1510-200-2525-305-351535设计断面线实测断面线外 内（a）扭王字块1050-5-10-5距离/m30-1020-1510-200-2525-305-3515-404035设计断面线实测断面线外 内雷尚彬，等：多传感器信息融合技术在防波堤状态检测中的应用2）多传感器信息融合通过多传感器的数据处理和3D点云融合，可以得到水上水下3D点云、坝体-抛石分界线、泥面-抛石分界线、抛石表面的泥层厚度数据。上述资料数据结合实际施工断面图，可以获得泥面的分布范围及防波堤堤身和块石区域的分布范围。在防波堤堤身和块石分布区域因为没有泥土覆盖，可以根据3D点云数据得到防波堤堤身和块石区域的顶标高。在泥土覆盖的块石区域，也可以结合3D点云数据和抛石表面的泥层厚度数据进行嵌套，得出泥土覆盖块石区域的块石顶标高，从而可以绘制防波堤横断面。从图7防波堤横断面图可以看出，防波堤横断面曲线总体较为平滑，没有陡降出现。但在防波堤坡底位置低于目标设计值，可能是施工抛石不够、风浪侵蚀或者防波堤经过长时间总体沉降造成的。多传感器信息融合技术应用于防波堤的整体检测，能够很直观地检测出存在的问题，真实反映施工后防波堤及周边块石的分布范围和三维坐标。多传感器信息融合后的数据生成断面图，能够从整体上检测防波堤的变化，为防波堤稳定性的检测提供了可靠的数据，也为隐蔽工程的检测提供了一个行之有效的方法。主要应用方面有防波堤竣工后检测及防波堤运行期间的定期监测，还可以为防波堤的现状提供清晰的影像资料。3结语本文以天津港某港区防波堤为测试区，以无人机遥感数据、多波束点云数据、侧扫声呐数据、浅剖数据为数据源，从多传感器的工作原理、数据采集、数据后处理（点云融合及边界线提取、海底泥层厚度获取）出发，研究了多传感器信息融合技术应用于防波堤水上水下检测的一种新方法，可检测防波堤施工后水上水下的真实状态，更加有效、直观地了解水上结构的变化和水下工程的冲刷情况，对港口的安全性管理提供了有效支撑。参考文献：1胡健波，张飞.基于无人机的防波堤巡检J.水道港口，2015，36（4）：355-358.HU Jian-bo,ZHANG Fei.On-site inspection of breakwater usingUAVJ.Journal of Waterway and Harbor,2015,36(4):355-358.2林晓彬，杨志敏.多传感器信息融合的防波堤结构检测技术研究J.人民珠江，2022，43（5）：114-120.LIN Xiao-bin,YANG Zhi-min.Research on detection technologyfor breakwater structures based on multi-sensor information fusionJ.Pearl River,2022,43(5):114-120.3朱鹏瑞，刘红彪，尹纪龙，等.防波堤智能巡检技术与应用J.中国水运，2023（3）：89-91.ZHU Peng-rui,LIU Hong-biao,YIN Ji-long,et al.Breakwaterintelligent inspection technology and applicationJ.China WaterTransport,2023(3):89-91.4田超，陈杰，李能能，等.利用无人机免像控快速构建高精度DSMJ.测绘通报，2017（8）：158-160.TIAN Chao,CHEN Jie,LI Neng-neng,et al.Rapid construction ofhigh precision DSM using UAV image-free controlJ.Bulletin ofSurveying and Mapping,2017(8):158-160.5章家保，程李凯，朱瑞虎，等.多波束测深系统在水下检测码头接缝中的应用J.水运工程，2019（7）：99-104.ZHANG Jia-bao,CHENG Li-kai,ZHU Rui-hu,et al.Applicationof multi-beam bathymetric system for inspecting wharf joint under原waterJ.Port&Waterway Engineering,2019(7):99-104.6王豪巍.联合剖面法在海底电缆探测中的应用J.石化技术，2021（1）：183-184.WANG Hao-wei.Application of joint profile method in submarinecable detectionJ.Petrochemical Industry Technology,2021(1):183-184.7王化仁，田春和，王鹏，等.浅地层剖面仪在管线铺设路由调查中的应用J.水道港口，2007，28（2）：133-135.WANG Hua-ren,TIAN Chun-he,WANG Peng,et al.Applicationof subbottom profiler used in investigation of seabed pipeline rout原ingJ.Journal of Waterway and Harbor,2007,28(2):133-135.8窦理波，邱华萍，王祯.倾斜摄影与地面三维激光扫描数据融合建模J.天津城建大学学报，2022（4）：292-296.DOU Li-bo,QIU Hua-ping,WANG Zhen.Modeling by data fusionof oblique photography and 3D ground laser scanningJ.Journal ofTianjin Chengjian University,2022(4):292-296.5