基于多维融合及数字孪生的桥梁智能防撞系统.pdf

No.2202397上海么路SHANGHAICTWAYS智能交通基于多维融合及数字李生的桥梁智能防撞系统朱吉（上海市道路运输事业发展中心，上海2 0 0 0 2 5）摘要：通过多维感知和融合技术，3 6 0 全天候实时监测和分析桥梁周围通行船只的状态。对于可能危及桥梁安全的船只，提前发出预警信息，并匹配数字李生技术，生成桥梁的可视化数字模型，及时、直观地反馈给桥梁管理单位，以实现对桥梁环境的全面感知，保障桥梁安全。关键词：多维感知多维融合；数字李生；桥梁防撞1项目概况松浦三桥位于上海市松江区境内，是松江区浦南浦北之间的过江通道，也是松江区与金山区之间的重要过江通道。桥面为双向四车道二级公路，车流量大，是区域性交通的重要组成部分。该桥位于黄浦江水道之上,水域船只通行量大。由于河流有一定的弯曲度，加上旁边有横流，因此很容易发生过往船只碰撞桥墩的情况。严重时，会对桥梁设施造成损害，甚至对人员安全及水陆交通造成严重危害。目前，管理单位依据航道管理要求，在桥墩四周安装了钢复合自浮式防撞设施，能有效减少船只撞击桥墩造成的桥梁及道路运行的损害，如下图1 所示。图1 桥墩四周安装的钢复合自浮式防撞设施目前的防护方式属于被动防护，虽保护了桥墩，减少了桥梁设施的损坏，但不能主动发现和预防可能出现的撞击情况。一旦有船只撞击钢复合自浮式防撞设收稿日期：2 0 2 3-0 2-1 7施，造成损坏，在撞击发生时，不能记录撞击发生的过程，以用于对船只进行追责。撞击发生后，管理单位不能第一时间知晓，从而及时进行处理和维修。这可能导致撞击进一步影响水路、道路通行及桥梁设施安全。因此，为更好地保障桥梁安全，需要实现一种主动防护方式，能在各种天气和环境因素的干扰影响下，实现2 4 h全天候提前预警，有效防止过往船只撞击等危险事件的发生。同时，能提供更直观可视的维护方式，减少运维压力，提高防护工作效率。2实现目标为解决上述问题，系统需完成以下目标。2.1实时监控系统在桥墩四周3 6 0 范围内，实时监控过往船只，并对船只进行跟踪定位。桥梁管理单位通过实时视频和电子地图，能实时查看船只位置及通行情况。2.2主动预警系统能实时监测通行船只和桥墩之间的距离。当船只距离桥墩小于安全距离时，能根据船只航向和速度,判断发生撞击的可能性。当判断可能发生撞击时，立即发出声光报警，通知船只保持安全距离，同时，立即向桥梁管理单位发出报警信息。当撞击发生时，主动通知桥梁管理单位的养护人员进行处理2.3过程记录系统可全程记录各船只的通行过程。当预警事件或撞击事件发生时，生成该事件的报警记录，包括报警时间、图片、录像、点位信息等。系统可调取从船只出98No.22023上海么路智能交通SHANGHAIHIGHWAYS现、到事件发生后的整个过程的视频录像等信息，方便为事后的追责提供依据2.4追溯维护系统保存预警事件或撞击事件的所有相关信息。桥梁管理单位可调取相关的历史记录信息，并可查看相关录像和图片数据等信息，方便进行事件的追溯及处理。3技术难点3.1水面干扰多不同于普通的道路环境，水浪、飞鸟等极易造成干扰，使系统产生误报。涨潮和落潮期、枯水期和汛期，水位差别大，对监测船只到桥墩的距离有很大影响。3.2环境变化大光线阴影、湿度高、温差大、雨雾天气都属于环境不稳定因素，容易造成误判。3.3夜晚亮度低夜晚光照低，能见度低，容易遗漏过往船只。3.4360监测范围桥墩3 6 0 的范围内都可能经过船只，因此需要做到全方位的监测4技术方案4.1数据采集设备为防止船只对桥墩的撞击，系统需识别出过往的船只目标，并计算其与桥梁之间的距离，测量其行进速度。由于所处环境等因素，在同一个位置使用一种设备时，目标识别准确率不能满足项目要求。因此，本系统使用了多种设备同时采集信息后，再融合处理的方式，来提高船只目标的识别率。首先，系统使用高清晰度的监控摄像机来进行视频图像的采集，并通过AI人工智能目标识别技术，提取过往船只目标。为解决夜晚亮度低的问题，摄像机需支持星光级夜间效果，故采用红外相机摄像机，可有效解决环境变化和水面干扰造成的误报问题。本系统使用可见光+热成像双光谱相机，既能生成星光级夜间效果的可见光视频图像，又包含了热成像红外图像。同时，由于视频源采集位于同一个位置，避免了两幅图像由于位置变化而造成的位移处理计算。为满足监测范围要求，摄像机水平视场角需达到100及以上。为减少因环境因素而造成的漏报和误报，系统还使用了4 D毫米波雷达来增强目标识别。毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候、全天时的特点。同时，其抗干扰能力强，能有效减少视频图像识别中的漏报和误差。为满足监测范围要求，毫米波雷达水平视场角需达到1 2 0 及以上。对于过往船只目标的速度和距离，高清视频图像和毫米波雷达都能够进行计算和测量。毫米波雷达相比视频图像更准确技术方案的比选如下表1 所示。本技术方案结合了毫米波雷达和热成像的优点，能有效解决水面干扰多、环境变化大、夜晚亮度低等因素造成的技术难点，极大地提高了船只识别和防撞报警的准确率。在本系统中，由于使用了多种采集设备，为统一处理，需要将单个目标在多个采集设备中获取到的位置信息融合成一个统一的位置信息。而一般情况下，相机和雷达并排安装在一个横杆上，或并列安装在一个竖杆上，如下图2 所示。表1 技术方案比选表本方案激光雷达方案热成像方案选用前端设备可见光+热成像+毫米波雷达多维融合+数字李生激光雷达热成像相机日夜效果不受影响，全天候工作不受影响白天细节丢失较多雨雾天气影响不受天气影响雨雾天气影响不受天气影响目标识别基于深度学习，支持雷达视频融合，准确率高对水花，飞鸟等有误判有误报目标感知支持定位以及探测船速支持定位以及探测船速无位置速度信息，无法精确定位船只分辨率分辨率高，细节清晰明显细节不够细节不够探测距离距离远，可达公里级距离不够距离较远No.2202399SHANGHAIHWAYS智能交通X图2 相机和雷达安装位置示意图由图2 可知，由于安装位置的不同，相机和雷达之间，在水平X方向和垂直Y方向上，都可能存在误差。在位置信息融合处理中，需处理掉这部分误差。且由于桥墩各个点位安装时，相应的水平距离或垂直距离不能完全保持一致，相应的水平误差或垂直误差也将随点位而变化。安装设备位置的差异会对融合处理结果造成误差。安装时，设备的照射方向也会带来很大误差，影响融合过程中对误差的处理，如下图3 所示。双光谱相机视野水平方向视野垂直方向视野双光谱相机视野雷达视野雷达视野图3安装设备位置导致的视野差异示意图如图3 所示，不管是在水平方向还是垂直方向上，设备的照射方向都有可能产生相应的误差。同样的，由于安装点位的不同，相应的误差也会不同。不仅在安装过程中会造成相应的误差，在实际运行过程中，由于环境因素(如强风)的影响，也会使采集设备产生无规则晃动。由于安装位置的不同，各个设备在水平方向和垂直方向上的相应晃动幅度也会不同，造成的误差更大，甚至无法通过算法进行处理。因此，本系统通过物理方式，将双光谱相机和雷达结合在一起，如下图4 所示。图4 双光谱相机和雷达结合的安装方式示意图如图4 所示，将雷达固定在双光谱相机正下方，将消除两个设备在水平方向的误差，只在垂直方向上存在误差。且由于设备是在安装前固定的,同一个项目的垂直误差固定，不受安装过程的影响，便于各个点位之间垂直误差的统一处理。在固定前，调整好双光谱相机和雷达的视野范围，使其水平视野和垂直视野都保持一致，避免了由于视野不同而造成的误差。同时，由于固定为了一个设备，当环境影响造成设备晃动时，双光谱相机和雷达的运动幅度在各个方向上也会保持一致，不会产生由于运动方向的不一致而导致的误差。因此，通过安装前对双光谱相机和雷达的固定和视野调整，尽可能地减少了后续融合过程中的误差处理，减少了计算复杂度，提高了数据准确性，其安装示意图如下图5 所示。桥橄浮锁光21m2m光报蓄器22m桥墩浮箱(a)顶视图No.22023100上涵么路智能交通SHANGHAIHIGHWAY2米2米：双光谱相机视野8米桥墩桥墩：雷达视野浮箱浮箱雷达视野桥墩浮箱双光谱相机视野船只方间(b)侧视图(c）正视图图5 设备安装示意图（三视图）由图5 可以看出，通过合理设计，依靠多个监测设备的结合，使系统能达到3 6 0 全方位监测。4.2多多维感知和多维融合本系统使用可见光+热成像双光谱相机及毫米波雷达，通过多种设备来采集数据，进行多维融合，智能识别船只，并测算船只的位置，进而判断船只行为，发出碰撞预警，具体工作流程见下图6 所示。实时展示可见光双光谱相机+融合数据热成像多维融合数据分析融合数据雷达数据融合数据毫米波存储回放雷达图6 系统设备工作流程示意图如图6 所示，系统实时采集可见光和热成像视频数据和毫米波雷达数据，并通过采样同步、目标过滤、位置校正一系列的处理过程，将视频数据和雷达数据整合成一体，为后续的融合存储展示及一体化智能分析提供了必要的技术条件支撑。多维融合后的优势如下4.2.1感知更准确充分利用热成像和雷达的目标探测准确优势，有效提高目标的检测准确度。4.2.2自动定位追踪基于雷达与视频的精准识别和精确位置信息，利用云台相机的高速云镜控制，持续在监控中追踪定位特定目标。4.2.3航向跟踪针对船只的跟踪定位，雷达可提供精确的距离、方向、速度和角度，推断船只的行驶方向，提供准确的偏航检测。4.2.4统一空间坐标系雷达具有精确的目标位置探测机制，结合GIS坐标信息转换机制，可提供准确的船只定位。4.2.5全天候适应结合热成像的全天候穿透探测优势，充分弥补雨雾天气、下雨等情况下，视频检测准确度降低的劣势4.3数字李生三维可视化No.22023上海么路1 0 1SHANGHTHWAYS智能交通本项目中的桥墩范围较大，且为了桥梁的整体安全，需要3 6 0 全方位监控。而在实际应用中，单个感知设备的测量范围有效。因此，为了获取的船只信息更精确，本系统采用了多种感知设备，并部署在了桥墩的多个位置。在传统的实时展示系统中，多个设备采集的数据只能相互独立地展示。例如通过监控相机获取到的实时视频，只能分窗口展示；当需要查看桥墩360范围的情况时，需打开多个实时视频窗口来进行查看。多窗口的独立展示大大提高了用户的工作量，降低了用户的工作效率。本系统采用数字李生三维可视化技术，实时展示桥梁环境及船只通行情况。数字李生技术是目前最前沿的计算机技术，是对现实的实时仿真和可视化，物理实体的数字化表达，本体的实时状态都会复现到数字化的“李生体”上。基于多维感知数据的实时获取和融合处理后，通过数字李生的三维可视化，系统可以全面、准确、动态地反映船只的状态变化，包括行驶方向、速度、位置、和桥墩之间的位置等，防撞预警或撞击发生等事件或报警信息，也将实时展现。通过数字李生三维可视化，所有相关信息都将统一展现在三维地图上，用户既可以轻松统览全局信息，也可以简单地操作鼠标，切换观察角度，查看更详尽的细节信息，还可以通过快捷操作，打开单个设备的实时数据窗口。数据的展示更清晰统一，操作更便捷，极大地提高了用户的工作效率和对报警事件的响应及处理速度。4.3.1三维可视化引擎三维可视化引擎是实现数字李生的基础。目前，主流的3 D引擎主要用于大型游戏开发，如Unity，U n-real系列引擎。这类3 D引擎的特点是功能丰富，效果逼真；缺点是开发复杂，需要制作成客户端软件，且体积庞大，更新过程繁琐，不便于使用。本系统使用基于电子地图的轻量化WebGIS3D引擎，利用基于GIS的电子地图技术，便于构建基础场景，功能强大，3 D显示效果足以满足系统要求。而且使用基于Web的B/S架构，无需打包成客户端，便于更新部署和使用。4.3.2场景建模三维可视化引擎确认后，需要使用引擎的场景建模工具来对项目环境进行场景建模。首先，获取现有的地图数据信息，并进行数字化；再通过实地精细化测量进行校正，形成电子地图，同时标记环境中的各种元素类型和位置，确定其变化属性等特征；然后，通过引擎的场景建模工具，根据元素类型，使用多图层的方式来构建场景模型；最后，拍摄现场照片，以纹理贴图的方式，附着到各场景元素上，从而使建模场景的显示效果更趋于实际环境。4.3.3过程李生在本项目中，场景环境基本固定，实际运行过程中的运动物体基本只有通行船只。因此，系统在识别出过往船只后，将船只目标作为运动图层元素，动态生成。为准确展示船只的位置，系统将通过经纬度来确定船只在三维可视化场景的位置，数字李生三维可视化效果如下图7 所示。速度长度：3 0 m长度3 5距离：6 0 m距离：7 0 m速度：3 0 km/h长度：3 0 m速度：3 0 km/h距商4 5 m长度：3 0 m距高：3 0 m图7 数字李生三维可视化效果图2023No.2102上海么路智能交通SHANGHAI HIGHWAYS-如图7 所示，数字李生三维地图上，实时展示了桥梁和桥墩位置，并在监测范围内，显示当前过往船只的位置、行驶方向、速度以及距离等信息。用户可以通过鼠标操作，切换观测角度。当报警事件发生时，地图上也将实时展示。用户还可以通过快捷方式，打开各数据采集设备的实时数据展开窗口，如下图8 所示，可打开监控摄像头，查看实时画面通过数字李生三维地图展示信息和视频监控实时画面的对比，也可以发现，数字李生技术能实时准确地展示过往船只的信息，且具有传统技术不可比拟的优点，展示内容更丰富，更具有可交互性和可操作性，还将所有设备采集的数据实时融合到了一个展示界面上，更能全面展现用户所需的信息4.4实现功能进行多维融合后，分析设备通过智能分析来完成后续处理，如下图9 所示，速长度：3 0 m商：6 0 m长距商：7 0 m速度：3 0 km/h长度：3 0 m速度：3 0 km/h距高：4 5 m长度：3 0 m距：3 0 m图8 各数据采集设备的实时数据展开窗口示意图多维融合数据分析双光谱相机防撞分析仪防撞管理系统预警信号融合数据分析数据声光报警器存储毫米波雷达图9 多维融合数据分析流程图数据分析可完成以下功能4.4.1防撞预警基于视频智能分析技术，识别船只，并跟踪船只运行轨迹。当船只靠近桥墩至一定阈值时，可触发对违规船只的抓拍，并联动声光报警设备，进行实时预警4.4.2事件记录该系统可对靠近桥墩至一定阈值的船只进行实时抓拍，并将该事件图片及视频存储在后端平台，方便管理人员进行事件的回溯和及时处理，并可通过报表的形式导出。4.4.3录像调阅可对航道船舶通行的情况进行实时画面预览，并将视频录像存至终端，及时调用、查看河面情况。航道事件以视频和抓拍图片的形式（下转第1 1 0 页）2023No.2110上语么路上接第1 0 2 页材料与试验SHANGHAI HIGHWAYS-算是偏保守的。对于石灰稳定土，采用正态分布或t分布进行描述，不会出现显著差别。（4)相比于传统的安全系数法确定的最优掺量，可靠度分析具有更精确、更灵活的优势，对于变异性较高的工程渣土，采用安全系数法是偏不保守的。参考文献1 Ingles O,Metcalf J.Soil stabilization:principles and practiceJ.Butterworths,1972.2 Sherwood P T.SOIL stabilization with cement and lime J.TrlState of the Art Review,1993.3 Degirmenci N,Okucu A,Turabi A.Application of phosphogyp-sum in soil stabilization J.Building and Environment,2007,42(9):33933398.4 Brooks R M.Soil stabilization with Flyash and Rice Husk AshJ.International Journal of Research&Reviews in AppliedSciences,2009,1(3):209-217.5 Horpibulsuk S,Kampala A,Phetchuay C,et al.Calcium Car-bide Residue-A Cementing Agent for Sustainable Soil Stabili-zation C J/Journal of Geotechnical Engineering.2015:22-27.6 Hadi Bahadori,Araz Hasheminezhad,Sakineh Alizadeh.TheInfluence of Natural Pozzolans Structure on Marl Soil Stabiliza-存储，便于后续的回溯。同时配置过船录像并保障清晰成像，完整记录过船过程。4.4.4船舶偏航检测通过雷达，划定航道边界，同时识别船舶航行的位置和角度，以此判断船舶是否偏航,并对偏航的船舶进行抓拍取证。4.4.5航道过船检测基于视频智能分析技术，识别并跟踪船只运行轨迹，记录船只的经过，包括时间、图片、视频等信息。支持流量统计，并可通过报表的方式导出。5结语本系统使用可见光+热成像相机和毫米波雷达，同步进行船只数据采集，解决了水面干扰、环境变化、tion J.Transportation Infrastructure Geotechnology,2020,7(1):46-54.7 Attom M F,Al-Sharif M M.Soil stabilization with burned olivewasteJ.Applied Clay Science,1998,13(3):219-230.8 Hambirao G S,Rakaraddi D P G.Soil Stabilization UsingWaste Shredded Rubber Tyre Chips J.IOSR Journal of Me-chanical and Civil Engineering,2014(1):20-27.9 Munjed M.AI-Sharif,Mousa F.Attom.A geoenvironmental ap-plication of burned wastewater sludge ash in soil stabilizationJ.Environmental Earth Sciences,2014,71(5):2453-2463.1o Zech B,Wittmann F H.Part II Probabilistic approach to de-scribe the behaviour of materials J.Nuclear Engineering andDesign,1978,48(2-3):575-584.11】中华人民共和国交通运输部.公路土工试验规程：JTG3430-2020S.北京：人民交通出版社,2 0 2 0.12 ASTM International.Standard Practice for Classification ofSoils for Engineering Purposes(Unified Soil ClassificationSystem):ASTM D2487-2017 S.PA:West Conshohocken,2017.1 3 中华人民共和国交通运输部.公路工程无机结合料稳定材料试验规程：JTGE51-2009S.北京：人民交通出版社，2009.夜晚低亮度等因素造成的误报和漏报，并通过合理设计安装监测设备，实现了3 6 0 全方位监测。通过人工智能和多维融合技术,进一步提高了目标检测的准确率，降低了事件的漏报率。系统通过数字李生三维可视化，实时展示船只通行情况，减少了用户操作，提高了桥梁管理人员的应急响应速度。系统完成了对桥梁过往船只的实时监控和定位，通过对船只的距离、行驶方向和速度的实时监测,判断发生撞击的可能性；通过声光报警，对危险船只进行及时预警，并主动通知桥梁管理单位。系统对事件进行了全过程的存储记录，方便进行事件追溯和及时处理。本系统大幅提升了桥梁管理人员的工作效率，极大地提高了桥梁及水陆交通的安全性，可推广应用于同类型桥梁的安全防护项目。ZHUJi(97)A Bridge Intelligent Collision Avoidance System Based on Multi-Dimensional Fusion and Digital Twin TechnologyAbstract:By using multidimensional perception and fusion technology,the passing ship status around bridges is monitored and ana-lyzed 24/7 in real-time with a 360 ocoverage.If there are ships that may endanger the safety of the bridge,warning information willbe issued in advance and matched with digital twin technology to generate a visualized digital model of the bridge.Feedbacks will beprovided to maintenance personnel in a timely and intuitive manner.This achieves comprehensive awareness of the bridge environmentand ensures the safety of the bridge.Key words:multi-dimensional perception;multi-dimensional fusion;digital twin;bridge collision avoidanceA Probabilistic-based Method for Controlling the Content of Stabilizer of Waste Soil.Abstract:Engineering waste soil is one of the main components of construction waste.Stabilization of waste soil for subgrade flling isan important direction for the utilization of waste soil.This paper combines the engineering practice of utilizing waste soil in the South-ern New Town of Nanjing,and proposes a method for controlling the content of stabilizer based on statistical theory and reliability anal-ysis,in order to deal with the variance of waste soil.Firstly,the approximate range of the content is determined through the CaliforniaBearing Ratio test,and then the distribution function is constructed by analyzing the distribution of the test results.The reliability of aspecific content is calculated through Monte Carlo simulation.Statistical analysis shows that this design method can minimize strengthredundancy and save costs while meeting strength requirements.Key words:waste soil;curing improvement;California bearing ratio;reliability analysis;Monte Carlo simulation;maximum likeli-hood estimationResearch on the Design of Key Materials and Mixtures for Full Thickness Luminous Pavement.PANG Xiaoming(111)Abstract:Combined with the research on the inspection section of the new full-thickness light-emitting road in the construction ofShanghai Slow Moving Leisure Road in recent years,the author analyzed and summarized the design and performance of the stone,transparent binder,luminous materials and other key materials in the luminous pavement,as well as the mixture,in order to providesome experience for future related projects.Key words:slow leisure road;luminous pavement;transparent binder;luminous materialFeasibility Analysis and Experimental Study on Mechanical Properties of Secondary Cold Regeneration MixtureKey words:At present,part of the cold recycled pavement in China has reached or is close to its service life.Whether the old cold re-cycled pavement can be recycled has become the focus of the highway industry.In this paper,the feasibility of secondary cold regener-ation is analyzed firstly.Based on the mix design results of secondary cold regeneration mixture,the mechanical properties of secondarycold regeneration mixture are tested and studied.The results show that the crushing value of the old cold recycled pavement base mate-rial still meets the specification requirements,the CBR value is attenuated,and the grading is refined,so it is not feasible to use it alonefor the secondary recycled pavement(subbase)base;By adding new aggregate and cement stabilizer,the gradation and strength of thesecondary cold recycled mixture have been effectively improved.The 7 d unconfined compressive strength value can meet the technicalrequirements of the pavement(subbase)under heavy and extremely heavy traffic.The secondary cold recycling is feasible.Althoughthe mechanical performance test results are slightly inferior to that of the primary recycled mixture,the overall mechanical performancecan still meet the mechanical index requirements of the asphalt pavement base and subbase.Key words:secondary cold regeneration;mix design;mechanical properties;compressive strengthPerformance Research and Engineering Application of Semi-flexible Pavement with High Crack ResistanceAbstract:The influence of grouting materials mixed with different toughening materials on the high temperature rutting resistance,lowtemperature bending resistance and semi-circular bending crack resistance of semi-flexible pavement materials was tested and stud-ied,and the application in engineering test section was carried out.The research results show that the grouting material mixed with15%emulsified asphalt can make the semi-flexible pavement material obtain the road performance of balancing high and low tempera-ture performance.The laboratory crack resistance is 45%higher than the previous technology,and the actual road crack resistance ismore than 2.6 times higher than the previous technology.Key words:high crack resistance;semi-flexible pavement;toughening materials;emulsified asphalt;semi-circular bending frac-ture energy;pavement cracking rateApplication of High Polymer Grouting Technology in the Maintenance and Repair of Freeways in Anhui ProvinceAbstract:With the rapid growth of road,especially highway construction in China,the importance of maintenance is becoming in-RENQi(103):LIU Sijia,LI Yan(115):HUANG Yunbao,DENG Cheng,GONG Minghui,HONG Jinxiang,XIONG Zijia,LIU Ziyang(119)WANG Chongyang(124)