面向长江数字航道的关键航道要素智能感知研究_何涛涛.pdf

第 48 卷第 1 期2023 年 2 月Vol.48 No.1Feb.2023测绘地理信息Journal of Geomatics面向长江数字航道的关键航道要素智能感知研究何涛涛1 黄登2 余长慧3 任福1，4 郭娅婷51 武汉大学资源与环境科学学院，湖北 武汉，4300792 长江宜昌航道局，湖北 宜昌，4430023 武汉大学遥感信息工程学院，湖北 武汉，4300794 地球空间信息技术协同创新中心，湖北 武汉，4300795 长江航道测量中心，湖北 武汉，430010Intelligent Perception of Key Waterway Elements for Digital Waterway in Yangtze RiverHETaotao1 HUANGDeng2 YUChanghui3 RENFu1，4 GUOYating51 School of Resources and Environmental Sciences，Wuhan University，Wuhan 430079，China2 Yichang Waterway Engineering Bureau of Yangtze River，Yichang 443002，China3 School of Remote Sensing and Information Engineering，Wuhan University，Wuhan 430079，China4 Collaborative Innovation Center of Geospatial Technology，Wuhan University，Wuhan 430079，China5 Changjiang Waterway Survey Center，Wuhan 430010，China摘要：针对目前航道要素的智能感知需求与存在的问题，设计了基于无人机、无人船的视频智能感知方案，搭建数字长江航道无人机无人船智能识别应用平台，利用人工智能（artificial intelligence，AI）识别技术，实现对航标的识别与状态检测、水尺观读和航道整治建筑物缺损检测，为建成智能视频巡航新模式、推动辅助决策智能化提供思路。关键词：航道要素；智能感知；人工智能；无人机；无人船中图分类号：P208文献标志码：AAbstract：In view of the current demand and problems of intelligent perception of waterway elements，we design an intelligent perception scheme for video based on unmanned aerial vehicles（UAVs）and unmanned surface vehicles（USVs）.We establish an intelligent detection application platform of digital Yangtze River waterway for UAVs and USVs，realizing the detection of navigation marks and their status，the observation and reading of water scale，and defect detection of waterway regulating structures by artificial intelligence（AI）detection technology.The proposed scheme provides ideas for building a new model of intelligent video cruising and promoting intelligent auxiliary decision-making.Key words：waterway element；intelligent perception；artificial Intelligence；unmanned aerial vehicle（UAV）；unmanned surface vehicle（USV）长江航道是沿江经济发展的主通道和沿江综合运输体系的主骨架，被称为“黄金水道”。“智能航道”是指在数字航道基础上，利用智能传感器、物联网、自动控制、人工智能（artificial intelligence，AI）等技术，自动获取航道系统要素信息，通过融合处理与深度挖掘，实现航道规划科学化、建养智能化、管理现代化1。航道感知是利用各种感知设备、技术手段和方法，动态监测和实时采集航道设施、船舶、水位、航道断面等几大类感知对象的业务特征和事件信息，形成物联传感数据，导航定位、卫星和无人机遥感等监测和观测数据，以及视频解析数据和分析信息，实时为航道维护管理、船舶航行提供可靠的航道信息，是构建虚拟航道及实时刻画实体航道条件的技术基础。研究基于无人机、无人船的数字航道要素和状态的智能感知和检测是推进长江智能航道建设的关键。目前航道要素采集主要有基于移动测量的数字化采集和基于物联网的固定点数字化感知方法2。传统的航道要素感知方法是基于移动测量的数字化采集，是由测量人员利用专业测量设备，如船载测深DOI：10.14188/j.2095-6045.2022837文章编号：2095-6045（2023）01-0122-05引用格式：何涛涛，黄登，余长慧，等.面向长江数字航道的关键航道要素智能感知研究 J.测绘地理信息，2023，48（1）：122-126（HE Taotao，HUANG Deng，YU Changhui，et al.Intelligent Perception of Key Waterway Elements for Digital Waterway in Yangtze River J.Journal of Geomatics，2023，48（1）：122-126）基金项目：长江航道局科技项目（202230002）。第 48 卷第 1 期何涛涛等：面向长江数字航道的关键航道要素智能感知研究系统、声学多普勒流速剖面仪（acoustic doppler current profilers，ADCP）3等，主要对河床地形、水深、洲滩岸线等航道要素进行测量。该方法受人力、物力、工作条件等限制。基于物联网的固定点数字化感知方法综合利用通信技术、基于导航卫星的位置服务技术和物联网技术，是航道要素感知的新方法。该方法主要适用于航标、山区河段可视距离、水位等航道要素的感知，但这种数据采集方式会受到布设方案、传感设备性能和工作环境的影响。随着无人机、无人船航测系统的成熟，将无人机、无人船和 AI识别技术应用在智能航道建设中，构造面向数字航道的视频智能感知方案，提高航道要素数据获取和检测的能力，具有越来越重要的应用价值和广阔的发展前景4-6。本文设计了面向长江航道要素提取和检测的智能感知方案，在无人机、无人船上搭载高清相机，获取长江航道图像视频数据，并利用 AI识别技术对图像视频数据中的航道要素进行识别、检测，以提高航道巡查的智能化水平。1 航道要素感知与管理航道感知对象分类目前没有统一标准，可以参照的标准有国际要素分类标准、国民经济行业分类与代码（GB/T475494）及 基础地理信息要素分类与代码 等。孙星等7将水上交通状态感知信息分为内河水上交通流、航道通航环境信息、通航枢纽船舶行为、船舶状态数据和船载危险货物状态等。长江环境独特，需要进一步限定其航道感知要素分类，可参照 长江电子航道图制作规范 进行划分，吕永祥8提出航道要素应包含航道河床、水文状况和航标等；李学祥等2将长江航道要素分为航道尺度、水文气象、地形地貌、助航设施和通航建筑物等内容。由欧盟建立的河流信息系统（river information system，RIS）将船舶报关与导航、航道信息管理、水上监控各个方面进行统一管理9。Goralski 等10对航海相关的三维可视化展开研究，将雷达系统和电子地图结合起来，应用到海上航道运输安全领域。长江航道局研发了长江电子航道图系统11，整合长江全线航道基础地理信息数据、航标数据、水位数据、航道实际维护尺度数据等，对航道地理信息数据进行统一管理。三维实景航道也是长江电子航道图未来的发展趋势12。长江干线数字航道构建了一个涵盖航标、水位、船舶、视频、航道地形等水上、水下重要航道要素的立体感知体系13，如图 1所示，通过水位遥测遥报系统、航标遥测遥报系统，航道尺度监测系统形成一个水文和气象条件的通航要素感知系统，通过建立船舶 自 动 识 别 系 统（automatic identification system，AIS）、船舶交通服务（vessel traffic services，VTS）、闭路视频监控（closed circuit television，CCTV）和射频识别（radio frequency identification，RFID）等系统，实现在航船舶位置和动态的感知，基本实现了长江干线 2 628 km（不含长江口航道）航标、水位、地形等航道基本要素的采集14，采集情况见表 1。然而，由于长江干线航道地理位置和客观条件特殊，要素演变复杂，动态监测系统实际应用还存在以下问题：1）航标巡航效率低下。航标是标示航道边界、引导船舶安全航行最重要的辅助设施，是水上“红绿灯”。在数字航道系统中提供了航标动态监测功能，但仍需人工出航，通过目视判断航标外观、完整性、航标灯闪烁等状态，分析航标报警原因。在水上能见度较低时，目视结果不精确，影响航标判读效果。另外，航标的误报警现象也使得无效出航次数增多。2）航道整治建筑物检测手段单一。堤坝是常见的航道整治建筑物，起着改善航道条件的功能。洪水期时，坝体受水流冲击极易损毁，需定期开展建筑图 1长江数字航道感知网Fig.1Perception Network of Yangtze River Digital Waterway 表 1长江数字航道关键航道要素信息感知Tab.1Information Perception of Key Waterway Elements in Yangtze River Digital Waterway关键航道要素河床地形水深流速流向水位（潮位）航标山区航道可视距离船舶感知手段数字化测量、软件处理单、多波束快速移动测量、软件处理数字化采集自动水位站航标遥测遥控远程测报船载机舱监测系统感知频率长河段每年至少 2次；一般河段每年至少 3次；重点河段每月至少 1次软件处理，主要浅区每天 1次划分断面，每月至少 1次实时实时实时实时123测绘地理信息2023 年 2 月物完整性检测。目前多采用人工监测手段对整治建筑物进行监测，因船舶吃水和礁石等因素，巡航人员只能远距离检查整治建筑物是否存在缺损，检测手段单一，效率比较低下。3）水位分析滞后。水位对船舶航行、航道治理和预警具有重要作用。数字航道系统受航道条件影响，水位感知设备出现异常情况较多，水位数据监测仍需人工测量核对。另一方面，智能航道对航道感知体系的要求则更加全面透彻。要求在数字航道的基础上，扩展航道感知要素种类，通过融合长江干线全线航标遥测遥控、水位遥测遥报、视频分析、无人船、无人机、北斗系统、雷达、AIS、高分遥感等监测手段构建陆水空天的感知网络；从水上、水下等全方位实现航道要素信息全河段、全天候获取；全面感知航标、水文、洲滩岸线、河床地形、典型河段、航道整治建筑物、控制河段交通流等航道要素。数字航道的监测体系不能满足智能航道建设的需要。面向航道关键要素航标、水位和整治建筑物，研究基于无人机、无人船和 AI目标识别技术的航道关键要素采集和监测技术，设计面向数字航道的视频智能感知方案，提升航标水位的实时性、稳定性，扩充数字航道动态监测手段，缩小与智能航道建设的差距，充分发挥数字航道数据优势，推动数字航道向智能航道转变。2 基于无人机、无人船的数字航道视频智能感知方案2.1数字航道视频智能感知流程通过无人机、无人船搭载高清相机拍摄长江航道图像视频，采用视频图像数据传输技术将数据传输至后台 AI 识别应用系统，利用 AI 识别技术对图像视频数据中的航道要素进行识别、检测、分析，构造数字航道视频智能感知平台。基本流程见图 2。1）航道要素采集。长江沿线地形各异，呈带状地形，以平行长江沿线方向为航线方向，依据测区实地踏勘情况和原有地形资料，综合考虑地形测图精度和无人机续航时间，依据地形设计无人机、无人船巡航路线和航测范围。航线设计时充分考虑航向、旁向重叠度，确保无航摄漏洞。利用无人机体积小、造价低、使用方便的特点，在无人船上集成水深测量系统、图像采集系统、高精度定位系统以及三维激光扫描系统，提高航道要素信息的综合采集效率。2）数据处理。数字航道视频智能感知方案通过推流（或拉流）模式实现无人机视频流的实时发送预览及接收存储，完成无人机拍摄的实时视频流和定位数据的接收，并将实时视频流保存为历史视频文件，相关定位数据保存到数据库。3）AI目标检测。视频 AI算法采用 OpenCV 视频抽帧方法将视频抽取为图片，通过对图片的预处理、AI算法处理、后处理、上传等操作，基于时间序列将实时视频流数据和定位数据融合，通过机器视觉和深度机器自学习的卷积神经元网络完成目标对象的识别，可以实现对水尺、航标、护坡、丁坝和船舶等关键航道要素的采集，并通过对视频中的关键信息进行标记等，形成相应事件的处理和告警。4）预警与处置。基于消息流推送和数据订阅模式技术和目标 AI的识别结果，根据定义的规则和报警等级条件，确定预警规范和等级，自动推送相关等级预警信息给对应接收人员；对于无法识别及不在预警规则里的信息，要进行人工研判并提出预警。长江电子航道图、实时视频、识别结果、无人机轨迹、喇叭喊话、布控点列表等数据内容可被同时展示在数字航道系统大屏上。2.2无人机无人船 AI识别应用平台依据数字航道视频智能感知流程，设计和搭建了无人机无人船 AI识别平台。平台架构见图 3。数据采集层是系统的基础，即感知设备层，包含图 2数字航道目标智能感知流程Fig.2Process for Intelligent Sensing of Digital Waterway Targets124第 48 卷第 1 期何涛涛等：面向长江数字航道的关键航道要素智能感知研究无人机和无人船等设备，通过无人机无人船系统采集航道要素等视频数据。基础环境层包含基础硬件环境、基础软件环境和基础网络环境，用于支撑无人机无人船视频采集、视频传输、AI识别分析的实现。数据资源层按照规范的程序和数据标准，对数据资源进行标准化处理、交换以及管理，包含基础数据、无人机与无人船系统数据、视频数据、地理信息数据和 AI识别数据。服务层基于基础环境层提供的统一平台化系统及数据资源层提供的数据处理服务提供 AI识别服务、流媒体传输与分发服务、电子航道图接口服务、流程服务、总线服务、中间件服务、组件服务、统一身份服务等。应用层是无人机、无人船 AI识别平台提供的对外应用服务，是平台与用户在信息服务、信息管理的对话过程中的直接界面，主要实现航标识别与状态检测、整治建筑物缺损检测、船舶识别与分析、水尺观读等应用。3 基于 AI识别的航道要素感知与检测基于无人机无人船视频 AI识别应用平台，系统实现了对航道要素的智能感知和检测，如表 2所示，打造航道视频智能巡查新模式。3.1航标状态检测与航标报警原因判读航标遥测遥控系统可实现对航标位置的实时监测，对移位航标迅速响应预警。但系统不能对航标移位的原因进行判定，常出现航标误报警导致无效出航现象。系统通过无人机在指定区域拍摄影像并回传数据，通过 AI识别分析航标是否发生位置偏移并判断航标清洁保养状态，利用目标检测技术实现航标移位的可视化检测，其检测准确率在 94.7%左右。在夜晚场景下，对航标灯闪烁状态进行分析，解析航标灯颜色、单闪或双闪、闪烁周期，判断航标灯是否正常工作，准确率高达 99%。无人机和 AI目标识别有效弥补了航标报警和夜间航标巡查的缺陷。进行航标视频巡检时，由于无人机在采集图像过程中的航向变化，航标目标的背景环境及阴影区域会存在一定差异，同时由于无人机航拍会带来尺度变化，航标识别结果会受到航道小型船只、沿岸标识及施工机械的干扰。夜间航标灯质检测时，受到城市光污染源的影响，如船舶灯光、沿岸城市灯光等，因此采集视频时需注意无人机航线规划，对飞手的要求较高。3.2水尺精确观读水位遥测遥报系统实现了对水位站数据的自动填报，然而受环境等因素影响，系统运行不稳定，导致水位数据观测不准确，常需要人工跋涉观读水尺。平台利用无人船出航拍摄水位站数据，通过目标检测识别和文本识别技术获取水尺读数，并将其与系统中的水位数据进行比对，可以实现遥测水位数据的精度检验。在实际应用过程中，对无人船的操控要求很高，无人船与水尺之间的距离最好不要超过 5 m，且镜头必须正面面对水尺，保持数秒的稳定拍摄，否则会因为角度、距离等，造成水尺读数出现差异。3.3整治建筑物巡查针对航道整治建筑物受水流冲击极易损毁的问图 3AI识别应用平台架构Fig.3Structure of AI Detection Application Platform表 2航道要素智能感知信息Tab.2Intelligent Perception Information of Waterway Elements感知手段视频无人船无人机感知对象航标、整治建筑物、船舶等整治建筑物水下部分、水下地形、水尺整治建筑物水上部分、航标、临跨河建筑物、航道整治建筑物监测特征动态、可视化监测主动、定时、可视化监测主动、定时、可视化监测数据类型视频、图片视频、图片等视频、图片等适用场景全天候日常和应急情况日常和应急情况125测绘地理信息2023 年 2 月题，对整治建筑物要定期开展检测工作以保障其完整运行。系统通过无人机定线巡航与定点拍照确保每次现场巡检影像视角相同，实现了水上整治建筑物毁损情况的精确比对，可有效检测出其缺损情况，提高了巡检效率，有效掌握堤坝、桥梁等表观纹理。整治建筑物的缺损识别存在误检，其原因在于随着潮水涨落，整治建筑物护滩形状与缺口形状具有相似性，识别结果会受到沙滩的干扰。受到检测样本的限制，整治建筑物的缺损检测处于初级阶段，随着长江数字航道的提升完善，持续扩充整治建筑物数据样本，推动视频 AI识别技术在航道整治建筑物巡查上的高效应用。4 结束语针对长江数字航道存在的航道动态监测手段单一、航道要素多维采集能力不足、数据分析手段和模型欠缺等问题，本文结合无人机、无人船数据采集的优势，研究基于计算机视觉的 AI目标检测等方法，设计长江数字航道关键要素的视频智能感知方案，搭建和实现了基于无人机、无人船的视频 AI识别应用平台。通过无人机航拍和 AI系统智能识别航标位置、航标灯质状态、水尺读数、护坡丁坝整治建筑，建立有效的巡航记录，降低出航成本，有效掌握水尺、航标、塔标等助航设施表观纹理，提升外业测量工作效率和测图精度，提高观测成果建模质量。通过无人机、无人船视频巡航，自主检测航道水上目标，为航道维护无人化值守、航道工程的无人化安全监管提供了解决思路和方案。视频 AI识别应用平台受天气影响较大，恶劣天气条件下出航无人机存在损毁的危险。另外，视频图像数据实时传输会受无线网络带宽影响，采用 5G网络传输仍存在网络延迟以及有部分区域无信号的情况。无人机、无人船在长江航道上的应用推广除了提高硬件设备外，在目标检测方面，需要提升目标检测模型性能，解决航拍图像中目标尺度变化剧烈和目标被遮挡问题，同时航道要素感知有较高的实时性要求，提升模型的检测效率也是研究重点之一。未来，随着陆水空天航道感知网的建立，进一步对视频 AI识别系统功能扩容，利用高准确度的图像视频识别技术检测非法采砂、漂浮物垃圾识别、河道沿岸违章建筑侵占等活动，落实长江保护政策。进一步推动无人机、无人船协同作业，结合视频感知能力，以提升航道多维空间信息感知能力，推动长江数字航道的智能感知与智能决策。参考文献1郭涛，刘怀汉，万大斌，等.长江“智能航道”系统架构与关键技术 J.水运工程，2012（6）：140-1452李学祥，严新平.基于在航船舶动态信息的长江航道要素感知方法综述 J.水运工程，2014（12）：31-363简波，刘力，胡其武，等.长江航道地形测量数据采集与预处理工作流程优化J.水运工程，2014（11）：31-344Dasiopoulou S，Mezaris V，Kompatsiaris I，et al.Knowledge-Assisted Semantic Video Object DetectionJ.IEEE Transactions on Circuits and Systems for Video Technology，2005，15（10）：1 210-1 2245He K M，Zhang X Y，Ren S Q，et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual RecognitionJ.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1 904-1 9166Guo Y M，Liu Y，Oerlemans A，et al.Deep Learning for Visual Understanding：A ReviewJ.Neurocomputing，2016，187：27-487孙星，严新平，初秀民，等.基于船标岸一体化技术的内河信息服务关键技术研究 J.交通信息与安全，2012，30（4）：126-1308吕永祥.长江干线航道要素状态感知与交互技术分析 J.水运工程，2012（9）：153-1589张兢，范军.欧盟 RIS 对我国内河航运信息化建设的启示 J.船海工程，2010，39（5）：148-15010 Goralski R，Ray C，Gold C.Applications and Benefits for the Development of Cartographic 3D Visualization Systems in Support of Maritime Safety J.TransNav-International Journal on Marine Navigation and Safety of Sea Transportation，2011，5（4）：423-43111 杨保岑，张秋实，李莉，等.长江电子航道图生产与服 务 技 术 方 法J.测 绘 地 理 信 息，2022，47（1）：51-5512 辛全波，秦柳，范俊甫，等.基于 WebGL 的航道数据组织与三维可视化方法 J.测绘地理信息，2022，47（1）：81-8513 杨品福.长江航道基本要素信息采集与服务数据交换技术 J.水运工程，2013（5）：136-14214 李学祥.内河数字航道技术总结与展望 J.测绘与空间地理信息，2017，40（9）：14-19 修回日期：20221107第一作者：何涛涛，硕士，研究方向为数字航道智能应用。E-mail：通讯作者：余长慧，博士，副教授，主要从事地理信息科学与地理数据分析研究。E-mail：126