大藤峡水利工程无人机自动巡检系统开发与应用.pdf

:/.:/第 卷 增 人民珠江 年 月 收稿日期:作者简介:刘闯()男硕士助理工程师主要从事水利信息化等方面的工作 :.大藤峡水利工程无人机自动巡检系统开发与应用刘 闯黄鹏嘉马心驰赵 烜(广西大藤峡水利枢纽开发有限责任公司广西 南宁)摘要:为实现大藤峡水利枢纽工程建设期的周期性、常态化的动态监控和监管基于无人机、移动通信、物联网、直播流等技术构建了无人机自动巡检技术体系实现了大藤峡水利枢纽工程建设期内的定时巡查巡检按照设定航线进行定点侦察和区域侦察快速获取影像资料生成照片、视频、正射影像等多种数据成果分析与判定为建设数字孪生大藤峡提供数据底板 该技术不仅可应用于水利工程建设期巡检监控也可为河道岸线巡查、河湖环境监测、智慧工程管理等领域提供强大的技术支撑关键词:无人机自动巡检物联网大藤峡中图分类号:文献标志码:文章编号:()研究背景广西大藤峡水利枢纽开发有限责任公司没有开展无人机巡检管理系统相关的系统建设无人机巡检还停留在手动巡检的阶段不能实时将巡检视频传回指挥中心不利于实时了解掌握施工现场情况存在信息滞后的问题且大藤峡水利枢纽建筑物的分布范围较大包括大坝、边坡、厂房、公路、库区及下游河道的巡检且工程边坡及河道等条件复杂人员作业耗时耗力 一旦遇到大雾、降雨、极端的高温和低温天气作业风险增高一般不能立即安排人员去野外作业巡检时效性较差 另一方面数据管理还停留在传统方式的文件管理工作容易导致在工作过程中出现各个环节记录丢失后期巡检数据的处理、分析和存储管理也需要投入大量的人力物力和时间而海量数据的存储管理也是一个不可避免的大问题在国家加强监管的大环境下需尽快进行系统科学有效的生产管理避免出现工作上的疏漏在 世纪初无人机已经有不少应用当时主要用于军事 使用范围和功能是演习和侦察方面 随着无线电通信、遥控技术以及芯片的不断发展和应用无人机得以快速发展投入民用 世纪 年代以来各种新型高精度探测传感器的面世无人机的应用水平得以极大提高应用领域也越来越宽 到 世纪以来根据文献研究在全世界范围内各个领域类已经有上千种无人机应用无人机的续航能力可由一小时到十几个小时(燃油无人机)执行任务的载荷更是大大提升 这样使得无人机具备了完成长时间、大范围空中遥感和地面监测的飞行任务的能力国内外许多学者都在积极探索其在桥梁检测中的应用 年 等在无人机上安装非接触式多光谱传感器用于快速识别桥梁表面开裂及内部分层情况 年刘威等耗时 依据预先规划的 条无人机飞行路径完成了惠平路藻浜大桥的全面检测检测精度可达厘米级本技术构建的智能机巢、无人机操控 和无人机自动巡检综合管控表平台可实现无人值守下的一键智能巡检、智能化的数据处理、分析和存储并自动生成巡检报告除极个别暴雨、大风等极端天气下均可自动巡检且维护和运营成本低下 尤其在大藤峡水利枢纽的抗洪救灾、应急抢险和不定时巡人民珠江 年增刊 查方便具有重大的优势数据的智能化处理、分析和存储管理告别了过去人工浏览巡检数据判断异常的历史节省了大量人力资源降低了管理成本提高了管理效率便于数据的管理和浏览 系统总体设计根据技术要求本系统整个架构拟划分为无人机巡航平台、实时巡检视频传输平台、数据管理平台(图)该系统结合物联网、/技术、数据库技术、技术以无人机为观测平台、高清摄像头作为媒介的信息采集端以/网络作为信息传输端以手机、商用云平台、后台数据库作为预警决策终端采用协同监控策略利用智能算法、大数据处理实现对分界点、违章施工点、违法点进行标注的识别及多期历史巡查影像进行对比分析图 技术架构平台利用数据库结合 技术进行搭建通过数据库管理多源空间数据为系统提供多种类型的数据服务为平台功能提供数据和服务支撑最终实现平台中数据浏览数据编辑报告生成等功能 关键技术研究.无人机远程控制智能监测技术无人机远程控制智能监测技术集成/通讯技术、融合定位技术等构建的无人机远程控制系统该系统组成包括智能机巢有微型、小型和移动型三种型号支持 种以上目前市场上主流的无人机机型和 种以上机载传感器具备自动充电和更换电池、空地连网、信号增强、远程控制、恒温防水、视频监控和微型气象站等功能以及基于融合定位技术实现无人机精准降落和入巢.“云 端”协同无人机集群管控技术“云 端”协同无人机集群管控技术是利用自动化技术、物联网、计算机编程技术等研发一种支持桌面和手机的的多地、多终端远程控制技术、无人值守自主巡检技术和一体化智能管控平台 实现了对机巢和无人机远程化、移动化和智能化的控制、巡检任务和巡检线路的定制、预设任务自动执行、数据自动传输和对组网机巢和无人机的统一管理对监测数据的集中建库和分析处理、对设备运行状态的远程监控、对危险状况下的接管处理等见图 图 “云 端”协同无人机集群管控平台.多路无人机远程视频回传技术打破大疆等主流无人机视频回传技术壁垒基于安卓移动操作系统和大疆 自主研发的无人机操控 平台支持巡检视频一键分享至流媒体服务器利用 搭建流媒体服务器通过/通讯技术将多路巡检视频直接展示在 页面中便于领导等决策者了解和掌握现场技术 其主要技术原理是:本身是一种 服务器 是非常好的音视频解决方案利用 通过 模块提供 服务 推送一个无人机操控 分享的 流到 然后客户端通过访问 来收看实时视频流进而实现多路无人机巡检视频的回传见图 图 多路无人机远程视频回传技术人民珠江 年增刊.多源监测数据智能识别与深度分析技术针对无人机自动巡检中不同类型传感器采集的数据利用 技术、深度学习算法等前沿技术构建多源信息的实时感知与智能识别、多源数据的融合与分析、多模式三维场景重建等关键技术实现了照片、视频、正射影像等多种巡检数据的分析处理并根据行业应用需求建立相应的分析处理技术流程及根据多期巡检数据自动对比分析生成巡检.基于云计算的无人机自动巡检管理系统利用云计算、大数据技术构建智能化的无人机自动巡检管理系统系统的总体架构见图 图 巡检系统框架该系统使得无人机能迅速到达巡检作业现场通过高空视角可全方位监控现场区域信息并在巡检过程中记录违法违章行为根据现场拍摄情况及时锁定证据数据实时传送回控制中心 可以设置路线对巡检区域进行日常自动化巡检沿设定路线两边固定航线航拍、查寻区域异常情况并对巡检区域敏感点的定时定点拍摄 系统实现.系统建设内容开发具有自主知识产权的发布在自有独立服务器上的无人机巡检管理系统包括无人机自动巡查导入系统自动识别时间、位置、轨迹照片、视频管理对分界点、违章施工点、违法点进行标注追溯历史巡查影像多期对比自动生成巡检报告等功能无人机能迅速到达巡检作业现场通过高空视角可全方位监控施工区域和库区信息并在巡检过程中记录违法行为根据现场拍摄情况及时锁定证据数据实时传输回控制中心 可以设置路线对巡检区域进行日常自动化巡检沿河预设的固定航线航拍实时收集施工区域信息对巡检施工区域敏感点进行定时定点拍摄.无人机自动巡检平台无人机自动巡检平台是集成利用/物联网技术、基于流媒体服务器实现直播流技术见图图 无人机自动巡检平台.航线设置基于无人机自有的操作飞行平台在其上开展无人机巡航规划设计可选用目前主流的大疆无人机开展无人机巡检 无人机航线设置包括航线导入设置和手动布线 种方式 在无人机航飞之前提前做好航线规划设置无人机自带的飞行平台支持多源数据格式的航线导入如 数据格式导入也支持手动布线无人机可根据系统已规划的航线按照设定航线进行定点侦察和区域侦察快速获取影像资料生成照片、视频、正射影像等多种数据成果可供分析让巡视不留死角 基于大疆无人机的巡检飞机可实现自定义的任意位置的巡检.实时传送视频数据采用先进的/通信网络技术采用流媒体服务器实现直播流 利用 的 来搭建流媒体服务器通过推流服务将推流码输入到无人机操作平台软件中从而实现无人机巡检视频的直播 利用实时视频传输功能可实现在应急抢险场景下实时迅捷地将现场把无人机采集的可见光视频、热成像视频、影像等数据实时传送到控制中心为领导视察工地提供现场实时的视频影像数据方便领导了解情况见图 人民珠江 年增刊 图 大藤峡船闸直播视频展示.无人机巡检数据管理平台无人机巡检数据管理平台是集成照片管理功能、视频管理功能、违法点标注功能、报告生成功能等多种功能模块实现海量无人机巡检数据的管理见图 图 大藤峡无人机巡检数据管理平台.照片管理将无人机巡检拍摄的照片数据导入无人机巡检数据管理平台基于无人机巡检照片自带的 信息后端采用 开发语言读取无人机照片中的位置信息、拍摄时间信息实现能够自动识别出拍摄时间并根据位置信息将照片拍摄的中心点位置叠加在影像地图上显示出无人机飞行的轨迹内业检查照片工作更高效照片管理功能实现照片的批量上传入库实现了无人机照片所在中心点位和无人机照片原始数据进行挂接联动可以根据批量浏览每一期巡检照片在浏览照片时自动定位到拍摄位置并可根据拍摄位置点击浏览响应的拍摄照片见图 图 大藤峡船闸东面图片展示.视频管理利用专业的视频处理软件将巡检视频的视频与字幕分离转换为.格式的视频和.格式的字幕文件 将巡检视频和字幕文件数据导入无人机巡检数据管理平台根据字幕文件记录的飞行时间和位置将其与相应的视频对应视频播放的时间匹配到飞机飞行的位置播放视频时无人机可相应的在地图上沿着相应轨迹联动见图 图 大藤峡重点施工区无人机视频数据.影像管理影像成果数据库以文件形式存储采用巡检期数 巡检区域 数据类型的文件命名结构方便数据管 理 索 引 数 据 由 多 级 瓦 片 构 成 发 布 成 服务后将按多级结构存储到 数据库中形成用于浏览显示的影像金字塔索引.多期影像分屏对比无人机影像管理采用分屏对比显示的方式进行管理两屏图层数据联动 可以实现视频、照片和无人机正射影像数据两两组合的分屏对比显示比较巡检区域的变化情况 系统根据按照时间、位置等关键信息建立巡查历史影像档案在需要的时候可以随时对巡查历史影像进行查询分屏对比显示多人民珠江 年增刊 期影像为工作统计、巡查路线分析等等提供决策的数据依据除了体现空间上的变化外还可以表现为时间尺度上的变化.违法标注无人机巡检照片、影像高达厘米级可以轻松判别河道、路面、管道上的污染点和违法行为见图 使用基本的点、线、面标绘出来可以查看分布图可以根据关键字查询定位 支持对标绘对象进行属性编辑将无人机巡查的信息比如巡查时间、问题表述等与标绘对象关联起来便于后续生成巡查报告进一步管理 以无人机每个架次生成的巡检照片为基础参考通过多种途径进行违法事件标准与管理 桌面端通过加载数据服务分屏对比无人机巡检照片、视频和正射影像快速对违法事件标注与管理图 大藤峡右岸施工现场积水自动识别无人机巡检数据管理平台针对这个环节也设计了一系列功能:对照着地图沿着飞行轨迹快速排查照片正常标绿不确定标黄问题标红发现问题一键创建工单在地图上标记位置指派人员跟进问题重点区域排查地图上画个圈即可调出范围内全部照片历史数据排查选定日期即可调出历史数据利用无人机空间数据库中的多类数据发布平台所需的多种类型的数据服务将这些服务进行集成展示可以实现无人机照片及正射成果数据快速查看也可以对无人机巡查矢量数据(点、线、面)进行浏览和属性查询见图 图 大藤峡左岸船闸标注信息入库.巡检报告生成制定巡检报告模板自动选择巡检期数 选择上述违法点标注已经巡查标注的相关违法点信息填写巡检报告相关信息直接导出 具体功能如下:将每个架次/任务的数据进行更新后基于提前定制好的巡查报告模板自动进行巡查报告生成将违法事件位置类型面积、数量等信息自动填入报告模板中 该系统支持自动生成报告详细说明每一次巡查的时间、位置、问题统计、问题清单支持输出.支持微信查看分享 帮助单位建立巡查问题台账发现存在的问题和隐患制定对应政策整改 在大藤峡的应用大藤峡无人机自动巡检系统主要包括用户登录模块、任务管理模块、指挥调度模块、巡检成果入库模块、巡检成果管理模块、巡检成果自动分析检测模块、巡检报告自动生成模块、多期巡检成果对比模块系统中对相片、视频、影像等巡检成果按照巡检时间进行了统一管理能实现快速检索查询较大地提高了工作效率 同时系统实现了对相片的自动异常识别减少了人工操作精准定位发现异常的位置结合人工判别对异常信息进行入库可整理成巡检报告进行输出 整个流程操作简单易上手实现了大藤峡巡查工作的数字化、自动化、规范化推动了大藤峡智能化管理)使用无人机自动巡航和智慧机场对大藤峡枢纽设施等进行巡检最终实现数据的远程回传与指令传输减少人为现场干预提高巡检效率缓解人民珠江 年增刊 人员紧张情况巡视数据可实时回传至服务器端管理人员可随时查看)采用无人机自动化巡查模式减少人工户外作业时间避免了人员在繁忙公路巡检时发生意外的情况通过智慧机场具有自动更换电池与充放电功能提高无人机续航能力从而达到无人机自动对上述地点续航的目标)通过遥感技术的使用使用无人机上的传感器提取能够表征水体污染可遥感的关键污染水质指标并构建污染水体地表反射率数据库通过数据库的大数据分析实现无需测量水质指标即可快速精确识别水体污染体指标)通过无人机自动巡检遥感图像制作出可视化智能监控和展示平台未来整合其他信息化系统实现大藤峡枢纽一张图综合信息管理 结束语通过深入研究无人机、人工智能、等技术构建“网联无人机 自动化机巢 云端管控平台”的空地一体、“云 端”协同无人机集群管控与应用技术体系实现无人机应用的无人化、集群化、网络化和智能化主要工作如下)基于物联网、/传输技术实时传输巡检视频实现了大藤峡水利枢纽工程重点施工区无人机的自动巡检 通过对多种类型无人机数据包括照片视频正射影像进行分类梳理采用数据和本地文件的组合方式对数据进行有效管理最终实现无人机成果数据快速检索的功能)利用无人机正射影像数据结合空间数据库管理技术建立多类违法事件矢量编辑模板提供在线快速标注能力可以将违法事件相关元数据信息输入并且保存到空间数据库中 无人机正射影像数据是最重要的成果数据通过镶嵌数据技术进行多时相无人机数据动态管理实现对比查看也为违法事件标注提供数据支撑 本系统不仅可应用水利工程监测、河道岸线和环境监测、智慧水利建设等水利行业也可推广应用于输变电线巡检、应急抢险监测等领域且无人机自动巡检管理平台可操作性强点下鼠标即可实现自动巡检多源数据自动融合、处理、分析和生成巡检报告技术方法研发的产品功能具有可扩展性适应性强参考文献:冯建辉姜虹云李朋岳等.无人机架空线路巡检技术发展现状及展望.云南电力技术():.林志友毛清华田聪.无人机全自主巡检系统在水电站的应用探讨.人民黄河():.张兴华姜诚张建刚等.基于二维 技术对直升机巡检海量数据存储管理.信息技术():.张伟业.组合式无人机的设计建模及控制.成都:电子科技大学.杨朝阳祝士明高月辉.协同产业转型升级的专业建设逻辑、困境与策略:以无人机应用技术专业为例.教育与职业():.张佩玉.标准为翼 凤舞九天:中国无人机标准化发展纪实.中国标准化():.宋迎宾罗资坤屈乐等.检验检测新技术助推水利行业高质量发展研究/中国水利学会.中国水利学术大会论文集(第六分册).黄河水利出版社:./.刘威丁霄霄宗誉.无人机在桥梁检测中的应用研究.交通与港航 ():.赵薛强凌峻.无人机自动巡检智慧监控系统研究与应用.人民长江():.陈剑涛段春瑞李翔.无人机红外自主巡检方法研究与应用.宁夏电力():.田生祥罗龙刘占双等.试论无人机反制技术的智能化追溯系统现状及发展/第十六届全国信号和智能信息处理与应用学术会议论文集.:.唐磊孙志尧赵俊.一种 和 混合编程的无人机监控软件实现.电脑知识与技术():.雷宗林.无人机违规违法飞行电子取证程序研究.电子技术与软件工程():.姚振伟郑浩.智能无人机在智慧河长制电子化巡河中的应用/(第十届)中国水利信息化技术论坛论文集.:.刘建国.基于大疆无人机测绘产品制作方法的研究.智能城市():.(责任编辑:程 茜)