视觉定位技术在天然气集输场站巡检的应用研究.pdf

，信息通信视觉定位技术在天然气集输场站巡检的应用研究魏瑞,栗鹏，丁闫”,赖文华3（1.中国石油西南油气田公司，川中北部采气管理处，四川遂宁6 2 9 0 0 0;2.昆仑数智科技有限责任公司，北京10 2 2 0 6；3.昆仑数智科技有限责任公司，成都分公司，四川成都6 10 0 0 0）摘要：在天然气场站生产过程中，为确保各类设备工作正常，需要定期开展现场巡检。当前巡检大多通过手填工单、使用手持式设备记录等方式，存在人工介入工作量大、实时数据获取效率低、记录手段落后等问题。文章将视觉定位与AR技术相结合，建成基于Linux操作系统的智能巡检辅助系统，实现场站巡检高精度AR导航、设备精准定位和识别、多元数据叠加显示、智能交互等功能。本系统对天然气场站的数字化巡检具有较好的支撑作用，对未来场站巡检作业的智能化发展具备一定的引领价值。关键词：天然气场站；巡检辅助系统；智能巡检；视觉定位；增强现实中图分类号：TP391.41Applied research of Visual Localization technology in Natural Gas Stations inspection(1.North Part of Central Sichuan Gas Production Management of Petrochina Southwest Oil and Gas field Company,Suining,Sichuan 629000,China;Abstract:In the process of natural gas production,for guarantee the properly function of equipments,regular on-site patrol inspectionis required.At present,well station staffs frequently use work sheets or hand-held equipments to record inspection process,that bringabout some problems such as heavy workload of manual intervention,low efficiency of real-time data acquisition,backward recordingmethod and so on.This paper combines visual localization with AR technology to build an intelligent patrol assistant system based onLinux operating system,to realize ARhigh-precise navigation,precisely positioning and recognition ofequipments,multi data overlaydisplay,Intelligent interaction functions.This System can support the digital inspection of natural gas stations,as well provide a certainleading value for intelligent development of natural gas stations inspection in future.Keyword:Natural Gas Station;Patrol Assistance System;Intelligent Patrol;Visual Localization;Augmented Reality0引言天然气集输场站作为集输系统的重要节点，日常巡检是保障其安全平稳运行的重要手段。传统巡检作业大多通过人工填报工单、使用手持设备等方式，仅能满足记录要求，在作业过程中存在不能解放巡检人员双手、无法即时获取设备信息、不支持远程作业指导等问题，不能较好满足当前天然气场站巡检的需要。近年来，智能机器人、可穿戴式设备等新技术逐渐被引入工业巡检领域。巡检机器人加载摄像机、红外热成像仪、气体检测仪等设备，可按照规划的路线巡检，代替部分人工巡检工作，但受制于成本及场地限制，大规模应用仍需时日。可穿戴式设备属于半自动化巡检，当前主要应用于关键设备的检查及远程作业指导，未实现巡检区域的实时定位及信息拟合展示，不能有效支撑全过程巡检任务的执行。人工巡检仍是当前最成熟、最有效的巡检方式，通过信息技术提高巡检工作效率是解决当前问题的有效途径。本文致力于将视觉定位技术与增强现实技术、可穿戴式设备相结合，建设以AR眼镜为载体，通过视觉定位能力建设，实现场站巡检高精度AR导航、设备精准定位识别、多元数据叠加显示、智能交互等功能，有效提高巡检工作的效率和质量。1 关键技术1.1增强现实技术收稿日期：2 0 2 3-0 2-16作者简介：魏瑞（19 9 1-），男，四川阅中人，硕士研究生，工程师，主研方向：自动化控制；粟鹏（19 8 7-），男，四川南充人，学士，高级工程师，主要研究方向：信息技术；丁闫（19 8 1-），男，辽宁沈阳人，硕士研究生，副高级工程师，主研方向：企业信息化建设与软件工程项目研究与管理；赖文华（19 8 4-），男，四川德阳人，学士，工程师，主研方向：物联网技术。1352023年第0 5期(总第2 45期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 135-0 5WEI Rui,SU Peng,DING Yan,LAI WenHua2.Kunlun Digital Technology Co.,Ltd.,Beijing 102206,China;3.Kunlun Digital Technology Co.,td.,Chengdu Branch,Chengdu,Sichuan 610000,China)增强现实技术（AR)是一种将虚拟信息叠加于现实场景的技术。通过图像识别、三维建模、物体跟踪、智能交互等多种技术手段，将虚拟的文字、图像、模型等信息叠加在真实环境中呈现，实现对真实世界的“增强”。随着科技的发展，AR技术日趋成熟，无论是软件还是硬件都得到了快速发展，在工业领域的运维检修、故障诊断、培训指导等方面有着广阔的应用前景。1.2视觉定位技术视觉定位技术(VSLAM)是即时定位与地图构建(SLAM)技术的重要分支。SLAM技术最早由Smith、Se l f 和Cheeseman于19 8 8 年提出，其目的是为机器设备提供一种自主构建环境地图并实时获取位置信息的能力。随着摄像机成像软硬件技术及传感器技术的进步，基于视觉的即时定位与地图构建(VSLAM)技术得到了长足进步，不仅可以确保虚拟信息在真实图像上的精准叠加，亦能实现室内外全场景范围高达10 0 万平米的点云地图构建。目前，谷歌、百度、华为等互联网公司均已形成了较为完整、成熟的VSLAM技术体系，具备结合实际业务场景落地应用的条件。1.3可穿戴技术可穿戴技术是2 0 世纪6 0 年代由麻省理工学院媒体实验室提出的概念。这类技术通过传感器、无线通信、多媒体等技术嵌入穿戴设备，支持与用户的密切交互。AR眼镜是可穿戴技术的典型应用，在工业、教育、文化、娱乐等各领域均有落地场景案例。当前主流智能眼镜发展现状如图1所示。Changjiang Information&Communications昆仓数梦Lenovo亮风ESHARTink Reaty AeGLXSSMELEIONEPSON6T-3002023边缘计算设备提供服务流程：1、获取视频流检测画面中是否有目标对象2、定位（输出位姿：4x4矩阵，包含xVZ、角度、方向）3、确定虚拟内容相对于目标物的摆放位置视频流1080p,25f:5Mbps（H.2 6 5压编后）IMU（惯性测量数据）智能眼镜侧处理机制：接收“摆放位置（座标）+融合“实时视频”+融合“预置数字内容”+潼染“基于Unity服务”，实现虚实融合展示2.2硬件配置系统软硬件配置如表1、表2、表3所示：表1软件环境操作系统Linux操作系统、android9.0界面语言Android开发语言Java,Android,C+、Py t h o n表2 边缘设备硬件环境CPU19-11900K 3.5GHz内存128GB分辨率1920*1080硬盘1T固态硬盘+8 T机械硬盘显卡RTX-3090表3智能眼镜硬件环境芯片Amlogic A311D内存存储128G存储/4G内存摄像头800万像素*2双目衍射光波导显示，40 度FOV，对比度40 0:1，显示最大亮度16 0 0 尼特网络链接支持5G模组、WIFI6超高速率信息传输、BT5.0防护等级IP-66防护等级，支持本安一区防爆2.3视觉定位服务能力建设视觉定位服务技术方案设计思路如图所示，硬件上依赖魏瑞等：视觉定位技术在天然气集输场站巡检的应用研究2019年2系统架构awHoloLem2.1整体架构服米维定位KHoloLens2主流智能眼镜283图1主流智能眼镜参数信息考虑视觉定位服务能力的实现，尤其是室外大场景下的定位，对设备算力及整体性能要求较高，AR眼镜无法独立运行实现，因此，采用边、端协同方案，分别设计AR眼镜、边缘计算设备各自承载的处理逻辑。智能巡检辅助系统主要由AR眼镜、边缘计算服务器和网络传输设备组成，AR眼镜端主要实现第一人称视角视频实时采集、数据展示、智能交互等功能，3555255边缘计算设备摆放位置（坐标）智能眼镜图2 系统整体架构摄像头及GPS、I M U、轮速计等各类传感器，软件上借助3D特征地图构建、图像特征检测、特征匹配定位、定位数据融合等技术，实现高精度实时视觉定位、虚拟信息精准叠加显示等功能，最终实现简化人工操作、提高巡检质量及效率的目的。关键环节计算流程如图3所示：最嫩据采集维地图构建传胶器款推采集图像处理IU/光点云等处理算力和传输感知配置和初始化图3视觉定位服务能力建设(1)三维地图构建三维地图构建作为定位初始化和定位偏差纠正计算的数据载体，采用基于纯图像或激光图像融合的方式进行构建，两者均有较为成熟的商业产品支持。本文采用基于纯图像的方式，输出三维地图包括3D点云地图、图像特征点及描述、映射关系等。13672超示FOV边缘端实时处理AR眼镜上传的数据信息，并将识别结果、定位信息及后续处理流程下传；AR眼镜与边缘服务器部署于同一局域网内，通过网络传输设备进行实时数据交互。1、三维建图技术；2、视觉定位技术；3、3D 物体跟踪技术；4、3D 物体建模技术5、惯性导航技术。智能眼镜侧预期显示效票三维地丽数据离线地图视觉定位计算VIO增里优化在线地图技术栈：位姿平滑地图更新6DoF位姿Changjiang Information&Communications图4三维地图构建流程(2)端边协同实时定位跟踪端边协同实时定位跟踪整体流程如图5所示。算力和网络传输评估模块配置和初始化传感器数据采集预处理计算关键顿视觉定位计算实时位姿计算位姿平滑端侧位姿和轨迹更新图5端边协同实时定位跟踪流程算力和网络传输感知：收集和评估端侧设备算力，评估端侧和边缘节点之间的传输通道能力（包括传输带宽、延时、抖动等情况），对整个系统中的模块运行进行优化配置。具体流程如下：通过端边之间发送模拟图像和IMU数据评估网络传输性能，如果平均传输延时小于2 0 ms、抖动小于5ms，则在端侧运行图像特征提取、IMU积分模块，其他模块在边缘侧运行；获取端侧CPU芯片型号、端侧GPU/NPU型号、端侧图像/视频类协处理器型号；获取设备RAM大小；在端侧调用VIO运行模拟数据，评估VIO平均帧运行时长；如果端侧设备芯片能力在骁龙8 35及以上或VIO平均顿运行时长小于等于15ms等，则图像特征提取、IMU积分、VIO、增量优化、在线地图模块运行在端侧，其余模块运行在边缘侧。模块配置和初始化：根据端侧算力和当前端边之间传输通道的量化评估结果，分配上述模块运行于端侧还是边缘节点，并完成端、边模块初始化，启动算法。传感器数据采集：根据端侧设备提供的传感器，完成数据采集和时间戳同步，并将数据发送给处理模块。数据类型可包括图像、IMU、激光、磁力计等。预处理计算：包括图像处理模块、IMU/激光点云等处理模块、VIO模块、增量优化模块、地图维护与更新模块。各模块功能如下：图像处理模块：对图像进行预处理，包括降噪、锐化、尺寸缩放、特征提取、跟踪、关键帧筛选等操作；IMU/激光点云等处理模块：对IMU等数据进行预处理，包括预积分、模式分析等操作；VIO模块：根据图像、IMU、激光等数据完成视觉惯导里程计计算，并依据关键帧的视觉定位算法计算结果对输出结果137魏瑞等：视觉定位技术在天然气集输场站巡检的应用研究进行校正，输出原始6 DoF位姿。场站数据采集增量优化模块：在完成VIO计算后，将当前顿内容与之前已有的地图数据进行融合优化，并剔除过时的地图数据；三维地图构建地图维护与更新模块：维护本地在线地图点数据、离线三维点云地图数据，通过离线地图和在线地图差异比较，将差异化部分更新到离线地图中，实现离线地图的动态更新。三维地图数据加载到边缘节点视觉定位及位姿计算：根据离线地图数据、关键帧图像或其特征完成关键帧的6 DoF位姿估计，并将估计出来的6 DoF位姿发送给VIO模块，用于其位姿校正。位姿平滑：从原始传感器数据采集到收到对应的6 DoF位姿之间有一定的延时，通过传感器数据的预处理结果对VIO输出的原始位姿进行平滑，避免最终输出的位姿出现跳动、拉扯等现象，保障位姿输出的平滑稳定。端侧位姿和轨迹更新：边缘侧与端侧实现位姿和轨迹信息交互。3系统功能本系统适用于油气生产场站的日常巡检作业，应用对象为一线场站员工，旨在通过巡检步骤及内容电子化呈现、巡检路线实时指引、巡检过程智能交互等功能，形成适用于油气生产场站智能巡检作业的解决方案。系统包括智能巡检、远程协助、出入管理三个模块，各模块功能如下：(1)智能巡检巡检人员佩戴AR眼镜，开启智能巡检功能模块，可显示当前可执行的巡检任务。选择需执行的任务后，进入巡检主界面，自动在巡检人员眼前以虚拟符号显示巡检路线指向，巡检人员按照指示行进，逐步执行巡检步骤。巡检执行过程中，实现巡检步骤提醒、巡检操作提示、设备空间定位及数据叠加展示等功能，当巡检任务完成后，巡检结果自动上传服务器。北之集气贴瑞“1”“2”可以说打开第1个图6 巡检任务列表仪控图7 巡检路线导航请选择一个任务“3“4”下一页000:24:369590Changjiang Information&Communications魏瑞等：视觉定位技术在天然气集输场站巡检的应用研究识别成功后显示来访人员姓名、工作单位等信息，身份验证后00:24:00自动记录进站事由、人员信息等，实现场站出入管理。抑制剂储4现场应用在某集气站部署智能巡检辅助系统，测试人员佩戴AR智能眼镜通过Wifi网络与服务器进行通信，在场站进行定位能力测试。在测试路线与日常巡检路线完全一致的情况下，数据定位轨迹如图所示（坐标轴单位为米，GT为真实轨迹，ES为系统定位轨迹）。+3.3700000000e6100清从正京上粮网租图8 巡检步骤提醒建出AR导款85-80GT7570图9 仪表实时数据叠加显示1.00埋地深度0.750.8m0.500.250.00-0.25-图10 隐藏管道信息展示-0.50-0.75-1.00050100150 200 250300350 400图13定位误差由图可见，在整个巡检过程中，轨迹定位最大轴误差不超过0.4m，能较好满足现场巡检需求，具备工业化应用条件。5结语智能巡检辅助系统通过将AR眼镜、视觉定位技术相结图11关键设备拆解展示合，实现了场站巡检高精度AR导航、设备精准定位和识别、多(2)远程协助元数据叠加显示、智能交互等功能。在该系统支持下，巡检人巡检人员佩戴AR眼镜，开启远程协助功能模块，登录账员可实时获取区域内设备动、静态数据，掌握生产运行状态，号后可与后台技术专家即时连线，双方共享实时图像、文件资并实现语音操控填报、上传巡检记录，可以更高效地进行巡检料等，实现问题的高效处置。作业。本系统对油气场站巡检作业的数字化转型可起到较好(3)出入管理的支撑作用，对未来油气场站巡检作业的智能化发展具备一该功能借助AI人脸识别技术，可快速验证井站来访人员，定的引领性价值。GT_STARTESES_START4550图12 定位轨迹556065+5.4600000000e5biax_xbiax.ybiax_z1387075，信息通信基于Proteus 的数字电路虚拟仿真实验系统设计（江西农业大学南昌商学院，江西九江332 0 2 0）摘要：为了提高数字电路虚拟仿真实验的实验效果，提高仿真结果与实际电路的相似度，缩短仿真实验的时间，文章设计基于Proteus的数字电路虚拟仿真实验系统。结合系统设计需求，以管理模块和模拟电路实验模块两部分构成系统的整体架构。在硬件方面，对单片机与数模转换器进行选型与设计。在软件方面利用Proteus软件对数字电路进行虚拟化，建立数学模型。利用小波分析技术对数字电路信号转换，提取数字电路运行特征。通过对数字电路的信号边界进行处理，实现仿真实验可视化展示。实验证明，设计系统的仿真电路波形图与实际电路波形图相似度较高，且仿真实验时间较短，具有良好的数字电路虚拟仿真实验效果。关键词：Proteus；数字电路；虚拟仿真实验；单片机；数模转换器中图分类号：TP391.90引言仿真实验系统是互联网技术、信息技术与实验教学相融合的产物，利用互联网强大的互联特性，以及信息技术强大的通信特性，将某一物体虚拟化，仿真模拟出实验过程及结果。目前仿真实验系统已经被广泛应用到教育领域中，尤其是数字电路实验教学。数字电路具有一定的复杂性，对其开展实验教学不仅成本比较高，而且消耗的资源也比较多，因此目前大部分高校已经针对数字电路实验需求，研发设计了对应的虚拟仿真实验系统，克服了很多外在因素限制2 。但是国内关于数字电路虚拟仿真实验系统研究起步比较晚，相关技术与理论还不够成熟，虽然近几年仿真实验系统受到研究领域重视与关注，提出了一些系统设计思路，但是现有的系统灵活性、适用性较低，在实际应用中仿真电路与实际电路相似度较低，而且仿真实验用时时间较长，已经无法满足实际数字电路实验教学需求，为此提出基于Proteus的数字电路虚拟仿真实验系统设计。1数字电路虚拟仿真实验系统架构设计此次结合数字电路虚拟仿真实验需求，对系统整体架构进行设计，系统主要由管理模块和模拟电路实验模块两部分组成，具体如图1所示。数字电路模拟仿真实验系统系统管理模块身份验信总管理用理图1数字电路虚拟仿真实验系统架构图收稿日期：2 0 2 2-12-2 7基金项目：江西省教育厅科学技术研究项目：基于Proteus的数字电路虚拟仿真实验系统设计（项目编号：GJJ209102)作者简介：李谊萍（19 8 2-），女，江西南昌人，本科，讲师，研究方向：电子通信。参考文献：1王锋,王彦彪,等.基于智能头盔的变电站移动巡检系统设计.电力信息与通信技术,2 0 2 2,2 0(4):48-55.2 蔡志全,张晶,等.巡检机器人在变电站运维中的应用J.冶金动力,2 0 2 2,3:59-6 2.1392023年第0 5期(总第 2 45期)李谊萍文献标识码：B文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 139-0 3如图1所示，系统管理模块主要作用是用户管理，其中包括用户管理、身份验证以及信息管理，为了保证系统中信息的安全，用户在登录系统时，对其身份验证，确定为系统注册用户后方可进入到系统中进行仿真实验操作。信息管理实际为数字电路元器件信息管理，信息管理中有元器件添加、删除、修改三块内容，用户将元器件相关数据上传到系统数据库中，用于基于Proteus数字电路虚拟化。模拟电路实验模块包括实验准备、电路虚拟化以及可视化展示三部分，在实验开始前，需要做一些准备工作，如对仿真参数设定，利用Proteus软件对数字电路抽象处理，生成数学模型，并通过数字电路形象直观地表达和描述，实现对数字电路实验过程的可视化展示，从而实现用户与系统的交互响应，模拟出数字电路波形、频率等，对实验数据分析及统计，从而实现基于Proteus的数字电路虚拟仿真实验。2数字电路虚拟仿真实验系统硬件设计系统的硬件主要由单片机、数模转换器以及液晶显示器组成，液晶显示器为系统基础硬件，在此不做过多介绍，以下对单片机与数模转换器两个硬件设备选型和设计。单片机是系统的核心控制设备，根据实际需求此次选择型号为OUTA-A45F单片机，其内部所有组件是通过微控制器数据总线连接，在芯片上集成了微型计算机。为了保证其控制功能有效发挥，为其配备ALU中央处理器，用于系统数据加、减、乘、除运算，采用BCD十进制运算方式4。此外还配备了两个八位寄存器模拟电路实验模块和16 GB存储器，系统运算数据计算结果寄存到寄存器上，并最终存储到存储器中,用于系统的输入与输出(I/O)5。考虑到Proteus模拟仿真数字电路数据均为模拟量数据，这种形式数据无法被系统识别和运算，因此选用IHFA-A4F7数模转换器实验准备电路虚拟化可视化展示将模拟量数据转换为数字量数据，为转换器设计了16 位A/D转换接口，将其转换电压设置为5.55V,转换时间设定为12 0 us，转换功率设置为15mW，保证转换器三态输出6.采用并联的方式将单片机与数模转换器等系统硬件接入到实验室电源总线上，由单片机对系统所有单元及硬件进行控制，由数模转换器+3孙冬,吉炫颖,等.增强现实技术在变电站设备运检中的应用J.电力信息与通信技术,2 0 2 1,19(6):44-49.4方维岚,吴奕龙,等.基于AR/MR技术的智能穿戴设备在工业巡检中的应用J.数字技术与应用,2 0 2 1,39(7):150-152.5 程绳,范杨,等.基于AR智能眼镜的输电线路巡检标准化作业J.智能信通技术,2 0 2 1,9:140-144.+