基于VR技术的挖掘机遥控操作辅助系统.pdf

2023 年第 8 期122计算机应用信息技术与信息化基于 VR 技术的挖掘机遥控操作辅助系统周羿旭1ZHOU Yixu 摘要 在复杂、恶劣、危险环境中使用挖掘机作业时，采用远程操控是消除人员安全风险的根本途径。当前的远程控制方法通常基于平面图像，避免了观察人员到近井口作业。但是平面图像和现实三维图像存在视觉误差，不利于精细化操作。为此，提出开发一套基于 VR 的远程操作辅助系统，通过 VR头盔实现现场画面的全景呈现，同时增加虚拟仪表盘、虚拟行进轨迹等辅助功能，协助驾驶员对现场情况进行判断，提高效率与安全性。关键词 挖掘机；虚拟现实技术；远程操作；辅助抢险doi：10.3969/j.issn.1672-9528.2023.08.0261.北京信息科技大学高动态导航技术北京市重点实验室 北京 1001010 引言在现代社会中，挖掘机是用来执行工业工程任务的重要设备，是应对油气井井喷失控抢险时的重要工程机械。但由于近井口存在高温、火焰和高压喷射等诸多危险因素，使得作业环境复杂、恶劣、危险，利用远程操控挖掘机替代操作员完成切割清障和井口重置等危险工作是理想的解决方案之一。随着工业的不断发展，挖掘机智能化、自动化挖掘有了较好的发展条件，国内外越来越多的学者开始关注远程操控挖掘机作业。2019 年，国内三一重工展示了与华为、中国移动等联合打造的 5G 遥控挖掘机，可以远程控制河南洛阳栾川钼矿的挖掘机作业，但平面的画面不够直观，对操作人员要求较高，且可能误差较大。2019 年，日本一家公司，研发了一套通过 VR 头盔和遥控设备的系统，该设备选用固定机位广角相机，可实现近场遥控，但这种广角相机可视角度仍然较小，且该方案仅仅是将画面简单的展示在 VR 头盔中，对于一些精准操作仍主要依据驾驶员的经验判断。因此，为了进一步降低抢险人员作业风险，本文提出开发一套基于 VR 的远程辅助操作系统，实现基于 VR 的远程挖掘机全景画面呈现，并增加虚拟仪表盘、前进路线标注等辅助操作功能，辅助抢险人员对现场情况进行判断，提高安全性。1 基于 VR 的交互方法在驾驶室中安装双目相机，采集高清画面，通过硬件编码器编码；同时，在前端抢险设备加装有毒有害气体传感器，获取现场环境参数。将画面视频和环境数据传至运算中心，由运算中心进行视频与数据的处理与分发。运算中心对视频流进行解码，并转化为 VR 画面传送至驾驶室 VR 头盔，实现现场画面重现。计算中心通过硬件解码器对收到的视频数据进行解码，得到视频画面。计算中心对视频画面的饱和度、亮度、对比度进行增强处理，通过基于深度学习的目标检测方法，对目标信息进行提取与标注，然后将视频画面投射进 VR 视野。计算中心基于收到的环境数据生成虚拟仪表盘，并将虚拟仪表盘叠加至 VR 视野，并通过 VR 眼镜呈现现场画面与虚拟仪表盘。同时，计算中心将画面分发至储存接口和输出接口。储存接口可以录制视频，输出接口可通过视频线连接至指挥至中心屏幕，查看实时画面；指挥中心可以在画面中进行标记，标记信息实时同步至驾驶员的 VR 眼镜视野。驾驶员转动头部时，将 VR 眼镜将坐标、角度数据传至前端三轴稳定云台，云台根据角度数据转动，转向 VR 眼镜对应方向，驾驶员可任意查看现场各方向画面。驾驶员在后端驾驶室操作控制，控制数据采集单元使用 CAN 采集卡获取操纵杆等控制参数，发送至计算中心处理，计算中心对控制数据进行加密后转发至前端控制单元，实现对抢险机械的操作。1.1 VR 交互与全景画面重现方案说明常见全景画面传输方式有两种：（1）通过全景相机直接采集 360全景画面，并将全景画面全部传输只后端。这种方式结构简单，但视频传输数据量较大，网络要求高。且由于相机通过鱼眼镜头把更大的画面投影到光学传感器画布上，最终画面的清晰度相对较低。且在双目 3 D 方向，全景相机还没有成熟的解决方案。（2）通过将普通相机安装在伺服云台上，云台跟随操作人员头部转动，实现全景画面的查 2023 年第 8 期123计算机应用信息技术与信息化看。这种方式传输的数据量较小，画面延时较低，且画面相对更清晰；云台转动是有一定的延时，但实际使用可通过软件补偿的方式降低其影响。且对这种方式进行双目扩展更方便，仅需加装摄像头即可。综上，本文选择第二种方案，整体技术方案如图 1 所示。1.2 低延时通信方案本系统的数据传输主要包含两部分，即视频画面传输与控制信号传输。1.2.1 视频传输方案实际抢险应用中，抢险操作人员通常在现场不远处，实现 500 m 的传输距离即可满足应用需求。但现场操作对延时要求通常较高，所以本文选择点对点图传方案，如图 2 所示，该方案能够在 1 km 内实现超低延时的高清视频传输。图 2 视频信号传输方案1.2.2 控制信号传输方案为实现更加通用的控制信号传输，本文搭建了一条远定向远距离无线网络。如图 3 所示，基于该网络可以实现控制信号、设备信息等数据的传输。图 3 控制信号传输方案2 辅助操作功能2.1 虚拟仪表盘对于一些应急抢险任务来说，现场可能伴有明火、有害气体等，准确了解现场状况对抢险作业有着重要意义。如图4 所示，通过在前端挖掘机设备安装传感器，将环境传感器数据传后端控后，并在 VR 中呈现出环境数据信息，辅助驾驶员进行判断。图 4 虚拟仪表盘功能2.2 前进路线虚拟标注驾驶员对路面宽度和行进轨迹的判断主要依据经验，当操作挖掘机通过狭窄目标时，准确判断轨迹、距离仍有一定难度。在 VR 画面中预测行进轨迹并进行标注，可以辅助驾驶员进行判断。挖掘机的驾驶舱与履带底盘可以水平旋转，即驾驶舱的正前方并不一定是行进方向的正前方。本文通过在地盘上加装地磁传感器，获得磁场数据，并回传至控制中心。本文基于地磁数据判断当前挖掘机底盘的真实航向角，即前进方向与地球北极之间的夹角，定义该角为。在 VR 虚拟环境中空间方向通过(x，y，z)进行定义，初进入 VR 空间时，系统会将 y 轴正方向作为默认视野方向，即当 VR 头盔看向正前方时，头盔前方与 y 轴正方向夹角为 0。VR 头盔内置的电子罗盘可以获取VR头盔的真实方向，把这个真实方向定义为。基于真实挖掘机地盘方向 和头盔方向 可以对虚拟挖掘机方向进行矫正，则可以在 VR 中实时获取行进方向，并在这个方向上标注挖掘机的前进路线，辅助驾驶员进行更准确的判断，安全通过狭窄路段。3 基于三维孪生模型构建的信息融合方法本文研究实现了对挖掘机的三维姿态估计，根据挖掘机的关节坐标、旋转角等数据可判断挖掘机姿态，但这种数据呈现方法不够直观，不适合操作人员观察。数字孪生技术是一种较为直观的信息展示方法，可以将物理实体的属性、状态、表现和行为映射到虚拟空间13。本文开发了一种新的信息融合方式，基于挖掘机的三维关键点信息，实时构建挖掘机的三维孪生模型，并实时渲染第一视角的模型画面辅助驾驶员观察。即当第一视角相机图像受干扰时，驾驶员仍可依据第一视角的数字孪生模型辅助判断。3.1 虚拟现实平台中挖掘机 3D 模型重建方法挖掘机各部位通过旋转关节相互连接，其姿态可以用两种方式表示：(1)各关节在笛卡尔坐标系中的相对位置。(2)各关节两侧部件的相对角度。在 Unity3D 中组合模型的构建依赖于各组成部件的空间关系，即挖掘机的主体、大臂、前臂和铲斗之间的连接关节的旋转角18。如图 5 所示，将这三个夹角分别定义为 1、2和 3，基于 1、2和 3，可描述出挖掘机的姿态。图 1 整体技术方案示意图2023 年第 8 期124计算机应用信息技术与信息化图 5 挖掘机姿态的表示方式利用立体几何计算公式，可通过大臂、吊臂和铲斗等关键点的坐标，计算出各关节之间的旋转角度 1、2和 3。设关节点为 O(x0，y0，z0)，两侧的关键点为 A(x1，y1，z1)、B(x2，y2，z2)，关节夹角即为向量与向量的夹角（公式 1）：（1）根据空间向量夹角公式（公式 2），用 Python 编程调用Numpy 模块，可计算出三个关节的旋转角度 1、2和 3。（2）其中：（3）通过 Unity3D 构建 VR 三维空间，并在该空间中对仿真挖掘机三维模型的姿态进行模拟，实现模型与实物的姿态同步运动。3.2 挖掘机数字孪生重构模拟实验如图 6 所示，数字孪生实时构建系统分为 3 个模块，即姿态识别模块、通信模块、孪生模型构建模块。图 6 数字孪生实时构建系统（1）姿态识别模块现场计算机采集挖掘机视频图像，对每一帧图像进行关键点检测与坐标变换，获得挖掘机姿态信息。（2）通信模块通信模块基于 HTTP 协议实现，分为服务端与客户端。在 Unity 中调用 C#接口开发 HTTP 服务端，运行于 VR 平台，用于接收挖掘机姿态信息；在现场计算机中，基于 Python 开发 HTTP 客户端并连接至 VR 平台中服务端，实现对挖掘机姿态数据的传送。该信息包含关节旋转角度 1、2和 3。（3）孪生模型构建模块基于 Unity3D 的物理引擎构建挖掘机三维模型，根据接收到的姿态数据实时调整挖掘机姿态，实现数字孪生模型与真实挖掘机的实时同步。将 Unity3D 中的虚拟摄像机位置调整至挖掘机模型的驾驶室中，驾驶人员可查看数字孪生驾驶室视角的画面。操作真实挖掘机摆出不同姿势，同时采集挖掘机第三视角与第一视角画面。基于第三视角画面进行关键点检测与姿态估计，并在仿真平台中构建数字孪生模型。实验结果如图 7 所示，第一视角的数字孪生模型与真实画面对比，姿态相似度较高，挖掘机数字孪生模型有较高的可行度与参考价值。图 7 数字孪生构建实验结果4 系统开发与实验根据上述方法，对系统进行了开发与实验，整体技术路线如图 8 所示，系统分为前端抢险机械与后端 VR 控制中心两个部分，包含三个模块：视频采集与传输模块、远程控制模块、VR 交互模块。图 8 VR 远程辅助操作系统整体示意图 2023 年第 8 期125计算机应用信息技术与信息化如图 9 所示，本文在实验室和现场进行了多组通信实验，本系统的视频传输平均延时为87 ms，实验传输距离为605 m，能够满足抢险应用需求。图 9 信号传输延时与距离实验选用 PC35MR-2 挖掘机进行改装试验，对采集效果、传输距离、画面延时、操作体验等性能开展了试验，邀请抢险工作人员使用 VR 头盔进行遥控操作。图 10 所示试验表明：信号传输稳定、操作响应快、辅助增强功能正常运行，技术可行。图 10 现场试验5 结论本文对基于增强现实的交互方案进行了研究，完成了基于 VR 头盔的低延时第一视角全景交互方案设计，完成了包括前端全景画面采集、低延时通信模块、视频处理模块与 VR 头盔在内的系统硬件方案搭建。完成了工控机软件开发，实现基于 TCP 协议的网络伺服云台控制程序开发；基于Unity3D 平台完成 VR 头盔程序开发，实现视频流解码，头部追踪，虚拟仪表盘功能。本文探讨了辅助信息的呈现方式，提出基于三维数字孪生模型的信息辅助方法，基于第三视角相机画面对挖掘机目标进行关键点检测，并在 Unity 平台中实现对目标的三维孪生模型重建，最终实现实时渲染第一视角的模型画面辅助驾驶员观察。其中姿态估计过程处理延时约 105 ms，能够满足应用的实时性需求。本文对抢险辅助系统各功能模块进行了功能验证测试，并在川庆钻探研究院开展现场实验。实验表明，系统视频传输平均延时为 87 ms（实时相机画面，不含三维孪生模型构建），实验传输距离为 605 m，辅助功能运行正常，能够满足抢险应用要求；在操作挖掘机进行大幅度运动的情况下，画面出现明显抖动，稳像设计有待改进。参考文献：1 ZENG J C，SHI D JVirtual reality technology and systemJHigh technology letters,1994(9):39-43.2 唐劲，钱猛，杨征自制结合头部姿态传感装置的机器人控制平台 J实验教学与仪器，2014(2):64-65.3 CHO Y C，JEON J WRemote robot control system based on DTMF of mobile phoneC/2008 6th IEEE International Conference on Industrial InformaticsNew York:IEEE，2008：1441-1446.4 许华荣,李名世.基于 RTP 的实时视频传输系统 J.计算机工程与设计，2005(4):876-878.5 PRYTZ G.Network recovery time measurements of RSTP in an ethernet ring topologyC/Emerging Technologies and Factory Automation,2007.ETFA.IEEE Conference on.New York:IEEE,2007:25-28.6 章民融,徐亚锋,尤晋元，等.RTP/RTCP 协议在视频监控系统中的实现 J.计算机应用与软件,2006(1):79-81.7 罗万明,林闯,阎保平.TCP/IP 拥塞控制研究 J.计算机学报,2001(1):1-18.8 吴帅,徐勇,赵东宁.基于深度卷积网络的目标检测综述J.模式识别与人工智 能,2018,31(4):335-346.9 LONG J,SHELHAMER E，DARRELL T.Fully convolutional networks for semanticsegmentationJ.IEEE transactions on pattern analysis and machine intelligence，2017，39(4):640-65110KINGSBURY B,SAINATHTN,SOLTAUH.Scalable minimum bayes risk training of deep neural network acoustic models using distributed hessian-free optimizationC/Proc of the 13th Annual Conference of International Speech Communication Association.NewYork:ACM,2012:10-13.【作者简介】周羿旭（1994），男，江苏连云港人，硕士研究生，研究方向：机器视觉、自动控制。（收稿日期：2023-03-01 修回日期：2023-05-08）