基于数字孪生与混合现实技术的机电设备辅助维修方法研究.pdf

中国新技术新产品2024 NO.1（下）-36-高 新 技 术随着机电设备不断发展，其故障维修已成为一个严峻的挑战。本文将数字孪生技术与混合现实技术相结合，提出一种机电设备辅助维修方法，以改进维修过程的效率和准确性。数字孪生是一种先进的技术，它将现实世界中的物理实体或系统通过数字模型进行复制和仿真，以实现实时监测、分析、优化和预测的目的1。混合现实技术是一种综合了虚拟现实和增强现实的交互式技术2，旨在创造出融合拟和现实世界元素的沉浸式体验，使用户能够在真实环境中与虚拟对象或信息进行实时互动3。数字孪生与混合现实技术相结合有助于更好地理解数字孪生和混合现实技术的潜力，并为其在工业领域的广泛应用提供指导和启发。1 基于数字孪生与混合现实技术的机电设备辅助维修系统总框架设计基于数字孪生与混合现实技术的机电设备辅助维修系统总框架图如图 1 所示。该系统由硬件平台和软件平台组成，其中硬件平台包括 Microsoft Hololens 2 头戴显示装备、Intel Core i7-11700K 服务器。Microsoft HoloLens 2 为维修人员提供真实的虚拟场景，Intel Core i7-11700K 服务器完成数据的存储和计算等任务。软件平台包括维修环境感知模块、故障识别与匹配模块、故障维修指导模块、虚拟环境注册融合模块以及人机交互模块。维修环境感知模块利用 Microsoft HoloLens 2 的传感器采集维修环境的三维特征点等数据，搭建虚拟三维维修场景。故障识别与匹配模块的传感器检查机电设备的故障信号，并将故障信号存入故障维修数据库中的故障采集库。将机电维修技术手册输入故障维修指导模块。该模块会根据机电维修技术手册形成多种有效的机电维修指导方案，一并存入故障维修数据库中，将故障维修数据库中的故障信号与机电维修指导方案进行匹配，然后利用HoloLens 2头戴式显示装备虚拟维修操作指导环境，并呈现具体的维修指导方案。再由虚拟环境注册融合模块进行数据还原，并将还原后的维修指导方案与真实的维修场景进行注册融合，在用户交互界面实现人机虚拟交互。2 软件设计2.1 维修环境感知模块维修人员打开 Microsoft HoloLens 2 设备后，利用其惯性传感器感知机电设备的方向，利用环境感知摄像头实时捕捉维修场景，再利用深度摄像头拍摄多张机电设备的深度图像，从而进行三维场景重建。在建模过程中，维修人员利用 Microsoft HoloLens 2 获取多个输入帧的 RGB 图像和深度图，包括零散和分散的物理环境信息。为创建更全面的三维模型，需要将这些帧的信息整合在一起。模型融合是该过程的核心步骤。将每个输入帧的 RGB 图像和深度图转换成其他表达方式，然后将 RGB 图像上的像素映射到三维世界中的坐标点，为每个坐标点匹配与 RGB 图像相对应的颜色值，以完成数据转换。再将上述转换后的数据整合到面元中，并将物体的何形状和颜色信息结合起来，最后将物体模型中的各面元投影到深度图像上，从而建立面元与物体表面的匹配关系。通过分析 RGB 图像和深度图，使系统理解物理环境的三维结构，并将其表示为不规则的三角网格模型，从而重建维修环境三维场景。2.2 故障识别与匹配模块故障识别与匹配模块是机电设备辅助维修系统中的重要组成部分。该模块利用传感器采集故障数据，并通过数据分析和匹配，帮助维修人员准确、快速地识别设备故障。基于数字孪生与混合现实技术的机电设备辅助维修方法研究孙艺凌（江苏省大港中等专业学校，江苏 连云港 222000）摘 要：为提高机电设备辅助维修的质量和效率，本文利用数字孪生与混合现实技术相结合的机电维修方法，设计了一套基于数字孪生与混合现实技术的机电设备辅助维修系统。本文概括了系统的总框架设计，对其硬件部分设计进行了详细介绍，并从维修环境感知、故障识别与匹配等方面详细阐述了系统的软件设计，最后对其进行了试验验证。试验结果表明，该系统具有较高的准确性和稳定性，可为未来的智能制造和维护提供有力支持。关键词：数字孪生；混合现实；机电设备；辅助维修中国分类号：TP335文献标志码：A图 1 基于数字孪生与混合现实技术机电设备辅助维修系统总框架图中国新技术新产品2024 NO.1（下）-37-高 新 技 术2.2.1 故障信号识别在机电设备的组件上连接传感器，利用传感器采集机电设备的故障信号。利用去噪算法中的移动平均滤波公式，将采集的故障信号进行数据校对，如公式（1）所示。101NKY nX nkN=（1）式中：Yn 是滤波后的信号；Xn 是原始信号；N 是滤波窗口的大小；n 是时间点；k 是时间偏移的变量。经公式（1）校对后，可确保数据的准确性和稳定性。系统可实时监控传感器数据，并使用异常检测算法的 Z-得分检测公式来识别故障信号，如公式（2）所示。XZ=（2）式中：Z 是 Z-得分；X 是数据点的值；是数据集的均值；是数据集的标准差。如果 Z 很大（正或负），则表示数据点与均值的偏差很大，是异常值，因此为故障信号。相反，如果 Z 接近于零，则表示数据点与均值的偏差很小，不是异常值，不是故障信号。2.2.2 故障信号分类利用特征提取中的互相关函数公式提取故障信号中不同故障类型的特征，如公式（3）所示。RTNx t y tTxytN?11（3）式中：Rxy（T）是信号 x 和 y 之间在时间延迟 T 下的互相关函数；N 是样本数量；x（t）和（t）y 分别是信号 x 和 y 在时刻t 的值。根据每个数据的特征，将故障类型标签划分为机械故障数据和电气故障数据，使每个数据样本与相应的故障类型关联。2.2.3 故障树模型建立基于故障信号分类的结果，将机械故障信号和电气故障信号作为基本事件的来源，以构建故障树的底层。将性能下降作为顶事件，并将基本事件连接到顶事件，建立故障树。通过分析故障树，识别导致设备故障的根本原因和可能的故障模式。为每个故障模式分配一个故障 ID 号，用于标识该事件，以便对故障进行追踪和管理。并将故障 ID 和相关信息记录在故障数据库中，以便随时查找和检索。2.3 故障维修指导模块故障维修指导模块是机电设备辅助维修系统中的关键组成部分，旨在为维修人员提供诊断和修复设备故障的指导和支持。利用上述步骤将采集的数据进行数据整合，得到机电设备的数字孪生模型。通过数字孪生模型模拟机电设备的结构、运行和性能。再结合混合现实技术，储存机电设备关键部位信息，并将故障识别码与机电设备的每个关键部位进行匹配，以创建维修指南，其中包括每个故障点对应的修复流程，以指导维修人员执行特定机电设备故障维修任务，并使维修人员能够在虚拟环境中观看机电设备的内部结构和工作原理，以更好地理解维修流程。将提前录制的机电设备维修视频存入维修历史数据库。维修人员通过观看视频来获取关于设备维修的实际示例。同时，维修人员可以利用 Microsoft HoloLens 2 与 专 家 远 程 进 行 视 频 对 话，并 通 过 Microsoft HoloLens 2 的传感器为专家提供机电设备的故障信号数据、历史维修数据以及维修环境数据，与专家协同进行机电设备的维修工作。2.4 虚拟环境注册融合模块虚拟环境注册融合模块是将虚拟信息（维修指导方案）与真实世界的物理环境（设备维修场景）进行对齐和融合，以使维修人员能够在实际工作中看到虚拟信息和真实物体，如图 2所示。2.4.1 提取场景特征点维修人员使用 Microsoft HoloLens 2 的 RGB-D 相机采集当前帧的图像，包括真实维修场景中的设备和环境。从数据库中获取预先存储的基准帧图像，这些图像代表虚拟维修指导方案的参考状态。在当前帧和基准帧图像中使用特征检测算法中的高斯差分图像计算公式来提取特征点的位置和描述子（描述特征点周围区域的信息），如公式（4）所示。D（x，y，）=L（x，y，+k）-L（x，y，）（4）式中：D（x，y，）表示高斯差分图像；L（x，y，）表示在尺度 下的高斯模糊图像；k 是一个常数，用于选择相邻尺度层次。2.4.2 匹配特征点将当前帧中的特征点描述子与基准帧中的特征点描述子进行比较，使用距离度量方法的欧氏距离计算公式来确定它们之间的相似性，如公式（5）所示。DABiiinEuclideanA B,?21（5）式中：Ai和 Bi分别是向量 A 和 B 中的元素；n 是向量的维度。根据计算结果，将虚拟环境中的特征点与相机图像中的特征点进行匹配。2.4.3 估计修正姿态建立特征点的对应关系后，使用这些对应关系来估计相机的姿态，即相机在空间中的位置和方向。通过求解相机的位移和旋转变换来估计相机姿态，从而将虚拟对象对齐到真实世界。使用平移矢量公式计算相机的位移，如公式（6）所示。图 2 虚拟环境注册融合流程中国新技术新产品2024 NO.1（下）-38-高 新 技 术T=tx，ty，tz（6）式中：tx、ty、tz表示相机的平移在 x、y 和 z 方向上的位移。通过公式（6）描述相机在三维空间中的位置变化，再使用四元数计算公式计算相机的旋转变换，如公式（7）所示。q=qw，qx，qy，qz（7）式中：qw是四元数的是实部；qx、qy、qz是虚部。结合公式（7）式即可估计相机姿态。然而，估计的相机姿态可能包括误差，因此利用欧式距离误差公式对其进行修正，如公式（8）所示。E（PVirtual，pReal）=|PVirtual-pReal|（8）式中：E 表示虚拟对象与真实世界之间的差异；PVirtual表示虚拟世界的坐标；pReal表示真实世界的坐标，修正相机姿态以确保虚拟对象与真实世界能准确对齐。2.4.4 确认相机姿态最后，将虚拟对象叠加到相机图像中，观察其在真实世界中的位置和外观，确认修正后的相机姿态是否满足对齐要求。2.4.5 叠加虚拟场景系统使用估计的相机姿态，将虚拟维修指导方案叠加到当前帧图像中，以实现虚实融合显示。虚拟场景会与真实维修场景相对应，保持位置和方向一致。2.4.6 融合显示虚实融合后的图像将在Microsoft HoloLens 2显示器上呈现给维修人员。维修人员会看到虚拟维修指导方案与真实维修场景无缝融合在一起，得到实时的辅助信息和指导。3 测试试验3.1 试验准备为检测基于数字孪生与混合现实技术的机电设备辅助维修系统的实用性及有效性，对机电设备辅助维修系统进行模拟测试。选用MG730型电牵引采煤机摇臂传动系统的齿轮故障为维修对象，选用 20481080HD Microsoft HoloLens2 的头戴式显示设备，立体全息显示，水平视场角为 52 度，垂直视场角为 40度，提供维修设备的虚拟维修场景。计算机处理器为 Intel Core i7-11700K，8 核心，16 线程，基频 3.6GHz，最大睿频 5.0GHz。3.2 试验结果本文试验对系统的维修准确度和系统界面的清晰度、对齐精度、系统崩溃次数和平均响应时间进行测试，所得试验结果见表 1。试验数据表明，系统在不同维修任务下的准确性为98%99%，表明系统在识别和处理维修任务方面具有较高的准确性，维修人员可以根据系统提供的信息来执行任务。清晰度评分为 89，表明系统可提供相对清晰的虚拟维修场景信息，清晰的虚拟信息能帮助维修人员更好地理解维修任务的细节。对齐精度对混合现实系统非常重要，它影响了虚拟对象在真实场景中的位置和姿态。系统的对齐精度为2mm5mm，表明虚拟对象与真实世界的对齐相对精确，可为维修人员提供高度准确的虚拟和现实世界的融合体验，提高机电设备维修的精准度。系统在所有测试中崩溃次数为0，表明系统在稳定性方面表现良好。系统的平均响应时间为 0.4s0.7s，表明系统能够在较短时间内响应用户的操作，响应时间短可提高维修任务的效率。基于数字孪生与混合现实技术的机电设备辅助维修系统在性能方面表现良好，具有较高的准确性、清晰度、对齐精度和稳定性，同时响应迅速。这些性能特点使该系统成为一个良好的机电设备维修工具，可支持维修人员执行复杂的机电设备维修任务。4 结语针对机电设备维修过程中遇到的困难，本文提出了数字孪生和混合现实技术相融合的维修方法，设计了基于数字孪生和混合现实技术的机电设备辅助维修系统，并详细介绍了该系统的总框架设计、硬件设计以及软件设计，包括维修环境感知模块、故障识别与匹配模块等关键组成部分。试验数据验证了该系统的实用性和有效性。希望相关技术人员继续对该领域进行深入探讨，以充分发挥数字孪生和混合现实技术的潜力，并解决相关的技术和应用问题。相信不久的将来，数字孪生与混合现实技术能广泛应用于工业领域中，为提高工作效率、提供更好的用户体验和促进技术创新做出更大贡献。参考文献1 张旭辉，张雨萌，王岩，等.融合数字孪生与混合现实技术的机电设备辅助维修方法 J.计算机集成制造系统，2021，27（8）：2187-2195.2 钟珂珂，洪海波，宋倩，等.增强现实与数字孪生混合驱动的航天复杂装备维修辅助技术研究 J.军民两用技术与产品，2023（4）：5-10.3 朱金达，陈佳辉，秦志英，等.基于虚拟现实与数字孪生技术的自行火炮辅助维修系统 J.数字印刷，2022（6）：117-127.作者简介：孙艺凌（1988-），女，江苏连云港人，本科，讲师，研究方向为加工制造类。电子邮箱：。表 1 测试结果准确性（%）清晰度评分（110）对齐精度（mm）系统崩溃次数平均系统响应时间（s）98.029300.5598.568400.4599.759200.4899.348500.65