基于工业元宇宙的综采工作面虚实融合运行模式初步探索.pdf

基于工业元宇宙的综采工作面虚实融合运行模式初步探索谢嘉成1,2,3，郑子盈1,2，王学文1,2,3，孟浩1,2，刘曙光1,2，李素华1,2（1.太原理工大学机械与运载工程学院,山西太原030024；2.煤矿综采装备山西省重点实验室,山西太原030024；3.智能采矿装备技术全国重点实验室,山西太原030032）摘要：以数字孪生技术形成虚实融合的运行模式是推进智能化建设的关键，而以数字孪生为基础的工业元宇宙是智采工作面未来发展的方向。提出基于虚拟现实数字孪生信息物理系统工业元宇宙的综采工作面虚实融合运行模式构想，具有展示与离线模拟、监测与辅助操作、在线模拟与预演等六大内涵特征，是逐渐由低层级的展示模拟到高层级深度融合功能的演变过程，最终具备由实到虚精准的复制映射能力、虚拟迭代的推理预测决策能力、由虚到实的复制控制能力以及虚实人机无缝协作和精益化管理四大能力。分析工业元宇宙所具备的 4 种能力和实现工业元宇宙的关键技术。在已有的监测、决策、控制能力的基础上融入能加强现场操作人员与远程操作人员协作能力的 AR 远程协助技术、能加强操作人员安全性的机器人协同技术与能在虚拟空间内利用 AI 驱动运行的虚拟人技术，构建了基于工业元宇宙的液压支架调架实验系统，形成工业元宇宙在煤矿开采中应用的初步认识。关键词：工业元宇宙；数字孪生；综采工作面；人机融合；信息物理系统；虚拟现实/增强现实中图分类号：TD823文献标志码：A文章编号：02532336（2023）10026614Preliminary research on the operation mode of virtual-real integration in fully-mechanized mining face based on industrial metaverseXIEJiacheng1,2,3,ZHENGZiying1,2,WANGXuewen1,2,3,MENGHao1,2,LIUShuguang1,2,LISuhua1,2（1.College of Mechanical and Vehicle Engineering,Taiyuan University of Technology,Taiyuan 030024,China;2.Shanxi Key Laboratory of Fully Mechan-ized Coal Mining Equipment,Taiyuan 030024,China;3.National Key Laboratory of Intelligent Mining Equitment Technology,Taiyuan 030032,China）Abstract:Thekeytopromotingintelligentconstructionistointegratethedigitaltwintechnologyformtheoperationmodeofvirtualandrealintegration.Andtheindustrialmetaversebasedondigitaltwinisthefuturedevelopmentdirectionofintelligentminingface.Theconceptofvirtualandrealintegrationoperationmodeoffully-mechanizedminingfacebasedonvirtualreality-digitaltwin-cyberphysicalsystem-industrialmetaverseisproposed.Ithassixconnotationcharacteristics,suchasdisplayandoff-linesimulation,monitoringandaux-iliaryoperation,onlinesimulationandpreview.Itisanevolutionprocessfromlow-leveldisplaysimulationtohigh-leveldeepintegrationfunction.Finally,ithavefourabilities:theabilityofreproductionmappingfromrealtovirtualprecision,theabilityofreasoningandfore-castingdecision-makinginvirtualiteration,theabilityofreproductioncontrolfromvirtualtoreal,theabilityofseamlesscooperationbetweenvirtualandrealhuman-computer,andtheabilityofleanmanagement.Thefourcapabilitiesofindustrialmetaverseandthekeytechnologiestorealizeindustrialmetaverseareanalyzed.Basedontheexistingmonitoring,decision-makingandcontrolcapabilities,ARremoteassistancetechnologythatcanstrengthenthecooperationabilitybetweenfieldoperatorsandremoteoperators,robotcooperationtechnologythatcanstrengthenthesafetyofoperators,andvirtualhumantechnologythatcanuseAI-drivenoperationinvirtualspaceareintegratedtobuildahydraulicsupportadjustingexperimentalsystembasedonindustrialmetaveise,andpreliminaryunderstandingofthe收稿日期：20221108责任编辑：周子博DOI：10.13199/ki.cst.2022-1864基金项目：中央引导地方科技发展资金资助项目(YDZJSX2022A014)；山西省科技重大专项计划“揭榜挂帅”资助项目(202101020101021）；山西省留学人员科研活动择优资助项目（20230008）作者简介：谢嘉成(1989)，男，山西晋城人，副教授，博士。E-mail：通讯作者：王学文(1979)，男，山西长治人，教授，博士生导师。E-mail:第51卷第10期煤炭科学技术Vol.51No.102023年10月CoalScienceandTechnologyOct.2023谢嘉成，郑子盈，王学文，等.基于工业元宇宙的综采工作面虚实融合运行模式初步探索J.煤炭科学技术，2023，51（10）：266279.XIEJiacheng，ZHENGZiying，WANGXuewen，et al.Preliminaryresearchontheoperationmodeofvirtual-realin-tegrationinfully-mechanizedminingfacebasedonindustrialmetaverseJ.CoalScienceandTechnology，2023，51（10）：266279.266applicationofindustrialmetaverseincoalmining.Key words:industrialmetaverse；digitaltwin；fullymechanizedcoalminingface；human-computerintegration；CPS；VR/AR0引言近年来，随着新一代信息技术与传统煤炭开采业的深度融合1，以及煤炭安全高效清洁开采的迫切需求，发展智能化采煤技术是必由之路2。与制造、汽车、船舶、建筑地面场景相比3，智能煤炭场景显然技术挑战更高4。例如：近年来煤矿综采工作面在装备智能感知、决策和控制等方面建设效果明显，实现了地质条件较好情况下的初步智能化5，但对于地质条件复杂多变、设备工作环境恶劣的情况，各智能化子系统存在信息孤岛、安全监控保障手段不匹配等问题，与深度智能化要求还有一定的差距6。智能化的基础是数字化7，智采工作面的建设基础包括先进可靠智能化水平高的开采装备、数字化信息感知元件、可靠带宽高时延低的信息传输模式、信息存储与云端协同计算平台、控制系统的最优决策、数字化呈现、决策以及反向控制等8-9。单纯在物理层面进行智采工作面建设存在着信息孤岛、不能适应复杂工况、AI 与物理系统较难深入融合等诸多问题。随着数字孪生(DigitalTwin,DT)等技术的引入10-11，在物理维度与信息维度、物理实体与虚拟孪生体相互协同形成虚实融合的运行模式越来越关键12。通过物理系统的实时信息采集，构建信息空间中实时物理世界的虚拟孪生体，对物理世界未来行为进行预测进而决策优化出最优策略，最终反控物理设备运行13已成为当下研究热点。数字孪生重在构建与物理世界完全一致的虚拟孪生体14，而工业元宇宙（IM,IndustrialMetaverse）是以数字孪生为基础的更为广泛的未来生产运行模式15-16，通过 XRAIIoT云计算区块链数字孪生等技术实现人、机、物、系统等的无缝连接，提升对综采工作面的监测能力、决策能力以及反向控制能力，是工业乃至产业数字化、智能化发展的全新阶段。智采工作面未来也将必然发展到工业元宇宙阶段17-18。工业元宇宙内涵包括虚拟现实数字孪生信息物理系统工业元宇宙等方面19-20，涉及到综采工作面的监测、决策以及控制。在实现智能化的难度上，数字化综采工作面与数字化工厂具有很大差异。从两者的运行环境来看，数字化工厂环境固定简单，由建造者决定，易通过视频图像和点云等非接触式和普通的倾角和 GPS等接触式信息进行协同采集、传输与驱动虚拟监控，便于以全局视角透明化监测整体运行；然而对于综采工作面来说，煤层赋存条件复杂，装备运行环境恶劣封闭且处在不断迁移过程中，传感器布置较困难且种类受限，受电磁干扰影响，传输不稳定，同时透明地质保障技术当前仍难以支撑透明化开采环境的实时监测，做到实时精准呈现难度大。在决策方面，数字化工厂根据加工产品的状态，以及所要达到的标准，使用智能调度软件对生产线整体、各加工和辅助作业设备进行全局配置与规划，能够达到理论最优，提高生产效率；而对于综采工作面，装备连接关系复杂，“破-采-装-运-支”等工作和“调高-调直-水平推进”等主线任务深度耦合，在存在一定程度的信息孤岛和导航地图不透明的条件下，显著增加了各设备动作决策的难度。在反向控制方面，数字化工厂可以依托资源计划管理(EnterpriseResourcePlanning,ERP)、产品生命周期管理(ProductLife-cycleManagement,PLM)、制造执行系统(Manufac-turingExecutionSystem,MES)等多个智能保障系统来管理设备，并实时检测预规划与在线运行的差异，可实时做出精准全局调控；而在综采工作面内，各种智能化管控平台，尚未做到实时性高且精细化的全局态势分析与管理，不同装备间缺乏统一的通讯标准，任务环境复杂且部分控制执行元件（如开关阀驱动的推移油缸等）不能实现精准控制，这都增加了反向控制的难度。当前综采工作面的智能化还面临着如下挑战：仅利用数字孪生难以实现综采工作面的决策与反向控制，这就需要将综采工作面与工业元宇宙相融合。在综采工作面内实现工业元宇宙所需要的技术不够明确。人在综采工作面中有着不可或缺的作用，人机协同技术在综采工作面的应用还未成熟。笔者通过梳理综采数字孪生与工业元宇宙的发展脉络，理清两者间的特点与关系，提出综采工作面工业元宇宙的构想和实现这一构想的关键技术，为构建具备人机融合能力的，能完成决策与反向控制的综采工作面工业元宇宙系统奠定基础。1综采+“元宇宙”和“数字孪生”的发展脉络及其内涵特征1.1发展脉络在智能化发展的需求下，虚实融合历程阶段可分为 4 个阶段。谢嘉成等：基于工业元宇宙的综采工作面虚实融合运行模式初步探索2023年第10期2671）1.0 阶段：虚拟仿真主要是应用于培训和教学。主要目的就是让操作人员了解井下综采工作面，掌握设备操作技能等。虽然利用的信息较少，但可以仿真展示或者可视化井下开采的较真实过程21。2）2.0 阶段：在 1.0 基础上加入离线真实运行的数据，复现出真实综采工作面运行工况。这一阶段虚拟场景与真实工作面在时间维度是不统一的，但仿真效率得到了提高。此外可以基于“人机环法”等信息，对整个物理综采工作面进行无缝的、多样化的、参数化的虚拟规划，且能够和真实控制系统连接到一起，进行真实控制系统的半实物虚拟仿真与调试22。3）3.0 阶段：2.0 由于时间尺度不一致，不能进行在线分析。因此，在 2.0 基础上，3.0 通过实时信息驱动虚拟场景，追求虚拟场景与真实系统的同步运行，操作人员根据准确重构的虚拟场景信息进行远程的人工干预23。4）4.0 阶段：在实时虚拟重构的基础上，构建出能进行预测、决策、分析的综采平行系统，对未来规划与可行路径仿真，并与当前时刻进行实时状态绑定。决策出仿真过程中的最优策略，同时与实际控制系统连接，打通双向闭环的信息通道，再把最优策略转换成控制指令，返回给物理工作面的控制系统，使其按照最优策略来运行24。1.2各层次的内涵分析数字孪生 DT 的基础是虚拟现实(VirtualReal-ity,VR)和增强现实(AugmentedReality,AR)，DT 又能够延伸出平行系统(ParallelSystem,PS)，加上控制能力后可变成信息物理系统(CyberPhysicalSystem,CPS)，最终都为工业元宇宙 IM 打下基础。VR、AR、DT、PS、CPS 和 IM 六种技术的发展脉络如图 1 所示：从物理和信息两个维度，对 VR、AR、DT、PS、CPS 和 IM 各系统具备的基本特征进行剖析25-26，发现虚实融合内涵由低到高的基本特征包括：展示与离线模拟；监测与辅助操作；在线模拟与预演；预测与决策；反向控制；人机融合与管理；通过虚实融合内涵由低到高的六大基本特征的支持，从物理维度到数字孪生再到工业元宇宙，信息空间的成分逐渐增加，就诞生了实无穷到虚无穷的不断演变。对于工业系统来说，最终都是通过信息系统的无限试错、推演、模拟与运算，最终服务于物理系统，为其安全高效运行提供支撑。虚实融合内涵由低到高的基本特征：1）展示与离线模拟：通过虚拟建模以及在信息空间中的各种仿真来展示运行状态，在此过程中由于没有接入相关的数据，虚拟场景构建的可信度取决于相关的建模水平以及对物理过程机理的掌握。主要功能是培训教学、产品的展示、科普等。2）监测与辅助操作：在 1）的基础上，接入实时运行数据，驱动虚拟场景同步运行，以实现虚实同步监测的运行方式，在生产过程中把实时信息适当显示出来，指导实际生产过程。在这一阶段的功能主要是物理过程实时运行状态的虚拟可视化，且将时空信息进行深度融合；要保证虚拟监测是无延迟地、准展示与离线模拟监测与辅助操作在线模拟与预演虚拟现实 VR信息物理系统CPS数字孪生 DT预测与决策反向控制人机融合与管理增强现实 AR平行系统 PS工业元宇宙 IM物理系统物理维度信息维度实虚实=虚虚实实虚全包括部分包括最终目标：信息系统为物理系统安全高效智能运行提供支撑实时数据驱动数据应用维度划分基本特征概念融入成分组成离线数据云计算大数据分析区块链模型数据脑机接口社交数据网络支撑4G5G6G工业控制接口虚拟监测虚拟决策虚拟控制现场观测主观决策现场操作虚拟界面观测监督计算机的决策结果现场操作虚拟人操作实体人总体管理人的参与方式虚拟界面观测自主决策现场操作图1发展与演化脉络Fig.1Developmentandevolution2023年第10期煤炭科学技术第51卷268确地与物理场景保持高度同步。在这个层面内，人能通过虚拟场景对综采工作面进行观测，但对装备的操作决策和控制只能由人来做。3）在线模拟与预演：在数据驱动构造的虚拟场景基础上，通过虚拟引擎复制出基于实时数据的虚拟运行状态，对未来运行状态进行全流程模拟。利用深度学习、强化学习等方法，对所有可行路径上进行全模拟与实时更新与显示，给人提供充分的决策依据。4）预测与决策：在模拟的基础上，对各种模拟结果进行评价，决策出系统最优运行路径。在此基础上，进行相关的预测，根据预测结果，结合实时虚拟监测场景，人通过控制按钮远程控制设备做出相关动作。5）反向控制：将 4）决策出的最优结果与设备的物理控制系统进行全流程信息交互，实现物理与虚拟的无缝衔接。系统可以自动将虚拟控制指令转变为真实的物理控制指令，真实的物理控制指令直接控制相关设备做出相应的动作。6）人机融合与管理：通过井上井下的各类人员，包括工作面一线巡检人员、集控中心操作员、各个关键岗位监控员、地面调度中心人员，佩带可穿戴式设备、头盔、眼镜等各种人机交互设备，进入到信息世界中，在一个统一的工作场景中进行虚拟会议，虚拟互动，虚拟评价，从而真正实现整个矿井的时空一致与互联。在此层面内，虚拟人负责整个工作面的运行管理，人只需要对虚拟人监督即可。其中，图 1 中的实线的含义是强包含，虚线的含义是弱包含或者部分包含。可以看出 DT 包含两条实线 1）和 2）和两条虚线 3）和 4），说明数字孪生至少应达到数据驱动的虚拟监测与辅助协同，在此基础上，可以将 DT 延伸出来在线模拟与预演和预测与决策，信息系统中决策出来最优策略，用于指导实际的物理生产过程。但需要注意的是，这里所说的决策与控制不需要对信息传输路径或者自动化程度有所判断，可以是人工手动操作，也可以是程序智能控制，但最终要利用虚拟高可信度模拟的结果指导操作人员。如果这里变成自动连接控制系统的反向控制物理设备，就由数字孪生 DT 过渡到了信息物理系统 CPS 阶段。而 CPS 再加上 6）人机融合与管理，使信息系统朝着虚无穷迈进，就变成了 IM，更加强调人机融合，这也是一些学者探讨的工业 5.0 的相关概念：不再一味地追求黑灯工厂，而是更加注重以人为本，融入了以人为核心的概念，更加重视管理。在综采工作面内，工作环境复杂，加上先验信息缺失，导致了人在综采工作面内有着不可或缺的作用。人机融合与管理能帮助人更好地了解到井下实时的状况以及装备运行状态，对各种情况做出及时、正确的处理，更好地发挥人的主观能动性。1.3“工业元宇宙”和“数字孪生”驱动的工作面对比数字孪生综采工作面23是现实世界物理元素的复制、延伸和增强，是物理元素和规律在虚拟空间的投影，是形成“完全同步”的“克隆工作面”。在这里，物理和信息系统构成成分是基本对等的。工业元宇宙驱动的综采工作面在数字孪生刻画的“克隆工作面”基础上，平行出多个系统，以真实或假想的逻辑对虚拟系统进行刻画与运作，强调虚拟场景的各种预测、模拟、控制、评价和交互。此时，尽管虚拟系统的成分已远多于物理系统，但对于工业场景来说，虚拟系统的运营也是为了物理世界的工业服务。数字孪生是物理世界和虚拟世界处于对等的关系，而工业元宇宙则是两者处于不对等的关系。数字孪生是对工业生产过程中的仿真建模工具的高度总结，可以清晰重现综采工作面的场景与各装备的运行状态，实现监测与模拟。工业元宇宙则是布局纵深更大，要超越现实，不仅要做到监测、控制，更要实现人、机、物、环境的有效管理，使人在虚拟空间内也能了解工作面的各种信息，在虚拟世界内完成对综采工作面的监测决策以及控制。利用人机协作技术增强人的感知，决策与控制能力，为更好地处理与解决综采运行问题提供思路与方法，也为智能化工作面提供了可能性。2工业元宇宙驱动的智采工作面构想基于虚实融合内涵由低到高的 6 个基本特征，工业元宇宙驱动的智采工作面系统框架如图 2 所示，由下到上分别是：第 1 层：物理层：对应物理的综采生产系统，目前智能化综采设备在单机装备、多机协同与环境感知上的各层次智能化水平都不断进步，取得了良好的效果；第 2 层：实时映射层：物理系统与元宇宙系统的接口：在煤矿井下 4G 已经推广使用，5G 已在井下试点，各种设备感知与控制信息都可接入网络，实时映射到数字空间。第 3 层：数字建模层：既包括“形似”又包括“内在机理”的一致性，导入到虚拟引擎中，对其行为进谢嘉成等：基于工业元宇宙的综采工作面虚实融合运行模式初步探索2023年第10期269行刻画和编译，构建“高保真”的数字孪生模型，可以进行高仿真度的展示与离线仿真。第 4 层：信息监控层：实时运行数据驱动的虚拟重构，实现物理模型与虚拟模型的双向映射，能动态、实时地管理产品的技术状态。第 5 层：跟踪分析层：在虚拟重构场景中复制一个出来，在虚拟空间中运用大数据分析技术进行仿真、测试、预测与评估，对物理世界的未来状态进行预测与优化。第 6 层：模拟自治层：具有分布式、去中心、自组织的特征。提供沉浸式的数字模拟、环境和事件的开发和操作，用户和企业可以在其中探索和参与各种各样的体验，并从事生产活动。第 7 层：应用互动层：用于数字化生产。决策出来的最优指令反向由虚向实控制运行工况；人机协同改变工业运行方式，提高企业管理运营的效率。第 1 层是处于物理系统内的，第 2 层是物理系统与元宇宙系统的接口，第 3 层对应展示与离线模拟的基本特征，第 4 层对应监测与辅助操作的基本特征，第 5 层对应在线模拟与预演的基本特征，第 6层对应预测与决策的基本特征，第 7 层对应反向控制、人机融合与管理的基本特征。工业元宇宙驱动的智采工作面系统所具备的能力包括：1）由实到虚精准的复制映射能力（DT）：主要包括展示与离线模拟和监测与辅助操作的能力，涉及时间和空间维度，具有精准复制，以及时间快、延迟低的数据驱动特点；先验信息严重缺失的综采工作面生产系统虚拟运维方法常受到数据质量与数量的影响，难以适应实际运行场景。为了保证综采工作面生产系统运行的完整性，在数据驱动模型基础上，可引入知识驱动方法建立约束条件，避免异常驱动现象的发生，增强经验模型的适应性，实现混合驱动模式下的综采工作面虚拟重构。智能化综采工作面的实时虚拟监测涉及到两部分23。一部分是高可信度煤层装备联合虚拟仿真，另一部分是协同规划和实时可靠信息的获取与虚实融合通道的建立。虚拟仿真即实现对真实开采环境的虚拟环境下的精准映射。在建立装备与煤层三维模型的条件下，通过添加物理引擎和各结构间约束关系建立静态工作面模型。基于真实开采数据，利用已有的装备运行信息对其他装备的位姿进行反演，进而实现对与之相关的煤层顶底开采环境三维重构。随着采煤工作的不断进行，综采工作面场景也在不断地变化着，这就要求在虚拟场景内实现对综采装备动作的控制以及煤层的动态更新，根据装备的运行数据，利用深度学习算法进行未来开采运行信息的预测以实现未来开采环境的预重构。信息的获取离不开传感器，根据综采装备在开采过程中的特点建立信息传感系统，对于监测盲区采用装备之间的空间位置关系进行推算，如依靠采煤机机身上的传感器数据反演获得刮板输送机的实时三维形态，再通过实时通信手段将数据实时传到上位机。数据的实时交互则是靠上位机软件与Unity3D 通过数据库来实现的。最后一步则是处理所获得的数据，并驱动虚拟装备运行，进行实时场景第3层 数字建模层第7层 应用互动层第5层 跟踪分析层第4层 信息监控层第6层 模拟自治层第2层 实时映射层第1层 物理世界层展示与离线模拟监测与辅助操作在线模拟与预演预测与决策人机融合与管理物理系统虚拟与现实的人机无缝协作能力（元宇宙）由实到虚精准的复制映射能力（数字孪生）虚拟迭代的推理预测决策能力（数字孪生+）基本特征层次精益化管理能力人机协同技术XR 协同人与机器人协同人与虚拟人协同实时数据实时信息实时复制虚拟监测运行状态模拟未来运行状态评判最优虚拟控制指令转变为真实的物理控制指令通过设备实现时空的一致统一和互联新型传感技术（三维雷达）物联网边缘计算增强现实技术关键赋能技术虚拟现实技术反向控制由虚到实的复制控制能力（CPS）控制决策监测图2工业元宇宙驱动的工作面系统框架Fig.2Industrialmetaversedrivenworkingfacesystemframework2023年第10期煤炭科学技术第51卷270呈现。近年来，基于数字孪生的综采工作面虚拟监控高可信度虚拟模型构建、双向信息通道与交互接口、实时运行数据驱动虚实同步运行等关键技术已基本突破，接下来可进一步融入透明地质保障相关数据，并依托 5G 网络高速传输，实现整体工作面装备与煤层运行的全要素高精度实时呈现。2）虚拟迭代的推理预测决策能力（DT+）：主要包括在线模拟与预演和预测与决策的能力，在虚拟镜像的基础上，将深度学习、强化学习等智能算法与装备运行机理融合，对实际装备运行过程以及开采环境进行演化、推演。基于综采工作面的历史开采信息，提取装备运行的运动规律以及装备关键结构件运行特性与开采环境变化之间的关系，对未来开采过程进行预测并为开采工艺的灵活调整提供指导；基于深度强化学习对虚拟开采装备智能体的协同运行进行决策，保证虚拟综采装备在不确定开采环境下具有稳定的开采策略支持。基于空间运动学与LSTM神经网络预测融合的刮板输送机调直方法就是利用在线模拟与预演和预测与决策的能力27。根据空间运动学和 LSTM神经网络建立预测模型，在研究刮板输送机调直时，通过在虚拟煤层空间内对装备的动作进行预演，对比分析数据，得出轨迹修正模型。在综采工作面的虚拟场景中，根据已有监测信息对液压支架的实际位姿进行分析，对有异常位姿的液压支架决策出调架所需要的动作，完成虚拟场景内的调架28。这一方面已经开始研究，但是受限于传感信息数量、精度、人工智能算法可靠性等方面问题，仍需进一步联合攻关突破其关键技术。3）由虚到实的复制控制能力（CPS）：推演完成后，应对决策出的最优值进行判定，综合人和计算机的智慧进行控制，使人从操作者变为监控者、管理者。综采工作面数字孪生系统的虚实交互包括物理综采系统运行状态在虚拟环境下的实时映射，以及虚拟综采场景仿真结果对物理系统运行的实时控制。在对综采系统进行虚拟仿真基础上，通过虚实双向数据通道将仿真结果信息实时反向传递至物理空间，可以实现数字模型对物理装备及系统实际运行状态动态调控。利用 AR 技术可实现数字孪生工作面的反向控制，一方面是 AR 设备具有与工作面设备交互的功能，从而能操纵综采装备，另一方面是物理装备能获得 AR 设备上传的数据，从而驱动物理综采装备与数字综采装备同步运动，实现反向控制。对于综采工作面的现场工作人员来说，基于头戴式增强现实设备与脑机接口设备可以实现手势、语音、凝视、BCI（Brain-ComputerInterface，脑机接口）四种交互模态。在常规状态下，现场工作人员优先使用手势识别完成所需的交互。当现场工作人员双手被占用时，采用凝视与语音相结合的方式作为备用交互策略，使用凝视射线选取操作对象，再使用语音指令确认操作，从而降低误操作的概率。在工业现场出现突发状况，来不及通过其他交互模态做出操作时，采用 BCI 系统对现场工作人员本能的脑电信号做出分析并执行相应的命令。对于远程专家来说，通过鼠标与键盘进行交互，方便快捷地为现场工作人员提供指导。目前，对利用 AR 设备进行控制已有一定的研究，但是还存在延迟时间与传输精度方面的问题，还需要进一步提高。4）虚拟与现实的人机无缝协作能力（IM）：主要包括人机融合与管理能力和 AR 协同技术、机器人协同技术、虚拟人协同技术，形成以人为主的工业元宇宙系统，完成精益化管理。在综采工作面运行中，人的作用在很多场景中不可或缺。3人机融合驱动的工作面 IM 运行模式随着综采工作面装备智能化水平的提高，“机-机”之间的交互能力也随之提升，人机融合驱动的工业元宇宙能获得综采工作面运行数据，而后利用人机交互技术，提升人的感知、决策、控制能力，进而提升工作面效率。人机交互技术是基于虚实融合方法实现的，人机融合与虚实融合是不可分割、相互交融的。下面对人机融合驱动的工作面 IM 运行模式进行具体介绍。3.1人机协同的本质和协同方式对于综采工作面来说，尽管智能化技术的发展使作业人员越来越少，但必须由操作人员完成智能系统无法完成的操作。智能化开采工作面系统的构建不是追求绝对的无人场景，而是追求人机融合，融入人的经验和智慧。工业元宇宙和工业数字孪生主要区别在于是否有虚拟工人参与生产过程。工业数字孪生追求无人车间、黑灯工厂，让所有设备自动化运行。但在复杂的煤矿井下，大部分生产还是需要有人参与，IM 必须将虚拟人深度参与到综采工作面的运行管理中。当前的方式有 3 种：现场工人跟后台专家通过 XR眼镜远程交互，即“XR+”人机协同；高智能化的巡检机器人参与现场过程，即机器人驱动的人机协同；对高技能人才复刻数字人并在信息空间中从事操作活动，即“虚拟人”驱动的人机协同。谢嘉成等：基于工业元宇宙的综采工作面虚实融合运行模式初步探索2023年第10期2713.2“XR+”人机协同“XR+”人机协同是巡检工跟集控工或后台专家通过 XR 眼镜协作平台交流，这种协作交流基于 AR眼镜的远程协助功能，如图 3 所示。巡检工佩戴 AR眼镜，在巡检过程中与集控工进行协调，集控工可以以巡检工的视角观察工作面运行情况，而 AR 通过与后台 VR 系统相连接，把 VR 计算的结果呈现在 AR眼镜中，让多人进行协同评审，完成最优决策与操作。利用 AR 技术可以实现多终端 AR 同地无缝协作与多终端远程 AR 视频会议。AR 移动/头戴终端可与VR 技术相融合，对综采设备进行位姿测量，同时，AR 设备还可对数字综采装备进行操纵26。3.3机器人驱动的人机协同随着机器人技术的发展，井下巡检机器人技术也得到了快速发展。轨道式巡检机器人能利用自身搭载的传感元件等采集装备信息和视频信息等传回后台，使人能获得综采工作面运行数据。但其轨道在液压支架或者刮板输送机上，由于工作面底板起伏，机器人运行柔性大，运行定位具有不确定性，无法将采集回来的点云、视频等数据进行合并补偿，巡检效率不高。而刮板输送机电缆槽的相关轨道，刚性运行容易卡顿，不能较好适应随机性的起伏变化，相关感知传感器直接暴露在危险区域，容易被落下来的煤砸坏。交互控制发送端接收端XR 监测XR 人机协作决策VR 虚拟监测AR 监测多地通信交互决策同步执行远程标注控制信息同步监测信息验证物理综采“三机”远程协作指导综采“三机”模型云服务器操作映射图3AR 眼镜的远程协助功能Fig.3RemoteassistancefunctionofARglasses巡检机器人最大的功能是智能感知，并不具备反向控制能力，这与机器人的“自主感知、自主决策与自主控制”思路背道而驰。因此，需开发自动行走在工作面的机器人，可以深入到危险的狭窄的环境中代替巡检人员的实际巡检工作。与轨道式巡检机器人相比，行走式巡检机器人具有以下特点：在感知方面，其上搭载有三维激光雷达，气体检测仪，深度相机等元件，获取视觉、气体含量、三维点云等信息，并可以利用自身的灵活性到达更多位置，获取较为全面的信息。在自主决策方面，能够利用感知到的信息在虚拟系统内重现物理工作面的运行情况，并检测异常，利用算法决策出行走路径与行走步态。在控制方面，行走式巡检机器人可以根据操作人员的指令对综采工作面装备做出部分简单控制。巡检机器人的结构功能如图 4所示。3.4“虚拟人”驱动的人机协同在智能化和数字化程度高的数字孪生综采工作面，将人的意志、能力、标准的操作、应急能力等进行全面复刻，构建虚拟人在信息维度中操控虚拟设备以最优运行方式去运行，再在物理层面按照信息空间最优运行的方式进行操作。多个虚拟人分别对应不同操作员岗位并完成相关各岗位任务，真实操作员监督这些虚拟人完成相关工作。虚拟人模型的构建需要依据各个矿工的体态以及身体参数：首先获取人体骨骼点数据，形成参数化模型，然后进行外2023年第10期煤炭科学技术第51卷272观烘焙、添加贴图等，最后对模型进行运动学解析，提取各关节数学模型，并通过 kinect 体感设备，实现模型动态化。虚拟人存在于虚拟系统中，按照所执行的功能不同可以分为虚拟巡检人员、虚拟支架工、虚拟采煤机工和虚拟集控操作人员。如图 5 所示。在综采工作面精确监测前提下，对虚拟人添加各种算法与 AI，使其感知虚拟综采工作面环境，行走于虚拟综采工作面中，并具有感知、识别工作面异常状态的功能，即拥有人的意志、能力、标准的操作、各种应对危险的应急能力。在虚拟监测系统将综采工作面信息同步到虚拟场景时，虚拟人就可以感知到物理装备的运行状态，并进行判断与决策，进而调整综采工作面的运行。而此时，人就可以通过远程监督虚拟人的工作来实现对综采工作面监控。3.5人机协同带来管理的提升和社会 CPSS 系统人机协同技术，应该是 AR 协作到人与机器人协同再到人与虚拟协同的发展，工作面虚实融合程度逐步升高。在 5G 通讯、云平台、统一的软硬件接口等关键技术不断突破，且在井下逐步工业应用的前提下，若能实现 AR 眼镜的防爆功能，AR 协作可以在近几年逐步实现；而人与机器人协同技术还距离较远，应加大研发力度。在实现具有反向控制功能的综采工作面数字孪生+系统后，就可以进入到人与虚拟人协同的状态中。综采工作面数字孪生中的监测是一比一的复刻、是实时精准的虚拟重构，控制则是经过推理以后的反向控制。而管理更多的是涉及到管理人员。由于具备了社会属性，所以形成了社会物理信息系统（CPSS，CyberPhysicalSocialSys-tems），如图 6 所示。人与机器的区别是，一方面，在复杂的井下环境工作，很多问题需要操作人员直接控制运行，而机器只具备低层级的 AI，只能完成复杂程度不高的工作。而另一方面来说，身体状态、情绪、精神等各方面均会对身处煤矿井下的操作人员带来不确定性因素，导致操作失误甚至安全问题。因此可以训练虚拟人，避免这些心理和生理问题。在增强操作人员情感方面，基于工业元宇宙的社交属性，创造一个平行世界，操作人员与其家庭成员身处异地但共同进入这个虚拟世界，感受近距离的陪伴，进而提升其幸福指数和工作效率，同时也会增加企业归属感。操作人员也可携带体感交互、脑机接口设备等随时获得身体健康数据，更好地为工作服务。管理员可以让处在不同空间人员的协同运行管理，如建立涵盖地面和井下的 VR/AR 交互系统，添加可穿戴设备把操作人员或者是巡检人员数据接入到虚拟设备上进行整体的模拟和预测，把他们的触觉延伸到井下进行虚拟会议，实现井下人员和地面的无缝虚拟会议。控制指令行走路径与步态三维点云模型场景监测结果操作按钮强化学习与 A算法物理系统虚拟系统巡检机器人监测气体检测决策控制三维激光雷达深度相机图4机器人结构与功能Fig.4Structureandfunctionofrobot谢嘉成等：基于工业元宇宙的综采工作面虚实融合运行模式初步探索2023年第10期2734工业元宇宙的初步认识工业元宇宙的前提是由实到虚精准的复制映射能力、虚拟迭代的推理预测决策能力、由虚到实的复制控制能力。目前，虚拟监测的能力较强，虚拟决策和虚拟控制的能力还有待加强。与数字孪生系统相比，工业元宇宙系统在数字孪生完成监测的基础上，可以实现人、虚拟人、机器人和综采装备在虚实世界的相互交互，在时间和空间的维度上对综采工作面运行情况进行重构和延伸，获得综采工作面过去、现在和未来的运行信息，全面提高人对工作面的感知，决策与控制能力。液压支架是综采工作面的重要支护装备，但当前液压支架的智能化程度较低。因此，本文以液压支架为例，利用实验室的综采成套试验系统从监测、决策和控制方面对液压支架数字孪生到工业元宇宙的过渡阶段进行试验。4.1基于工业元宇宙的液压支架调架系统按照工业元宇宙七层架构，可具体实施为在三种人机交互模式的支撑下，由建模与场景子系统、虚拟监测子系统、云服务子系统、虚拟决策子系统