基于数字孪生的工业机器人虚实联动系统开发.pdf

年 月第 卷 第 期机床与液压 ：本文引用格式：文国军，祁靖烨，赵权，等基于数字孪生的工业机器人虚实联动系统开发 机床与液压，（）：，（）：收稿日期：基金项目：湖北省重点研发计划（）；中国地质大学（武汉）年度实验技术研究（）；教育部产学合作协同育人项目（）作者简介：文国军（），男，博士，教授，主要研究方向为机械设计、机器视觉及虚拟现实。：。通信作者：赵权（），男，硕士，讲师，主要研究方向为地质装备计算机辅助设计、虚拟现实。：。基于数字孪生的工业机器人虚实联动系统开发文国军，祁靖烨，赵权，王玉丹，贺鑫，（中国地质大学（武汉）机械与电子信息学院，湖北武汉；湖北省智能地质装备工程技术研究中心，湖北武汉）摘要：为实现工业机器人与数字孪生体之间数据的双向驱动，基于数字孪生系统架构，开发一种工业机器人虚实联动系统。在 中搭建虚拟场景，建立关节控制、末端点位控制、末端轨迹控制等多种方式实现虚拟机器人的仿真运动。基于 协议的 网络通信模式，利用双向传输的机器人位姿状态等数据驱动虚实模型同步运动。经测试，该系统具有良好的实时性与沉浸性，能够满足工业机器人的实时监测与可视化控制要求。关键词：工业机器人；数字孪生；虚实融合；中图分类号：，（，（），；，）：，：；前言工业机器人可以代替人工完成危险性高、重复性高、精度要求高的工作，广泛应用于汽车、电子等领域的生产制造中，已成为智能制造的重要组成部分。建立工业机器人的虚实联动，可以解决交互不及时、可视化程度低等问题，为将来利用大数据进行分析优化和智能决策奠定基础，极大推动制造业智能化变革。伴随着以网络化、信息化、智能化为特征的数字新时代加速到来，数字孪生技术在制造、航天、医疗、电力等多个领域已被广泛应用。数字孪生是一种实现物理世界与信息世界交互与融合的技术手段，强调孪生体与物理对象之间的实时映射，可以为操作人员提供多种反馈，极大提高了工作效率。孙恺廷等开发了 架构下的工业机器人三维虚拟监控系统，并进行了可行性验证。张爱民等开发了基于 协议的工业机器人监控诊断系统，可实时查看机器人的运动状态。等基于数字孪生与虚拟现实技术，使用 控制器对 工业机器人进行轨迹控制并验证轨迹的准确性。等对工业机器人的扭矩、温度等信号进行采集和远程监测，可以预测并及时处理工业机器人所发生的故障。目前针对工业机器人的数字孪生技术应用，主要集中于通过虚拟模型对作业过程模拟以及实际工况的可视化监测，并未实现虚实模型之间的双向联动，无法达到全方位监控目的。鉴于此，本文作者以智能制造中的重要智能装备 工业机器人为对象，应用数字孪生技术，开发一套虚实融合的联动系统。使用开发环境友好且高效的虚拟现实引擎 ，构建与机器人实物一致的数字孪生体，通过虚实双向数据通信、映射，达到以虚控实、虚实互动。系统总体设计工业机器人虚实联动系统要求能对工业机器人进行可视化操控与实时检测，满足虚实两端的实时联动，从而实现工业机器人系统的数字孪生。参考陶飞等人提出的数字孪生模型架构，此系统分为物理层、连接层、虚拟层和应用层，系统层级框架如图 所示。图 数字孪生系统层级框架 物理层是现实中的环境，包括工业机器人、控制柜等物理世界中可识别的事物。连接层实现物理层与虚拟层的互联互通，包括数据采集、传输与处理等，通过数据的双向互动，保证物理层与虚拟层状态之间的同速率收敛。虚拟层是对物理层的真实映射，利用三维建模、渲染贴图创建几何要素高度一致的数字孪生体，并尽可能通过脚本为其添加物理层的物理属性、约束等特征。另外，虚拟层中还需进行人机交互界面的设计。应用层在连接层和虚拟层的基础上，一方面可以借助生产运营中产生的实时数据和历史数据进行数据驱动与仿真，实现对物理层的监测，并将孪生数据进行存储；另一方面可以通过对孪生数据及虚拟层的模拟仿真结果分析得出综合决策或优化方案，实现描述、诊断、预测、处置等不同应用。此系统开发主要分为仿真操作系统、通信系统以及虚实联动系统 个部分。系统应具有较好的逼真效果，在人机交互上做到科学合理，并具备跨平台兼容的特性。基于数字孪生的工业机器人虚实联动系统整体功能框架如图 所示。图 系统功能框架 虚拟场景搭建虚拟场景是构建工业机器人虚实联动的前提，主要包括虚拟环境和机器人三维模型。逼真的虚拟场景能大大提高系统真实感，并提高机器人关节运动角度与运动轨迹控制精度。此系统使用的工业机器人为国产图灵（）六轴串联机器人。该机器人包括机器人本体、控制柜、编程示教盒三部分，具有操作灵活、动作空间大等优点，且支持远程操作。将机器人基座命名为，个旋转关节分别命名为、及，各关节运动范围如表 所示。表 型号机器人各关节范围 关节名称关节范围（）机器人本体虚拟模型使用三维建模软件 建立，分别对底座及 个关节进行建模，并完成各部位的装配。为保证机器人虚拟模型与物理实体各关节运动动作、几何结构一致，将模型导入，对各关节模型坐标系的位置进行调整，与物理机器人连杆之间的关节转动中心的位置进行完全匹机床与液压第 卷配。最后转换为 格式导入 开发引擎中进行着色及材质贴图，如图 所示。为正确地反映真实机器人的位姿状态以及保持虚实模型的一致，在不同软件中传递三维模型时，需注意软件默认的尺寸单位，以保证连杆尺寸的虚实映射。图 六轴工业机器人虚实模型 ：（）；（）在 开发引擎中，为实现虚拟机器人各关节的配合转动，应设置各关节的父子关系。当父物体运动时，父物体包含的所有子物体都会跟随父物体做相同的运动。将机器人的 条轴命名为、，其 父子关系如图 所示。图 六轴工业机器人模型父子关系 完成机器人的模型设置后，再根据实际场景位置布局，将地面、车间、工作台等添加到场景中，并为它添加刚体等组件。最后设置光照效果、摄像机的位置，从而完成整个虚拟场景的搭建。为了能够在系统中多角度、自由地观察虚拟机器人的运动，需要在场景内进行漫游，从而满足任意距离和角度监控场景。在脚本中定义摄像机的移动、旋转及调整速度等参数来对摄像机的视角进行控制：使用键盘控制摄像机的移动，鼠标右键控制摄像机的旋转。在机器人仿真运动中，机器人各关节之间或者机器人与环境中其他物体可能发生碰撞，导致穿模的现象。为了符合真实物理情况，应根据实际情况选择 等碰撞器进行碰撞检测。机器人的运动仿真与控制工业机器人可以实现工作空间大、操作精度高的运动，这些特点都是建立在对其关节运动角度与运动轨迹精确控制的基础上。通过不同控制方式对机器人进行运动模拟，可以更好地还原真实机器人运动，提高实际作业的安全性和操作效率。机器人运动仿真六轴工业机器人的运动仿真是根据 参数法建立运动学方程，通过正逆解运动程序得到各个关节的运动角度，从而使模型关节完成对应角度变化。具体运动学方程建立，文中不再赘述，可参考文献来进行分析。工业机器人关节臂采用旋转副连接，末端位姿通常采用广义坐标（，）来描述，中定义了描述位姿的 组件，描述空间位置，描述旋转姿态。机器人模型的各个关节运动通过函数 （）来实现。虚拟模型与物理模型存在不同的坐标系，工业机器人通常情况下采用右手坐标系，而 中采用的是左手坐标系，指向上方，指向右侧，指向观察者。为保证虚拟机器人与物理机器人各个关节的转动角度和转动方向完全一致，需进行左右坐标系之间的坐标变换，可借助变换矩阵及 积将 组件获得的位姿转换得到右手坐标系下的广义坐标。机器人运动控制结合工业机器人实际应用场景，此系统提供了以下 种工业机器人的运动控制方式。（）关节控制关节控制是直接对机器人各个关节角度进行控制，通过拖动滑动条控件或者文本框控件，来确定关节运动角度使每个关节旋转。需要注意的是，应该根据实体机械臂运动范围来限制各关节旋转角度。（）末端点位控制末端点位控制是指控制机器人末端点在空间中的位置，可以通过拖动虚拟机械臂末端以及输入目标位姿点坐标，基于机器人反向运动学求解出机器人各个关节的角度，实现对机器人的控制。这种方式对目标点的运动轨迹不作任何规定，适用于上下料、搬运等场合。（）末端连续轨迹控制末端连续轨迹控制是要求机器人末端严格按照规定的轨迹连续平稳运动，主要用在喷涂、焊接等作业上。此系统主要实现了直线、圆弧轨迹的运动控制。使用 提 供 的 函 数 进 行 插 值：进行直线插补，进行圆弧插补。这 个函数中都包含 个参数：起始位置、目标位置 以及比例参数，将第 个参数 结合 逐帧运行来达到一个较好的效果。（）指令控制由于目前工业机器人主要采用示教器示教，将动作、运动速度等信息预先教给机器人，因此此系统增第 期文国军 等：基于数字孪生的工业机器人虚实联动系统开发 加了指令控制方式。基于对虚拟机器人的控制，在可编辑文本框中输入符合机器人读取格式的指令，以 文件格式加载至工业机器人控制器系统驱动其运动。同时，也可以读取控制器中已存在的程序驱动虚拟机器人进行仿真运动。机器人运动控制器网络命令包格式为 格式语言，示例如下：？命令 回调函数指针 状态 参数 值 参数 值 数据 机器人虚实双向联动数字孪生技术是将物理对象或过程与虚拟环境相互映射，强调孪生数据的双向驱动。工业机器人的虚实联动是指数字对象与物理对象之间的实时动态互动，是实现数字孪生的关键。通信系统对于虚拟世界和物理世界之间的通信方式，采用基于 协议的 网络通信模式。作为一种称为套接字消息传递的通信协议，它基于客户端服务端架构，也包含了进行网络通信必须的 种信息：连接使用的协议、本地主机的 地址、本地进程的协议端口、远地主机的 地址、远地进程的协议端口，目前已经应用于多种工业设备。在 平台中，编写 脚本作为 消息传递的客户端（），物理机器人控制器作为服务端（）。物理模型和虚拟模型准备好通过套接字通道进行通信，根据服务器端的 地址和设置的端口号与服务器建立连接。在 中与机器人控制器之间成功握手后，创建子线程进行数据的发送和接收，达到所需数据交换的目的。所有指令数据均以图灵机器人网络命令包的格式发送给机器人控制器，以此实现与物理机器人信息的双向传输。系统同时与控制物理机器人的 进行通信，在系统中设置必要 信号的开关，例如改变机器人的运动模式、运动状态、机器人急停等。此工业机器人外部使用了三菱 系列，为实现系统与 之间的通信，开发中使用 开源库，此项目主要是用来解决复杂的底层网络通信问题，通过其提供的 函数，来高效地对 的 数据进行读写。通信系统设计见图。图 通信系统设计 虚实双向联动（）正向联动工业机器人的正向联动指在虚拟系统中实时同步物理机器人的运行状态，达到虚实同步。虚拟系统在与机器人控制器建立通信连接的情况下持续向服务器端发送指令请求获取关节角度、速度、运动状态等数据信息。作为客户端将不断接收到的数据进行解析、处理，并将孪生数据实时映射到虚拟模型的各个关节，驱使虚拟机器人与物理机器人同步运动，虚拟系统可以监测机器人的运动状态，实现对物理机器人的三维可视化监测，正向联动流程见图。图 正向联动流程 监测过程中虚拟系统在高执行频率的情况下与机器人控制器收发数据实时更新机器人位姿，需要在客户端制定与服务端类似的通信协议，保证收到一次数据解析成功之后再向服务端请求发送下一次数据，否则会产生数据黏包等问题。同时为了实现虚拟机器人和实体机器人的同步运动，需要将解析出的数据对虚拟机器人每一帧的运动进行更新。在 脚本生命周期中提供不断更新的函数，的特点为：每帧调用、时间间隔固定并且不受帧率影响，更新频率比较稳定的物理系统适合在 中处理。的特点为：每帧调用但是每帧的时间间隔不固定，受帧率影响，而帧率与计算机性能有关，相对不稳定。经过 种方法的测试对比，在 中更新虚拟机器人关节的角度，机器人运动更加平滑。（）反向联动反向联动是对系统中虚拟模型进行模拟仿真并将动作下发给物理机器人，实现以虚控实。关节控制和末端点位控制使用图灵机器人网络命令包中的 指令，末端点位控制的实现流程见机床与液压第 卷图。末端连续轨迹控制中需要记录多组目标位姿点保存在轨迹控制界面的下滑框中，并且相邻两点之间选择相应的插补方式，直线运动使用 指令，圆弧运动使用 指令。将目标点位姿数据结合正确的指令格式发送至机器人控制器中进行相应的控制。图 末端点位控制实现流程 系统实现与测试工业机器人虚实联动系统的人机交互界面使用 引擎中的 组件进行开发，主界面功能分为 部分：通信连接、关节控制、指令控制及轨迹控制，系统主界面如图 所示。图 系统主界面 系统监测实验通过为工业机器人设定程序并启动，观察系统中虚拟机器人的运动状况是否与实体机器人同步；控制实验将关节控制、末端点位控制及末端轨迹控制生成相应的指令进行测试，实验过程中的画面见图。图 系统测试界面 经测试，此系统满足以下功能：（）系统的场景布置较为真实，虚拟机器人建模精度高、结构完整，实现了多种控制方式对机器人进行运动仿真。（）在场景中实现漫游，满足全方位观察虚拟机器人姿态的需求。监测过程中实时同步实体机器人的运行状态；并可以将虚拟模型运动仿真的动作下发给实体机器人，实现了虚实模型之间的双向互动。（）各部分功能运行流畅，人机交互事件响应迅速，数据通信延迟较小，系统具有良好的实时性与沉浸性，满足了对工业机器人监测与控制的要求。结语利用工业机器人可以完成焊接、搬运、切割等多种作业任务，对其服务要求也越来越高。此系统基于数字孪生理念，开发了一款典型的六自由度串联工业机器人虚实联动系统。使用者在全虚拟环境中完成对虚拟机器人的运动控制和监测，并通过设计的数据通信系统与机器人控制器实现运动指令、运动状态等信息的传输，将虚拟现实仿真系统与工业机器人实现数据互连，达到虚拟和现实的结合。该系统能够实现工业机器人的可视化操控与实时监控，对数字孪生产线、智慧工厂的开发具有借鉴意义。参考文献：刘亮，姚春琦，李晓梅面向智能制造全价值链的精益数字孪生体机械设计，（）：，（）：陈振，丁晓，唐健钧，等基于数字孪生的飞机装配车间生产管控模式探索航空制造技术，（）：，（）：，：，（）：，：，：陶飞，刘蔚然，刘检华，等数字孪生及其应用探索计算机集成制造系统，（）：，（）：第 期文国军 等：基于数字孪生的工业机器人虚实联动系统开发 陶飞，程颖，程江峰，等数字孪生车间信息物理融合理论与技术计算机集成制造系统，（）：，（）：刘大同，郭凯，王本宽，等数字孪生技术综述与展望仪器仪表学报，（）：，（）：孙恺廷，朱隽垚，于存贵，等工业机器人三维虚拟监控系统的设计与实现机械制造与自动化，（）：，（）：张爱民，孔得鹏，王倩工业机器人的远程监控与诊断系统设计机械，（）：，（）：，：，（）：，：蔡宝，朱文华，史秋雨，等虚实融合的工业机器人实验平台研究机床与液压，（）：，（）：杜莹莹，罗映，彭义兵，等基于数字孪生的工业机器人三维可视化监控计算机集成制造系统，（）：，（）：陶飞，刘蔚然，张萌，等数字孪生五维模型及十大领域应用计算机集成制造系统，（）：，（）：贲飞基于虚拟现实的工业机器人运动仿真与控制研究哈尔滨：哈尔滨理工大学，：，机床与液压第 卷