基于遥控操作机器人视觉传感系统的人机交互设计_马明豪.pdf

2023年 第5期 热加工72焊接与切割W e l d i n g&C u t t i n g基于遥控操作机器人视觉传感系统的人机交互设计马明豪，吴闯，刘金平，王象元，潘国伟核工业工程研究设计有限公司 北京 101300摘要：遥控操作焊接技术作为一种替代人工修复管道焊接的良好方案，具有无可比拟的技术和人工优势。通过设计视觉传感系统优化控制策略和焊枪姿态，实时监控焊接过程，获得焊缝坡口特征信息并及时修正焊接过程，实现更好的遥控质量。关键词：视觉系统；人机交互；模糊评价1 序言遥控操作焊接技术可以有效改善焊接环境，发挥机械臂可达性、稳定性好等方面的优势1，2。虽然遥控操作焊接技术开展较早，但是由于焊接过程较为复杂，涉及设备多且相互耦合，因此目前为止实际应用并不多3。尽管具有以上困难，但由于遥控操作焊接是人机交互焊接的重要一环，且理想的遥控操作焊接可以很好地改善工作环境，提升焊接质量，因此具有很大的发展前景4。近几年，人工智能（即AI）技术发展迅速。一方面，机器智能系统可在一定程度上模拟人类大脑的部分思维活动；另一方面，用人造的机器智能系统来完全模拟人脑的思维活动在目前的技术发展条件下是不可能的，即便在可见的将来也是十分困难的。为此，采用人工辅助机决策技术可解决许多机器无法自主完成的任务。视觉传感和遥控焊接过程的监控是实现遥控焊接的重要手段5。因此，本文通过遥控操作机器人视觉系统，以及辅助条件下设计焊接遥控操作的控制策略与焊枪姿态优化方式，并且通过实时监控焊接过程，获得焊缝坡口特征信息，便于决策并实时改变焊枪姿态，以实现更好的遥控焊接质量。2 遥控操作焊接机器人的视觉系统遥控操作焊接机器人的视觉系统包括宏观视觉系统、双目视觉系统、激光雷达定位系统和虚拟现实系统。1）宏观视觉主要用于返修环境的全局观察，包括整个环境的布局、设备的相对位置，并且负责对返修作业过程进行实时的宏观监测。VR立体视觉通过VR眼镜将现场局部位置的复杂真实环境反馈给操作者，使其能够根据环境变化及时做出正确的调整。本文采用配有INSTA360影石Pro2的全景相机（见图1），能够实现宏观视觉与立体视觉的双重功能。图1INSTA360 影石Pro22）双目视觉与专用法兰连接，放置在工具架上，通过快换接头能够与机器人自动连接，如图2所示。其作用主要是测量待返修管道的位置姿态、确定缺陷的位置。相机选用大恒MER-2000-5GC-P，具有清晰度高、噪声低、设计小巧，以及安装、使用方便等特点。3）激光雷达是一种以激光作为载波探测目标位置的电子设备。由发射模块、接收模块和信号处2023年 第5期 热加工73焊接与切割W e l d i n g&C u t t i n g理模块3部分组成。激光雷达测距的基本原理是激光信号由发射模块发送出去，经过光学系统到达目标物，接收模块接收来自目标物的反射激光回波信号，在信号处理模块，回波经过处理进入到检测系统，最后获得目标物的距离信息，即 12Lct=.BW R式中 L目标物的待测距离值（mm）；c空气中的光速（m/s）；t发射接收往返期间时间值（s）。在平面上确定坐标原点建立极坐标系，那么定位平面上任意一点M的位置，需要知道M的坐标（r，），即M点到原点的距离以及与坐标轴的方位角，这样通过得到M点相对坐标系原点的位置信息而达到对M点的定位，如图3所示。过网络传输到远程数据库并提交事务，保证数据刷写到磁盘中，根据返回信息进行错误处理与展示。在高效采集及管理孪生数据后，本系统开发了返修场景三维可视化功能，可将返修过程中实际发生的情况，通过传感器采集后到孪生数据中，再将其以三维模型仿真的形式提供给操控者，使得管理人员可以不在现场却能掌控现场。3 基于视觉系统的人机交互设计3.1 焊枪姿态优化在实时监控焊接过程和焊缝特征信息实时显示下，可实时控制焊枪姿态，并直观地看到调整效果。通过调整焊枪的前进/后退角、侧向角及自旋角，满足常规的焊枪姿态调整需求，且可通过按住空间鼠标两侧按钮选择三级变速模式，控制变化速度。为检验空间鼠标遥控操作机械臂时各关节变化的速度及程度，记录下空间鼠标控制机械臂末端移动时各关节的变化曲线，如图4所示。从图4可看到，当机械臂末端移动时，主要移动关节变化较为平缓，且逆运动学规划时尽可能减少关节变化量。图4曲线显示为机械臂末端向X方向移动，此时仅有第一节关节移动较大，其他关节尽量保持不动，可以很好地保证控制的稳定性，减少机械臂快速大量移动造成的控制系统不稳定。图2双目视觉图3定位系统模型4）返修场景三维可视化：建立数字孪生子系统，使用pymysql工具进行孪生数据控制工作，选用sqlite3控制本地数据库。存储数据时首先通过http协议远程连接孪生数据库，验证身份后获取游标，同时监听单片机传输的串口信息。每当接收到更新数据，通过自定义的GlobalVar类将数据缓冲模块中的信息取出，一方面插入到本地sqlite中，另一方面通图4关节状态变化曲线为检测焊枪控制的位置精度，记录空间鼠标操控机械臂到达实际位置时的坐标与运动位置坐标对比，试验的速度模式为三级速度（3种速度模式中最快的速度模式）和一级速度（3种速度模式中最慢的速度模式），记录数据见表1、表2。2023年 第5期 热加工74焊接与切割W e l d i n g&C u t t i n g 表1三级速度模式定位精度试验数据 （mm）序号123实际位置（88.85，441.20，248.25）（91.60，470.95，263.87）（93.71，447.02，243.11）运动位置（92.91，436.63，243.61）（96.79，464.93，268.62）（88.36，452.34，248.41）X，Y，Z方向误差（4.06，4.57，4.64）（5.19，6.02，4.75）（5.35，5.32，5.3）平均误差（4.87，5.30，4.90）表2一级速度模式定位精度试验数据 （mm）序号123实际位置（187.65，420.15，219.78）（178.93，398.58，203.30）（132.19，390.20，203.71）运动位置（185.32，422.39，222.13）（181.23，400.95，205.12）（134.31，387.69，201.79）各方向误差（2.33，2.24，2.35）（2.30，2.37，1.82）（2.12，2.51，1.92）平均误差（2.25，2.37，2.03）由表1、表2可知，控制机械臂速度越快，误差越大。在三级速度模式下，误差在5mm左右，在一级速度模式下，误差在2mm左右。调整速度模式可以用来微调位置，整体位置精度基本可以达到焊枪控制要求。3.2 宏观视觉与激光导航的信息融合激光导航定位模块负责AGV在自动行驶中的定位导航工作，该模块通过使用激光定位扫描器来获取AGV车辆当前的位置和方向角信息，配合车载控制器程序导引算法，实现导航定位功能。AGV的主控制系统以单片机、PLC、工控机、运动控制卡为主控制器，通过丰富的外设接口与配置设备进行物理连接，实现数据信息传输，并根据控制器中的程序结构有序地协调调用各个模块，完成相应的调度任务。利用激光定位扫描器输出坐标信息，再通过AGV主控器相应的设计程序驱动和转向控制实现AGV定位行走。最后，使用无线通信模块将系统运行的各种运动状态数据传送至上位机进行系统分析，并接受上位机的指令完成其指示动作。3.3 图像传感与机器人的通信设计人机交互模块是一个实现操作人员与AGV小车进行信息交互的平台，包括HMI控制面板和状态指示灯等AGV交互界面的设计应简单清晰，确保设备的功能一目了然。界面的程序设计主要包括以下几方面的内容。1）系统的开/关机请求。2）系统的信息显示，例如工作状态（前进、后退、转弯）、AGV小车的位置信息（X、Y坐标）、车体的姿态角度（导航角），以及当前车体的行进速度、转向角度等。3）激光定位扫描器开/关机，以及地图配置模式的触摸屏设置。4）半自动操作，主要用于调试和路径的检测等。通过HMI面板显示AGV的运行状态，比如手动、自动切换信息，车辆实时位置信息，以及AGV运行速度、移动距离等。在车辆出现故障报警信息时显示故障代码，方便用户和维修人员及时排查。同样，用户也可以通过HMI面板修改AGV运行参数、选择路径、下达任务指令。AGV小车的工作模式分为手动、自动、半自动，可通过HMI控制面板改变工作模式。4 基于人机交互的模糊评价实现4.1 模糊评价算法模糊评价的基本模型一般情况下为 =.BW R 式中 B评价结果向量；W评价因素权向量；R模糊关系矩阵。此模型表示B由W与R在适当的算子下合成得到。将现有模型和实际试验系统相结合，即得出适用于现有试验系统的评价算法。根据对现有管道遥控焊接系统的分析，得出以下结果。1）评价对象：摇杆、手控盒、空间鼠标。2）评价事物的因素论域，即评价指标：U（灵敏度，稳定性，易操作程度）。灵敏度指的是操纵设备所能检测到的操作者最小动作，灵敏度过大会造成误操作，过小则操作困难。稳定性是指操作设备在长时间使用过程中，能否正常准确地工作。易操作程度反映适应操纵设备所需时间及操纵的方便程度。2023年 第5期 热加工75焊接与切割W e l d i n g&C u t t i n g3）评价等级论域：V（好，较好，中等，较差，差）。4）评价因素权重向量：W（0.3，0.4，0.3），该评价因素权重向量根据专家意见给出。5）评价评语等级分值向量：A（100，75，50，25，0）。评价指标体系中机器人操纵设备评价见表3。表3机器人操纵设备指标评价评价对象评价指标权重指标评语、等级分值好 较好中等较差 差1007550250摇杆灵敏度0.3稳定性0.4易操作程度0.3空间鼠标灵敏度0.3稳定性0.4易操作程度0.3手控盒灵敏度0.3稳定性0.4易操作程度0.3评价结果记录在表3中空白区域，经过一定算法的换算即可得到每个操纵设备的模糊关系矩阵)53(R，通过合成算子=.BW R ，得出评价结果向量B，然后将评价结果向量B与评价评语等级分值向量A相乘，得到最终的评价分数X，即 ()TT=.=.XB AW RA 11112131415212321222324253313233343545arrrrrawwwrrrrrarrrrraa|=.|，依照计算出来的X摇杆、X空间鼠标、X手控盒，可对操纵设备排序评优，选择适合的操纵设备。4.2 模糊评价算法实现先利用Microsoft Office Access建立类似于表3的数据库，如图5所示。该数据库用于记录主手每个指标的不同评价等级的评价次数。本评价程序界面如图6所示。从图6中可见，主手评价程序界面主要分为两部分：评分查询部分和主手评价部分。以下先对主手评价部分进行说明。主手评价界面的左半部分设有摇杆、空间鼠标、手控盒3栏，每栏下面设置好、较好、中等、较差、差共5个评价等级的按钮。界面的右半部分为指标栏，其中设有灵敏度、稳定性、易操作程度3个选择按钮，每次只能有一个处于激活状态，保证每次评价是对一种主手的单一指标进行评价。图5操纵设备评价数据库图6主手评价程序界面11112131415212321222324253313233343545arrrrrawwwrrrrrarrrrraa|=.|，2023年 第5期 热加工76焊接与切割W e l d i n g&C u t t i n g火焰切割对16MnDR钢焊接接头组织性能影响研究彭章祝，曹龙韬，孟腾逸，曹文楷，龚兰芳，陈智江株洲电力机车有限公司 湖南株洲 412000摘要：针对16MnDR焊接接头引弧和引出板位置火焰切割、火焰切割与退火处理、等离子切割和激光切割对焊接接头显微组织和力学性能的影响研究，通过对焊接接头母材、热影响区和焊缝区硬度梯度分布和显微组织变化的试验，得出不同切割方式16MnDR钢焊接接头热影响区范围，为引弧和收弧位置切割、打磨工艺的制定和改进提供科学数据支撑。关键词：火焰切割；等离子切割；激光切割；焊接接头；热影响区；维氏硬度；显微组织1 序言氧-丙烷火焰切割的基本原理是用丙烷与氧气混合燃烧产生热能，将金属预热到燃点，然后开启高压氧，使金属剧烈燃烧，最后在高压氧气流的作用下，将燃烧的金属熔渣吹掉，形成割缝1。在火焰切割过程中，由于切割面附近的金属受到快速加热和冷却以及氧化还原反应等物理和化学过程的影响，使得该区域的化学成分、显微组织和力学性能等均发生不同程度的变化2，这些变化都会影响到切割试样的使用性能。在构件焊接过程中，焊缝引弧端和收弧端容易产生气孔、未熔合等焊接缺陷3，为避免缺陷产生，在焊缝引弧和收弧处加装与焊缝坡口形式相同的焊接引弧板、引出板，焊缝合格后，通过火焰切割的方式去除引弧板、引出板，再通过机械打磨将火焰切割面打磨平整，这种接头设计能够很好地提高焊缝质量。由于火焰切割会对切割面热影响区显微组织和力学性能产生影响，为了消除这种影响需要通过机械打磨的方式去除热影响区，但热影响区的宽度和硬度的变化梯度直接关系到打磨的深度。而16MnDR钢是机车车体常用的材料4，为此，笔者研究了火焰及其他切割条件下16MnDR钢板热影响区的范围，可为确定焊接接头打磨余量提供科学依5 结束语本文针对核电站在役维修特殊环境的管道返修作业的遥控操作机器人视觉系统、人机交互，以及质量评价进行了方案设计，完成了基于视觉系统的人机交互设计，包括基于视觉反馈遥控操作的焊枪姿态优化、图像传感设备与机器人通信系统的开发、基于视觉的人机交互模块方案设计、视觉系统的数据管理与状态显示设计和基于视觉系统的遥控操作焊接质量评价，形成了基于遥控操作机器人视觉传感系统的人机交互系统。参考文献：1 杜爱国，李海超，陈洪堂，等用于核环境管道维修的宏-微机器人遥控焊接J焊接学报，2012，33（1）：65-69.2 周灿丰，王龙遥控操作焊接机器人焊接信息采集系统研究J焊接，2018（7）：1-7.3 陈英龙，宋甫俊，张军豪，等基于临场感的遥控操作机器人共享控制研究综述J浙江大学学报，2021，55（5）：831-842.4 卢明林，张宇，张攀峰，等基于遥控操作的焊接机器人连续轨迹系统设计J机械设计与制造，2019（2）：238-242.5 李海超，吴林，高洪明，等应用于遥控焊接的激光视觉传感辅助遥控示教J焊接学报，2006，27（5）：39-43.20230212