基于BP神经网络-模糊控制的机器人无标定视觉伺服技术.pdf

投稿网址:2023 年 第23 卷 第26 期2023,23(26):11282-10科 学 技 术 与 工 程Science Technology and EngineeringISSN 16711815CN 114688/T收稿日期:2023-02-02修订日期:2023-06-26基金项目:国家重点研发计划(2019YFB1310801);企事业委托课题(008-ZB-B-2022-C30-001083)第一作者:陈高铭(1999),男,汉族,山东郓城人,硕士研究生。研究方向:机器视觉。E-mail:cgm1015 。通信作者:熊振华(1974),男,汉族,江西南昌人,博士,教授。研究方向:机器人技术。E-mail:mexiong 。引用格式:陈高铭,骆研,黄碧漪,等.基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术J.科学技术与工程,2023,23(26):11282-11291.Chen Gaoming,Luo Yan,Huang Biyi,et al.Uncalibrated visual servo based on BP neural network and fuzzy control for robotic applicationJ.Science Technology and Engineering,2023,23(26):11282-11291.基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术陈高铭1,骆研1,黄碧漪2,刘超1,熊振华1(1.上海交通大学机械与动力工程学院,上海 200240;2.中广核研究院有限公司,深圳 518028)摘 要 针对机器人无标定视觉伺服技术中图像雅可比矩阵在线估计存在计算复杂的问题,提出了一种结合反向传播(backpropagation,BP)神经网络和模糊控制策略的机器人控制技术。以多自由度智能调节系统为例,提出其视觉伺服控制架构,根据工业场景数据集训练 BP 神经网络,采用本文所提算法进行法兰对中实验,帮助解决核电站蒸汽发生器人孔螺栓咬死问题。在方法层面,首先,利用 BP 神经网络建立图像特征信息与机器人多自由度运动之间的映射关系,之后,提出模糊控制方法根据图像特征偏差进行机器人位姿的精确调整。实验结果表明,本文算法能够有效应用于无标定视觉伺服控制,最终法兰平均对中误差在 1 mm 内,平均耗时 43 s,满足应用需求,具有较高的工作效率。关键词 多自由度智能调节系统;无标定视觉伺服控制;BP 神经网络;模糊控制中图法分类号 TP242;文献标志码 AUncalibrated Visual Servo Based on BP Neural Network andFuzzy Control for Robotic ApplicationCHEN Gao-ming1,LUO Yan1,HUANG Bi-yi2,LIU Chao1,XIONG Zhen-hua1(1.School of Mechanical Engineering,Shanghai Jiao Tong University,Shanghai 200240,China;2.China Nuclear Power Technology Research Institute,Shenzhen 518028,China)Abstract Aiming at the computational complexity of online estimation of image Jacobian matrix in robot uncalibrated visual servotechnology,a robot control technology combining BP neural network and fuzzy control strategy was proposed.the multi degree of free-dom intelligent regulation system was took as an example,proposes its visual servo control architecture,trains the BP neural networkaccording to the industrial scene data set,and the algorithm proposed was used to carry out flange alignment experiments to help solvethe problem of the steam generator manhole bolt seizure in nuclear power plants.At the method level,first,the mapping relationshipbetween image feature information and robot multi degree of freedom motion was established by using BP neural network.Then,a fuzzycontrol method was proposed to precisely adjust the robots position and orientation according to the image feature deviation.The experi-mental results show that the algorithm proposed in this paper can be effectively applied to uncalibrated visual servo control.The averageflange alignment error is within 1 mm,and the average time is 43 seconds,which meets the application requirements and has highwork efficiency.Keywords multi degree of freedom intelligent regulation system;uncalibrated visual servo control;BP neural network;fuzzy control 近年来,随着视觉传感器精度的提高,作为机器人系统通过视觉感知环境的重要策略,视觉伺服控制技术成为机器人控制领域的热点,其与模型预测控制等先进控制策略的结合使工业生产任务更加可靠1。视觉伺服控制技术由 Hill 等2首次提出,根据控制方式的不同,主要分为基于位置的视觉伺服、基于图像的视觉伺服以及复合视觉伺服 3种类型3。传统的视觉伺服控制技术需要相机和机器人的标定,其整体性能受标定精度的影响4。具有移动平台的机器人标定过程较为复杂,其精度受外界环境的影响较大,且成本高。因此,机器人无标定视觉伺服控制技术在工业应用中备受瞩目。投稿网址:Zhu 等5将无标定视觉伺服控制技术用于全向移动操作机械臂的空间动态目标跟踪,采用卡尔曼滤波算法在线识别复合的雅可比矩阵,进而估计手眼映射关系,通过集中控制策略完成跟踪,但跟踪初期存在较大的超调。Wang 等6将卡尔曼增益与测量噪声协方差矩阵关联,提出基于自适应卡尔曼滤波方法估计雅可比矩阵,通过协方差递归估计,其中增益矩阵与噪声协方差相关,算法展现了较好的动态跟踪性能。针对空间在轨自动装配的问题,Gu 等7提出一种改进的基于射影单应性的超冗余机械手未标定视觉伺服策略,通过卡尔曼平滑变结构滤波方法进行总体雅可比矩阵的在线估计,同时采用奇异值滤波避免总雅可比条件数不稳定引起的扰动,实验展示了优良的静态定位和动态跟踪性能。为保证对图像缺陷的控制鲁棒性,Gu 等8后续采用卡尔曼平滑变结构滤波与径向基函数神经网络相结合的方法,估计基于同形异义的任务函数与机器人关节之间的总雅可比矩阵,其中径向基神经网络起到校正器的作用,以补偿图像特征偏差导致的干扰,实验验证其在准确性和鲁棒性表现良好性能。为减少跟踪特征数量较多时图像雅可比矩阵估计耗时,Gong 等9提出了基于投射单向的无标定视觉伺服方法,该方法采用射影单向图的元素来构建任务函数,以此控制任务函数的大小,减小矩阵估计的计算负担。王博等10将无标定视觉伺服技术用于优傲(universal robots,UR)机械臂的控制,采用动态拟牛顿算法对图像雅可比矩阵进行在线估计,提高了机器人视觉系统的鲁棒性。陈梅等11提出一种采用图像特征为反馈的模糊控制策略,该方法能够对平面内运动物体进行跟踪,同时利用图像信息实时纠正系统偏差,该算法对平面内圆周运动的跟踪效果较为出色。纪鹏等12提出了移动机械臂无关节状态反馈的伺服方法,采用广义回归神经网络映射虚拟外骨骼的末端与关节角的关系,末端姿态误差在 1。王腾飞等13提出了双目双轴平行视觉配置方法,选取图像特征空间的点特征和线特征设计控制器,并基于卡尔曼滤波算法实时在线估计机械臂的手眼映射关系。岳晓峰等14提出了基于遗传算法优化的 RBF 神经网络,学习图像特征变化速度和机器人关节角变化速度之间的非线性关系,实现了较好的控制效果。现有方法大部分对图像雅可比矩阵进行了显式在线估计,而随着视觉伺服采用的任务函数特征数量的增加,雅可比矩阵在线估计的计算成本明显升高15。本文研究针对图像雅可比矩阵在线计算较为复杂16,同时单目相机难以准确获取深度信息的问题,提出了结合 BP 神经网络和模糊控制的无标定视觉伺服控制技术,通过神经网络隐式拟合图像特征与机器人各自由度之间的映射关系。首先利用 BP 神经网络建立图像特征信息与机器人多自由度运动之间的映射关系,之后采用模糊控制方法根据图像特征偏差进行机器人位姿的精确调整。现首先建立多自由度智能调节系统运动学模型,然后通过图像处理提取特征信息,采用自主构建的数据集训练 BP 神经网络,最终采用 BP 神经网络和模糊控制结合的控制策略,通过实验验证算法的有效性和控制性能。1 多自由度智能调节系统作为核反应堆中热量传输回路系统的主设备,蒸汽发生器在核电系统中发挥了举足轻重的作用。由于工作环境恶劣、材料本身特性、清理不彻底以及操作不规范等原因,蒸汽发生器表面法兰盘人孔螺栓咬死的现象时有发生。人工拆卸咬死螺栓繁琐耗时,同时蒸汽发生器具有高放射性,因此采用视觉传感器采集图像,并根据图像特征引导具有多自由度智能调节系统的机器人进行自主对中,最后利用末端刀具切削咬死螺栓具有重要的应用价值。多自由度智能调节系统的工作流程如图 1 所示,主要包括机器人根据视觉引导自主对中、法兰盘贴合固定、数控切削 3 个过程。1.1 机器人运动学建模为解决人孔螺栓咬死后的自动去除问题,本项目组自主设计了多自由度智能调节系统,该系统的整体结构如图 2 所示,主要包括移动平台和工作机构两部分,二者通过角铁固定。工作机构主要由两图 1 多自由度智能调节系统工作流程Fig.1 Work flow of multi degree of freedom intelligent regulation system382112023,23(26)陈高铭,等:基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术投稿网址:图 2 多自由度智能调节系统结构Fig.2 Structure of multi degree of freedomintelligent regulation system个电动缸 J1、J2,一个丝杠滑块 X1及一个内齿轮 R组成,其末端搭载2D 相机获取环境信息。在工作机构和移动平台连接处、工作机构的末端中心分别定义右手坐标系 O0-X0Y0Z0、O4-X4Y4Z4。移动平台包括水平面内运动的 3 个自由度,工作机构为 4 自由度机械臂,整个系统共有 7 个自由度。图 3 为多自由度智能调节系统的工作机构简图,其中 L1、L2为电动缸 J1、J2的长度,1、2共同构成工作机构的俯仰角,L3,L10为工作机构对应的杆长,x1、x2、a2为对应旋转副的偏移量。除L1、L2、1、24 个参数外,图 3 中其余机构参数均为已知量。L1、L2分别与 1、2耦合。通过视觉引导,最终使得机器人工作机构末端法兰面与蒸汽发生器表面法兰面贴合。将二者固定后,控制末端小型镗床工作,完成人孔螺栓的去除。按照串联机械臂建立机器人运动学模型,根据Modified D-H(MDH)参数建立坐标系如图 4 所示,对应的 MDH 参数和关节参数如表 1 所示。图 3 工作机构简图Fig.3 Working mechanism diagram图 4 工作机构 MDH 坐标系Fig.4 MDH coordinate system of working mechanism48211科 学 技 术 与 工 程Science Technology and Engineering2023,23(26)投稿网址:表 1 工作机构 MDH 参数Table 1 MDH parameters of working mechanism关节扭角i/()杆长i/mm杆距di/mm连杆夹角i/()绕 y 转角i/()190001020500023-90566.5d30400741.984连杆夹角 1、2可以通过电动缸 J1、J2的长度L1、L2,结合工作机构参数计算得到,如式(1)和式(2)所示,除 L1、L2外,其他均为已知的机构参数。1=arccosx21+x22+L23-L212L3x21+x22+arccosa22+L23-L262L3a2+arctanx1x2-2(1)2=-arctanL10L7-L9-arccosL28+L25-L222L8L5-arccosa22+L25-L242a2L5(2)如图 2(b)所示,假设基坐标系建立在移动平台与电动缸 J1连接处,工作机构末端坐标系与基坐标系之间的正运动学关系为T40=T10T21T32T43=c12c4-c12s4-s12a3c12-d4s12-d3s12+a2c1s4c400s12c4-s12s4c12a3s12+d4c12+d3c12+a2s10001(3)式(3)中:ci=cosi;si=sini;c12=cos(1+2);s12=sin(1+2)。根据正运动学变换矩阵 T40,最终得到逆运动学关系为4=arccos(T40)2,21+2=arccos(T40)3,3a3c12-d4s12-d3s12+a2c1=(T40)1,4a3s12+d4c12+d3c12+a2s1=(T40)3,4(4)式(4)中:(T40)i,j为 T40矩阵的第 i 行第 j 列元素。因此,当 d3和 4自由度固定时,通过调节电动缸 J1、J2的长度 L1、L2,可以得到唯一对应的角度1、2,通过逆运动学关系最终得到唯一对应的末端高度 z 和俯仰角 p。即可以通过控制电动缸 J1、J2的伸长量控制末端高度和俯仰角。1.2 视觉伺服控制系统结构本系统中,工业相机安装在机械臂末端,即“眼在手上”。相机跟随机械臂进行相应运动,实时采集图像信息。首先通过手动控制将机械臂末端法兰盘与蒸汽发生器表面法兰盘对中贴合,将丝杠滑块 X1后移100 mm 作为标准位姿 Ps,采集机器人在 Ps状态的图像 Is,通过图像处理获取法兰盘的人孔特征信息;然后将机器人放置在任意初始位置,将该状态下图像处理获取的特征信息导入训练好的 BP 神经网络,计算机器人在水平面内的运动量以及末端高度和俯仰角的相对运动量,以此控制机器人运动;当机器人各自由度运动到指定位置的 领域时,实时采集图像并利用模糊控制进行上述 5 个自由度的微调,直至特征误差在阈值范围内,此时机器人到达标准位姿 Ps;最后进行 d3和 4两个自由度的调整,使机械臂末端法兰面和蒸汽发生器表面法兰面贴合。图 5 为本文采用的融合 BP 神经网络和模糊控制的多自由度智能调节系统视觉伺服控制结构框图。图 6 为多自由度智能调节系统的整体架构。图 5 视觉伺服控制结构Fig.5 Structure of visual servo control图 6 多自由度智能调节系统整体架构Fig.6 Overall architecture of multi degree offreedom intelligent regulation system2 图像特征提取2.1 边缘检测机器人工作过程中相机与蒸汽发生器表面距582112023,23(26)陈高铭,等:基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术投稿网址:离近,有效的视野范围较小。采用 Blender 软件仿真,机器人处于标准位姿 Ps时相机获取图像的视野范围如图 7 中矩形框所示。图 7 仿真相机视野Fig.7 Field of view of simulated camera常用的边缘检测算子有 Roberts 算子、Prewitt 算子、Sobel 算子、Canny 算子等17。由于 Canny 算子为多阶段优化算子,具有抗干扰能力强、边缘连续性好等优点18,本文研究采用 Canny 算子对图像进行边缘检测处理。采用 Canny 算子进行边缘检测主要包括以下步骤。(1)采用高斯滤波对原始图像进行卷积操作,即线性平滑图像,以减少图像中的高斯噪声。(2)采用 Sobel 算子计算图像沿 x、y 方向的偏导数,即分别采用式(5)所示的 x 方向 Sobel 算子和式(6)所示的 y 方向 Sobel 算子对图像进行卷积处理,进而计算梯度的幅值和方向。Sx=-101-202-101(5)Sy=-1-2-1000121(6)(3)对梯度的幅值采用非极大值抑制,去除部分假边缘,得到初步的边缘信息。(4)采用双阈值对二值化图像检测筛选,得到较为精确的边缘特征。以相机在标准位姿处获取的图像为例,边缘检测的效果如图 8 所示。2.2 形态学处理为了增强边缘检测的鲁棒性,减少环境对成像质量的影响,本文研究对边缘检测获取的二值化图像采用闭运算,即先膨胀后腐蚀的操作。首先对二值化图像中的边缘进行膨胀处理,使部分邻近有断点的边缘连接为一个整体;然后对图像进行腐蚀处理,将膨胀导致的边缘线变粗的现象消除。采用闭运算使邻近的边缘特征连接在一起,得到准确的封闭边缘信息。图 8 边缘检测效果Fig.8 Effect of edge detection根据先验知识,图像中的有效信息为 3 个人孔,在处理后的图像中表现为封闭曲线内部。因此,将图像中封闭边缘包括的凸区域置为 1,其余部分置为 0,得到 3 个人孔与周围对比明显的二值化图像用于后续特征提取。2.3 Blob 特征提取Blob 特征在二值化图像中代表具有相同像素值的连通区域,即可以从背景中分离出目标信息;Blob 分析主要是对目标进行检测和提取,从中得到感兴趣区域,并计算该区域的面积、周长、质心等参数19。由于 Blob 特征代表一个区域,相较于各种角点特征具有优秀的稳定性和抗噪声能力,因此采用 Blob 提取图像特征信息。采用 Blob 特征自动提取图像中的 3 个人孔特征信息。首先在二值化图像中检索值为 1 的封闭区域;然后针对各封闭区域采用预设的面积、椭圆度及对应的置信度进行判断,从中筛选出感兴趣区域,即 3 个人孔外圆在图像中的投影;最后根据中心在图像中的位置对3 个人孔外圆按照从左到右进行排序。计算像素坐标系下 Blob 特 征 的 中 心 坐 标(uc,vc)为uc=u(u,v)n0vc=v(u,v)n0(7)68211科 学 技 术 与 工 程Science Technology and Engineering2023,23(26)投稿网址:式(7)中:n0为目标区域点的个数;为目标区域集合;(u,v)为目标集合内点的像素坐标。以机器人在标准位姿 Ps处相机获取的图像为例,通过处理后提取的 Blob 特征如图 9 所示。通过 Blob 特征的提取,结合对比分析,采用中间人孔对应的像素面积 S0,其中心在像素坐标系下的横坐标 u0,纵坐标 v0,左边和中间人孔中心之间的距离 d1,右边和中间人孔中心之间的距离 d2,左边和右边人孔中心之间的距离 d3,共 6 个参数进行后续的控制任务。图 9 Blob 特征提取Fig.9 Blob feature extraction3 视觉伺服控制算法3.1 BP 神经网络BP 神经网络是单向传播的多层前向网络,主要包括前向计算和反向传播两部分20,其对应的网络拓扑结构如图 10 所示,其中输入层节点的个数 n 对应输入变量的个数,隐藏层的层数及各层节点的个数可以通过训练过程中网络拟合效果实时调整,输出层节点的个数 m 对应输出变量的个数。前向计算过程,主要是将各网络层的输入值与对应的权重相乘,然后将对应层的数值相加,一般采用Sigmoid 函数激活,然后向下循环,直到输出;反向传播的过程本质上是误差的传播,将误差对各节点变量求偏导,进而反映各权重值的调整方向,结合学习率图 10 BP 神经网络结构Fig.10 Structure of BP neural network进行权重值的调整。经过一轮前向计算和反向传播,神经网络中权重值更新。重复上述操作,直至神经网络满足预设的训练目标,结束网络训练。假设系统由初始位姿 Pi运动到标准位姿 Ps处,在水平面内 X、Y 方向分别需移动 x、y,水平面内绕 Z 轴需转动 ,机械臂末端在竖直 Z 方向需移动 z,末端俯仰角需转动 p。由于神经网络的目标是通过训练找到输入变量与输出变量之间的函数关系,而本系统的目标为找到图像特征信息与上述 5个自由度变化量之间的映射关系,因此可以利用神经网络得到式(8)所示的隐形函数表示。采用 S0、u0、v0、d1、d2、d36 个参数作为 BP 神经网络的输入,x、y、z、p 5 个参数作为 BP 神经网络的输出,同时中间采用单隐藏层结构,节点个数为 8,即设计“6-8-5”的 BP 神经网络结构。x=f1(S0,u0,v0,d1,d2,d3)y=f2(S0,u0,v0,d1,d2,d3)=f3(S0,u0,v0,d1,d2,d3)z=f4(S0,u0,v0,d1,d2,d3)p=f5(S0,u0,v0,d1,d2,d3)(8)3.2 模糊控制模糊控制器与 PD 控制器的功能类似,主要包括知识库、模糊化机、模糊逻辑推理机和去模糊化机 4 部分。知识库由数据库和规则库组成,其中数据库中存放隶属度函数或各变量隶属度值,规则库中存放专家经验转化后的模糊规则,通常为“if-then”语句。模糊化机根据隶属度函数将传感器读取的准确数据模糊化。模糊逻辑推理机根据输入的模糊量,经过模糊规则判断,输出对应的模糊控制量。去模糊化机主要将输出的模糊控制量按照规则去模糊化,进而将清晰的控制量输出给机器人。模糊控制器原理图如图 11 所示。由于神经网络的输出值与真实值存在一定的偏差,同时机器人移动平台采用麦克纳姆轮,其移动过程中的精度较差。因此,在神经网络输出控制后,在第二阶段采用模糊控制器对机器人进行精确控制,直到机器人运动到标准位姿 Ps。通过对比分析,采用 u0控制移动平台在水平图 11 模糊控制器原理图Fig.11 Schematic diagram of fuzzy controller782112023,23(26)陈高铭,等:基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术投稿网址:面内 X 方向的运动,采用(d1/d2)控制移动平台在水平面内的旋转,采用 S0、v0和 d33 个参数综合控制移动平台在水平面内 Y 方向的移动、机器臂末端的高度 z 和俯仰角 p 3 个自由度。为了便于控制,对上述 5 个变量分别除以对应的比例因子,将其论域转化到-5,5 中。同时,语言变量均取值NL,NM,NS,ZO,PS,PM,PL,隶属度函数采用对称三角形,采用面积重心法去模糊化处理,如式(9)所示,最终得到各变量对应的清晰输出。以u0为例,输入、输出之间的关系曲面如图 12 所示。v0=Vvv(v)dvVv(v)dv(9)式(9)中:v 为模糊变量取值;v(v)为隶属度函数。图 12 输入输出关系曲面Fig.12 Input and output relational surfaces4 实验结果实验自行搭建了 1 1 仿真的蒸汽发生器,采用自主设计的多自由度智能调节系统。机器人下位机采用倍福控制器,通过 PLC 控制电机运动,上位机采用 PC 机,搭载 i5-1135G7 处理器。上位机与下位机之间采用 ADS 协议进行通讯。机器人工作机构的最后一个关节搭载 500 万像素的工业相机,相机两侧安装条形光源用于打光处理。通过视觉伺服控制完成机械臂末端法兰面和蒸汽发生器表面法兰面的对中贴合。通过螺栓连接使机械臂末端与蒸汽发生器法兰面锁紧固定,进而控制小型镗床完成切削任务,实现咬死的人孔螺栓的去除。系统运行的整体流程如图 13 所示。为了实现较高精度的对中目标,首先对相机在初始位置处获取的图像进行处理,将 S0、u0、v0、d1、d2、d3导入训练好的神经网络中,得到 x、y、z、p 共 5 个输出量,将输出量映射到移动平台和电动缸 J1、J2的控制量中。当机器人运动到指定位姿,实时读取相机图像并处理,采用 3 个人孔的特征信息对机器人进行模糊控制,使其运动到标准位姿。由于法兰面共有 16 个螺栓孔,相邻螺栓孔之间的圆周角为 22.5。通过编号确定咬死螺栓的位置n,控制内齿轮 R 转动 22.5n。最后控制丝杠滑块X1向前运动 100 mm,完成机械臂末端法兰面和蒸汽发生器法兰面的对中贴合。数据集采集过程,首先通过手动控制将机器人移动到标准位姿 Ps处,然后将机器人在5 个自由度分别移动 xi、yi、i、zi、pi,将图像 Ii及上述运动量作为数据集存储。共采集600 张图像及对应的运动量构建工业场景数据集,提取其特征信息用于神经网络的训练,其中550 张图像的特征信息作为训练集,50 张图像的特征信息作为测试集。数据集经过图像处理后部分不同位姿下获取的图像如图14 所示。图 13 多自由度智能调节系统运行流程Fig.13 Operation process of multi degree offreedom intelligent regulation system图 14 工业场景数据集Fig.14 Industrial scenario dataset88211科 学 技 术 与 工 程Science Technology and Engineering2023,23(26)投稿网址:BP 神经网络的学习率设置为 0.05,训练的误差目标设置为0.000 05,最多迭代1 000 轮,采用五自由度实际运动量和神经网络输出量的均方误差作为损失函数。最终,神经网络在训练过程中均方误差变化如图15所示,在测试集上五自由度的相对运动量的预测效果如图 16 所示。BP 神经网络在测试集上预测的五自由度平均误差如表 2 所示。可以看出,BP 神经网络实现了较好的预测效果,仅在 Y 方向上有较大的误差,但仍为模糊控制提供了良好的初值条件。最终采用模糊控制进行五自由度的微调,使机器人运动到标准位姿 Ps处。通过转动 R 和移动X1,实现机器人工作机构末端法兰面与蒸汽发生器法兰面的贴合。图 15 BP 神经网络训练过程中均方误差变化Fig.15 Change of mean square error in BP neuralnetwork training process图 16 五自由度预测效果Fig.16 Prediction effect of five degrees of freedom982112023,23(26)陈高铭,等:基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术投稿网址:表 2 五自由度的平均误差Table 2 Average error of five degrees of freedom自由度平均误差X/mm0.016 9Y/mm0.110 2/()0.005 1Z/mm0.019 4p/()0.002 4为验证最终的对中定位精度,在机器人工作机构末端固定千分表,千分表探头与蒸汽发生器表面法兰盘内环贴合。将 R 轴转动360,取千分表读数的最大值与最小值之差作为最终的对中定位误差。通过实验测得对中定位的平均误差在 1 mm 范围内,机器人平均在 43 s 内完成法兰盘的对中任务,相较于人工手动调节所需的 145 s 有较大的提高,满足实际应用需求。5 结论提出了结合 BP 神经网络与模糊控制策略的控制技术,进行机器人无标定视觉伺服控制。BP 神经网络能够有效建立图像特征与多自由度运动的映射关系,同时模糊控制能够减小神经网络的预测误差和麦克纳姆轮的运动误差。结果表明,在未进行相机、机器人标定,未采用图像雅可比矩阵在线估计的情况下,该算法能够有效应用于核电站蒸汽发生器法兰面咬死的人孔螺栓去除任务,视觉伺服控制误差在 1 mm 范围内,平均耗时 43 s,相较于手动控制提速 3 倍以上,在工程应用中能够快速、准确地完成法兰对中任务。参考文献1 Wu J,Jin Z,Liu A,et al.A survey of learning-Based control ofrobotic visual servoing systemsJ.Journal of the Franklin Institu-te,2022,359:556-577.2 Hill J,Park W T.Real time control of a robot with a mobile cameraC/Proceedings of the International Symposium on IndustrialRobots.Washington:Society of Manufacturing Engineers,1979:233-246.3 陶波,龚泽宇,丁汉.机器人无标定视觉伺服控制研究进展J.力学学报,2016,48(4):767-783.Tao Bo,Gong Zeyu,Ding Han.Research progress of robot uncali-brated visual servo controlJ.Journal of Mechanics,2016,48(4):767-783.4 李静,黄友锐,韩涛,等.矿用智能巡检机器人无标定视觉伺服控制研究J.工矿自动化,2021,47(11):30-39.Li Jing,Huang Yourui,Han Tao,et al.Research on uncalibratedvisual servo control of intelligent mine inspection robotJ.Indus-trial and Mining Automation,2021,47(11):30-39.5 Zhu G,Xing G,Sun H.Visual servo control of omnidirectional mo-bile manipulator C/Chinese Automation Congress(CAC).Shanghai:CAC,2020:2857-2862.6 Wang J,Zhang Z,Liu S,et al.Jacobian estimation with adaptiveKalman filter for uncalibrated visual servoing J.IntelligentRobotics and Applications,2022,13458:272-283.7 Gu J,Zhu M,Cao L,et al.Improved uncalibrated visual servostrategy for hyper-redundant manipulators in on-orbit automatic as-semblyJ.Applied Sciences,2020,10(19):6968.8 Gu J,Wang W,Li A,et al.Homography-based uncalibrated visualservoing with neural-network-assisted robust filtering scheme andadaptive servo gainJ.Asian Journal of Control,2022,24(6):3434-3455.9 Gong Z Y,Tao B,Yang H,et al.An uncalibrated visual servomethod based on projective homographyJ.IEEE Transactions onAutomation Science and Engineering,2018,15(2):806-817.10 王博,言勇华.基于图像的无标定视觉伺服系统J.机械设计与研究,2019,35(3):135-139.Wang Bo,Yan Yonghua.Image based uncalibrated visual servosystemJ.Mechanical Design and Research,2019,35(3):135-139.11 陈梅,车尚岳.无标定视觉伺服机器人跟踪控制策略研究J.控制工程,2019,26(6):1055-1059.Chen Mei,Che Shangyue.Research on tracking control strategy ofuncalibrated visual servo robotJ.Control Engineering,2019,26(6):1055-1059.12 纪鹏,宋爱国,吴常铖,等.适用于移动机械手无关节状态反馈情况的基于人-机-机协作的无标定视觉伺服控制J.机器人,2017,39(2):197-204.Ji Peng,Song Aiguo,Wu Changcheng,et al.Uncalibrated visualservo control based on human-machine-machine cooperation formobile manipulator without joint state feedbackJ.Robot,2017,39(2):197-204.13 王腾飞,王牛.月面车载机械臂的无标定视觉伺服控制方法J.载人航天,2019,25(5):652-660.Wang Tengfei,Wang Niu.Uncalibrated visual servo controlmethod for lunar vehicular manipulatorJ.Manned Spaceflight,2019,25(5):652-660.14 岳晓峰,阳建峰,马国元,等.基于遗传优化 RBF 神经网络的机器人无标定视觉伺服控制J.计算机与数字工程,2020,48(11):2617-2621.Yue Xiaofeng,Yang Jianfeng,Ma Guoyuan,et al.Uncalibratedvisual servo control of robot based on genetic optimization RBFneural networkJ.Computer and Digital Engineering,2020,48(11):2617-2621.15 Gong Z,Tao B,Qiu C,et al.Trajectory planning with shortestpath for modified uncalibrated visual servoing based on projectiveh