基于点云的机器人抓取检测方法研究.pdf

现代极械成/ModernMachineryXiandai Jixie基于点云的机器人抓取检测方法研究李鑫,李彩红,张正（长安大学工程机械学院，陕西西安7 1 0 0 6 4）摘要：针对非结构化场景中机器人的抓取任务提出一种抓取位姿检测方法，首先对目标点云进行均匀采样得到初始抓取点，并通过PCA方法建立各抓取点的局部坐标系。然后，根据二指夹持器参数确定抓取位姿，使用位姿搜索策略扩充候选抓取位姿。接着，将每个候选抓取位姿对应的夹持器闭合区域的点云送入PointNet构建的抓取质量评估网络进行评估，筛选候选抓取位姿，得到较高质量的抓取位姿。最后，在ros平台上搭建机器人抓取仿真平台并进行实验验证。证明提出的方法可以在目标点云上生成抓取位姿，并可以稳定地完成处理单个或多个随机放置的未知物体的抓取任务。关键词：非结构化抓取检测抓取质量评估网络仿真中图分类号：TP241Abstract:This paper proposes a method for detecting the grasping pose of unknown objects in unstructured scenes.Firstly.the initial grasping points are obtained by uniformly sampling the point cloud of the scene,and the local coordinate system ofeach grasping point is established based on the PCA method.Then,the grasping pose is determined according to the parame-ters of the two-finger gripper,and the candidate grasping poses are expanded using a pose search strategy.Next,the pointcloud of the gripper closing area corresponding to each grasping pose is extracted,and the candidate poses are filteredthrough a grasp quality evaluation network to output poses with higher scores.Finally,a robot grasping simulation plaform isbuilt on ros platform for experimental verification.Experimental results show that the proposed method can generate stablegrasping poses on the point cloud of the target object,and can complete grasping tasks of single or multiple randomly placedunknown objects in a simulated environment.Keywords:unstructured,detecting the grasping pose,quality evaluation network,simulation文献标识码：AResearch on robot grasping detection method based on point cloudLI Xin,LI Caihong,ZHANG Zheng文章编号：1 0 0 2-6 8 8 6(2 0 2 4)0 1-0 0 1 6-0 50引言近年来，在工业、农业、军事和家庭服务等领域机器人抓取技术得到了快速发展。人们期望智能机器人能与环境互动，更好地扩展机器人的应用范围。在大多数情况下，人们通过分析物体并观察场景可以快速、准确地抓取物品。然而，对于机器人而言，由于物体和场景的不确定性，实现自主抓取非常具有挑战性。机器人系统主要包括抓取检测、抓取规划和抓取控制等三个模块。抓取检测是从机器人传感器提供的信息或信号中确定抓取姿势的能力。抓取检测直接影响到随后抓取规划和抓取控制的具体.16实现。本文提出一种基于点云的抓取位姿检测方法，并搭建仿真平台,验证了该方法的可行性和稳定性。1系统构成如图1 所示,本文的机器人系统主要由UR10 机械臂、D435iRGBD深度相机、AG-95二指夹持器等组成。通过Movelt建立UR10机械臂的抓取规Robotic.ArmRoboticrippersTargetObject图1 机器人系统RGB-DCamera现代制造、工艺装备Modern Manufacturing&Process Equipment划和控制系统,使用KDL库进行正逆运动学求解和相机坐标系1 C）和机器人末端夹持器坐标系路径插值。通过OMPL运动规划器中的RRT算法1G)关系如图4所示，原点0 位于二指夹持器底部进行轨迹规划,以 action 的信息形式发布,Gazebo中心，X。垂直夹持器两指连线,Y。平行夹持器两指订阅这些轨迹信息实现对UR10机械臂关节的控开闭方向,Z。根据右手定则确定。抓取位姿由位制。置T=x,y ,姿态R=C X c,Yc,Z确机器人抓取系统感知、规划、控制等模块和对应定。实现的ROS节点如图2 所示，各个节点之间通过发布和订阅话题进行通信。Node2订阅Topicl 获得场景点云,然后对抓取目标识别定位,将识别结果通过Topic2发布；Node3订阅Topic2,进行抓取位姿检测,生成稳定的抓取位姿,并将结果通过 Topic3发布。Node4订阅话题Topic3通过 RRT算法进行轨迹规划,通过Movelt对Gazebo场景中UR10机械臂进行控制。当到达指定的抓取点时,反馈到位信息，然后控制二指夹持器进行抓取。Nodelrealsense相机+Node2：物体识别定位RegisterROSMaster2抓取位姿检测方法本文提出的抓取位姿检测方法通过分析抓取场景中的点云信息,生成六自由度抓取位姿，实现机械手的多方位稳定且有效的抓取平行夹持器可等效为图3所示结构，几何参数为=(0,0 a,0,0,),其中，,为夹爪的深度，。为夹爪两指的最大开口宽度，0 为夹爪手指与物体接触的夹持宽度，g,为夹爪手指的厚度,两指闭合过程中扫过的立体空间为 B(h)。2024年第1 期0X(C)Y图4末端夹持器坐标系Publish+Copicl:图像数据SubscrihePublishSubscribePublishNode3：抓取位姿检测4SubscribeNode4:.Movelt!Action机械臂控制机械臂关节控制Node5:Movelt!Action夹爪控制图2 节点通信机制图 3二指夹持器X(G)Z本文通过虚拟相机获取Gazebo场景点云,使用均值滤波去除噪声，然后经RANSAC算法分割桌面Copic2:识别结果点云。Copic3:抓取位婆2.1点云法线计算点云的法线近似于估计表面的一个相切面法线，然后转换成一个最小二乘法平面拟合估计问夹爪开合控制题。计算点云每个点p；的法线对应于协方差矩阵C最小特征值的特征向量。(P:P.)(p:-P.)kC=kC.V,=,Vj,j=(0,1,2)其中,P。表示最近邻点的坐标,k作为离点p；最近的k个点,V为第j个特征向量,表示C的第j个特征值。本文通过对目标点云进行均匀采样确定初始抓取点集合。法线的正方向通过相机视点P，确定。取满足n；V,0条件的方向为正。P(a）点云下采样图5目标点云采样Y(b）法线方向(1)(2)n.17Xiandai Jixie现代i核械|Xladen Maclinery2.2#抓取位姿搜索策略在抓取位姿搜索之前，需建立夹爪坐标系F（G）和采样点局部坐标系F(p）的位姿关系,如图6所示。F(G)的X,轴与F(p)的u轴反向平行,Y与轴反向平行,Z与轴同向平行,且 F(G)原点O与F(p）原点0,在X方向上距离为r。体的点云的点，即C(hz,*，算法1输人：目标点云C,采样点局部坐标系F(p）,夹持器深度6,输出：候选抓取位姿集H,夹持器闭合区域点云c1:H=O,h,p=B(h(z,x,F(p)2)nc+03;Search h.,.p4:if B(hp)n(C.cee,.Cmg)=5:x=maxxeR Such that B(hs,p)n(Ccene,Cung)=O6:If C(hsx,)nC+O7:H=HUh(z,x,F(p)8:end if9:end if图6 坐标系位姿关系为获得更多潜在可行的候选抓取位姿，在每个采样点坐标系F(p）下,沿旋转方向进行单维度搜索，2 作为起始方向，每次旋转2 0,共旋转6 次，在不与场景点云Csene和待抓取物体点云Cag发生碰撞的前提下,然后将夹持位姿沿u负向移动x*,确定抓取位姿后，提取夹持器内部点云C(h）。抓取位姿搜索策略如算法1 所示，在每个采样点处,确定初始抓取位姿F（G），如图7 所示。设z、分别为夹持器坐标原点0。和采样点0,沿u和u方向的距离。此时抓取位姿为h(z,x,F(p)）,设置单位搜索步长为z。抓取位姿搜索需满足以下条件。图7 候选位姿生成条件1：夹持器模型与场景点云Cscene和待抓取物体点云Cumg发生碰撞，即B(h）n（Ce n e，Cu g）=;条件2：夹持器闭合区域C,需要存在待抓取物.18.10:end for3位姿质量评估通过位姿搜索扩充了很多的候选抓取位姿，如果采用传统分析方法对抓取位姿进行度量的话，导致计算复杂且实时性较差。因此，我们通过Point-Net搭建抓取质量评估网络，对候选位姿进行优选，输出质量较高的多个位姿。3.1质量评估网络网络的输入为候选位姿对应的夹爪内部点云Cls，经T-Net(33)网络的点云空间变换实现数据对齐,通过两层的MLP模型进行6 4维特征提取，接着经T-Net(6464)网络对提取出来的深层特征进行对齐,解决点云变换不变性的问题。然后利用三层感知机（6 4，1 2 8,1 0 2 4）提取每个点的1 0 2 4维特征,经过最大池化层变成1 1 0 2 4的全局特征,这些全局特征输入三层的全连接网络，最后经L-SoftMaxR(h)图：夹爪内部点云Cds现代制造、工艺装备Modern Manufacturing&Process Equipment分类器输出较高得分的抓取位姿。通过虚拟相机获得物体在场景中的物体点云，通过抓取位姿检测获得其优选抓取位姿，通过转换P,(x.y.z)0P,(x.yz2)BuoodxewInput PointsNX33.2抓取数据集将YCB数据集提供的真实点云模型作为待抓取物体,选择YCB数据集中的47 个物体模型生成350k个样本，样本内包含夹爪闭合区域内的点云Ca和对应的抓取质量评分Gscore。本文通过力封闭指标和GWS指标得到数据集中的每个抓取位姿的抓取质量评分Gscore，以此来训练抓取质量评估网络。4机器人抓取仿真在进行仿真实验之前,需要在虚拟场景中进行相机标定和手眼标定,得到机械手和相机之间的位姿关系T,如图1 0 所示。抓取检测流程如图1 1 所示。camera_rgtstical_frame图1 0 木机械手和相机之间的位姿关系离线阶段抓取位姿YCB物体集标注YCB抓取数据集训练抓取特征RealSense点云抓取位姿点集抓取质量D465i相机采样模块在线阶段得分最高的前N个抓取位姿运动学成功关节空间的轨迹信息执行录解轨迹规划图1 1抓取检测流程2024年第1 期矩阵T转换为夹持器坐标系下的夹持位姿,通过1outputClasses1XCP(x.y,z)图9 PointNet网络结构ee_link评估网络RRT算法进行夹持器到抓取点的轨迹规划,控制Gazebo场景中的UR10机械臂进行目标的抓取放置任务。图1 2 仿真实验平台5结语针对机器人抓取中未知物体的单视角或完整点云,提出了一种抓取位姿检测和抓取位姿评估两步走的位姿检测方法。然后基于ros在Gazebo场景中搭建了仿真实验平台，并进行抓取实验，可以实现场景中任意目标的放置任务，验证了提出的抓取位姿检测方法的可行性。参考文献1 刘亚欣，王斯瑶，姚玉峰，等.机器人抓取检测技术的研究现状 J.控制与决策,2 0 2 0,35（1 2：2 8 1 7-2 8 2 8.2MAHLER J,LIANG J,NIYAZ S,et al.Dex-net 2.O:Deep learning to plan robust grasps with synthetic pointclouds and analytic grasp metrics J.arXiv preprint,2017,1703:09312.3石广升.基于Kinect的物体三维模型构建和姿态估计方法研究 D.哈尔滨：哈尔滨工业大学,2 0 1 5.4张凯霖，张良，复杂场景下基于C-SHOT特征的3D物体识别与位姿估计 J.计算机辅助设计与图形学学报,2 0 1 7,2 9(5):8 46-8 5 3.5FERRARI C,CANNY J.Planning optimal grasps C/Proceedings of the 1992 International Conference on Ro-botics and Automation.Nice:IEEE,1992:2290-2295.6莫海军,黄平.基于最大力螺旋多指手抓取规划 J.机械工程学报,2 0 0 9,45(3）：2 5 8-2 6 2.19现代极械/Mlodarn MachineryXiandai Jixie高阶滚比修正系数对弧齿锥齿轮齿面形状的影响规律李文龙，段志宏（1.长沙津一凯帅精密机械有限公司，湖南长沙41 0 1 0 0;2.中南林业科技大学，湖南长沙41 0 1 0 0）摘要：基于弧齿锥齿轮齿面数学模型，引入高阶滚比修正系数，采用矢量运算与二元迭代的方法，对齿面进行了离散化处理,计算了各离散点的齿形偏差。分析了各阶滚比修正系数的改变对弧齿锥齿轮齿面形状的影响规律,绘制了齿面误差拓扑图，表示了误差齿面相对于理论齿面的偏离方向以及误差值的大小。基于齿面误差的模型，采用最小二乘法，计算了弧齿锥齿轮齿面在各阶滚比修正系数改变下的敏感系数，分析了各阶滚比修正系数对齿面形状的影响类型和程度，为弧齿锥齿轮实际加工过程中齿面几何形状的调整和齿形误差的修正提供了理论依据。通过实际的磨齿加工和测量，验证了齿面数学模型与齿面误差拓扑图结果的正确性。关键词：高阶滚比修正系数弧齿锥齿轮齿形偏差误差敏感系数中图分类号：TH132;TH161Effect of high-order roll ratio correction coefficient on tooth surface shape of spiral bevel gearAbstract:Based on the mathematical model of the tooth surface of the spiral bevel gear,the high-order roll ratio correctioncoefficient was introduced,the vector calculation and binary iteration methods were adopted to discrete the tooth surface,andthe tooth profile deviation of each discrete point was calculated.The influence of the change of the correction coefficient ofeach order on the tooth surface shape of the spiral bevel gear was analyzed,and the tooth surface error topology diagram wasdrawn to show the deviation direction of the error surface from the theoretical tooth surface and the magnitude of the errorvalue.Based on the model of tooth surface error,the least square method was used to calculate the sensitivity coefficient ofthe tooth surface under the change of the correction coefficient of each order.The influence type and degree of each order ofcorrection coefficient on the tooth surface shape was analyzed,which provided a theoretical basis for the adjustment of toothsurface geometry and the correction of tooth profile error in the actual machining process of spiral bevel gear.The correctnessof the tooth surface mathematical model and the tooth surface error topology is verified by actual grinding and measurement.Keywords:high-order roll ratio correction coefficient,spiral bevel gear,tooth profile deviation,error sensitivity coefficient文献标识码：ALI Wenlong,DUAN Zhihong文章编号：1 0 0 2-6 8 8 6(2 0 2 4)0 1-0 0 2 0-0 67 LENZ I,LEE H,SAXENA A.Deep learning for detectingrobotic grasps J.The international journal of robotics re-search,2015,34(4/5):705-724.8 苏杰，张云洲，房立金，等.基于多重几何约束的未知物体抓取位姿估计J.机器人,2 0 2 0,42（2)：1 2 9-138.9蔡子豪,杨亮，黄之峰.基于点云采样权重估计的未知物体抓取位姿生成方法 J.控制与决策,2 0 2 3,38(10):2859-2866.作者简介：李鑫（1 999-），男，长安大学硕士研究生，主要研究方向为机器人建模和控制。李彩红（1 997-）,女，长安大学硕士研究生,主要研究方向为机电液一体化。张正(1 998-），男，长安大学硕士研究生,主要研究方向为机电液一体化。收稿日期2 0 2 3-0 5-2 320