基于3D视觉的机械零件位姿分析.pdf

第 期 年 月组 合 机 床 与 自 动 化 加 工 技 术 .文章编号:():./.收稿日期:修回日期:基金项目:国家自然科学基金项目()作者简介:王洪申()男教授硕士生导师博士研究方向为智能制造、机器视觉().基于 视觉的机械零件位姿分析王洪申曹熙淦李昌德(兰州理工大学机电工程学院兰州)摘要:针对工业制造领域中存在的弱纹理或无纹理的机械零件位姿估计问题以 网络为基础提出了一种基于 视觉的机械零件位姿估计方法 首先依照工业制造场景构建了用于网络训练和测试的机械零件仿真数据集其次使用目标零件分割出的深度图像构建点云对其进行曲率下采样处理提高关键点的质量最后将颜色特征、点云特征和法线特征融合使用融合特征回归目标零件的 位姿 在构建的机械零件仿真数据集和 公共数据集进行了实验和比较其结果表明了所提出的方法相较于同类其他方法具有更高的准确率更好的收敛性能对于弱纹理或无纹理的机械零件有较好的位姿估计效果关键词:位姿估计深度学习 视觉特征提取中图分类号:文献标识码:():.:引言随着科学技术的不断发展机器人在工业和生活中的应用越来越广泛 在工业领域中机器人主要进行抓取、装配、包装、焊接、加工等操作而这些操作大多都需要目标物体的 位姿即物体在已知空间坐标系中的平移以及旋转 如何获取准确的目标物体 位姿是机器人完成各种操作的关键近些年深度学习技术快速发展出现了越来越多的基于深度学习的位姿估计方法 等提出了一种端到端的 位姿估计网络 该网络通过在图像中定位物体的中心并预测其与摄像机的距离来估计物体的三维平移通过回归到四元数来估计物体的三维旋转 等提出了 网络通过先预测 边界框在 图像上投影的 个中心点和 个角点再由这 个点通过 算法计算得到 位姿 随着廉价 相机的出现深度信息被更多地应用到位姿估计任务中 等提出了 网络直接在点云数据上应用深度学习模型最大限度地保留了点云的空间特征 等提出了 网络使用一个异构网络分别提取 数据和点云数据的特征再通过一种稠密的像素级融合方式对两种特征进行整合仅使用 图像作为输入会导致算法对识别对象的纹理信息具有较强的依赖性但在工业场景中的大多数目标物体存在弱纹理或无纹理以及颜色相近等特点这导致很难提取到可靠的 特征而仅使用点云作为输入的算法则缺失了对识别对象纹理信息的使用 针对以上问题为了充分利用待识别物体的各种有用信息提高对弱纹理或无纹理的机械零件位姿估计的准确率本文改进了 网络中特征点图 网络整体结构的选取方法并将 特征、点云特征以及法线特征进行逐像素融合使用融合特征提升网络位姿估计的准确度和鲁棒性 仿真数据集准备深度学习是一种通过大量数据驱动的方法准确且充足的数据是网络训练的基础 目前在位姿估计领域主流的数据集、等主要是生活中的物品与工业用的机械零件存在一定的差异性 为了更加贴合工业制造场景中的实际情况选取了如图 所示的 种机械零件来制作数据集采用了由 等开源的模块化样本合成方法 图 机械零件模型本文构建的机械零件仿真数据集属于多目标数据集即每张图片中存在多个目标标注 由于共构建了 个场景在每个场景中从不同的随机位置进行了 次采样所以共有 张 图片以及对应的 张深度图片和 张单个机械零件掩码图 图 展示了机械零件仿真数据集中一组数据的 种图像 图 为 图像图中随机放置了 种机械零件图 为深度图像每个像素点的灰度值表示了该点到相机坐标系 平面的距离图 为单个物体的掩膜图像 种图像的分辨率均为 ()图像()深度图像()图像图 机械零件仿真数据集中一组数据 机械零件位姿估计网络.网络整体结构位姿估计网络整体结构如图 所示主要分为 个部分 第 部分对输入的 图像进行分类、定位检测以及实例分割 通过识别出的掩膜分割对应的 图像和深度图像将图像中每个已知物体从复杂背景中分离出来形成单独的实例该部分采用 网络实现 第 部分首先处理分割结果将深度图根据相机内参构建为点云并计算每个点的法线然后通过曲率下采样的方法对点云关键点进行选取之后将 图像和法线集合中的对应关键点选出分别将 关键点、点云关键点和法线关键点输入不同的 个网络进行特征提取再将提取出的结果进行像素级密集融合形成特别的融合特征 第 部分使用融合特征对目标物体六自由度位姿进行估计 第 部分对估计出的位姿进行迭代优化.曲率下采样选取关键点由于根据深度图构建的点云点数过多且各个场景下点云数量并不相同无法输入网络进行训练需对点云进行下采样处理将点云减少到固定数量而在下采样的过程中需要尽可能完整地保留点云几何信息在 等提出的 网络中使用了随机选取的方法但这样可能会丢失部分关键几何信息尤其在目标物体几何形状复杂的情况下本文采取曲率下采样算法对点云进行处理首先遍历所有点通过基于局部表面拟合的方法进行法向量估计 如图 所示对于每个点 使用 树算法选取最近邻的 个点得到邻域内点然后计算这些点最小二乘意义上的局部平面 此平面可以表示为式()式()中 为平面 的法向量 为平面 到点云坐标原点的距离 平面 的法向量 通过主成分分析()得到由式()运算知最近邻元素的三维质心 且法向量 满足 对式()中的协方差矩阵 进行特征值分解求得 的各特征值 的最小特征值所对应的特征向量即平面 的法向量也就是点 的法向量 由于邻域内点个数 的选值会影响法向量的计算效果过多的邻域内点数量会导致法图 法向量估计原理向量扭曲失真在两个平面边缘出现旋转表面法线或者模糊不清的边界等情况所以在经过实验对比后选择 作为 的选值可以达到一个较好的法线估计效果()()()()()()()()在得到每个点的法向量后再计算每个点法线与相邻点法线的平均夹角由于曲率变化越大的地方相邻点法线夹角越大所以将平均夹角大于固定阈值的组合机床与自动化加工技术 第 期点视为几何特征明显的点如图 所示平均夹角小于固定阈值的点视为非几何特征明显的点如图 所示 同时为了保证采样的均匀性在几何特征明显的点集和非几何特征明显的点集中按比例均匀采样()几何特征明显的点()非几何特征明显的点图 几何特征区域划分原理.特征提取与特征融合颜色特征提取网络将尺寸为 的图像作为网络输入首先使用 模型提取特征图这步主要是为了增大感受野 然后对 提取出的特征图使用金字塔池化聚合不同区域的上下文信息提高网络对于全局信息的获取能力 最终将输入图像映射到 的特征空间其中每个像素都包含了输入图像相应位置的颜色信息点云几何特征提取模块使用了 等提出的 网络结构 网络以原始点云作为输入通过学习每个点周围和整个点云的信息进行深层次的特征提取有效应用于点云分类点的法线是点云重要的几何属性之一其在曲面重建、点云渲染、点云各向异性光滑、点云特征提取等方面有着重要的应用 机械零件的表面法线表示了零件表面的方向包含了大量的空间方向信息 本文在网络中加入对法线信息的处理来提高位姿估计网络对目标物体几何信息的利用 先前通过曲率下采样选取了点云中的一些关键点根据这些关键点在所有点云法线中选取对应的法线作为法线几何特征提取网络的输入输入数据尺寸为 其中 表示点的个数 表示单位法线在坐标轴上的分量、本文设计的法线几何特征提取网络的结构如图 所示直接将选取关键点的法线作为输入通过 次卷积逐层深入地提取不同级别的法线特征最后使用一次图 法线特征提取网络平均池化来提取全局特征 不同级别的法线特征包含了像素级别的法线特征以及局部和 全 局 的 法 线 特征能够充分利用目标物体的法线信息丰富特征的维度为了增加每一关键点携带的特征量通过不同网络提取出的颜色特征、点云特征和法线特征通过维度拼接的方式先进行局部逐像素融合形成局部特征再拼接全局特征形成独特的融合特征.位姿估计与迭代求精位姿估计网络分为 个分支每个分支通过 个 卷积后分别对旋转四元数、平移矩阵和置信度进行预测 由于融合特征是逐像素融合所以每个像素点都会估计出一个旋转四元数、一个平移矩阵以及一个置信度后续会在众多位姿中选取最优的一个为了进一步提高精度使用了一个基于神经网络的迭代优化模块 以 的迭代优化模块为基础加入法线信息来提升迭代优化效果 该模块通过之前估计出的位姿将点云进行逆转换将逆转换后的点云作为第一次迭代的输入 用点云几何特征提取网络更新原来的几何特征并与之前的颜色特征和法线特征重新进行像素级密集融合用得到的融合特征提取全局特征输入到迭代优化网络中估计出剩余的 和 将 和 作用于本次输入的点云上得到经过微调的点云作为本次迭代的输出再将本次输出的点云作为下一次的迭代输入如此往复直到达到迭代条件终止 如式()所示最终将多次迭代的位姿 和 进行串联得到最终位姿 ()实验验证与分析为了评估所提出方法的有效性使用机械零件仿真数据集和 数据集对位姿估计网络进行了训练和测试 数据集由 等创建 包含 个弱纹理对象其中有两个是对称物体 其场景存在遮挡、拥挤和光照变换等挑战 为了与 进行对比只取 种物体进行实验 由于 为单目标数据集 即每张图片只有一个目标注释所以每种物体约有 张图片共有 张图片每张场景都带有精确的标注实验采用 和 作为度量标准 度量方法主要用于估计非对称的对象使用预测位姿和真实位姿计算两个变换模型点之间的平均距离当距离小于模型直径 的时候则认为预测的位姿是正确的式()即为度量公式其中 来自于三维模型的点集 是点的数量 和 代表真实的三维旋转和三维平移和 代表预测的三维旋转和三维平移 度量方法主要应用于对称对象式()为度量公式 是使用最近点计算距离最近距离可由快速搜索算法()计算()()()()()().机械零件仿真数据集的测试结果在使用自制机械零件仿真数据集的实验中使用 方法和本文方法分别训练网络训练过程中损失变化曲线如图 所示 从图中可以看出本文方法收敛速度更快且同等迭代次数下效果更好 在训图 机械零件仿真数据集损失变化曲线练完成后使用测试数据集对两种方法进行了测试位姿估计准确率如表 所示本文方法相较于 平均 准 确 率 提 升 了 而且对于弱纹 年 月 王洪申等:基于 视觉的机械零件位姿分析理或无纹理的机械零件位姿估计有较高的准确度表 机械零件仿真数据集位姿估计准确率目标物体 方法本文方法工件.工件.工件.工件.工件.工件.平均准确率.数据集的测试结果在使用 数据集的实验中对本文所提出的方法和 等提出的 方法进行了比较图 展示了在训练过程中损失变化曲线由图 可以看出本文提出的方法更快收敛到稳定状态且在相同迭代次数下有着更小的误差 在准确率上与、方法进行了比较结果如表 所示 通过比较可以看出本文所提出的方法无论在单个物体准确率上还是平均准确率均高于其他现有方法尤其对猿猴和鸭子等纹理较差的物体位姿估计准确率有着较大提升图 数据集损失变化曲线表 机械零件仿真数据集位姿估计准确率目标物体本文方法猿猴.台钳.相机.罐头.猫.电钻.鸭子.鸡蛋盒.胶棒.夹子.熨斗.台灯.手机.平均准确率.结论为了准确获取工业场景中弱纹理或无纹理的机械零件 位姿提出了一种基于 视觉的位姿估计方法 使用了自行构建的机械零件仿真数据集使目标对象更加贴合实际工业场景采用曲率下采样提高特征点的质量使用 图像和深度图像作为网络输入加入点云法线信息充分利用目标物体的几何信息增强网络对弱纹理或无纹理目标物体的位姿估计能力通过在 数据集和自构建机械零件仿真数据集上进行的对比实验其结果表明该方法优于其他方法不仅在训练时提升了收敛速度也提升了最终的位姿估计准确度 但由于使用的是机械零件仿真数据集所以在实际运用中还存在一定问题下一步工作将结合真实数据集进一步优化网络使其在实际运用中达到较好的效果参考文献 .:.():./.:/.:/./.():.:/:.:/.:/././.:/.:/.(编辑 赵 蓉)组合机床与自动化加工技术 第 期