基于深度判别的零件吸附位姿搜索.pdf

中国新技术新产品2024 NO.3（上）-21-高 新 技 术2022 年我国工程机械产业规模突破 9 000 亿元，位居全球第一。而随着国际经济形势的复杂化，加快产业转型升级并构建新的竞争优势尤为迫切1。在工程机械装备组装中，使用拼接式电磁吸盘吸附定制化零件是一个必要的程序，其本质为在一定约束下不同图像中目标区域的重合面积最大化问题。然而目前的研究2对非规则型零件的吸附成功率低且吸附位姿搜索耗时。值得注意的是，对非规则型零件的外形尚无明确的几何定义。文献 2 最早尝试做出文字描述（参见 1.2.1 节），并进一步对非规则型零件使用PSO搜索吸附位姿。然而其成果还不能完全胜任实际生产，原因主要有 2 点。1）识别非规则型零件过于耗时。2）PSO 搜索耗时较高。目前基于深度学习的图像分类模型取得了较好发展，且进行模型前向推理时在计算速度上具有一定优势3。受此启发，本文尝试使用深度神经网络识别非规则型零件。为此，本文收集并建立了一批零件图像数据集，提出的神经网络模型在测试集上的分类准确率接近 100%且推理速度快，提出的改进型 GWO 搜索在试验中也取得了更高的吸附得分。1 本文算法1.1 问题描述机器人在工程机械场景中作业时，零件是相对静止的，并通过端拾器与零件的贴合部分产生磁力。因此吸附位姿主要指吸盘贴合零件时的平面位置坐标与自身旋转角度，记为pose=x，y，angle。磁块的开闭由贴合面积与磁块面积的比值决定，在实际的工程经验中，比值一般设为 0.9 以上。上述优化问题可形式化定义为公式（1）。Object poseISSFGSubjectto ISSposeiriiiii:max:?1 ifr0 0 900 9.ifrSSi?（1）式中：i 为端拾器中的第 i 个磁块；I 为指示函数，当 I 为 1，代表磁块被打开，反之则代表磁块关闭；Si为第 i 个磁块的面积；Sr为第 i 个磁块与零件的贴合面积；Fi为第 i 个磁块的额定吸力；G 为被搜索零件的重力。优化目标为提高吸盘在指定吸附位姿下产生的吸力与零件重力的比值分数。比值越大，代表吸附位姿越好，实际的吸附也会更稳定、安全。1.2 零件类别判断1.2.1 工业零件数据集标注文献 2 将吸盘图像与零件图像在彼此重心点处水平重合后，按一定角度间隔进行顺时针旋转。如果吸盘产生的最大吸力不小于零件重力的 1.3 倍，则零件为规则型，否则为非规则型。记此定义为，其数学化定义如公式（2）所示。?11 30ififrrmax.maxposeiiiiposeiiiISSFGISSF?iG1 3.（2）式中：1 为规则；0 为非规则。本文收集了一批工业零件的等比例图像数据集，使用重心旋转搜索法对零件图像进行判断，并给予标签。最后通过随机抽样划分训练集与测试集。1.2.2 网络模型与训练将神经网络模型代表的函数定义为 F（），希望在网络参数 的更新过程中将 F 尽可能逼近，如公式（3）所示。?limnF?（3）式中：n 为训练迭代的步数。本文将 DenseNet 作为最后的零件类别判断模型。考虑平衡精度与时间开销，本文将 DenseNet-121 作为最终分类器，具体参见文献 3。为了进一步提升网络的分类表现，本文还使用迁移学习和图像合成方法。其中迁移学习将基于ImageNet数据集预训练出的模型作为初始权重。输入图像合基于深度判别的零件吸附位姿搜索曾德天1孙乐涵1刘浩1谢静娟2徐悦1（1.湖南人文科技学院，湖南 娄底 417000；2.娄底潇湘职业学院，湖南 娄底 417000）摘 要：重工机械设备组装中定制化零件具有形状复杂、尺寸跨度广的特点，实际生产中，吸附零件的准确性与实时性仍有较大的优化空间。为此本文提出了基于深度判别的零件吸附位姿搜索算法。通过 DenseNet-121模型对合成的图像进行判断，并对判为非规则类型的零件使用 GWO 搜索吸附位姿，同时引入了基于重心点的高斯分布或均匀分布抽样初始化种群。试验表明，本文提出的判断模型平均准确率为99.3%，推理时间降低了487倍。而提出的改进 GWO 在非规则型零件集上的吸附得分提升了7.7%，整体时间开销降低了39.42%，证明了本文方法具有更好的快速性与准确性。关键词：形状分类；GWO；神经网络；吸附优化中图分类号：TP391 文献标志码：A基金项目：湖南省教育厅科学研究项目一般项目“面向智能制造的零部件预处理分拣线关键技术研究及应用”（项目编号：22C0596）。中国新技术新产品2024 NO.3（上）-22-高 新 技 术成方法如下：将零件的二值化图像作为第一个通道，拼接式吸盘的二值化图像作为第二个通道，第三个通道的构建则包括优化问题的相关关键信息，此处参考了文献 4 的做法。但不同的是，本文为强化相关数据，将第三个通道中每行数据均设置相同，每列则为 8 个关键数据的重复循环，其中 8个关键数据的排列与含义见表 1。1.3 位姿搜索加速与优化本文引入 GWO 算法对 pose 进行搜索，同时为了对 GWO搜索过程进行加速，分别探索了高斯分布与均匀分布抽样初始化技术。GWO模拟了自然界灰狼的社会层级和狩猎机制，狼群通过狩猎不断逼近理想中的最优位姿，具体细节参见文献 5。GWO 算法属于迭代优化，实时性不高，而理想的初始化群体有助于过程的快速收敛并获得较好的结果，较差的初始化可能导致过程收敛较慢或陷入局部最优。因此本文尝试使用高斯分布抽样初始化与均匀分布抽样初始化技术对 GWO的搜索过程进行加速与优化，具体描述如下。1.3.1 基于重心的高斯分布抽样初始化本文尝试使用高斯分布抽样来初始化吸附位姿（灰狼）。同时鉴于重心旋转搜索法可以较好地处理规则型零件，此处将零件的重心（记为（centerx，centery）与旋转角水平 0度作为位置参数的一部分。以吸附位姿的第一个分量抽样为例进行说明，其他分量的抽样原理相同，仅位置参数有所变化。假设随机变量 Y 服从一个位置参数为 centerx、尺度参数为 的高斯分布（试验中设置 2=100，为经验参数），如公式（4）所示，其概率密度函数如公式（5）所示，吸附位姿的第一个分量将从此分布中随机抽样获得。YN（centerx，2）（4）fyey centerx?12222?e（5）1.3.2 基于均匀分布的抽样初始化本文尝试使用均匀分布抽样来初始化吸附位姿，同样以吸附位姿的第一个分量抽样为例进行说明。假设随机变量U服从均匀分布，如公式（6）所示，width 为零件图像的宽度，其概率密度函数如公式（7）所示，吸附位姿的第一个分量将从此分布中抽样获得。U（0，width）（6）()widthuwidthuf=0,01（7）2 试验2.1 试验说明本文的硬件平台为11th Gen Intel（R）Core（TM）i5-11300H3.10GHz 3.11GHz，运行内存 16G，无 GPU 加速。操作系统为 Windows 10，编程语言为 Python 3.8，使用 Pytorch 框架实现零件图像分类模型。在零件图像分类数据集中，训练集包括 2201 张图片，其中不规则型零件图像 731 张；测试集包括 549 张图片，其中不规则型零件图像 182 张。本试验选择 9 个具有代表性的神经网络分类模型进行比较，包括 DenseNet、VGGNet、ResNet、MobileNet_V2、ShuffleNet_V2、DenseNet、EfficientNet_V1、RegNet、Vit 和 GoogleNet。而在吸附位姿搜索中，比较了本文的算法与其他算法（PSO-Levy2与重心旋转搜索）的平均吸附得分与时间开销。2.2 零件类别判断本文将平均准确率作为模型的评价指标，同时比较了DenseNet-121模型推理与重心旋转搜索判断的时间开销。在原始的零件图像训练集上，本文训练了 9 种神经网络模型并进行了测试，每个模型在训练中还使用了迁移学习，其中 DenseNet-121 取得了最高的平均准确率 95.6%。为进一步提升模型表现，本文使用 DenseNet-121 在合成图像数据集上进行训练。图 1（a）展示了 DenseNet-121 在合成图像测试集上的混淆矩阵，由图可知，准确率为（182+363）/（182+4+363+0）99.3%，比未使用合成数据的最好表现提升了 3.7%。由此可以推断，在原始零件图片的基础上加入拼接吸盘、零件尺寸和问题实际约束等信息，有助于神经网络模型提升分类准确率。此外，不规则型零件的召回率为 182/表 1 8 个关键数据排列及其含义数据1数据2数据3数据4数据5数据6数据7数据8重心点横坐标重心点纵坐标-（零件宽度）/2（零件高度）/2-（零件高度）/2（零件高度）/2-（最大旋转角度）/2（最大旋转角度）/2图 1 混淆矩阵和不同方法的性能比较不规则真实标签不规则混淆矩阵数量（张）预测标签规则规则（a）测试集上的表现（b）不同方法的性能比较平均吸附得分重心旋转搜索PSO-levyGWO1.41.21.00.80.61 4001 2001 00080060040020001 332.181.193894.21.1961.110GWO其他0.624144.45高斯分布 均匀分布18236304时间开销/s中国新技术新产品2024 NO.3（上）-23-高 新 技 术（182+0）=100%，完全实现了精准发现不规则型零件的目标。2.3 吸附位姿搜索运行 GWO 算法前，需要确定 GWO 算法中的关键超参数，即狼群数量与迭代总次数。基于性能与时间开销的平衡，并结合大量实际测试与结果，本文推荐在狼群数量为30，迭代次数为 30。本节试验比较了本文的位姿搜索算法和其他方法的优劣。图 1（b）展示了对比试验数据，包括平均吸附得分与时间开销。由图可知，重心旋转搜索法平均吸附得分仅 0.624，纵使其平均时间开销仅为 144.45s，但完全无法保障抓取的安全性。PSO-Levy2方法为 1.11，可以对不规则零件进行初步抓取。然而更高的吸附分数 1.196由均匀分布抽样初始化的 GWO 获得，提升了（1.196-1.11）/1.11 7.7%，充分证明了本文算法的优势。而在时间开销上，改进 GWO 算法的平均搜索耗时为 894.2s，也低于 PSO-Levy2的 1332.18s。因此，本文的搜索算法在性能与时间开销取得了一定的平衡。2.4 整体耗时分析表2展示了本文方法（DenseNet-121判断+改进的GWO算法）与文献 2（使用重心旋转搜索判断+PSO-Levy）在时间开销上的比较见表 2。每个数据均为运行 10 次后的平均值。由表 2 可知，由于 DenseNet-121 前向推理在时间开销上仅为0.296s，比重心旋转搜索的 144.45s 降低了 487 倍。而从整体时间开销上来看，本文所提方法的时间开销为 894.496s，比文献 2 的 1476.63s 降低了 39.42%。2.5 实例展示不同非规则型零件在同一端拾器与不同算法下的抓取实例如图 2 所示。由重合区域的对比可知，本文算法给出的吸附位姿能产生更大的重合面积与吸附磁力。3 结论本文提出的吸附位姿搜索算法使用 DenseNet-121 模型快速筛选非规则型零件，同时首创的图像数据合成方法可使模型的平均准确率接近 100%，并使用改进的 GWO 搜索非规则型零件的吸附位姿。零件图像数据集上的试验表明，本文算法的平均吸附得分比其他算法有明显提升。综上所述，本文吸附方法基本满足了工程机械场景下的实时性要求，对智能化生产改造有一定的借鉴意义。参考文献1 袁振.世界级工程机械产业集群的发展探索 J.金属加工：冷加工，2022（12）：4-6.2Zeng D，Shi J，Zhan J，et al.A fast and global search method for grasping pose optimization in manufacturingJ.Journal of Intelligent&Fuzzy Systems，2021，41（1）：1713-1726.3 高新闻，李帅青，金邦洋.基于 DenseNet 分类的隧道裂缝检测研究 J.计算机测量与控制，2020，28（8）：58-61.4 李凯文，张涛，王锐，等.基于深度强化学习的组合优化研究进展 J.自动化学报，2021，47（11）：2521-2537.5 张晓凤，王秀英.灰狼优化算法研究综述 J.计算机科学，2019，46（3）：30-38.注：从左到右依次为重心旋转搜索法、PSO-Levy2和本文算法。图 2 不同方法的抓取效果示意图表 2 本文方法与其他方法的整体时间开销对比方法DenseNet-121判断+改进的GWO算法重心旋转搜索+PSO-Levy2平均耗时（方差）0.296s+894.20s（0.019）144.45s+1332.18s（0.063）