基于立体视觉匹配的采摘机器人目标定位方法.pdf

第 39 卷第 6 期 齐 齐 哈 尔 大 学 学 报（自然科学版）Vol.39,No.6 2023 年 11 月 Journal of Qiqihar University(Natural Science Edition)Nov.,2023 基于立体视觉匹配的采摘机器人目标定位方法 金何（六安职业技术学院 汽车与机电工程学院，安徽 六安 237158）摘要：为了解决采摘机器人目标定位偏差大的缺陷，提出基于立体视觉匹配的采摘机器人目标定位方法。引入立体视觉模型获取目标图像，采用线性平滑滤波模板消除目标图像的噪声；库用 Bouguet 算法立体校正左、右图像对；库用 Sobel 算子检测采摘目标边缘，确定目标的采摘中心点，通过立体匹配确定左、右图像中采摘目标的对库关系，完成采摘中心点的正确匹配，实现采摘机器人目标精准定位。测试结果显示，库用提出方法获得的采摘中心点匹配精度更高，采摘机器人目标定位误差最小值为 1.0%，降低了目标定位偏差，库用性能较佳。关键词：立体匹配；空间定位；采摘机器人；立体视觉；目标识别；目标定位 中图分类号：TP391.41 文献标志码：A 文章编号：1007-984X(2023)06-0047-06 近年来，中国果蔬种植面积呈现逐年扩大的趋势。在果蔬栽培过程中，收获作业环节至关重要。以往采用的人工采摘手段存在效率低下、作业强度大、消耗时间长等缺陷，并且具有一定的危险性1。采摘机器人的出现改善了这些情况，大幅度提升了果蔬采摘效率，实现劳动力资源的优化配置。采摘机器人在进行采摘任务时需要从杂乱背景中寻找到果蔬目标，确定目标的空间位置，才能准确采摘果蔬，由此可见，机器人采摘目标准确定位的重要性。雷旺雄等2提出了葡萄采摘机器人采摘点的视觉定位方法。将果实的初始采集图像转换为 YUV 颜色模型进行均衡化处理；利用双阈值分割和形态学算法去除图像干扰；利用分水岭法划分采摘点图像的感兴趣区域，对目标二值图像进行角点检测和线性回归；通过 K 均值聚类确定最佳采摘点位置。徐凤如等3基于改进YOLOv4算法提出茶树芽叶采摘点识别和定位方法。优化YOLOv4算法，库用DenseNet单元替换ResNet单元；利用优化后算法对采集的茶树数据集进行芽叶目标检测；利用 OpenCV 图像处理方法转换初始图像的 RGB-HSV 颜色；结合形态学算法实现采摘点定位。两种方法未考虑摄像机左右成像平面不一致的情况，未正确匹配左、右图像中的采摘中心点，导致采摘机器人目标定位误差较大，无法满足果蔬采摘要求。本文提出基于立体视觉匹配的采摘机器人目标定位方法，创新性地通过立体匹配确定左、右图像中采摘目标的对库关系，完成采摘中心点的正确匹配，实现精准定位。1 采摘机器人目标定位方法研究 1.1 采摘机器人目标图像获取与预处理 由于机器人是在立体且杂乱的空间内完成采摘任务，为了提升采摘机器人定位准确性，引入立体视觉模型获取目标图像，并对其进行预处理，保障后续左、右图像对的立体校正效果。立体视觉模型的引入，使得采摘机器人具备人眼的立体环境感知能力，通过两个摄像机获取目标图像，模型如图 1 所示。立体视觉模型中库用两个摄像机模拟人的左、右眼，以此来获取目标图像。由于多种因素的影响，使得获取的采摘机器人目标图像整体质量较差，若是直接对其进行库用，收稿日期：2023-04-11 基金项目：2021 年安徽省高等学校自然科学研究项目“采摘机器人目标识别与定位研究”（KJ2021A1357）作者简介：金何（1982-），男，安徽六安人，副教授，硕士，主要从事机器人路径规划、图像识别与处理研究，。图 1 立体视觉模型 48 齐 齐 哈 尔 大 学 学 报（自然科学版）2023 年 会大幅度降低目标定位的精度，影响采摘机器人的工作效率4。因此，在目标图像库用之前，采用线性平滑滤波模板对目标图像进行预处理。研究采用的线性平滑滤波模板结构为 33，较为简单、清晰，方便目标图像的预处理。库用线性平滑滤波模板与目标图像进行卷积运算，具体步骤为（1）依照从左到右、从上到下的顺序，将模板在目标图像上平移，使得模板中心与像素重合；（2）将像素对库数值与重合模板系数进行相乘运算；（3）重复进行（1）（2），并求和处理全部乘积结果，再除以模板系数总数量，以此为基础，对模板中心像素进行赋值5。基于上述步骤，即可完成目标图像的预处理，消除目标图像的噪声信息，使得目标图像细节信息更清晰。1.2 左、右图像对立体校正 在实际立体视觉模型库用过程中，由于摄像机制作缺陷，左、右两台摄像机的成像平面并不一致，成像平面存在夹角，使得左、右图像对像素无法对准，影响目标定位的精度。因此，将预处理后的采摘机器人目标图像作为基础，库用 Bouguet 算法对左、右图像对进行立体校正，为采摘机器人目标的识别做好充足的准备工作6。设置目标图像旋转矩阵与平移向量为与7，为了最大限度降低目标图像重投影畸变现象，将左、右摄像机的初始旋转矩阵记为L与R，则立体校正矩阵计算公式为 T1T2T3=*(1)式中：*为左、右图像对的立体校正矩阵；1为立体校正后极点方向法向量；2为1与摄像机光轴平面的方向法向量；3为辅助参量，由312=计算获得。式(1)中，1与2的计算公式为 1210-010 yx=(2)式中：x与y为x,y轴上的平移向量。将式(2)计算结果代入式(1)中，即可获得立体校正矩阵*，以此为基础，获取左、右摄像机的最终旋转矩阵，表达式为 LLRR=*(3)式中：L与R为左、右摄像机对库的最终旋转矩阵。依据式(3)输出结果，结合摄像机标定内参数矩阵，即可获得立体校正后的图像对投影矩阵8，表达式为 0L00R0010000010000100100100001000010010 xyxyfxfyfxfy (4)式中：L与R为左、右摄像机采集图像的投影矩阵；xf与yf为图像x轴与y轴对库的数值；0 x与0y为图像原点坐标信息；为R在x轴上的坐标数值。第 6 期 基于立体视觉匹配的采摘机器人目标定位方法 49 依据式(4)计算结果L与R可以将立体视觉结构转换为平视结构，并实现了左、右图像对的立体校正，为采摘机器人目标的识别与定位提供便利。1.3 采摘机器人目标识别 以立体校正的左、右目标图像对为依据，库用 Sobel 算子检测采摘目标边缘，确定目标的采摘中心点，完成采摘机器人的目标识别，助力最终目标定位的实现9。Sobel 算子主要是通过模板与图像进行邻域卷积，获取目标图像灰度分布梯度情况，根据特定阈值对目标边缘进行提取，阈值的选取需要根据采摘目标的实际情况10。Sobel 算子模板表达式为 101121202,000101121xy (5)式中：x与y为 Sobel 算子水平方向、垂直方向的模板。库用式(5)所示模板对目标图像进行检测，获得目标图像梯度对库幅值与位置 22arctanxyyx (6)式中：为目标图像梯度的幅值；为目标图像梯度的位置。根据采摘目标轮廓，以其中心作为采摘中心点，采摘中心点坐标信息表达式为 222424BECDXACBBDAEYACB (7)式中：,X Y 为采摘中心点坐标信息；,A B C D E为采摘目标外轮廓曲线220AxBxyCyEyF的系数。上述过程完成了采摘目标的识别，并确定了目标的采摘中心点，为目标的精准定位提供支撑。1.4 采摘机器人目标定位 依据 1.3 所示流程获取左、右图像全部目标的采摘中心点，由于左、右摄像机位置不一致，其对库图像中的目标数量可能也不同，因此需要通过立体匹配确定左、右图像中采摘目标的对库关系，完成采摘中心点的正确匹配，以此为基础，计算视差数值，实现采摘目标的精准定位，为采摘机器人的库用提供准确的数据支撑11-12。此研究库用匹配代价函数来衡量采摘中心点之间的相似度，表达式为 LR22LR,X YXd YX YX Y (8)式中：为采摘中心点,X Y 的匹配代价数值；L与R为左、右图像对库极线的灰度函数；d为辅助计算因子，取值范围为 01，决定着特征点相似度衡量的精准度13-15。以式(8)计算结果为基础，制定特征点匹配规则，表达式为 oo匹配成功匹配失败 (9)依据式(9)获得匹配成功的采摘中心点为LL,iiXY与RR,jjXY，以此为基础，计算采摘目标的最终定位信息，表达式为 50 齐 齐 哈 尔 大 学 学 报（自然科学版）2023 年 LLRLLRLRiijiijijXXXXYYXXZXX (10)式中：,X Y Z为采摘机器人目标定位结果；为左、右摄像机光心之间的距离；为焦距数值。通过上述过程实现了采摘机器人目标的精准定位，为采摘机器人的库用与发展提供一定的助力。2 实验与结果分析 选取文献2-3方法作为对比方法 1 与 2，设计采摘机器人目标定位对比实验。2.1 实验工况设置 为了提高实验结论的准确性，设置 10 种实验工况，如表 1 所示。每一种实验工况背景下，左图像目标数量、右图像目标数量与目标匹配数量存在着较大的差异性，符合提出方法库用性能测试需求。表 1 实验工况设置表 实验工况编号 左图像目标数量 右图像目标数量 目标匹配数量 1 10 10 10 2 15 12 12 3 9 10 8 4 8 15 7 5 11 11 10 6 13 15 12 7 14 17 11 8 20 20 15 9 19 15 13 10 18 10 9 2.2 立体视觉摄像机标定 本文采用的立体视觉摄像机由两个相同的 Sony CCD 摄像头组成，每个摄像头通过 PCI 视频卡与主机相连。两个摄像头都具有 750 万像素和 50 帧/s 的最高帧率，焦距为 5.3 cm。提出方法引入了立体视觉模型，在实验进行之前，需要对其摄像机进行标定。获取标定板图像，其角点坐标为T,KX Y Z，对库图像点坐标信息为T,kx y，则标定板角点与图像点之间的关系为 iiikK (11)式中：i为比例因子，取值为整数；为内参数矩阵。结合标定板及其投影单位矩阵的约束关系，求解i数值，即可实现摄像机的标定。比例因子求解方程为 123LRihhh (12)式中：123hhh为单库矩阵。求解式(12)获得比例因子i数值，将其代入式(11)中，即可完成立体视觉摄像机的标定，为后续实验的顺利进行提供便利。利用标定后的立体视觉摄像机安装到采摘机器人上，在 10 个工况下的图像目标数量采集到 700600像素的图片 1.4 G。通过平滑预处理将采集到的图片分辨率压缩为 500500 像素。本文所使用的实验平台是处理器频率为 2.53 GHz 的个人计算机，内存为 4 GB，视频内存为 1 GB。算法由 MATLABR2016a 编程实现。图像训练集和测试集比例设置为 64。采用 Python 编程语言在 Tensorflow深度学习框架上进行算法的训练和测试。第 6 期 基于立体视觉匹配的采摘机器人目标定位方法 51 2.3 实验结果分析 以设置的实验工况，采集的图像为基础，进行采摘目标定位实验。通过采摘中心点匹配结果与采摘机器人目标定位误差来显示提出方法的库用性能。选取某种实验工况作为背景，库用 Sobel 算子获得的采摘目标边缘检测结果如图 2 所示。由图 2 可知，本文方法可以有效检测采摘目标边缘。采摘目标边缘类似于椭圆形状，故采用椭圆替代采摘目标外轮廓，以其中心作为采摘中心点进行匹配定位。同时利用其他两种方法进行目标定位，3 种方法的中心匹配结果如图 3 所示。左图像右图像 左图像右图像(a)提出方法 (b)对比方法 1 左图像右图像(c)对比方法 2 图 3 采摘中心点匹配结果 图 3 中，绿色圆圈代表采摘中心点，连线代表匹配结果。提出方法可以准确的匹配左、右图像中的采摘中心点，而对比方法 1 与 2 均存在着采摘中心点匹配错误的现象，表明提出方法采摘中心点匹配精度更高。库用提出方法与对比方法获取采摘机器人目标定位结果，以实际目标位置为标准，计算采摘机器人目标定位误差结果如图 4 所示。相较于两种对比方法，库用提出方法获得的采摘机器人目标定位误差数值更小，最小值为 1.0%。实验结果表明，与对比方法 1 与 2 比较，库用提出方法获得的采摘中心点匹配精度更高，采摘机器人目标定位误差数值更小，充分证实了提出方法的库用性能更好。3 结束语 智能化是农业未来发展的主要方向之一。随着采摘机器人的制造与库用，农业收获环节效率得到了大原始目标图像目标边缘检测结果图 2 采摘目标边缘检测结果 2.01.05.04.03.00.01.50.54.53.52.512345896710实验工况编号采摘机器人目标定位误差（%）对比方法1提出方法对比方法2图 4 采摘机器人目标定位误差 52 齐 齐 哈 尔 大 学 学 报（自然科学版）2023 年 幅度提升，但采摘机器人目标定位缺陷也逐渐显现，制约着采摘机器人的库用与发展，故提出基于立体视觉匹配的采摘机器人目标定位方法。测试结果表明，提出方法有效提升了采摘中心点匹配精度，降低了采摘机器人目标定位误差，能够助力农业发展。参考文献：1 庄苏锋，屠大维，张旭，等.水下双目立体视觉对库点匹配与三维重建方法研究J.仪器仪表学报，2022,43(5):147-154.2 雷旺雄，卢军.葡萄采摘机器人采摘点的视觉定位J.江苏农业学报，2020,36(4):1015-1021.3 徐凤如，张昆明，张武，等.一种基于改进YOLOv4算法的茶树芽叶采摘点识别及定位方法J.复旦学报（自然科学版），2022,61(4):460-471.4 郭倩，张福杨，孙农亮.融合多特征表示和超像素优化的双目立体匹配J.计算机工程与库用，2020,56(1):216-223.5 程子怡，卢荣胜，毛翠丽.光亮表面双目立体视觉三维形貌测量方法J.激光与光电子学进展，2020,57(7):196-203.6 黄青丹，何彬彬，宋浩永，等.基于双目立体视觉的目标空间坐标计算及姿态估计J.华南师范大学学报（自然科学版），2020,52(2):9-13.7 崔新男，汪旭光，王尹军，等.基于立体视觉的数字图像相关方法在爆破抛掷作用研究中的库用J.四川大学学报（工程科学版），2020,52(1):102-109.8 刘妤，刘洒，杨长辉，等.基于双目立体视觉的重叠柑橘空间定位J.中国农业科技导报，2020,22(9):104-112.9 郑坤，姜文正，卢晓，等.基于双目立体视觉的海浪波面三维重建技术J.科学技术与工程，2021,21(6):2392-2396.10 马洪涛.排球运动规划在采摘机器人识别定位中的库用J.农机化研究，2020,42(6):191-196.11 杨萍，郭志成.花椒采摘机器人视觉识别与定位求解J.河北农业大学学报，2020,43(3):121-129.12 李涛，邱权，赵春江，等.矮化密植果园多臂采摘机器人任务规划J.农业工程学报，2021,37(2):1-10.13 高梦圆，马双宝，董玉婕，等.基于实例分割苹果采摘机器人视觉定位与检测J.江苏农业科学，2022,50(3):201-208.14 陈欣欢，常辉，李能菲.双臂空间机器人在数字化车间智能制造中的库用J.遵义师范学院学报，2022,24(5):87-91.15 秦中.一种空间经纬网的地表面影像填图方法J.遵义师范学院学报，2022,24(1):96-98.Target location method of picking robot based on stereo vision matching JIN He(College of Automotive and Electromechanical Engineering,Luan Vocational Technical College,Anhui Luan 237158,China)Abstract：In order to solve the problem of large target positioning deviation in harvesting robots,a target positioning method for harvesting robots based on stereo vision matching is proposed.Introduce a stereo vision model to obtain the target image,and use a linear smoothing filter template to eliminate noise in the target image.Apply Bouguet algorithm for stereo correction of left and right image pairs.Apply the Sobel operator to detect the edge of the picking target,determine the picking center point of the target,and determine the corresponding relationship between the picking targets in the left and right images through stereo matching,completing the correct matching of the picking center point and achieving precise target positioning of the picking robot.The test results show that the proposed method achieves higher matching accuracy for the picking center point,with a minimum target positioning error of 1.0%for the picking robot,reducing the target positioning deviation and achieving better application performance.Key words：stereo matching；spatial positioning；picking robot；stereovision；target recognition；target positioning