基于深度学习算法的采摘控制系统高效化设计.pdf

基 于 深 度 学 习 算 法 的 采 摘 控 制 系 统 高 效 化 设 计廉侃超(运城学院 数学与信息技术学院,山西 运城044000)摘 要:设计了一款基于履带运动的苹果采摘机器人控制系统。工作原理为:首先,通过安装在机械臂上的工业摄像机采集苹果图像,发送给总控制系统,总控制系统利用深度学习-YOLOv3 算法识别目标苹果,并检测出其位置信息;然后,由安装在夹爪上的测距传感器采集苹果与夹爪之间的距离信息,进行位姿解算,并将结果发送给机械臂运动控制卡,运动控制卡发出动作指令,使得机械臂到达目标采摘位置,夹爪末端的摄像头、红外传感器会辅助确认苹果落入夹爪内;此时,末端执行控制模块发送抓取指令,控制步进电机运转,使得夹爪抓取苹果,并通过压力传感器反馈夹爪闭合的程度,以免抓伤苹果;最后,末端执行控制模块驱动切片电机切割树枝,摘取苹果。实验结果表明:使用该方法准确采摘苹果的概率达到 86.67%,基本能够满足苹果采摘作业的需求。关键词:采摘机器人;总控制系统;深度学习;YOLOv3 算法;末端执行控制模块中图分类号:S225;TP242 文献标识码:A 文章编号:1003-188X(2023)12-0144-050 引言随着现代人们对苹果需求量的增加,各地果园的面积和产量迅速增长。传统的人工采摘作业耗时长、劳动量大、成本较高,已经满足不了当代苹果行业发展的需求。针对上述问题,借助深度学习算法,设计了一款苹果采摘机器人控制系统。系统利用工业相机采集苹果图像,传给总控制系统;总控制系统借助深度学习算法,识别苹果,检测其位置,并通过测量目标苹果与夹爪的距离,命令机械臂抓取采摘目标苹果,以此完成了苹果自动智能化的采摘作业。设计的控制系统不仅减轻了果农的劳动强度,而且提高了苹果的采摘效率,为今后苹果果园智能化作业提供了参考。1 深度学习算法介绍苹果采摘机器人实现智能化高效化采摘作业的基础是必须对目标苹果进行准确的识别与精确的定位,本文借助当下较为流行的深度学习算法-YOLOv3算法来解决该问题。YOLOv3 算法属于“一步式”检测算法,即在目标收稿日期:2021-12-22基金项目:山西省高等学校教学改革创新项目(J2020298);运城学院教学改革创新项目(JG202012);山西省应用基础研究项目(201901D211461);运 城 学 院 学 科 研 究 项 目(XK-2020037)作者简介:廉侃超(1974-),女,山西运城人,副高,硕士,(E-mail)quxunlu34762 。识别的同时生成目标位置,检测速度较快,效率较高。该算法基本思想为:首先,将输入图片进行 NN 的栅格化,每个栅格为 1 个网格;然后,将图片中某个对象的位置的预测任务交与该对象中心位置所在的网格的边界框。在训练时,通过网格的方式告诉模型,图片中目标对象应该由中心落在特定网格的某个范围内的某些像素组成,模型接收到这些信息后就在网格周围以一定大小范围去寻找所有满足目标对象特征的像素,经过很多次训练后便能准确地找出目标 对象。根据上述思想,设计的苹果采摘识别检测系统具体的实现过程为:将工业相机采摘的苹果图像(尺寸为 416416)平均分为 1313 个小格子,若目标苹果的中心位置在其中的 1 个小格子里,这个格子即可作为目标位置体;然后,每个小格子都检测出可能的 3个边界框(指每个小格子预测的边界框的个数为 3个)和 1 个类别(指红色苹果)概率,然后进行 18 个大小为 11 的卷积核进行卷积预测,预测和真实边界框的误差值为 IOU 值(范围为 01);IOU 值越大,证明该格子中目标苹果出现的概率越大,检测精度也就越高,由此识别出了目标苹果及其位置。2 总体设计方案设计的履带式采摘机器人可分为机器人总控制系统、履带底盘控制模块、末端执行控制模块、机械臂运动控制模块以及工业摄像机等 5 个部分,如图 1所示。4412023 年 12 月 农 机 化 研 究第 12 期1)机器人总控制系统是整个采摘系统的核心,以高效的 CPU 为主控制器,统一协调处理来自其他子模块采集的数据,并计算反馈给各部分相应的动作指令。图 1 总体设计框图Fig.1 Overall design block diagram2)履带底盘控制模块主要解决采摘机器人的行走问题,要求其不仅能够自主判断方向,还能够实现自动避障、路径优选等功能,保证机器人能够平稳、可靠地移动。履带底盘控制模块除了自身的主控制器以外,还集成了机器人总控制系统、机械臂运动控制卡以及供电电池等,其主控制器采用 USB 串口与机器人总控系统进行通信。3)机械臂运动控制模块主要包含了 5 自由度机械关节:第 1 自由度是升降台,可根据采摘高度调节夹爪;第 2 自由度是机械腰部旋转关节;第 3 自由度是大臂摆动轴;第 4 自由度 4 号小臂摆动轴;第 5 自由度是末端机械手的旋转轴,主要根据目标苹果的位姿来调整夹爪姿态。该模块采取 TCP 以太网的形式与总控制系统进行通信。4)末端执行控制模块安装在机械臂的末端,主要负责苹果识别定位后进行抓取和采摘苹果的任务。其采取 USB 串口向总控制系统传输数据,并接收来自总控制系统的指令。5)工业摄像机用来采集目标苹果的图像,一般其数据量较为庞大,为了提高数据上传的效率,直接将其通过 USB 接口与总控制系统相连。3 采摘控制系统硬件组成根据总体设计框架,分别对履带底盘控制模块、末端执行控制模块以及机械臂运动控制模块 3 部分进行电路设计。1)履带底盘控制模块的电路包含了主控、大扭矩舵机、伺服电机、陀螺仪、避障传感器、GPS 传感器等部分,电路框图如图 2 所示。其中,主控部分以 STM32F427 为主芯片,负责各个传感器的数据采集及运算,其外围电路增加去耦电容、保护二极管、复位电路等简单模块即可。大扭矩舵机采用有刷减速电机实现,其驱动控制器以绝对值编码器(MLX90316)对舵机进行闭环反馈,控制电机输出位置,获得绝对值坐标。伺服电机选用 SGMJV-02A3A 型,主要用来驱动机器人机械臂的关节。该电机配套 17 位绝对值编码器,能够记录机械臂当前的位置信息。板载陀螺仪主要与伺服电机配合,校正机器人行走、转弯等。避障传感器采用超声波测距模块,用于感应当前位置与障碍物的距离,若小于规定距离,则发出警报。GPS 传感器捕获当前采摘机器人的位置信息,进行导航,同时辅助避障传感器进行避障。2)机械臂运动控制模块包含了运动控制卡、伺服放大及驱动模块、交流伺服电机运动轴以及绝对值编码器等,其结构如图 3 所示。图 2 履带底盘控制模块Fig.2 Track chassis control module图 3 机械臂运动控制模块Fig.3 Manipulator motion control module机械臂运动控制模块主要负责驱动关节电机,并将电机状态、位置等信息反馈给总控制系统,保证机械臂完成高效准确的采摘动作。该部分针对机械臂的各个自由关节,添加脉冲驱动电机,且电机配备编码器能够实时存储机械臂的关节位置。工作过程为:运动控制卡向电机发送脉冲数据及方向偏移数据等,由机器人总控制系统读取每个驱动电机的状态、编码器信息等,并经过对比计算发出下一步的动作指令。3)末端执行控制模块由主控制器、切片电机、夹爪步进电机、激光测距传感器、红外传感器以及压力传感器构成,电路如图 4 所示。图 4 末端执行控制模块Fig.4 End execution control module5412023 年 12 月 农 机 化 研 究第 12 期末端执行模块主控选用 STM32F103 芯片,红外传感器主要用来感知苹果是否落入夹爪能够抓取的范围内。当检测到苹果落入抓取范围时,步进电机开始驱动夹爪抓住苹果,然后切片电机驱动切刀切断苹果与树枝的连接。另外,压力传感器辅助夹爪抓取苹果,它由力敏模块构成,防止夹爪抓伤苹果。激光测距传感器主要辅助摄像机测量苹果与夹爪之间的距离,提高测量正确率。4 采摘控制系统的软件实现依据硬件模块,将系统的软件实现分为采摘机器人总控制程序、履带底盘控制子程序及末端执行控制子程序 3 部分实现。1)采摘机器人总控制程序协调其他各个模块进行数据交互和控制,其实现流程如图 5 所示。图 5 总控制程序Fig.5 General control procedure2)履带底盘控制子程序主要接收总控制系统发来的移动指令,读取当前电机数据,通过陀螺仪分析角度、速度等信息判断是否满足当前地势的情况,从而控制机器人前进或者转弯。实现流程如图 6 所示。图 6 履带底盘控制子程序Fig.6 Track chassis control subroutine3)末端执行控制子程序依靠红外和激光测距传感器触发夹爪,由 MCU 发出脉冲控制指令,压力传感器采集的压力数据满足条件后驱动步进电机运行,夹爪展开,抓取目标苹果,并由切片电机切断树枝,完成采摘。流程如图 7 所示。图 7 末端执行控制模块Fig.7 End execution control module6412023 年 12 月 农 机 化 研 究第 12 期5 结果与分析为了验证上述方法的在准确性,在苹果果园自然环境下,任选 3 株果树,随机进行 15 次抓取实验。实验时,记录苹果的中心点的实际坐标与机械臂末端夹取中心到达的坐标,并计算其误差和绝对误差(指苹果的中心点与机械臂末端夹取中心之间的距离),结果如表 1 所示。表 1 实验数据表Table 1 Experimental data sheet序号实际位姿/mm到达位姿/mm误差/mm绝对误差/mm是否成功抓取1(300,100,610)(303,100,608)(3,0,-2)3.60是2(300,299,770)(300,304,698)(0,5,-2)5.38否3(300,-220,770)(300,-217,771)(0,3,1)3.16是4(300,-110,740)(299,-112,742)(-1,-2,-2)3.00是5(300,160,790)(298,162,792)(-2,2,2)3.46是6(500,100,620)(506,99,619)(6,-1,-1)6.16否7(500,260,770)(500,260,771)(0,0,1)1.00是8(500,-220,770)(501,-218,770)(1,2,0)2.23是9(500,-110,740)(504,-110,737)(4,-0,-3)5.00是10(500,160,790)(503,160,788)(3,0,-2)3.60是11(600,150,735)(603,151,733)(3,1,-2)3.74是12(600,170,680)(595,170,680)(-5,0,0)5.00是13(600,230,753)(601,233,752)(1,3,1)3.31是14(600,226,638)(600,226,634)(0,0,-4)4.00是15(600,125,686)(598,126,688)(-2,1,2)3.00是 由表 1 可以看出:在 15 次苹果抓取的实验中,共有 2 次苹果的中心点坐标与机械臂末端夹取中心坐标出现偏差,其余 13 次均能够准确判断出苹果的位置。因此,利用该方法采摘苹果的正确率能够达到86.67%。6 结论从理论算法、硬件组成及软件实现等 3 方面对苹果采摘机器人进行了分析与设计,使得果园能够实现自主化、智能化采摘作业,减少了果农的劳动强度,节省了人力成本,缩短了采摘周期。研究可为今后果园的智能化管理提供了参考。参考文献:1 吴亚辉,刘春阳,谢赛宝,等.基于视觉深度学习的机器人环境感知及自主避障J/OL.电子测量技术:1-92021-12-19.http:/ 王芳,崔丹丹,李林.基于深度学习的采摘机器人目标识别定位算法J/OL.电子测量技术:1-62021-12-19.http:/ 伍荣达,陈天赐,张世昂,等.果蔬采摘机器人关键技术研究进展J.机电工程技术,2021,50(9):128-132.4 杨延丽.温室番茄采摘机器人系统的研究J.辽宁科技学院学报,2021,23(4):10-13,104.5 任耀星,王一高,景超.基于深度学习的串型番茄采摘机器人设计J.电子技术与软件工程,2021(14):62-63.6 祝前峰,陆荣鑑,李奉顺.苹果采摘机械的研究现状与发展趋势J.林业机械与木工设备,2021,49(5):4-9,15.7 李小斌,吴宏岐,陈渭红,等.一种苹果采摘机器人关节伺服控制系统设计及仿真J.计算机测量与控制,2021,29(3):129-134.8 唐媛红,刘月云.基于机器视觉的采摘机器人分拣控制研究J.农机化研究,2021,43(11):216-220.9 凌轩,刘江涛,梁超越,等.智能草莓采摘机器人设计及试验J.现代农业装备,2021,42(1):46-50.10 吴剑桥,范圣哲,贡亮,等.果蔬采摘机器手系统设计与控制技术研究现状和发展趋势J.智慧农业(中英文),2020,2(4):17-40.7412023 年 12 月 农 机 化 研 究第 12 期11 左斌,张永康,赵海燕,等.高枝水果采摘器设计与研究J.中国农机化学报,2020,41(9):39-46.12 曹煦,苏铭.计算机视觉在果蔬机械采摘中的应用研究J.农机化研究,2021,43(6):239-242.13 李梅.水果采摘机器人运动控制系统设计J.贵阳学院学报(自然科学版),2020,15(2):1-4,10.14 陈振鹏.农业果树采摘机器人功能实现及试验研究J.农机使用与维修,2020(6):31-32.15 杜文龙,徐雪峰.基于视觉的机器人采摘实验平台设计与实现J.智能计算机与应用,2020,10(1):28-34.16 滕丽丽,陈博.基于 STM32 的水果采摘机器人控制系统的研究J.信息记录材料,2019,20(12):199-201.Efficient Design of Picking Control System Based on Deep Learning Algorithm Lian Kanchao(College of Mathematics and Information Technology Yuncheng University,Yuncheng 044000,China)Abstract:This paper designs a control system of apple picking robot based on crawler motion.The working principle of the system is as follows:firstly,the apple image is collected by the industrial camera installed on the manipulator and sent to the general control system.The general control system uses the deep learning yolov3 algorithm to identify the tar-get Apple and detect its position information;Then,the distance sensor installed on the clamping claw collects the dis-tance information between the apple and the clamping claw,performs pose calculation,and sends the result to the manip-ulator motion control card,which sends action instructions to make the manipulator reach the target picking position,and the camera head and infrared sensor at the end of the clamping claw will assist in confirming that the apple falls into the clamping claw;At this time,the end execution control module sends the grasping command to control the operation of the stepping motor to make the clamping claw grasp the apple,and feed back the closing degree of the clamping claw through the pressure sensor to avoid scratching the apple;Finally,the end execution control module drives the slicing motor to cut branches and pick apples.The experimental results show that the probability of accurately picking apples by this method is 86.67%,which can basically meet the needs of apple picking.Key words:picking robot;general control system;deep learning;YOLOv3 algorithm;end execution control module(上接第 143 页)Abstract ID:1003-188X(2023)12-0140-EA Design and Analysis of Precision Fertilization Control System Based on Machine Learning Sun Pei(School of Information Engineering,Chengdu College of Arts and Sciences,Chengdu 610401,China)Abstract:This paper takes the orchard precision fertilization control system as the research object,based on machine learning and binocular visual image acquisition as the input data,accurately controls the position of the fertilization process,and sets the fertilization amount and fertilization interval length to achieve the purpose of precision fertilization.The experimental verification data show that under different travel speeds,the precision fertilization control system can stably control the fertilization process,and the operation process has high applicability and reliability.Key words:precision fertilization;control system;machine learning;binocular vision8412023 年 12 月 农 机 化 研 究第 12 期