文献综述—修改版.doc

基于目标位姿的油茶果采摘机器人抓取研究
一、前言
油茶是我国特有的一种可食用油料树种，有两千多年的栽培和利用历史。油茶籽的含油量高达30%以上，其经过加工而成的茶油是一种营养高、品质好的天然绿色食用油，有“东方橄榄油”和“油中软黄金”的美誉[1]。茶油中含有高达80%以上组成同橄榄油极为相似的油酸，长期食用有助于防治血管硬化、高血压等疾病，故其与油棕、油橄榄、椰子一起被誉为世界四大木本食用油料[1-2]。
油茶的经济价值非常高，茶油既是保健绿色的食用油，也是难得的优良工业用油，从中可提取油酸及其它酯类、增香剂、涂料、润滑油等产品，还可以用其深度研发多种保健品、药用品[3-5]。油茶籽中含有13%~18%的茶皂素，具有抗渗、消炎、镇痛、灭菌杀虫等生理作用，所以广泛应用于发泡剂、乳化剂、防腐剂、洗涤剂、杀虫剂等医药产品的生产中[3]。油茶鲜果可以说是全身是宝，油茶籽榨油后得到的油茶籽粕在经过脱毒处理后同样具有很高的营养价值，可作为优质饲料的蛋白源。而油茶鲜果果壳中含有丰富的多缩戊糖、纤维素和木质素，故其是生产糠醛、木糖的理想原材料。总之油茶的产业链很长，然而当前油茶的前加工技术十分落后，严重影响和制约油茶产业的发产，所以此项研究意义重大。
据统计，目前，在我国油茶的种植面积已经超过300万公顷，油茶籽的年产量也早已突破100万吨，而年产茶油更是高达26万吨之多，每年油茶的产值超过110亿元，种植油茶树已成为很多农民重要的致富手段。在我国的长江流域及其以南的14个省（市、区）都有种植油茶，其中又以湖南、江西、广西三省为主要的油茶种植区，这三个省的种植面积占到全国总种植面积的75%以上。湖南省是我国油茶的主产区，种植面积和年产量均列全国第一，全省现有的油茶林面积176万公顷，且还有306.7万多公顷山地适宜油茶的栽培，特别是近些年，新造了10万公顷良种油茶林,加上改造的46.7万公顷低产林,其产量和效益呈现递增的趋势[7]。现有油茶林经过提纯、复壮、嫁接和品改，每公顷产茶油可由原来的75公斤左右提高到750公斤以上。如果湖南实施66.7万公顷高产油茶林建设,按每公顷产450公斤计算，全省茶油年产量将达到30万吨。以油菜每公顷产油600公斤计算，相当于可置换出50万公顷耕地用来种植粮食，可为农民增收125亿元[8]。近年来，国家发展改革委员会、财政部、国家林业局三部委以发改农经2009[2851]号文联合印发了《全国油茶产业发展规划（2009-2020年）》。《规划》以改造现有低产林为重点，新造与低改相结合，通过加大良种繁育基地建设，加强科技研发和推广力度，拟在全国14个省（区、市）的642个县（市、区）山地丘陵适生区域大力发展良种油茶林基地，扩大良种油茶比例和规模，力争到2020年全国油茶种植总规模达到7000万亩，年产茶油250万吨。国家对油茶产业发展高度重视，出台了一系列扶持油茶生产的优惠政策，油茶产业迎来了大发展的契机[6]。
油茶丰产要丰收，适时采摘是关键，特别是油茶被大规模种植后的油茶果能不能及时采摘的问题就显得尤为重要[9-13]。目前，油茶果的采摘基本上是由人工完成的，劳动强度大、效率低，靠人工采摘往往会错过油茶果的最佳采摘时期，造成油茶果的的大量损失，快速发展的油茶产业需要摘果工作机械化、自动化的需求会愈发强烈。因此，在林果类采摘工作中的机械化、智能化、自动化自然而然地成为人们关注的热点问题之一。开展林果类的采摘机器人技术研究，不仅能够降低劳动强度、提高经济效益、顺应市场需求等方面具有一定的现实意义，而且对于促进像我国这样的农业大国加快实现农业集约化化、机械化、自动化，追赶世界农业新技术、加速我国步入农业强国的步伐都有重大的历史意义。
二、国内外关于果蔬类采摘机器人的研究现状
1、国外的研究现状
果蔬类采摘机械化研究始于1968年，美国Brown教授和Schertz教授首次提出水果自动化采摘的建议[14]。利用叶子和果实在电磁光谱的红外区域和可见光区域反射率的差异识别水果[[15]。
受Brown和Schertz的启发，各种关于果实自动化采摘的研究，陆续在世界各地开展起来。Goksel和Parrish在1977年根据上述理论，利用黑白照相机和用于增强绿色叶子和红色苹果对比度的红色光学滤波器，搭建了第一个比较实用的成熟苹果识别机器视觉系统[16]。
意大利的Buemi教授在1995年研究开发了柑橘采摘自动化系统[17]。该系统利用彩色相机采集图像，并将彩色模型转换到HIS系统下，对目标图像进行颜色分割，将对应同一场景的立体图像进行匹配获得柑橘三维信息。实际检测到的成熟柑橘大约为90%，出现的漏检，绝大部分是由于遮挡原因造成的。
荷兰农业环境工程研究所（IMAG）在1996年研制出一种多功能黄瓜收获机器人[18]。该机器人利用近红外视觉系统辨别黄瓜果实，并探测其位置。该机器人视觉系统的黄瓜检测效率大于95%，采摘成功率约80%，采摘速度为54s/个，在温室中作业效果良好。但由于采收时间过长，不能满足商用要求。
马来西亚的Woo Chaw Seng等在2009年设计了一个水果识别系统[19]。该系统综合利用水果的三种特征信息：颜色、纹理及形状，对水果进行分类识别，识别成功率可达90%。
日本农业食品产业技术综合研究机构与澁谷工业株式会社携手在2013年开发出新式固定性草莓采摘机器人[20-23]。这种新开发的固定式机器人与草莓种植平台构成一个新型系统。平台会定期移动到采摘机器人面前，机器人通过CCD摄像头捕获草莓是否变红的信息，一旦发现红色果实，平台就会暂时停止移动，而机器人就会根据颜色辨别出已成熟的草莓，并用带有刀刃的末端执行器[24-34]将其采摘下来[35]。该系统每小时就可以完成16个平台的草莓采摘任务，成功率达到70%以上。
2、国内的研究现状
我国对林果采摘机器人的研究起步较晚，始于20世纪90年代中期，主要集中在高等院校中进行研究，近年来，我国在采摘机器人研究方面与国外相比，差距逐渐缩小[36]。
2001年，南京农业大学的张瑞合[37]、姬长英[38-40]等人对自然环境下番茄的识别与定位进行了研究，他们根据颜色特征从图像上识别番茄，利用双目立体视觉技术[41-42]对红色番茄进行定位，并运用体视成像原理，从两幅二维图像中恢复目标的三维坐标，实验结果认为当目标与摄像机的距离为300mm~400mm时，深度误差可控制在3%~4%，他们主要利用比较成熟的图像分析技术[43]，从实践意义上验证立体视觉在农业果实收获过程中的可行性。
江苏大学的蔡健荣[44-45]等在2005年将RGB彩色模型转换到HIS系统，根据Otsu（大律法）算法[46]自动获取彩色目标图像分割阈值[47]。对成熟西红柿进行测试，根据西红柿的颜色和形状信息，能够识别出成熟西红柿，但对果实部分遮挡或重叠的情况缺少研究[48]。
中国农业大学和潍坊学院于2006年联合研制了茄子采摘机器人[49-50]，采用基于直方图的固定双阈值法对G-B灰度图像进行分割[51-54]，通过对图像分割得到果实目标的二值图像再进行边缘提取、轮廓跟踪和轮廓标记来实现对茄子的识别与定位。性能测试结果表明该机器人抓取成功率为89%，平均耗时为37.4s。
中国农业大学的袁挺[55-56]等在2009年研制了国内第一台黄瓜采摘机器人[57-58]。机器人采用履带式移动底盘和机器视觉导航[59]。目标识别则使用双目立体视觉[60-61]，为了更好地区分同为绿色的叶片果实，加设了830nm的近红外带通滤波[62]。目标识别定位后，由4自由度轻型机械臂带动双指式机械手抓持目标，然后由摆动气缸带动刀片实现对瓜柄的切割。机器人采摘成功率达85%，单根黄瓜采摘耗时28.6s。

三、主要研究内容
由上述国内外研究现状可以看出，大多数研究都放在了果实的识别和定位上，而对果实位置的视觉反馈修正和果实的姿态研究却很少。鉴于此种研究现状，并在导师课题组已研发出的油茶果采摘机器人的基础上，着重研究采摘机器人工作过程中对果实定位时的视觉反馈修正、果实的姿态估计、及基于目标位姿的采摘作业。

现根据课题的最终目标，提出研究内容如下：

1、 对现有的油茶果采摘机器人机械臂进行运动学建模、分析、仿真；
2、 建立一种新的视觉伺服控制系统，该系统要既能获取目标的三维位置信息，还能获取末端执行器在采摘过程中的连续多帧图像；
3、 对果实姿态信息机器视觉测量进行研究，通过新建立的视觉伺服控制系统获取的目标果实多帧图像来计算果实在机器人坐标系下的姿态向量值；
4、提出一种新的位置和姿态估计理论，并对其理论的正确性进行仿真研究，探讨系统参数对整个系统输出的影响，并利用该理论来实现对目标果实位置和姿态信息的最优估计；
5、结合已获取的果实位置和姿态信息来规划机械臂的采摘作业，完成目标果实的位置和姿态信息的更新，完成基于位姿的可靠抓取。

本课题的创新点：
1、在油茶果的识别定位问题上，增加了视觉反馈修正系统来提高对目标果实的定位精确度。
2、在油茶果的姿态测量上，进行油茶果姿态模型的建立与划分，并针对所属模型的不同采用针对性的方法来计算目标油茶果的位姿向量值。

四、结语
通过查阅大量资料，发现国内外大多数研究者对于果实的位置的视觉反馈修正和果实的姿态信息研究很少。而缺乏目标的位置和姿态信息会使抓取成功率降低，同时不适合的抓取方式会对果实和果皮造成损伤。因此，本人看来研究此课题对于提高果实采摘的成功率和对果农增收都有一定的现实意义。在未来的日子里，我将会在李立君教授的指导下，尽自己的最大努力，一丝不苟地完成本课题的研究工作。

五、参考文献：
[1]王瑞元.特种油脂的营养价值[J].粮油加工与食品机械，2004(1)：9-10.
[2]陈学泽,李科林.油茶叶稀提取液中钾离子稳定性的分析[J].中南林学院学报, 1993，13( 1)：94-97.
[3]杨坤国,黄明泉.茶皂素提取与精制方法的改进研究[J].林产化学与工业， 2001(6)：44-47.
[4]杨坤国.茶籽综合利用的研究生产及应用[J].湖北化工，1996(4)：30-32.
[5]赖建辉.茶籽的综合利用[J].茶叶通报，1990(3)：33-36.
[6]国家林业局.全国油产业发展规划(2009-2020年)[M].2009.
[7]陈永忠,王德斌.湖南省油茶良种选育及推广应用概况[J]．湖南林业科技，2001, 28( 3) : 23-27.
[8]吴娟,王薇薇,魏丹等.关于油茶产业发展的思考[J].林业经济，2010(5):45-48.
[9]李帅,周健,李立君等.油茶果采摘机械臂工作空间分析与仿真[J].农机化研究，2015,3:46-49.
[10]张翔,李立君,易春峰,高自成,彭少波.基于D-H 法油茶果采摘机器人正运动学分析[J].农机化研究,2014,4:25-28.
[11]高自成,李立君,刘银辉.油茶果采摘机采摘机械臂的机构设计及运动仿真[J].西北林学院学报,2012,27(2):266-268.
[12]彭少波,周健,李立君等.基于“PMAC”的采摘机器人的运动控制[J].农机化研究,2014,2:76-84.
[13]高自成,王朋辉,王勇桦等.油茶果采摘机器人机械臂伺服系统选型设计[J].农机化研究，2015,5:140-144,150.
[14]宋健,张铁中,徐丽明,汤修映.果蔬采摘机器人研究进展与展望[J].农业机械学报，2006,37(5):158-162.
[15]Harrell R C,Adsit P D,Munilla R D,et al.Robotic picking of citrus.Robotic,1990,8(4):269-278.
[16]Parrish E A,Goksel A K,Jr.Pictorial Pattern Recognition Applied to Fruit Harvesting.Transactions of the ASABE,1977,20(5):828-827.
[17]Buemi F,Massa M,Sandini G.A robotic system for greenhouse operations.In Proceedings of 4th IARP Workshop on Robotics in Agriculture and the food Industry.toulouse,France,1995,172-184.
[18]Van Henten E J,Van Tuijl B A J,Hemming J,et al.Field Test of an Autonomous Cucumber Picking Robot.Biosystems Engineering,2003,86(3):305-313.
[19]Woo C S,Mirisaee S H.A new method for fruits recognition system In Proceedings of International Conference on Electrical Engineering and Informatics Selangor,2009,130-134.
[20]陈利兵.草莓收获机器人采摘系统研究[D].北京：中国农业大学，2005.
[21]戴刘江,张铁中,杨丽.基于DSP的草莓采摘机器人关节控制器的研究[J].中国科技论文在线,2007(3):231-234.
[22]张铁中,陈利兵,宋健.草莓采摘机器人的研究: Ⅱ.基于图像的草莓重心位置和采摘点的确定[J].中国农业大学学报,2005(1):48-51.
[23]冯青春,郑文刚,姜凯,等.高架栽培草莓采摘机器人系统设计[J].农机化研究,2012,34(7):122-126.
[24]M.Monta.End-effectors for tomato harvesting robot[J].Artificial Intelligence Review,1998(12):11-25.
[25]Shigchiko Hayashi,Katsunobu Ganno,Yukitsugu Ishii,et al.Robotic harvesting system for eggplants[J],JARQ,2002,36(3):163-168.
[26]Bulanonet D M,Kataoka T,Okamoto H,et al.Determing the 3-D location of the apple fruit during harvest[C]//Proceedings of the ASAE Conference,2004.
[27]Achmad Irwan Setiawan,Tomonari Furukawa,Adam Preston.A low-cost gripper for an
apple picking robot[C]//Proceedings of the IEEE International Conference on Robotics&Automation,2004.
[28]Harrell R C,Adsit P D,Munilla R D,et al.Robotics picking of citrus[J].Robitica,1990,8:269-278.
[29]Kataoka T,Murakami A,Bulanon D M,et al.Estimating apple fruit locations for manipuaction by apple harvesting robot[C]//TFAC Bio-Robotics,Informational Technology and Intelligent Control for Bio-production Systems,Sakai,Osaka,Japan,2000.67-72.
[30]Birlen L,Gosselin C M.Grasp-state plane analysis of two-phalanx underactuated fingers[J].Mechanism and Machine Theory,2006,41(7):807-822.
[31]Cho S I,Chang S J,Kim Y Y,et al.Development of a three degrees of freedom robot for harvesting lettuce using machine vision and fuzzy logic control[J].Biosystems Engineering,2002,82(2):143-149.
[32]Kitamura S,Oka K.Recognition and cutting syetem of sweet pepper for picking robot in greenhouse horticulture[C]//Proceedings of the IEEE International Conference on Mechatronics and Automation,2005:1807-1812.
[33]Ceres R,Pons F I,Jimenez A R,et al.Design and implementation of an aided fruit-harvesting Robot[J].Industrial Robot,1998,25(5):337-346.
[34]Fujiura T,Ueda K,Hyun Ch S,et al.Vision system for cucumber-harvesting robot[A],IFAC-Robotics,Information Technology and Intelligent Control for Bio-Production Systems[C].Sakai,Osaka,Japan:2000.61-65.
[35]张凯良,杨丽,张铁中.草莓收获机器人末端执行器的设计[J].农机化研究,2009,31(4):54-56,60.
[36]张洁.球形果采摘机器人视觉系统设计与开发[D].秦皇岛:燕山大学,2011.
[37]张瑞合,姬长英,沈明霞等.计算机视觉技术在番茄收获中的应用[J].农业机械学 报,2001,32(5):50-52.
[38]沈明霞,姬长英.农业机器人视觉导航技术发展与展望[J].农业机械学报. 2001(01).
[39]沈明霞,张瑞合,姬长英.农作物边缘提取方法研究[J].农业机械学报.2000(06).
[40]沈明霞,姬长英,张瑞合.基于农田景物边缘的农业机器人自定位方法[J].农业机械学报.2001(06).
[41]VallerandSteve,KanbaraMasayuki,YokoyaNaokazu.Binoc-ularVision-BasedAugmentedRealitySystemWithAnIn-creasedRegistrationDepthUsingDynamicCorrectionOfFea-turePositions. Proceedings.Ofthe2003IEEE,VirtualReality.2003.
[42] Yajun Fang,Ichiro Masaki,and Berthold Horn.Depth-Based Target Segmentation for Intelligent Vehicles:Fusion of Radar and Binocular Stereo. IEEE Transactions On Intelligent Transportation Systems.2002.
[43]雷咏雯,王娟,郭金强,危常州.一种基于图像分析提取作物冠层生物学参数的方法与验证[J].西北农业学报. 2006(03).
[44]蔡健荣,周小军,李玉良,范军.基于机器视觉自然场景下成熟柑橘识别[J].农业工程学报. 2008(01).
[45]蔡健荣,赵杰文.自然场景下成熟水果的计算机视觉识别[J].农业机械学报.2005(02).
[46]郭海涛,王连玉,田坦,张春田,孙鹤泉.利用二维属性直方图的Otsu自动阈值分割方法[J].光电子·激光.2005(06).
[47]耿茵茵,蔡安妮,孙景鳌.自动图像阈值分割算法[J].计算机工程与应用. 2002(17).
[48]自然场景下树上柑橘实时识别技术[J].农业机械学报. 2010(02).
[49]宋健.茄子采摘机器人结构参数的优化设计与仿真[J].机械设计与制造.2008(06).
[50]宋健,孙学岩,张铁中,张宾.茄子采摘机器人机械传动系统设计与开发[J].机械传动. 2009(05).
[51]李丹.图像分割方法及其应用研究[J].科技信息. 2010(36).
[52]肖飞,綦星光.图像分割方法综述[J].可编程控制器与工厂自动化.2009(11).
[53]LIU S.Image Segmentation Technology of the Ostu Method for ImageMaterials Based on Binary PSO Algorithm. Advances in Intelligent andSoft Computing.2011.
[54]Qidan Zhu,Liqiu Jing,Rongsheng Bi.One-dimensional Threshold Average Decomposition for Two-dimensional Ostu Algorithm.Proceedings of 2010 Chinese Control and Decision Conference.2010.
[55]袁挺,李伟,谭豫之,杨庆华,高峰,任永新.温室环境下黄瓜采摘机器人信息获取[J].农业机械学报. 2009(10).
[56]袁挺,许晨光,任永新,冯青春,谭豫之,李伟.基于近红外图像的温室环境下黄瓜果实信息获取[J].光谱学与光谱分析.2009(08).
[57]冯青春,袁挺,纪超,李伟.黄瓜采摘机器人远近景组合闭环定位方法[J].农业机械学报. 2011(02).
[58]纪超,冯青春,袁挺,谭豫之,李伟.温室黄瓜采摘机器人系统研制及性能分析[J].机器人. 2011(06).
[59]袁挺,任永新,李伟,纪超,谭豫之.基于光照色彩稳定性分析的温室机器人导航信息获取[J]. 农业机械学报.2012(10).
[60]Zhang Zhengyou.Flexible camera calibration by viewing a plane from unknown orientations. The Proceedings of the Seventh IEEE International Conference on Computer Vision.1999.
[61]Zhang Zhengyou.A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence .2000.
[62]袁挺,纪超,陈英,李伟,张俊雄.基于光谱成像技术的温室黄瓜识别方法[J].农业机械学报. 2011(S1).