基于机器视觉与机器学习的火龙果重量估计.pdf

基金项目:国家重点研发计划项目(编号:Y F D )作者简介:梁英凯,男,华南农业大学在读硕士研究生.通信作者:周学成(),男,华南农业大学教授,博士.E m a i l:z x c e ms c a u e d u c n收稿日期:改回日期:D O I:/j s p j x 文章编号 ()基于机器视觉与机器学习的火龙果重量估计D r a g o n f r u i tw e i g h t e s t i m a t i o nb a s e do nm a c h i n ev i s i o na n dm a c h i n e l e a r n i n g梁英凯,L I ANGY i n g k a i,商枫楠,SHANGF e n g n a n,陈桥,CHENQ i a o,肖明玮,X I A O M i n g w e i,罗陈迪,L U OC h e n d i,李文涛,L IW e n t a o,周学成,ZHO UX u e c h e n g,(华南农业大学工程学院,广东 广州 ;广东省农业人工智能重点实验室,广东 广州 ;南方农业机械与装备关键技术教育部重点实验室,广东 广州 )(C o l l e g eo fE n g i n e e r i n g,S o u t hC h i n aA g r i c u l t u r a lU n i v e r s i t y,G u a n g z h o u,G u a n g d o n g ,C h i n a;G u a n g d o n gP r o v i n c i a lK e yL a b o r a t o r yo fA g r i c u l t u r a lA r t i f i c i a l I n t e l l i g e n c e,G u a n g z h o u,G u a n g d o n g ,C h i n a;K e yL a b o r a t o r yo fK e yT e c h n o l o g yo nA g r i c u l t u r a lM a c h i n ea n dE q u i pm e n t,M i n i s t r yo fE d u c a t i o n,G u a n g z h o u,G u a n g d o n g ,C h i n a)摘要:目的:解决火龙果人工称重耗时、费力且成本高昂等问题,提出一种基于机器视觉和机器学习的自动化重量估计方法.方法:首先,对 个火龙果进行称重、记录重量并拍摄、构建火龙果图像.然后,对火龙果进行降噪和分割,得到火龙果的二值图像,并从中提取出火龙果像素面积、长轴像素长度和短轴像素长度项图像特征.将以上图像特征与重量组合成数据集,按照比例将数据集划分为训练集和测试集.最后,将训练集输入梯度提升、随机森林、K近邻和人工神经机器模型中训练,并利用测试集进行模型评估.结果:人工神经网络评价指标相较于其他模型更优,决定系数为 ,均方根误差为 .结论:该方法能够有效地完成火龙果重量估计,满足火龙果重量估计的要求.关键词:机器视觉;机器学习;火龙果;重量估计A b s t r a c t:O b j e c t i v e:I no r d e rt os o l v et h ep r o b l e m o f m a n u a lw e i g h t i n go fd r a g o nf r u i t,i n c l u d i n gt i m e c o n s u m i n g,l a b o r i o u sa n de x p e n s i v e,a na u t o m a t e dw e i g h t e s t i m a t i o nm e t h o db a s e do nm a c h i n ev i s i o n a n d m a c h i n el e a r n i n g w a s p r o p o s e d i n t h i sr e s e a r c h M e t h o d s:F i r s t l y,d r a g o nf r u i t s w e r e w e i g h e d,r e c o r d e da n dp h o t o g r a p h e d,a n di m a g e so fd r a g o nf r u i t sw e r ec o n s t r u c t e d S e c o n d l y,b i n a r y i m a g e s w e r e o b t a i n e d a f t e rd e n o i s i n ga n d s e g m e n t a t i o n M o r e o v e r,t h e t h r e e f e a t u r e s o f p i x e la r e a,m a j o ra x i sp i x e ll e n g t ha n d m i n o ra x i sp i x e ll e n g t ho fd r a g o nf r u i t sw e r ee x t r a c t e do nt h eb a s i so fb i n a r yi m a g e s T h et h r e e f e a t u r e s o f e a c h i m a g e a n d t h e i r c o r r e s p o n d i n gw e i g h t sw e r ec o m b i n e d i n t oas e to fd a t a,w h i c hw a sd i v i d e di n t ot r a i n i n gs e ta n dt e s t s e t a c c o r d i n gt ot h er a t i oo f F i n a l l y,t h et r a i n i n gs e tw a si n p u ti n t ot h eG r a d i e n tB o o s t i n g,R a n d o m F o r e s t,K N e i g h b o r s a n d A r t i f i c i a l N e u r a l N e t w o r k s m a c h i n e l e a r n i n gm o d e l sf o rt r a i n i n g,a n dt h et e s ts e t s w e r e u s e df o r m o d e le v a l u a t i o n R e s u l t s:T h ee v a l u a t i o n i n d e xo f t h eA r t i f i c i a lN e u r a ln e t w o r kp e r f o r m e dw e l l c o m p a r e dw i t ho t h e rm o d e l s,w i t hRo f a n dRM S Eo f C o n c l u s i o n:T h ee x p e r i m e n t a l r e s u l td e m o n s t r a t e st h a tt h e m e t h o d p r o p o s e di nt h i sr e s e a r c h c a na c c o m p l i s ht h ew e i g h t e s t i m a t i o no fd r a g o nf r u i te f f e c t i v e l y,a n dm e e t t h ew e i g h t e s t i m a t i o nr e q u i r e m e n t so fd r a g o nf r u i t K e y w o r d s:m a c h i n e v i s i o n;m a c h i n el e a r n i n g;d r a g o n f r u i t;w e i g h t e s t i m a t i o n火龙果是五大热带水果之一,具有较高的营养、药用、保健和经济价值.根据NY/T ,火龙果按照重量可分为特大果、大果、中果和小果个等级,特大果与小果的田间收货价格相差倍,同时重量特征还影响着火龙果的运输和保存等后续过程.在火龙果分级中,火龙果的形状、重量和表皮缺陷被视为分级的关键因素,.目前,火龙果分级管理粗糙、科技研发投入不足,且未进行标准化建设,未形成统一的管理标准,较为先进的分级和管理经验局限于个人,不能在行业内进F OO D&MA CH I N E R Y第 卷第期 总第 期|年月|行推广;人工对火龙果进行分级,存在耗时、耗力、误差大且费用高.随着计算机技术和半导体技术的快速发展,越来越多的机器视觉技术被应用于水果分级和无损检测中,相对于人工进行重量估计机器视觉技术具有一致性、准确性和速度快等优点.在机器视觉估计水果重量研究方面,大部分局限在形状规则、表面光滑的水果,因为水果表面光滑可以直接拟合外接圆或椭圆,根据圆或椭圆的几何属性直接估计水果的重量或大小,例如番茄、苹果(见表)等.目前,关于火龙果的机器视觉重量估计尚未见报道,且未有人探索多种机器学习方法对于水果重量拟合的适用性.研究拟构建火龙果的图像数据集,利用构建的数据抽取相关的特征,输入多种机器学习模型中,评估模型性能并从中筛选出一个合适的模型,旨在为降低机器学习估计重量的误差.最终,完成基于机器视觉和机器学习的火龙果重量估计工作.材料与方法试验材料收集火龙果:于 广 州市 番禺 区 东沙 火龙 果采 摘 园采 摘 个重量不一且成熟、外观均无可见的损伤和缺陷的金都一号火龙果,并按图进行试验.表机器视觉在农产品自动分级中的应用T a b l eA p p l i c a t i o no fm a c h i n ev i s i o n i na u t o m a t i cg r a d i n go f a g r i c u l t u r a l p r o d u c t s农产品成像设备方法检测内容指标参考文献番茄K i n e c t R G B D相机数字图像处理、R B F S VM重量R为 P a n a s o n i cL u m i xDMC F Z 数码相机数字图像处理、R B F S VM重量R为 苹果ME R U L工业相机图像处理、线性回归重量最大R为 MV U B S G C工业相机拟合圆直径法果径大小R为 F i r e ID i g i t a lC a m e r a工业相机数字图像处理果径、新鲜度分级精度为 图试验流程F i g u r eM e t h o d o l o g yo f e x p e r i m e n t图像、重量数据采集图像采集装置由I n t e l R e a l S e n s e D i相机、小型摄影箱(外观尺寸 c m c m c m,内衬漫反射材料以保证光照均一)、相机支架(支持最大高度 c m,相机实际高度 c m)、L E D灯板(色温 K,功率 W,最大亮度 L UX)与黑色背景板组成(图).使用P y t h o n和I n t e lR e a l S e n s e S D K从相机中采集图像,图像分辨率为 像素 像素.使用R e a l S e n s e拍摄 D图像,I n t e l R e a l S e n s e通过U S B接口连接到笔记本电脑上(I n t e l I HC P U,G B物理内存,G硬盘,W i n d o w s,装 有P y t h o n对 应 的O p e n C V、P a n d a s和S c i k i t l e a r n库).每个火龙果采集幅图像,其中第张图像为火龙果初始位置放置拍摄,第张图像为火龙果初始位置绕长轴旋转 后拍摄,第张图像为火龙果初始位置绕长轴旋转 后拍摄,第张图像为火龙果初始位置绕长轴旋转 后拍摄,共获取 张图片,去除其中因拍照条件不好、杂质过多的图片后,剩余 张图片.拍摄完图拍摄装置结构示意图F i g u r eS h o o t i n gd e v i c es t r u c t u r es c h e m a t i c成后的照片进行编号并存储至电脑硬盘上,方便对其进行后续的图像处理、图像分割与特征提取.在一个火龙果拍照完成后,利 用电 子秤(量程 g,精度g)进行称重,火龙果重量统计数据:其中火龙果重量最大值 g,最小值 g,平均值 g,中位数 g,标准差 .图像预处理与图像分割获取火龙果图像后,利用线性插值法将火龙果图像由 像素 像素降低为 像素 像素,食品装备与智能制造F OO DE QU I PME NT&I NT E L L I G E NT MANU F A C TUR I NG总第 期|年月|减少后期图像处理算法计算量.试验中感兴趣区域即图像中火龙果果实区域.通过常用的颜色模型R(R G B颜色空间R分量)、G(R G B颜色空间G分量)、H(H S I颜色空间H分量)、I(H S I颜色空间I分量)和C r(Y C r C b颜色空间C r分量)等直方图试验和分析、对比后,确定C r颜色模型具有比较明显的峰谷特性.利用大津阈值法对C r颜色模型进行二值化.将图像二值化后,根据火龙果投影面积占图片中最大的像素面积的图像特性可知,最大连通区域即火龙果果实图像.因此,保留最大像素面积的连通区域,舍弃其他连通区域消除噪声得到火龙果二值图像.最后,使用O p e n C V中填补空洞算法,填补完全火龙果二值图像中可能存在的空洞,得到完整的火龙果二值图像.Y R G B,()Cr(RY),()Cb(BY).()火龙果果实图像特征提取后续特征提取主要在火龙果的二值图像上进行.为了使机器学习回归模型达到最佳性能,有必要使用多种特征.试验中使用了像素面积、长轴像素长度和短轴像素长度.像素面积像素面积(A)被广泛应用于水果体积和重量估计中.其定义式为:AxyxiyiI(x,y).()长轴像素长度长轴像素长度(l)是火龙果最小外接矩形长两个端点之间的像素距离,其定义式为:l(XX)(YY).()其中最小外接矩形长的两个端点坐标由(X,Y)和(X,Y)描述,结果为两点之间的欧几里得距离.短轴像素长度短轴像素长度(s)是火龙果最小外接矩形宽两个端点之间的像素距离,定义式为:s(XX)(YY).()其中最小外接矩形宽的两个端点由坐标(X,Y)和(X,Y)描述,结果为两点之间的欧几里得距离.火龙果最小外接矩形示意见图.数据预处理将提取的特征结合得到火龙果数据集与称量得到的火龙果重量存入E x c e l中,共 组有效火龙果数据.将获得的 组火龙果数据集随机打乱,按照的比例分为训练集和验证集,即训练集包含 组数据,验证集包含 组数据.火龙果数据集中称量的重量作 为 因 变 量y,提 取 的 特 征 作 为 自 变 量X(x,x,x,xi).为了机器学习模型更快地收敛,需对自变量进行归一化,经过归一化后,所有自变量将映射到,之间.X i jXi jm i n(Xj)m a x(Xj)m i n(Xj).()图最小外接矩形示意图F i g u r eM i n i m u me x t e r n a l r e c t a n g l ed i a g r a m回归模型为了通过所提取的特征预测火龙果的重量,测试了个回归模型,分别为随机森林(R a n d o mf o r e s t)回归、梯度提升(G r a d i e n tb o o s t i n g)回归、K 近邻(K n e i g h b o r s)回归和人工神经网络(A r t i f i c i a ln e u r a l n e t w o r k)回归.()随机森林:将B a g g i n g算法与决策树算法进行结合得到的集成学习方法.文中随机森林利用均方误差作为特征选择准则,决策树的数量为 ,叶子节点最小样本数为.()梯度提升:通过多次迭代构造多个基础的学习器来生成一个集成生成器,以达到回归目的.文中学习率为,损失函数为L i n e a r,基础学习器是最大深度为的决策回归树,叶节点上最小样本数为.()K 近邻:假定在一个特征空间中大多数样本属于一个类别,则在这个特征空间中存在有其他类似的特征样本也属于这个类别.文中K 近邻查询附近个临近点,使用统一权重即每个邻域中的所有点均被加权,所使用的距离度量为标准欧氏距离.()人工神经网络回归:是一种寻找将数据值和真实值的平方和残差最小化的技术.文中人工神经网络包含一层隐藏层,其神经元个数为 ,并且将激活函数更换为R e L U,权重优化器为A d a m,学习速率设置为 ,最大迭代次数设置为 ,b a t c h s i z e设置为,并且在每次迭代中对样本进行打乱.完成模型训练后,利用P y t h o n中的M a t p l o t l i b库进行散点图绘制,并利用S c i k i t l e a r n中的回归模型评价函数对回归模型进行评价得到评价指标.模型的评价指标()均方根误差(RM S E):常用来衡量观测值和真实值之间的偏差,作为回归模型预测结果衡量的标准,其定义为:RMS E(Xi,yi)mmif(Xi)yi.()()决定系数(R):用于度量因变量的变化中可由自变量决定部分所占比例,常用来判断回归模型的解释力,其定义为:ymmiyi,()|V o l ,N o 梁英凯等:基于机器视觉与机器学习的火龙果重量估计S St o tmi(yiy),()S Sr e smiyif(Xi),()RS Sr e sS St o t.()()相对误差率:用于衡量预测值与测量值之间差值与测量值的占比,其定义为:e r r o r|f(xi)yi|,()r e l a t i v ee r r o re r r o ryi .()结果与分析由表和图可知,K近邻的散点有较多落在yif(xi)以外且具有较大的偏移,符合K近邻在种机器学习模型中RM S E最大的现象.人工神经网络中散点大多落在yif(xi)上且偏离较少,符合人工神经网络在种机器学习模型中RM S E最小的现象,说明人工神经网络预测值与测量值之间误差较小.而对于重量较大或较小的火龙果预测值与测量值偏差较大,其原因是重量较大或较小的火龙果样本较少,输入机器学习模型中数据较少而导致.火龙果图像特征由像素面积、长轴像素长度和短轴像素长度描述.文中使用的图像分割算法利用颜色空间的差异性,完成了火龙果图像分割,这种算法相对于深度学习图像分割算法,具有不需要大量图片进行训练和在计算机C P U上即可 完成 分 割的 特点.但也 存在 着 相对不足,算法只能针对文中特定场景完成分割,若在其他背景环境 中 完 成 图 像 分 割 需 要 根 据 背 景 重 新 进 行 算 法设计.在机器学习模型评价方面,表中对所使用的模型评价指标进行了比较,其中人工神经网络优于其他模型,是因为人工神经网络对于非线性的函数具有比较好的适应性;同时由于输入的火龙果图像中包含火龙叶鳞片的噪声信息,在图像分割步骤中并不能很好地去除叶鳞片的噪声信息,火龙果叶鳞片密度相对于火龙果果肉密度低且在图像中占据大量像素面积,在后续的特征提取中可将以上噪声包含进去,而人工神经网络对于噪声有着极强的处理能力.K近邻算法的评价指标略低于其他模型,是因为K近邻将特征空间中相近的特征点归为一个类,不具有很强的非线性适应性,且特征中包含的噪声会对K近邻的分类造成极大的影响.所有模型中测量值为 g的 点大多落在yif(xi)上或附近,但测量表各个模型的评价指标对比T a b l eC o m p a r i s o no f e v a l u a t i o n i n d i c a t o r so fe a c hm o d e l回归模型RRM S E平均相对误差率/梯度提升回归 随机森林回归 K近邻回归 人工神经网络 图模型预测值和测量值的散点图F i g u r eS c a t t e rp l o to fm o d e l sp r e d i c t e da n dm e a s u r e dv a l u e s食品装备与智能制造F OO DE QU I PME NT&I NT E L L I G E NT MANU F A C TUR I NG总第 期|年月|值 g或 g时出现了距离yif(xi)较远的点,是因为获取到的 g以上和 g以下的火龙果数量较少,机器学习模型不能从训练集中得到足够的特征完成拟合,造成在测试集中预测值偏大.以往的火龙果重量测量均是使用电子秤进行,若需要在生产流水线上实时地测量重量,需要配备大量半导体传感器.而机器视觉技术提供了一种低成本、高效益的方法,省时且不需要大量半导体传感器,只需要配合生产流水线,这极大地节约了人力成本和设备成本.根据文献 对多种水果(例如柑橘、酸橙和柠檬)的重量估计,估计重量与实际重量平均相对误差率应.文中所使用的种机器学习模型在测试集上所表现出的平均相对误差率与文献,的要求一致,平均相对误差率均.文中使用的自建数据集只使用了一种火龙果品种,火龙果不同品种之间性状和外观之间有极大的差异,这些差异将极大地影响图像分割算法,从而造成提取的特征偏差过大,机器学习模型拟合性能过差.且不同火龙果品种密度具有差异,因此文中所提出的机器学习模型具有一定的局限性.结论研究开发了一种基于机器视觉和机器学习的火龙果重量估计算法.结果表明,人工神经网络模型在性能指标上优于 其他 模型,决定 系 数 达 ,均 方 根 误 差 达 .算法满足了研究的主要目标,在测试集上有着可接受的精度和误差,并且能够极好地估计重量.算法在经过适配之后,可以将算法移植至火龙果分级生产线上,这将极大地减少火龙果称重过程中所需要的人工,提高称重效率,并且将火龙果按照重量分级,这将极大地提高火龙果销售的经济效益.参考文献1 吴刚,陈海平,谭乐和.中国特色热带果树产业现状及发展对策J.热带农业科学,2014,34(12):105110.WU G,CHEN H P,TAN L H.Status of tropical fruit industry inChina and development countermeasures J.Chinese Journal ofTropical Agriculture,2014,34(12):105110.2 中华人民共和国农业农村部.火龙果等级规格:NY/T 36012020S.北京:中国农业出版社,2020.Ministry of Agriculture and Rural Affairs of the Peoples Republicof China.Grades and specifications of pitahayas:NY/T 36012020S.Beijing:China Agricultural Press,2020.3 徐磊磊,金琰,侯媛媛,等.我国火龙果市场与产业调查分析报告J.农产品市场,2021(8):4345.XU L L,JIN Y,HOU Y Y,et al.China dragon fruit market andindustry survey analysis reportJ.Agricultural Products Market,2021(8):4345.4 唐应志,黄建祥,苏明,等.海南火龙果鲜果的包装技术规范J.果农之友,2022(7):7881.TANG Y Z,HUANG J X,SU M,et al.Technical specifications forthe packaging of fresh fruit from Hainan dragon fruit J.FruitGrowersFriend,2022(7):7881.5 苏明,彭寿宏,黄建祥,等.大红火龙果采收的外观分级技术规范J.果农之友,2022(6):6567.SU M,PENG S H,HUANG J X,et al.Technical specifications forgrading the appearance of large red dragon fruit for harvestingJ.Fruit GrowersFriend,2022(6):6567.6 罗兵威.火龙果种植技术现状及发展建议探究J.南方农业,2021,15(30):8384.LUO BW.Exploringthecurrentsituationofdragonfruitcultivation technology and development proposalsJ.South ChinaAgriculture,2021,15(30):8384.7 ZHANG Z,LU Y,LU R.Development and evaluation of an appleinfield grading and sorting system J.Postharvest Biology andTechnology,2021,180:111588.8 NYALALA I,OKINDA C,KUNJIE C,et al.Weight and volumeestimation of poultry and products based on computer visionsystems:A reviewJ.Poult Sci,2021,100(5):101072.9 张恩宇.苹果田间分级关键技术研究D.咸阳:西北农林科技大学,2020:7.ZHANG E Y.Research on key techniques for grading apples in thefieldD.Xianyang:Northwest A&F University,2020:7.10 NYALALA I,OKINDA C,NYALALA L,et al.Tomato volumeand mass estimation using computer vision and machine learningalgorithms:Cherry tomato modelJ.Journal of Food Engineering,2019,263:288298.11 何婷婷,李志伟,张馨,等.基于图像处理的番茄重量预测J.食品与机械,2022,38(10):1723.HE T T,LI Z W,ZHANG X,et al.Tomato weight prediction basedon image processingJ.Food&Machinery,2022,38(10):1723.12 OMID M,KHOJASTEHNAZHAND M,TABATABAEEFAR A.Estimating volume and mass of citrus fruits by image processingtechniqueJ.Journal of Food Engineering,2010,100(2):315321.13 Scikitlearn:MachinelearninginPythonscikitlearn1.1.2documentationEB/OL.(20220926)20221026.https:/scikitlearn.org/stable/index.html.14 FRIEDMAN J H.Greedy function approximation:A gradientboosting machineJ.The Annals of Statistics,2001,29(5):1 1891 232.15 高秀香,孙曦媚.统计学原理M.北京:北京理工大学出版社,2017:228232.GAO X X,SUN X M.Principles of statisticsM.Beijing:BeijingUniversity of Technology Press,2017:228232.16 CALIXTO R R,PINHEIRO NETO L G,CAVALCANTE T D S,etal.A computer vision model development for size and weightestimation of yellow melon in the Brazilian northeastJ.ScientiaHorticulturae,2019,256:108521.|V o l ,N o 梁英凯等:基于机器视觉与机器学习的火龙果重量估计