玉米籽粒直收籽粒特征与杂质分类识别方法.pdf

玉 米 籽 粒 直 收 籽 粒 特 征 与 杂 质 分 类 识 别 方 法吴昆,张敏,王刚,吴俊,陈旭(农业部南京农机化研究所,南京210014)摘 要:为提高玉米籽粒直收中的籽粒和杂质快速精准识别,提出了一种基于机器视觉的单层识别逐步分类方法。对采集的单层原始图像进行分水岭分割,依旧黏连的区域经过 R+G 颜色灰度化处理,构建灰度梯度并标记背景,再进行二次分水岭分割。对提取玉米籽粒和杂质的颜色、形态、纹理等共 27 个特征信息进行逐步判别分析,得到可区分籽粒和杂质的 13 个主要特征参数。基于复合特征阈值设定先杂质筛选后对穗心和茎叶类杂质类型的识别,对比分析基于 BP 神经网络和遗传算法优化的 BP 神经网络(Gabp 神经网络)对玉米籽粒完整性识别,得出采用基于 gabp 神经网络较 BP 神经网络准确率提高了 1%且实验结果更加稳定,特征优化后的神经网络训练和识别耗时更短。利用逐步分类识别方法对混合直收玉米籽粒进行识别,结果表明:分步识别准确率分别为 97.7%、85.63%,完整玉米籽粒、破碎玉米籽粒和杂质的召回率分别为 89.31%、71.43%和 81.82%。提出了玉米籽粒和杂质逐步分类识别方法,能快速、准确地区别杂质、玉米完整籽粒和破碎籽粒,可为玉米籽粒直收含杂破碎在线监测系统设计提供参考。关键词:玉米籽粒;特征提取;神经网络;特征阈值中图分类号:S225.5;TP391.41 文献标识码:A 文章编号:1003-188X(2023)12-0198-060 引言玉米是我国第 3 大粮食作物,而收获是玉米生产的重要环节,随着玉米品种及收获技术的发展,籽粒直收方式逐渐受到重视。但是,现阶段玉米籽粒直收装备缺乏实时含杂和破碎信息的支撑,作业过程中机具不能根据作业条件实时选择合适的脱粒清选系统工作参数,只能依据人工经验间断调整,导致了籽粒破碎和含杂较高。因此,玉米籽粒直收过程中含杂、破碎实时监测是实现脱粒清选系统工作实时调节的前提和基础。近年来,随着机器视觉等技术的发展,国内外研究者利用图像处理技术开展玉米籽粒状态特征的识别工作。要实现含杂和破碎损失监测,首先要对玉米籽粒类型和状态特征识别与判断。Zayas L1等利用图像分析和统计模式识别相结合,对完整玉米籽粒和破碎玉米籽粒进行识别;史智兴2等利用玉米籽粒的颜色等信息,对玉米品种进行识别;王志华3等设计收稿日期:2021-12-28基金项目:江苏省农业科技自主创新资金项目(SCX203031);中国农业科学院所级基本科研业务费项目(S202008)作者简介:吴 昆(1998-),男,南昌人,硕士研究生,(E-mail)1559444252 。通讯作者:张 敏(1979-),男,安徽定远人,研究员,硕士生导师,(E-mail)zhm0912 。了基于图像采集、数据处理以及 SU-SAN 角点检测算法的籽粒尖端识别系统,识别率达 96.5%;张玉荣、王伟宇4等应用主成分分析法确定主成分因子,建立 3层 BP 神经网络模型,实现玉米不完善粒的检测识别。但是,现有研究主要是对收获后玉米籽粒在静态环境下的特征进行识别,算法耗时长,工作条件要求苛刻,因此有必要在玉米直收环境下对玉米中的籽粒破碎和杂质进行快速、精确识别技术研究。为快速、准确地对玉米籽粒直收环境下完整玉米籽粒、破碎玉米籽粒及杂质进行识别,提出了一种基于机器视觉的单层籽粒逐步分类识别方法。工作时,对采集的单层玉米籽粒图片经过两次叠加分水岭分割实现玉米籽粒的精准分割,并基于特征根据最优阈值区分籽粒与杂质,再对降维的特征变量采用基于遗传算法优化的 BP 神经网络实现玉米籽粒完整性的识别,为后续玉米籽粒含杂和破碎在线监测技术研究提供参考。1 试验材料和方法1.1 玉米籽粒检测标准及分析方法根据玉米检测国家标准 GB13532018 可知:破碎粒指籽粒破碎达到本颗粒体积的 1/5(含)以上的颗粒;杂质指除玉米以外的其他物质及无使用价值的玉米粒。8912023 年 12 月 农 机 化 研 究第 12 期玉米联合收获的玉米籽粒中,杂质主要为玉米穗心、茎和叶等。几何外形特征统计得出,不同组分之间差异明显,不分类直接对采集的图像进行处理耗时长、分类识别准确率低。为此,提出先对玉米籽粒(完整籽粒和破碎籽粒)与杂质基于特性进行预分类,在分类的基础上再对完整玉米籽粒和破碎籽粒进行识别。1.2 试验装置及设备玉米籽粒直收含杂破碎识别系统主要由工控机、显示器、工业相机、LED 光源和相机支架搭建,CPU 核心为 3.5GHz,内存 8G。在 Win10 操作系统下,通过MatLabR2018a 软件平台实现对玉米籽粒等物质的各个特征信息提取和识别。实验装置如图 1 所示。1.工控机 2.直流电源变换器 3.输送带 4.输送带支架5.电机 6.皮带 7.皮带轮 8.玉米籽粒 9.外槽轮排料机构10.LED 灯 11.工业相机 12.滑轨 13.封闭罩壳图 1 图像采集处理系统装置示意图Fig.1 Schematic diagram of image acquisition and processing system试验在加装补光灯下进行图像采集,相机为大恒图像相机的水星系列(MERCURY),型号为 MER-231-41U3MC,镜头选配 12mm 的变焦镜头,相机工作距离为 180mm,精度小于 0.1mm。2 图像采集和处理2.1 玉米籽粒图像预处理通过相机获取平铺后的玉米籽粒图像,经灰度处理实现图像信息增强。玉米籽粒原图如图 2(a)所示。利用算术均值滤波器对灰度图像进行平滑处理,去除图片中的噪点信息。粘连性对玉米识别造成阻碍,运用简单的 Otsu 阈值分割法和基于距离变换的分水岭分割难以获得良好的分割效果,如图 2(b)、(c)所示。本文采用改进分水岭分割法,在籽粒内部形成局部极小值5,使得分水岭刚好出现在玉米籽粒粘连的边界处,通过对灰度图进行图像重构使得玉米籽粒能够精准地成为标记对象;然后,利用图像的梯度幅值作为分割函数,通过施加最小值法来修正梯度幅值图像,使得只在标记的对象和背景上出现最小值,再基于分水岭分割法对仍粘连的玉米籽粒,如图 2(d)所示;分割时对原图片进行 R+G 颜色灰度处理,再通过构建灰度梯度并标记背景进行分水岭分割,可实现高准确度的分割效果,如图 2(e)、(f)所示。图 2 优化分水岭分割图Fig.2 Optimized watershed segmentation map2.2 特征数据提取图像预处理的特征信息的可检索性增强,本次获取完整玉米籽、破碎玉米籽粒和杂质(包含玉米穗心、种皮、枝叶)的样本图片(分辨率为 900900),每类样本图片 20 个。图 3 分别为玉米完整籽粒、破碎籽粒和两类杂质。图 3 相机采集的原始样本图片Fig.3 The original sample image collected by the camera对获取的 4 类物质的几何特征、颜色特征和纹理特征的共 27 个特征数据。玉米的外观形态是区分杂质和破碎籽粒的关键信息,几何特征直接反映出玉米籽粒的外观特点6。其中,颜色信息是区分杂质、少数发霉粒等重要因素7,也是机器视觉系统中识别区分玉米籽粒的一个重要指标;纹理特征是一种反映图像中像素灰度空间分布变化的图像特征,体现景物的表面性质8。本次特征提取包括几何特征的像素面积、轮廓点数、周长、椭圆的长轴和短轴,颜色特征中的 RGB 颜色模型下的 R、G、B 颜色均值和标准差,以及 HIS 色彩模型下的 H、S、I 的均值和标准差,纹理特征的均值、标准差、熵及不变矩9。统计分析发现:在几何特征上,完整玉米和破碎玉米的差别较大,颜色参数差异小;对于杂质,几何特9912023 年 12 月 农 机 化 研 究第 12 期征的数据差异显著,颜色差异明显。3 杂质的识别借助特征阈值法10对玉米籽粒和杂质进行区分,玉米籽粒在形状上具有规整性且表面细腻且颜色呈黄色,明显区别于杂质。通过对玉米籽粒、玉米破碎籽粒各 80 个以及玉米穗心和茎叶杂质 40 个,共计200 个样本的特征数据进行研究分析。统计玉米籽粒和杂质的一阶不变矩、R 均值、H 均值及标准差、R-B值、熵值边界像素点值和长径比值的变化范围,汇总结果如表 1 所示。表 1 玉米籽粒和杂志的特征变化范围统计结果Table 1 Statistical results of the variation range of characteristics of corn kernels and magazines 特征一阶不变矩R 均值H 均值H 标准差R-B 值熵值边界像素点长径比完整玉米籽粒0.1610.2150.7000.9410.0920.2090.0120.2250.1550.4965.0697.2131323291.1213.023破碎玉米籽粒0.1600.2730.7020.9390.1380.5180.1480.3150.0070.2533.0287.2091114041.0463.423杂质0.1750.7030.5620.7440.2630.5790.2240.326-0.0690.0546.8087.3611174581.1548.203 由表 1 可知,杂质和籽粒间一阶不变矩特征值和R-B 值最为明显,且边界像素点和长径比值存在差异。杂质中存在茎叶类和穗心两类,区别两类杂质的明显特征为长径比值,而且因穗心杂质其中部呈现亮色,那么两者其颜色亮度之间区别较大,可以设定长径比值区间和 I 均值区分杂质类型。通过统计共 40个样本的穗心和茎叶的两特征数据的范围区间,汇总如表 2 所示。表 2 玉米穗心和茎叶杂质的长径比值统计结果Table 2 The statistical results of the ratio of length to diameter of corn ear core and stem leaf impurities特征长径比值I 均值穗心杂质1.1542.1010.1640.347茎叶类杂质1.7368.2030.1490.281 根据表 1 和表 2 中的特征值区间范围分析,设定 4个特征组合阈值区分籽粒和 2 个特征组合阈值区分杂质类型,如表 3、表 4 所示。表 3 剔除杂质特征组合阈值设定表Table 3 The threshold setting table of the feature combination of removing impurities特征类型一阶不变矩R-B 值边界像素点长径比阈值区间0.2734043.423运算逻辑或或或或表 4 杂质分类特征组合阈值设定表Table 4 Threshold setting table of impurity classification feature combination特征类型长径比值I 均值阈值区间2.101FWilks Lambda平均典型相关平方1F120.6066633.660.00010.393430.606 5702F 40.2133111.130.00010.3095310.690 4693F 130.128660.360.00010.2697230.730 2774F 160.105348.010.00010.2413250.758 6755F 150.052122.350.00010.2287630.771 2376F 60.028211.790.00070.2223050.777 6957F 180.02329.620.00210.2171450.782 8558F 210.01556.340.01220.213790.786 2109F 50.02168.910.0030.2091630.790 83710F 80.01255.10.02450.2065440.793 45611F 12000.94380.2065470.793 45312F 200.01937.90.00520.2025670.797 43313F 250.00953.860.05020.2006360.799 36414F 190.0093.640.05710.1988270.801 17315F 90.01566.310.01240.1957320.804 268 由表 5 可知:特征参数由最初的 27 个缩减为 13个,玉米破碎籽粒和完整籽粒之间差别较大的特征主要有 13 个,其累计平均典型相关度为 0.804 268,剔除掉对玉米籽粒完整性区分不明显或冗余的特征参数。4.2 玉米籽粒识别分类利用 BP 神经网络和 GABP 神经网络12(基于遗传算法优化的 bp 神经网络)分别对玉米籽粒样本进行识别,对玉米籽粒完整性区分效果进行比对。本文采用 4 层 BP 神经网络结构,训练模型为 levenberg-marquardt(BPLM 算法),其结构优势为计算速度较快,适合于本试验的要求13。BP 神经网络的初始权值和阈值对网络的识别结果存在较大影响,且大多数的随机选择网络参数易导致陷入局部最优14。优化初始权值和阈值可以减小训练的误差15。相较于 BP 神经网络,遗传算法优化的 BP 神经网络的拟合效果更好16。通过遗传算法来对 BP 神经网络的权值和阈值进行寻优求解,试验设定遗传算法的初始化种群 50 个,遗传迭代次数为 100 次。对比 BP 神经网络和遗传算法优化的 BP 神经网络在特征选择优化前后的玉米籽粒识别效果。获取玉米完整和破碎籽粒各 240 粒样本,通过图像处理技术对共 480 个样本的各个特征数据随机选取完整玉1022023 年 12 月 农 机 化 研 究第 12 期米籽粒和破碎玉米籽粒样本各 180 个作为神经网络的训练集,并对其余的玉米籽粒共 120 个本进行识别效率的测试比较。选择精确率、召回率和 F 值17作为计算指标,F值代表精确率和召回率的综合指标,表达式为P=TT+Pm 100%(1)R=TT+Fn 100%(2)f=2PRP+R 100%(3)其中,P、R、f 分别为精确率、召回率和 F 值;T 为目标识别正确的个数;Fm为误检测的目标个数;Fn为漏检测的目标个数。试验的结果汇总如表 6 所示。基于 BP 神经网络来实现破碎和完整玉米籽粒的分类,在整个识别准确度上有明显优势。经过特征组合筛选优化,在图像信息提取的时间减少 1s 多,特征选择前后的神经网络对玉米籽粒破碎情况的识别影响不大,准确率都高达95%左右,但在特征提取和识别速度上有一定提升。基于遗传算法优化后的 BP 神经网络对于玉米籽粒的破碎情况识别也更加稳定,拟合结果也较优,相比 BP神经网络的识别准确率也有一点提升;经过遗传优化的 BP 神经网络在优化特征组合下的识别效率和稳定性最好。同时,由表中召回率结果得知破碎的玉米籽粒的漏识别率相对较高,玉米籽粒的破碎情况复杂及玉米籽粒形状各异是主要原因。表 6 神经网络识别结果汇总表Table 6 Summary of neural network recognition results%特征组合类型籽粒类型精确率召回率F 值27特征组合BP 神经网络完整籽粒95.0896.6795.87破碎籽粒96.6195.0095.80Gabp 神经网络完整籽粒93.75100.0096.77破碎籽粒100.0093.3396.5513特征组合BP 神经网络完整籽粒92.1898.3395.16破碎籽粒98.2191.6794.835 混合直收玉米籽粒识别试验对直收的玉米籽粒进行平铺处理,启动输送带并利用相机随机获取的玉米籽粒图片 14 张,人工对玉米完整籽粒、破碎籽粒和杂质进行计数,分别为 636、189、44 个。通过设定特征阈值实现杂质的区分,提取优化后的 13 个特征数据,利用 Gabp 神经网络对玉米籽粒的破碎情况进行识别。基于机器视觉的各类物质的识别结果统计如表 7 所示。表 7 玉米籽粒识别结果评价表Table 7 Evaluation table of corn kernel recognition results%识别步骤类型召回率识别准确率1玉米籽粒98.54杂质81.8297.702完整籽粒89.31破碎籽粒71.4385.636 结论1)利用两次叠加分水岭分割法实现了玉米籽粒的精准分割,利用逐步判别分析法对玉米籽粒的 27个特征参数的区分能力进行评价打分,得到 13 个特征指标作为识别分类的标准,其累计平均典型相关度为 0.804 268。2)确定了基于特征阈值组合的籽粒与杂质、穗心与茎叶分类办法,采用基于遗传算法优化的 BP 神经网络,特征优化后识别效率和稳定性最好,较优化前的 BP 神经网络识别准确率提升 1%,且识别时间缩短1s。3)利用设定特征阈值筛选杂质,再基于 Gabp 神经网络分类识别籽粒方法进行试验测试,结果表明:玉米完整籽粒、破碎籽粒、杂质(穗心杂质及茎叶)的高效识别,分步识别准确率分别为 97.7%、85.63%。本方法玉米完整籽粒、破碎籽粒和杂质的识别准确率高且识别耗时短,可为玉米籽粒直收含杂和破碎在线检测系统设计提供参考。参考文献:1LZAYAS AND H.Converse and JSteele.Discrimination of whole from broken corn kernels wtthimage analysis J.Transactions of the ASAE,1990,33(5):1-1646.2 史智兴,程洪,李江涛,等.图像处理识别玉米品种的特征参数研究J.农业工程学报,2008(6):193-195.3 王志华,郭英芳.基于图像处理的玉米籽粒尖端识别系统的设计J.陕西农业科学,2018,64(12):61-63.4 张玉荣,王伟宇,周显青,等.基于外观特征识别玉米不完善粒检测方法J.河南工业大学学报(自然科学版),2015,36(2):1-7,12.5 杨涛,肖衡,杨博雄,熊纯,等.基于图像的玉米籽粒粘连的分割方法研究J.科学技术创新,2019(36):87-89.6 吕一波,路迈西.玉米图像几何特征的提取J.鸡西大学学报,2006(4):68-70.2022023 年 12 月 农 机 化 研 究第 12 期7 闫小梅,刘双喜,张春庆,等.基于颜色特征的玉米种子纯度识别J.农业工程学报,2010,26(S1):46-50.8 李颀,王康,强华,马琳.基于颜色和纹理特征的异常玉米种穗分类识别方法J.江苏农业学报,2020,36(1):24-31.9 柳林霞,陈杰,窦丽华.不变矩理论及其在目标识别中的应用J.火力与指挥控制,2003(2):13-15.10 杜俊波,李文正.基于阈值分类器的水果识别系统设计J.物联网技术,2020,10(12):69-71.11 刘伟,徐磊,刘晓利,等.基于聚类和逐步判别分析的烤烟感官质量特征分类评价J.贵州农业科学,2017,45(1):135-139.12 孙新,刘琼昕,张磊.一种基于改进 BP 神经网络的综合评价方法 C/Proceedings of 2011 2ND International Conference on Innovative Computing and Communication and 2011 Asia-Pacific Conference on Information Technolo-gy and Ocean Engineering(CICC-ITOE 2011 V3).澳门:智能信息技术应用学会,2011:73-76.13 孙倩.基于 LM-BP 神经网络的推荐算法的研究与应用D.北京:北京交通大学,2016.14 解立明.遗传算法在 BP 神经网络优化中的应用C/Proceedings of 2011 AASRI Conference on Artificial Intelli-gence and Industry Application(AASRI-AIIA 2011 V2).Maldives:智能信息技术应用学会,2011:192-194.15 SUCHAO X,HUI Z,JUNJIE Z,et al.Energy-absorp-tion forecast of thin-walled structure by GA-BP hybrid al-gorithmJ.Journal of central south university,2013,20(4):1122-1128.16 刘春艳,凌建春,寇林元,等.GA-BP 神经网络与 BP 神经网络性能比较J.中国卫生统计,2013,30(2):173-176,181.17郭守宽.高速印刷品质量图像检测系统研究和开发D.武汉:华中科技大学,2012.Direct Harvesting of Maize Grains and Methods for Classification and Identification of Impurities Wu Kun,Zhang Min,Wang Gang,Wu Jun,Chen Xu(Nanjing Institute of Agricultural Mechanization,Ministry of Agriculture,Nanjing 210014,China)Abstract:In order to improve the rapid and accurate recognition of grains and impurities in direct corn harvest,a single-layer recognition stepwise classification method based on machine vision is proposed.Watershed segmentation is per-formed on the collected single-layer original image,and the area that is still stuck is processed by R+G color grayscale processing to construct a grayscale gradient and mark the background,and then perform a second watershed segmenta-tion.A total of 27 feature information including color,shape,and texture of corn kernels and impurities were extracted,and then stepwise discriminant analysis was performed to obtain 13 main feature parameters that can distinguish between kernels and impurities.Based on the composite feature threshold setting,the first impurity is screened and then the ear core and stem and leaf impurity types are identified.The comparison analysis is based on the BP neural network and the genetic algorithm optimized BP neural network(Gabp neural network)to identify the integrity of the corn kernel.Com-pared with the bp neural network,the accuracy rate of the gabp-based neural network is increased by 1%and the experi-mental results are more stable.The neural network training and recognition after feature optimization takes less time.The step-by-step classification and identification method was used to identify the mixed direct-harvest corn kernels.The ex-periment showed that the step-by-step recognition accuracy rates were 97.7%and 85.63%,and the recall rates of in-tact corn kernels,broken corn kernels and impurities were 89.31%,71.43%and 81.82%,respectively.The stepwise classification and identification method of corn kernels and impurities proposed in this paper can quickly and accurately distinguish impurities,intact corn kernels and broken kernels,which can provide reference for the design and research of the online monitoring system for direct harvest of corn kernels and broken kernels.Key words:corn kernel;feature extraction;neural network;feature threshol 3022023 年 12 月 农 机 化 研 究第 12 期