基于卷积神经网络的农作物智能图像识别分类研究.pdf

基 于 卷 积 神 经 网 络 的 农 作 物 智 能 图 像 识 别 分 类 研 究吴蓓,肖黎(武汉工程科技学院,武汉430200)摘 要:首先,介绍了卷积神经网络结构、各个模块的工作原理和 Retina-Net 目标检测算法;然后,采用颜色直方图特征提取方法,实现了卷积神经网络的农作物智能图像识别分类算法。实验结果表明:该算法可以准确地对番茄枝上的番茄进行识别测试,且准确率较高,有效性和准确性强,能够满足实时果实识别的应用需要。关键词:农作物;图像识别;卷积神经网络;Retina-Net;目标检测;特征提取中图分类号:S126;TP391.3 文献标识码:A 文章编号:1003-188X(2023)12-0020-040 引言农作物智能图像识别在农业生产中具有广泛的应用,不仅可以应用于采摘机器人,实现对目标果实的采摘,而且还可用于水果等级分类以及水果成熟度的识别分类。在实际的农作物识别应用中,作业环境比较复杂,需要对目标对象形成系统的认知,以方便提取有效特征。为此,本文通过卷积神经网络实现了番茄识别测试,能够准确地对番茄进行成熟度分类。1 卷积神经网络原理1.1 卷积神经网络1)结构。卷积神经网络是一个 3D 容量的神经元,每个神经元都可以用一个三维结构对宽度、高度和深度进行排列。卷积神经网络是一种前反馈网络,包含卷积层、池化层和全连接层,如图 1 所示。图 1 卷积神经网络结构框架图Fig.1 The structure frame diagram of convolutional neural network2)卷积层。卷积层是一种运算方法,在卷积神经收稿日期:2022-02-25基金项目:湖北省高等学校省级教学研究项目(2020743);武汉工程科技学院 2020 年度校级教学改革研究项目(JY202023)作者简介:吴 蓓(1982-),女,武汉人,副教授,硕士。通讯作者:肖黎(1981-),女,武汉人,助教,硕士,(E-mail)xili_vivian 。网络中发挥着重要的作用,能实现对输入图像的特征提取。离散的卷积定义为fg()n()=-f()g n-()(1)作为卷积神经网络处理的第 1 个环节,卷积层主要用于减小和捕捉输入图像有用的信息,然后利用相同的内核窗口对整个图像进行选择,检测特定的图像模式而减少参数的总数量。卷积层采用多个卷积核,利用多种方式来实现对图像的增强、降噪和特征提取。其中,内核采用特定的步长和填充对输入图像进行解析,并通过卷积方法将其保存到映射特征图。作为池化层的输入层,该层捕获输入图像后,计算连接到输入局部区域的输出神经元,对每个区域点乘各自的权重。其中,将 i 层的 k 卷积核形成特征图定义为Zki,权重矩阵为 Wki,偏置表示为 bki,其计算表达式为Zki=f Wki Zki-1+bki()(2)卷积计算过程示意图如图 2 所示。图 2 卷积计算过程示意图Fig.2 The structure frame diagram of convolutional neural network3)池化层。池化层称为下采样,主要是为了压缩输入特征图,对特征值进行提取,使特征图更小,降低网络计算复杂性,缩短算法计算时间。池化层将输入图像划分为不重叠的块,再从每个区域采样到元素。其中,将第 i 层和第 i-1 层的 k 卷积核形成特征图分别表示为 Zki和 Zki-1,偏置表示为 bki,预设定下采样式022023 年 12 月 农 机 化 研 究第 12 期down(),其计算表达式为Zki=f down Zki-1()+bki()(3)池化层包括均值和最大值两种计算方法。本文采用最大值处理方法,其操作示意图如图 3 所示。图 3 池化最大值操作示意图Fig.3 The schematic diagram of pooled maximum operation4)Relu 激活函数。Relu 函数是卷积神经网络最常用的激活函数,主要用于对每个输入值执行阈值运算,然后将激活函数矩阵的阈值简单地设置为 0,用于实现该函数。对于大于或者等于 0 的输入值,采用线性函数进行填充。由于该方法具有线性和不饱和的特点,Relu 函数可以较大程度地加快随机梯度下降的收敛速度。Relu 激活函数的计算表达式为Relu x()=max 0,x()(4)Relu 函数的处理如图 4 所示。图 4 Relu 激活函数的处理示意图Fig.4 The processing diagram of Relu activation function1.2 目标检测算法采用卷积神经网络对图像进行处理,还需要采用目标检测算法对图像进行检测。目前,有 one stage 和two stage 两种检测算法:前者检测速度快,精度低;后者则检测速度慢,精度高。在此,采用 two stage 的Retina-Net 算法对目标图像进行识别。该算法采用ResNet、FPN 和 FCN 融合算法,并采用 Focal loss 为损失函数。Focal loss 主要是解决目标检测过程中由于正负样本区域不平衡导致的目标检测 loss 被负样本影响的问题。Retina-Net 目标检测算法的结构如图 5所示。图 5 Retina-Net 目标检测算法的结构图Fig.5 The structure diagram of Retina-Net target detection algorithm2 提取农作物图像的特征实现对农作物的智能识别时,提取合适的农作物图像特征对识别率影响很大。本文以番茄识别为例,其特征提取过程如图 6 所示。图 6 番茄特征提取流程图Fig.6 The flow chart of tomato feature extraction在对图像预处理过程中,先对用相机采集到的番茄图像进行归一化处理为 120120 的格式。相机采集到的图像由于环境因素会有一些噪声,还需要提前对图片进行滤波处理,预处理后的图像便可以进行特征提取。番茄颜色变化是反映其是否成熟的关键,颜色直方图可以反映图像的颜色特性,但无法直接表示这些颜色在番茄中位置信息,而这个对番茄成熟程度的判断至关重要。因此,采用了番茄局部直方图的提取策略,该图像的环形划分如图 7 所示。图 7 中:首先,在果实上选择 1 个以 R 为半径的圆心,刚好将番茄完全包围在圈内;然后,将 R 等分为122023 年 12 月 农 机 化 研 究第 12 期N 等份,每一份的长度为 R/N;在圆心分别以 kR/N(1KN)为半径作 K 个圆,将其环形分为 N 份,再提取各个环形区域的颜色直方特征图x-()/;从内至 外 将 其 首 尾 相 连 地 组 合 成 向 量P=S1,S2,Si,SN(),作为此番茄图片的颜色直方图特征。该方法提取的颜色直方图能够非常好地反映番茄颜色的空间特性,经过主成分降维处理后便可以作为分类器的特征输入。图 7 番茄图像环形划分示意图Fig.7 The schematic diagram of circular division of tomato image3 基于卷积神经网络的番茄成熟度分类采用卷积神经网络对番茄成熟程度进行分判断分类,其整体模型体系结构如图 8 所示。图 8 番茄成熟度分类模型架构图Fig.8 The structure diagram of tomato maturity classification model其中,卷积神经网络包括 4 个卷积层、4 个池化层、2 个全连接层、1 个 Relu 激活函数层和 3 个卷积核。池化层大小设定为 21,步长为 21。为了使搜索过程变得更加简单,采用批归一化进行处理,设定的参数为 momentum=0.99,=0.001。将以上模型按照 1 个卷积层、1 个池化层、1 个批归一化顺序组成的结构重复 4 次。其中,第 1 次的卷积层步长为 21,后面是 3 个的卷积层步长为 11。结构重复 4 次后,后面接着两个连续的全连接层。最后,使用 Relu 激活函数进行成熟、待成熟和未成熟 3 种分类。为了对该卷积神经网络模型安排合适的参数,批归一化大小(batch size)设置为 16、32、64、128,时期(epoch)为 55、65、75、85,然后进行实际的实验。实验中,每次选择 1 个 epoch 作为训练集样本进行训练,结果如表 1 所示。表 1 不同参数下番茄成熟度分类准确率Table 1 The classification accuracy of tomato maturity under different parameters%时期批归一化大小1632641285572.7482.9180.9455.886570.1691.2894.2868.107575.6196.6099.6289.988583.4296.2894.6878.70 由表 1 可以看出:当批归一化大小和时期分别为64 和 75 时,番茄成熟度分类准确率最高。因此,选择的卷积神经网络的参数如表 2 所示。优化器选择 Ad-am 用于学习权值,网络模型的学习率为=0.001,1=0.9,2=0.999。损失函数选择 Focal loss,网络模型评价标准为是否准确。表 2 卷积神经网络参数表Table 2 The parameter table of convolutional neural network参数值优化器Adam学习率0.001损失函数Focal loss指标准确率批归一化大小64时期754 实验结果分析选择了未成熟、待成熟和成熟(见图 9)3 种凭借人工经验标定好的番茄图像进行实际的试验,每种成熟度的图像准备 500 张。其中,各有 300 张作为训练样本,剩下的 600 张作为测试样本去测试算法的有效性和准确性。222023 年 12 月 农 机 化 研 究第 12 期图 9 各种成熟度的番茄Fig.9 The tomatoes of various maturity将准备好的番茄图片分为 8 个环形区域,先提取出颜色直方特征图,再利用主成分方法进行降维处理;经过交叉校验后,当主成分设置为 32 维时效果会比较好。为了验证基于卷积神经网络的农作物智能图像识别分类算法的有效性和准确性,将训练好的模型算法移植到实际的农机平台上,对番茄植株上的果实进行实际的识别测试,结果如图 10 所示。图 10 实际测试结果Fig.10 The actual test results由图 10 可知:该识别算法可以精准地对番茄枝上的番茄进行测试,且准确率较高,验证了系统的有效性和准确性。若将该算法应用到其他的农作物成熟度识别上,重新进行训练和识别,也可以达到相同的效果。5 结论以农作物为研究对象,采用深度学习和卷积神经网络对图像处理进行了深入研究,通过 Retina-Net 目标检测算法和建立颜色直方图特征提取算法,实现了农作物智能图像识别算法,可以根据番茄图像的成熟度进行识别和分类。实验结果表明:该算法可以精准地对番茄枝上的番茄进行测试,且准确率较高,验证系统的有效性和准确性,能够满足实时果实识别的应用需要。参考文献:1 易琳,王欣.基于 Boosting 集成学习算法的网络入侵检测技术研究J.现代计算机,2021,27(29):41-45.2 王怡雯,王学军,穆应晨.基于改进 YOLOv4 的道路红外场景下的行人车辆目标检测研究J.科学技术创新,2021(28):72-74.3 谭波,王正家.基于多尺度区域卷积神经网络小交通标志识别算法J.现代电子技术,2021,44(15):59-64.4 黄丽婷.基于深度学习的网络入侵检测技术研究D.西安:西安理工大学,2021.5韦美丽.基于深度学习的道路场景车辆目标检测研究D.桂林:电子科技大学,2021.6 刘畅,朱卫纲.基于卷积神经网络的 SAR 图像目标检测综述J.兵器装备工程学报,2021,42(3):15-21.7 孟祥泽.基于深度卷积神经网络的图像目标检测算法现状研究综述J.数字技术与应用,2021,39(1):112-116.8 仲会娟,蔡清泳.基于多尺度卷积神经网络的交通标志识别方法J.延边大学学报(自然科学版),2020,46(4):359-365.9 王海,王宽,蔡英凤.基于改进级联卷积神经网络的交通标志识别J.汽车工程,2020,42(9):1256-1262,1269.10 杨宏伟,武志斐,徐光钊.基于机器视觉的夜间道路前方车辆目标检测技术J.电子设计工程,2020,28(17):113-116,121.11黄健,张钢.深度卷积神经网络的目标检测算法综述J.计算机工程与应用,2020,56(17):12-23.12 陈鸿坤.基于多尺度语义信息融合的目标检测算法研究D.南昌:江西理工大学,2020.13 史冰莹,李佳琦,张磊.基于 CNN 的农作物病虫害图像识别模型J.计算机系统应用,2020,29(6):89-96.14 王莹莹.基于卷积神经网络的人脸表情识别问题的研究D.济南:山东大学,2020.15 胡跃虹.基于复数全卷积神经网络和卷积自编码器的SAR 目标分类D.南昌:江西理工大学,2020.16 夏元天.基于深度卷积神经网络的图像分类和语义自动标注研究D.昆明:云南师范大学,2020.17 刘双.基于卷积神经网络的图像分类算法研究D.昆明:云南财经大学,2020.18 王蓉,马春光,武朋.基于联邦学习和卷积神经网络的入侵检测方法J.信息网络安全,2020,20(4):47-54.19 吕侠.基于深度学习的道路车辆目标检测方法研究D.成都:电子科技大学,2020.(下转第 29 页)322023 年 12 月 农 机 化 研 究第 12 期(1.College of Electromechanical Engineering,Qingdao Agricultural University,Qingdao 266109,China;2.Qingdao Plantech Mechanical Technology Co.Ltd.,Qingdao 266109,China;3.Weichai Lovol Heavy Industry Co.Ltd.,Wei-fang 261200,China)Abstract:In order to study the influence of various motion parameters of the air-suction duckbill seed metering device on the seed-introduction process,this experiment used the discrete element analysis software EDEM to perform simulation analysis and conducted a quadratic orthogonal combination experiment.The test results showed that the rotation speed of the seed metering device had a greater influence on the qualified index than the angle of the stop groove,and the distance between the suction holes had a smaller influence on the qualified index.Design Expert software was used to process the data and obtain the optimal parameter combination of various factors in the seed-introduction stage.When the rotation speed was 6.19rad/s,the angle of the stop groove was 13.77 and the distance between the suction holes was 94.45mm,the qualified index was 96.17%,and the missing seed index was 3.69%.Key words:corn precision seed metering device;seed-introduction process;duckbill of air-suction;simulation test(上接第 23 页)20 张猛,钱育蓉,杜娇.基于改进的 LeNet-5 卷积神经网络交通标志的识别J.东北师范大学学报(自然科学版),2020,52(1):92-97.21 李璐.面向无人驾驶的彩色点云目标快速标注与检测算法D.哈尔滨:哈尔滨工业大学,2020.22 曾成龙.基于仿射量化的卷积神经网络加速器设计与实现D.天津:天津大学,2019.23 卢飞宇.基于改进的卷积神经网络的交通标志检测与识别算法J.工业控制计算机,2019,32(6):54-56.24 陈奇星.基于卷积神经网络的图像分类算法研究D.南昌:南昌航空大学,2019.25 吴健宇.基于深度卷积神经网络的农作物病虫害识别及实现D.哈尔滨:哈尔滨工业大学,2019.26 何浩男.基于卷积神经网络迁移学习的 SAR 图像目标分类方法研究D.西安:西安电子科技大学,2019.27 王红霞,周家奇,辜承昊.用于图像分类的卷积神经网络中激活函数的设计J.浙江大学学报(工学版),2019,53(7):1363-1373.28 刘兆荣.基于改进激活函数的卷积神经网络算法及应用研究D.上海:上海海洋大学,2019.29 赵银玲,周武能.基于改进卷积神经网络的交通标志识别方法J.计算机系统应用,2018,27(10):209-213.30 马永杰,李雪燕,宋晓凤.基于改进深度卷积神经网络的交通标志识别J.激光与光电子学进展,2018,55(12):250-257.Abstract ID:1003-188X(2023)12-0020-EA Research on Crop Intelligent Image Recognition and Classification Based on Convolution Neural Network Wu Bei,Xiao Li (Wuhan University of Engineering Science,Wuhan 430200,China)Abstract:It first introduces the structure of convolutional neural network,the working principle of each module and reti-na net target detection algorithm,and then uses the color histogram feature extraction method to realize the intelligent image recognition and classification algorithm of crops based on convolutional neural network.Experiments show that the algorithm can accurately identify and test tomatoes on Tomato branches,and the accuracy is high.It verifies the effective-ness and accuracy of the system,which meet the application needs of real-time fruit recognition.Key words:crop;image recognition;convolutional neural network;Retina-Net;target detection;feature extraction922023 年 12 月 农 机 化 研 究第 12 期