残差网络改进下的水果分类.pdf

2023年第49卷第4期无线电通信技术659 doi:10.3969/j.issn.1003-3114.2023.04.009引用格式:吴琨生,朱明睿,姚燕洁,等.残差网络改进下的水果分类J.无线电通信技术,2023,49(4):659-664.WU Kunsheng,ZHU Mingrui,YAO Yanjie,et al.Fruit Classification Based on Improved Residual NetworkJ.Radio Communications Technology,2023,49(4):659-664.残差网络改进下的水果分类吴琨生1,朱明睿1,姚燕洁2,李 航3(1.南宁师范大学 计算机与信息工程学院,广西 南宁 530100;2.南宁师范大学 地理科学与规划学院,广西 南宁 530100;3.广西民族大学 人工智能学院,广西 南宁 530006)摘 要:广西地处次亚热带地区,丰盛的水果是其支柱产业之一,但是种类繁多的背后对于构建智能物流分销链有着很大的困难,其中的水果智能识别分类就是一个非常重要的问题。针对现有分类模型对水果分类效果不好的情况,在基于 ResNet-50 网络上提出一种 ResNet-50MFC 网络,通过实验证明,进行 300 次迭代后,与原模型相比准确率提升了 3.9%。不仅于此,在实际数据集上也取得很好的效果,证明了该模型的有效性和实用性。关键词:ResNet-50;水果分类;MFC中图分类号:TP391 文献标志码:A 开放科学(资源服务)标识码(OSID):文章编号:1003-3114(2023)04-0659-06Fruit Classification Based on Improved Residual NetworkWU Kunsheng1,ZHU Mingrui1,YAO Yanjie2,LI Hang3(1.School of Computer and Information Engineering,Nanning Normal University,Nanning 530100,China;2.School of Geographic Science and Planning,Nanning Normal University,Nanning 530100,China;3.School of Artificial Intelligence,Guangxi University for Nationalities,Nanning 530006,China)Abstract:Guangxi is located in the sub-tropical region,and fruit is one of the pillar industries.However,behind the wide variety of fruits,there are great difficulties in building an intelligent logistics distribution chain.And the intelligent identification and classification of fruits is a very important issue.Aiming at the poor performance of existing classification models for fruit classification,a ResNet-50MFC network based on ResNet-50 network is proposed.Experiments have shown that compared to the original model,the accuracy rate and recall rate are improved respectively.Good results are obtained on entity data sets,which proves the effectiveness and practical-ity of the model.Keywords:ResNet-50;fruit classification;MFC收稿日期:2023-03-090 引言水果作为广西农业的支柱产业之一,随着现代化产业集群的构建,其智能化的进程就是其中重要的环节,需要处理的问题就有对水果进行识别分类。传统的人工挑拣效率太低不利于产业的发展,而且伴随着农业技术的突破,各种新奇品种不断问世,对于从业人员来说有着很大的难度,这就需要智能识别分类来解决这些问题1。目标识别分类作为计算机视觉的基础任务,在深度学习中有很多的应用,通过向量进行特征标注,利用深度神经网络进行卷积操作,特征转向各类细节会被高维特征图各通道的激活单元代表,形成多维向量。由 Lecun 等人2提出的 LeNet,将卷积层和下采样层相结合的方式在手写字符的分类任务取得了成功,还创新性地用于水果的识别分类任务3。通过提升网络提出的 AlexNet 运用 ReLU 函数来解决 Sigmoid 的梯度弥散,加入 dropout 层来减少过拟合以及运用最大池化层等操作,将分类任务运用在现实中大规模数据集解决复杂分类任务变成了可能4。通过叠加多个 33 的卷积层的 VGG(Visual Geometry Group)网络来降低图像分辨率来获得更多的图像特征5。这些方法虽然在分类任务上都有着不错的效果,但是对于一些特定的数据660 Radio Communications TechnologyVol.49 No.4 2023集效果比较差强人意。对于现有的水果分类模型,廉小亲等人6利用Inception-V3 模型进行迁移学习的方式,经过 Ima-geNet 训练得到卷积神经网络(Convolutional Neural Network,CNN)预训练模型,通过多个 Inception 模块进行组成,每个 Inception 由不同尺度的卷积层进行并联的方式结合,获得不同窗口的特征信息增强图像的识别能力,比上一代的支持向量机(Support Vector Machine,SVM)有极大的进步7。徐清华等人8用经过预训练的 VGG-16 模型,通过对 5 个卷积运算块进行最大池化处理,每个卷积块由一系列的 33 卷积层构成最后通过 3 个全连接层进行连接。但是这两种方法,都存在网络会伴随着层数加深出现一系列的梯度消失、梯度爆炸的退化问题,而ResNet 残差网络提出的隔层相连,弱化相连层就很好解决了这个问题,相比较这些模型,ResNet 具有保留特征融合、残差连接、参数小、运行速率快、准确率高的优点。本文选择使用 ResNet-50 残差网络进行研究,并提出一些改进:通过 MFC 模块,构建了一种新的 ResNet-50MFC 网络架构,在更小参数的情况下加入自注意力机制能够提取多尺度特征信息,对于关键特征区域具有很好的注意效果。通过引入余弦退火算法来解决训练时随机梯度下降陷入的局部最小值问题,通过带重启的方式提高学习率,使得函数能得到多个最优解增加训练模型的准确率。1 主要工作1.1 ResNet-50鉴于深度卷积网络,发现单纯的加深网络层数并没有带来更好的性能效果,反而产生退化的问题,而ResNet-50 残差网络的提出很好地解决了这一问题9,其网络结构主要分为:卷积层、最大池化下采样层、4 个残差模块以及全连接层。对于卷积层和最大池化下采样层就是使用一个通道数为64,步长为2 的77 的卷积来做全局特征聚合,对于每一个卷积层后都做了块归一化处理,然后输入到残差模块当中,对于第一个模块采用与输入feature map 相同的通道数,其步长为 1,其后将每一个模块的第一残差块将上一个通道数加倍,高宽无需变化,最后将模块输出的结果通过平均池化进过全连接层得到结果概率。这样的设计,可以避免网络深度增加导致的梯度下降或爆炸问题,但是无法解决卷积感受野对局部以及全局信息特征提取问题,所以提出了 ResNet-50MFC 网络来解决这个问题。ResNet-50 网络结构如图 1 所示。图 1 ResNet-50 网络结构Fig.1 ResNet-50 network structure2023年第49卷第4期无线电通信技术661 1.2 ResNet-50MFC在现有的 ResNet-50 模型中,对尺度特征的抽取是以 33 的卷积,这对于多尺度的特征的收集有局限性,受 Transformer 的启发,通过多个分支网络结构,通过结合自我与邻居节点特征信息融合的方式来获得局部以及全局下多尺度特征信息10,在细腻度的层面上得到更精细的特征,从而改变卷积网络对于局部和全局信息捕获差的问题。在ResNet-50 网络的第 4 个模块加入 MFC 模块提升对不同尺度的特征信息捕捉能力,从而加深对局部与全局信息的融合。ResNet-50MFC 网络结构如图 2所示。图 2 ResNet50-MFC 网络架构Fig.2 ResNet50-MFC network structure 由于 vit 模型的提出,将 Transform 引入计算机视觉领域并取得巨大的成功11,得益于其 Self-Attention 的特征融合能力,并在实验上证明其替代卷积获得局部和全局信息的强大能力12-13,本文尝试将最后一个残差网络块替换成多头注意模块14,构建成新的 MFC 模块。模型对比图如图 3 所示,将第 3 个残差块的输出作为输入,输入 HWd,通过q,k,v 得到 3 个不同的矩阵,通过点乘得到 qk,在经过 softmax 与 v 矩阵点乘,得到全局的信息输出经过一个 11 的卷积层,最后与输入相加得到结果。引入多头机制,head=4,在 Wq,Wk,Wv分成 4 份进行两两相乘,得到头部信息进行拼接,得到多头注意力结果:FCqk=softmax(xWqxWk),headi=Attention(xWvFCqk),MFC(x)=Concathead1,head2,headi。(a)MFC 残差模块网络662 Radio Communications TechnologyVol.49 No.4 2023(b)ResNet-50 残差模块网络图 3 模型对比图Fig.3 Model comparison chart2 实验与分析2.1 实验设置运用 fruit-81 数据集,该数据集总共包含 14 409 张图片,81 个水果种类,包含人参果、佛手瓜、圣女果等。将其中 11 555 张作为训练数据集,测试集和验证集各为 1 443 张。模型在操作系统为 Ubuntu18.04.6LTS 的工作站上,CPU 部分为 11th Gen i7-11700k3.60 Hz16,内存为 32 GB,GPU 为 NVIDIA GeForce RTX 3090。训练环境为pytorch1.12.1,cuda11.4,python3.7。2.2 余弦退火函数初始学习率设为 0.001,通过自定义学习率重启的随机梯度算法(Stochastic Gradient Descent with Warm Restarts,SGDR)来调整学习率重启15,因为在训练时除了全局最优解的结果外还可能有多个局部最优解,添加学习率重启方式使用余弦退火,使得训练时算法跳过局部最优来学习全局最优的结果16。2.3 消融实验以准确率作为参照标准,与原有的 ResNet-50在相同数据集上以同等条件进行实验,迭代 300 次,通过表 1 和图 4 可以看出,具有多尺度特征提取的ResNet-50MFC 网络在准确率上与原模型相比提升了 3.9%。通过模型改进后的关注热力图如图 5 所示,可以看出加入 MFC 模块后,特征关注放在了识别物体的中心,更多地去关注物体本身特征,减少对无关特征的信息关注,MFC 通过自注意力的方式加深对局部和全局不同尺度的信息提取17。对于复杂且具有噪声的数据也具有很好的鲁棒性。表 1 ResNet-50 与 ResNet-50MFC 在 fruit-81 上对比Tab.1 ResNet-50 vs ResNet-50MFC on fruit-81模型Madd/GBFlops/GBMemory/MB准确率/%ResNet-508.224.12109.6867.2ResNet-50MFC11.25.52124.6971.1图 4 ResNet-50 与 ResNet-50MFC 训练结果比较Fig.4 Comparison of ResNet-50 and ResNet-50MFC training results(a)原始模型 (b)ResNet-50 (c)ResNet-50MFC图 5 模型热力图对比Fig.5 Comparison of thermal diagrams models2.4 对比实验对于现有常用的 Inception-V3 和 VGG-16 模型相比,在深层加入了残差结构,使得网络解决了梯度爆炸和消失的问题,提升了网络的深度。加入了MFC 模块,旨在解决卷积网络对不同尺度特征信息提取的问题。从表 2 和图 6 可知,本文模型在具有复杂噪声的 fruit-81 数据集上取得比 Inception-V3 和 VGG-16更好的效果,准确率分别提升了 13%和 12.2%。2023年第49卷第4期无线电通信技术663 表 2 ResNet-50MFC 在 fruit-81 上与各模型对比Tab.2 ResNet-50MFC compared with various models on fruit-81模型Madd/GBFlops/GBMemory/MB准确率/%Inception-V33.181.5930.0358.1VGG-1630.9615.5109.2958.9ResNet-50MFC11.25.52124.6971.1图 6 模型训练结果比较Fig.6 Comparison of models training results3 结论针对主流网络对于水果种类多样性识别率不高、效果不好的问题,在 ResNet 网络上进行改进的ResNet-50MFC 很好地改善了这一点。针对网络加深导致梯度爆炸或消失,采用残差网络的方式进行解决18,并对原有 ResNet 网络中多尺度特征信息提取困难的问题,使用局部-全局注意力的思路进行改动,在结合 ResNet-50 残差网络优点的同时加深了对于局部以及全局特征信息的聚合能力,通过实验证明本文模型的可行性和有效性,在复杂噪声场景下也有很好的效果。参 考 文 献1 田有文,吴伟,卢时铅,等.深度学习在水果品质检测与分级分类中的应用 J.食品科学,2021(19):260-270.2 LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based Learning Applied to Document RecognitionJ.Proceed-ings of the IEEE,1998,86,(11):2278-2324.3 曾平平,李林升.基于卷积神经网络的水果图像分类识别研究J.机械设计与研究,2019,35(1):23-26.4 KRIZHEVSKY A,SUTSKEVER I,HINTON G.ImageNet Classification with Deep Convolutional Neural NetworksCProceedings of the 25th International Conference on Neural Information Processing Systems.New York:Curran Associates Inc.,2012:1097-1105.5 SIMONYAN K,ZISSERMAN A.Very Deep Convolutional Networks for Large-scale Image Recognition J/OL.(2014-09-04)2023-03-02.https:arxiv.org/abs/1409.1556v4.6 廉小亲,成开元,安飒,等.基于深度学习和迁移学习的水果图像分类J.测控技术,2019,38(6):15-18.7 王水平,唐振民,范春年,等.基于 SVM 的水果分类算法研究J.武汉理工大学学报,2010(16):44-47.8 徐清华,郑誉煌,戴冰燕.基于深度残差网络的水果图像分类算法研究J.工业控制计算机,2020,33(12):37-38.9 HE K,ZHANG X,REN S,et al.Deep Residual Learning for Image RecognitionC 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas:IEEE,2016:770-778.10 DOSOVITSKIY A,BEYER L,KOLESNIKOV A,et al.An Image is Worth 16 16 Words:Transformers for Image Recognition at ScaleJ/OL.(2010-10-22)2023-03-02.https:arxiv.org/abs/2010.11929.11 VASWANI A,SHAZEER N,PARMAR N,et al.Attention is All You NeedJ/OL.(2017-06-12)2023-03-02.https:arxiv.org/abs/1706.03762.12 LASSANCE C,DJEAN H,CLINCHANT S.An Experi-mental Study on Pretraining Transformers from Scratch for IR C Advances in Information Retrieval.Dublin:ECIR,2023:504-520.13 SRINIVAS A,LIN T Y,PARMAR N,et al.Bottleneck Transformers for Visual Recognition C 2021 IEEE/CVF Conference on Computer Vision and Pattern Recog-nition(CVPR).Nashville:IEEE,2021:16514-16524.14 CHUNG J,GULCEHRE C,CHO K H,et al.Empirical Evaluation of Gated Recurrent Neural Networks on Se-quence ModelingJ/OL.(2014-12-11)2023-03-02.https:arxiv.org/abs/1412.3555.15 LOSHCHILOV I,HUTTER F.SGDR:Stochastic Gradient Descent with Warm RestartsJ/OL.(2016-08-13)2023-03-02.https:arxiv.org/abs/1608.03983.16 HAN S,MAO H,DALLY W J.Deep Compression:Com-pressing Deep Neural Networks with Pruning,Trained Quantization and Huffman CodingJ/OL.(2015-10-01)2023-03-02.https:arxiv.org/abs/1510.00149.17 LEFKIMMIATIS S.Non-local Color Image Denoising with Convolutional Neural NetworksC 2017 IEEE Confer-ence on Computer Vision and Pattern Recognition(CVPR).Honolulu:IEEE,2017:5882-5891.18 WU Z,SHEN C,HENGEL A.Wider or Deeper:Revisiting the ResNet Model for Visual Recognition J.Pattern Recognition,2016,90:119-133.664 Radio Communications TechnologyVol.49 No.4 2023作者简介:吴琨生南宁师范大学硕士研究生。主要研究方向:计算机视觉、多模态识别。朱明睿南宁师范大学硕士研究生。主要研究方向:计算机视觉、算法优化。姚燕洁南宁师范大学本科在读。主要研究方向:人文数据挖掘、算法优化。(通信作者)李航硕士,广西民族大学专任教师。主要研究方向:知识图谱、自然语言处理。