基于注意力机制的水果损伤检测及分类_张杰.pdf

文章编号：1005-5630(2023)02-0026-10DOI:10.3969/j.issn.1005-5630.2023.002.004 基于注意力机制的水果损伤检测及分类基于注意力机制的水果损伤检测及分类张 杰，夏春蕾，张荣福，哈利扎提居来提，刘 怡（上海理工大学 光电信息与计算机工程学院，上海 200093）摘要：水果作为人们日常必备的食物，其越来越高的消费需求使得行业对自动损伤检测和自动分类的要求日益提高。针对这一需求，近年来水果损伤自动检测成为研究的热门话题。针对现有的深度学习技术，即卷积神经网络在水果的特征提取和分类方面的应用进行了探讨，提出了一种以 ResNet34 作为主干网络，并在此基础上引入注意力机制 SE 和 CBAM 模块的方法来实现水果损伤的检测和基本分类。在 fruit fresh and rotten for classification 数据集上完成了该方法的验证。经过与 VGG16，GoogLeNet，MobileNetV2 等常见网络的比较分析，结果显示改进后的模型分类准确度达到 98.8%。通过加入新的苹果数据集，该模型相比原网络ResNet34，在性能方面进一步提升，有效提高了模型的泛化性。该模型提升了水果损伤检测和分类处理的精确性，在实际中，可为复杂的水果图片的多特征分类处理提供借鉴。关键词：深度学习；水果损伤检测；ResNet；注意力机制中图分类号：TP 183 文献标志码：A Fruit damage detection and classification based on attentionmechanismZHANG Jie，XIA Chunlei，ZHANG Rongfu，HALIZHATI Julaiti，LIU Yi（School of Optical-Electrical and Computer Engineering,University of Shanghai forScience and Technology,Shanghai 200093,China）Abstract:For the daily essential food of people,automatic damage detection and automaticclassification are essential for the increasing consumption of fruit.In view of this demand,automatic detection of fruit damage has become a hot topic in recent years.In this paper,theapplication of convolutional neural network,an existing deep learning technology,in fruit featureextraction and classification was discussed.A method based on ResNet34 as the backbone networkand the introduction of attention mechanism SE and CBAM module was proposed to realize thedetection and basic classification of fruit damage.The method was verified on fruit fresh and rottenfor classification data set,and compared with VGG16,GoogLeNet,MobileNetV2 and othercommon networks.The accuracy of fruit damage detection and classification is improved.Theclassification accuracy reaches 98.8%.By adding the new apple data set,the performance of the收稿日期：2022-09-17第一作者：张杰(1997)，男，硕士研究生，研究方向为图像处理。E-mail：通信作者：夏春蕾(1974)，女，讲师，研究方向为图像处理和信号编码。E-mail：第 45 卷 第 2 期光 学 仪 器Vol.45，No.22023 年 4 月OPTICAL INSTRUMENTSApril，2023model is further improved,compared with the original network ResNet34,and the generalization ofthe model is effectively improved,which provides a reference for the complex multi-featureclassification of actual fruit images.Keywords:deep learning；fruit damage detection；ResNet；attention mechanism引言在众多的食物中，水果是人类日常健康饮食的重要组成部分，因为水果富含的维生素等营养元素能帮助预防疾病。然而，很多水果的保质期较短。由于储存不当或者运输过程中的碰撞等原因造成的损伤，使得水果品质下降甚至变得腐烂而不宜食用。因此，食品行业在出售水果之前需要对其进行严格的检测。传统的人工检测方案不仅成本高、效率低，还存在一致性和准确性较差等问题。随着生活水平的提高，水果的消费量逐年增长，而不同市场消费者对水果品质、种类等方面的需求呈现出多样化特点，水果的自动化品质检测和分类也就成为必须要解决的问题。近年来，随着深度学习和计算机视觉技术的不断发展，机器学习及卷积神经网络在分类和检测领域的应用研究也越来越多。探索基于深度学习技术的水果损伤检测和分类方法成为了研究热点1。近几年，研究人员在腐坏水果的检测方面进行了很多研究。Karakaya 等2 研究了多种特征提取技术在水果新鲜度分类上的性能表现。他们在对水果进行特征提取后，采用支持向量机（support vector machine,SVM）分类技术进行实验。在对 1 个共有 1 200 张图片，包含橘子、香蕉和苹果等 3 类水果在内的数据集进行测试后，证明卷积神经网络搭配 SVM 分类器呈现出最好的性能，分类准确率达到 97.61%。Wajid 等3提出了 1 种快速判别柑橘状态的方法。他们通过对比分析包括贝叶斯、人工神经网络和决策树的适用性和性能，发现决策树分类技术对橙色条件的分类效率高于其他方法。该方法的准确度、精确度和灵敏度分别为 93.13%，93.45%和 93.24%。Singh 等4运用小波变换、定向梯度直方图、灰度共生矩阵等方法提取苹果的纹理特征，然后用 SVM、k-NN、逻辑回归、线性判别等多种分类器对新鲜苹果和腐烂苹果进行对比实验，结果发现，SVM 分类器的性能为 98.8%，优于其他分类器。Chakraborty 等5使用卷积神经网络提取水果图像的特征，并使用 Max pooling、Averagepooling 和 MobileNetV2架构对图像进行分类。在 Kaggle 数 据 集 上 的 性 能 测 试 结 果 显 示：MobileNetV2 在训练集和验证集中的准确率分别达到了 99.46%和 99.61%；Max pooling 的训练集准确率达到 94.49%，验证集准确率达到94.97%；Average pooling 的 训 练 集 准 确 率 为93.06%，验证集准确率为 93.72%。结果表明，该研究所提出的卷积神经网络模型能够区分新鲜水果和腐烂水果。上述方法主要是一些主流的分类网络在水果数据集上的直接应用，研究者对网络本身并无太多的改进6。结合以上论文的研究成果，通过与经典的分类网络对比，本文选择 ResNet 模型作为分类模型，并在此基础上尝试加入两个不同的注意力机制进行改进，从而将水果分类所依据的特征信息予以进一步优化，获取有利于水果分类的重要特征；通过可视化算法 Grad-CAM7将模型提取的效果进行展示，最终获得更高的分类准确率；利用自制的新数据集达到图像增强效果，提升了网络的泛化性能，对复杂的水果图像也有不错的识别效果。1模型构架1.1ResNet 网络模型ResNet8残 差 网 络 在 2015 年 同 时 斩 获ImageNet 竞赛中分类任务第一名和目标检测第一名9。这个网络最初由微软工作室提出，其亮点是：解决了网络层数不断加深而导致的梯度爆炸或者梯度消失问题；拥有超深的网络结构，不影响其性能；提出了 Residul 模块，解决了网络第 2 期张 杰，等：基于注意力机制的水果损伤检测及分类 27 退化问题；使用了 Batch Normalization加速训练等。该网络被广泛使用，在图像分割和目标检测方向也取得了很好的效果。ResNet34的结构如图 1 所示。image7*7 conv,64,/23*3 conv,128,/23*3 conv,256,/23*3 conv,512,/23*3 conv,643*3 conv,643*3 conv,643*3 conv,643*3 conv,643*3 conv,64pool,/23*3 conv,1283*3 conv,1283*3 conv,1283*3 conv,1283*3 conv,1283*3 conv,1283*3 conv,1283*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,2563*3 conv,5123*3 conv,5123*3 conv,5123*3 conv,5123*3 conv,512avgpoolFC 图1ResNet34 结构图Fig.1ResNet34networkstructure xH(x)F(x)=H(x)x为了克服神经网络层次越深越难训练而导致的网络退化问题，ResNet 模型引入了残差模块，很好地解决了这一问题10。残差模块如图 2 所示，对于 1 个堆叠层结构，当输入为 时，其学习到的特征记为 ，残差 。残差学习相比原始特征直接学习更加容易。当残差为 0 时，堆积层仅仅做了恒等映射，网络性能不会下降。实际上残差不会为 0，这也使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。1.2SE 模块SENet11是 Squeeze-and-Excitation Networks的简称，该网络获得了 ILSVRC2017 分类比赛的冠军。SE 模块由 Squeeze 和 Excitation 两部分组成，如图 3 所示。Squeeze 表示顺着空间维度进行特征压缩，将每个二维的特征通道变成 1 个实数。这个实数某种程度上具有全局的感受野。输出的维度和输入的特征通道数相匹配12。HWSqueeze 通过全局池化将每个通道的二维特征（）压缩为一个实数，其公式为zc=Fsq(uc)=1HWHi=1Wj=1uc(i,j)(1)uc RHWCHW给定 1 个输入,，H,W,C 分别为提取特征后的高、宽和通道。通过全局池化，将每个通道对应的空间信息（）压缩到对应通道中变为 1 个数值。此时 1 个像素表示 1 个通 xx恒等映射F(x)F(x)+x函数 Relu函数 Relu权重层权重层 图2残差模块Fig.2Residualmodule XUHHWWCCCWHSqueezeScaleExcitation 图3SE 模块结构图Fig.3StructureofSEmodule 28 光 学 仪 器第 45 卷11Czc R11C道，最终维度变为 ，所以输出 最终成为 1 个向量。Excitation 表示基于特征通道间的相关性，每个特征通道生成 1 个权重，用来代表特征通道的重要程度。为了实现这一目标，选择了门控机制和 Sigmoid 激活函数，其公式为sc=(W2(W1z)(2)式中：为激活函数Relu；为激活函数Sigmoid；W1和 W2为线性层；最终得到的 sc 为权重值。scuc最后，利用 Scale 将上一步得到的权重值 与原始特征图 进行操作，将前面得到的归一化权重加权到每个通道的特征上，逐个通道乘加权系数，这样就在通道维度中引入了注意力机制，表达式为?xc=FScale(uc,sc)=scuc(3)式中：uc为 u 的 1 个通道;sc为通道的权重。1.3CBAM 模块卷 积 注 意 力 模 块13（convolutional blockattention module，CBAM）是 1 种轻量通用注意力模块，如图 4 所示，能同时在空间和通道上进行特征的注意力机制，所以该模块由两部分组成，通道注意力模块和空间注意力模块14。输入特征层通道注意力模块空间注意力模块输出特征层 图4CBAM 模块结构图Fig.4StructureofCBAMmodule Mc通道注意力模块首先将特征图分别采用平均池化和最大池化操作来聚合特征映射的空间信息，然后将其放入到多层感知机，最后将两者合并，通过激活函数得到结果 ，其公式为Mc(F)=(MLP(Avgpool(F)+MLP(Maxpool(F)(4)Mc式中：为 Sigmoid 函数；MLP 为多层感知机；为通道注意力模块。Ms空间注意力模块的步骤跟上面类似，先两个池化操作聚合特征图，然后通过卷积操作和激活函数得到结果 ，其公式为Ms(F)=(f77(Avgpool(F);MaxPool(F)(5)f7777式中：为 Sigmoid 函数；为 的卷积核操作。最后将这两个模块按照先通道后空间的顺序排列，就组成了完整的 CBAM 模块。1.4模型结构为了进一步提升 ResNet34 模型的分类效果，使网络更加注意到新鲜水果与缺陷水果的特征，加强图像有效特征信息，从而提高模型的鲁棒性，本文提出了将 SE 模块和 CBAM 模块嵌入到 ResNet 网络中。由于该实验的数据集样本偏少，数据特征相对简单，因此在模型训练过程中容易产生过拟合的现象，从而导致模型泛化性能变差。所以将 SE 模块嵌入到 ResNet 网络的每 一 层Residual Block 中，网络的每 一个ResidualBlock 都将提升网络对图像重要区域的捕捉。一共引入了 16 层的 Residual Block，如图 5 所示。将 CBAM 模块嵌入到第 1 层 Residual Block之前与最后 1 层 Residual Block 之后，相当于将该模块添加到整个模型的开头和结尾，一共 2 次。其原因是 CBAM 更善于捕捉图像的位置信息。先确定好想要捕捉的方位，这将更有针对性地对图像的具体细节进行特征提取，结构如图 6 所示。两种不同注意力机制可以相互作用。其中，SE 模块可以在不引入新的空间维度情况下显示构建特征通道之间的依赖关系，通过在图像的每个通道施加 1 个权重，加大水果图像对通道信息的差异。而 CBAM 模块可使得模型对空间信息更加敏感，抑制无效特征层的影响，提升模型的准确率15。第 2 期张 杰，等：基于注意力机制的水果损伤检测及分类 29 InputConv1BatchnormBatchnormReLUConv2Global poolingFCReLUReLUFCSigmoidScaleOutput 图5ResidualBlock-SE 结构图Fig.5StructureofResidualBlock-SE Inputconv1BatchnormReLUCBAMMaxpoolModuleCBAMAvgpoolFCSoftmaxOutputModule=Block(64)*3+Block(128)*4+Block(256)*6+Block(512)*3 图6改进后的模型结构Fig.6Improvedmodelstructure 2实验及结果分析2.1实验平台本实验在 Google Colabs 平台上进行，GPU型号为 Tesla K80，显存为 11 441 MiB，Python 版本为 3.7.12，深度学习框架为 Pytorch，版本为1.10.0。2.2数据集本文使用的数据集是 Kaggle 网站上的 fruitfresh and rotten for classification 公开数据集。数据集大小为 1.95 GB，分为训练集和测试集，每个集里又分为 6 类，分别是新鲜苹果、新鲜香蕉、新鲜橙子、腐烂苹果、腐烂香蕉和腐烂橙子（如图 7 所示），图片数量一共有 13 600 多张。2.3模型训练与参数调整2242243在模型训练过程中，将图像缩放至 作为网络输入尺寸，由于数据集本身已经进行了加入椒盐噪声、旋转角度等数据增强处理，所以仅需要将数据集转化为张量并进行归一化。为了实验数据的准确性，实验中所有模型的超参数设置都保持一致，训练时批量大小设置为 16，训练迭代次数为 10 次，采用 Adam 梯度下降法来更新参数和优化模型，其学习率设置为 0.000 1。图 8 给出了本文改进后模型的训练过程可视化展示，该可视化使用了 Grad-CAM 方法。在该模型过程的可视化分析中，选取新鲜苹果和腐烂苹果图片各 1 张，图中列出的 layer 1layer 4分 别 对 应 模 型 中 Block（64）、Block（128）、Block（256）、Block（512）。由图像效果可知，训练模型所学习到的特征随着层数的增加而逐渐显著，最终完成的模型也因此更容易捕捉到图像的关键信息。2.4模型评估指标为了评价模型的性能，采用了准确率（accuracy）、精 确 率（precision）、召 回 率（recall）、特异度（specificity）作为评价指标16。其中，准确率 A 为模型正确分类样本数占总样 新鲜苹果新鲜橙子新鲜香蕉腐烂苹果腐烂橙子腐烂香蕉 图7水果数据集Fig.7Fruitdataset 30 光 学 仪 器第 45 卷本数比例，公式为A=Tp+TnTp+Tn+Fp+Fn(6)精确率 P 为模型预测的所有阳性样本中，模型预测正确的比例，公式为P=TpTp+Fp(7)召回率 R 为所有真实的阳性样本中，模型预测正确的正样本比例，公式为R=TpTp+Fn(8)特异度 S 为所有真实的阴样本中，模型预测正确的负样本比例，公式为S=TnTn+Fp(9)式中：Tp为真阳性样本数量；Fp为假阳性样本数量；Tn为真阴性样本数量；Fn为假阴性样本数量。F1-Score 为综合评价指标，公式为F1=2RPR+P(10)2.5结果与分析先将 VGG1617、GoogLeNet18、ResNet34、MobileNetV219模型在该数据集进行实验，结果如图 9、图 10 所示。ResNet34 网络训练的准确率和损失值都优于其他网络，其准确率为 97.9%，故将 ResNet34作为主干网络。然后分别测试了 ResNet34、ResNet34+SE、ResNet34+CBAM 和 ResNet34+SE+CBAM 网络的实验准确率，并进行对比。结果显示，改进后的 ResNet34+SE+CBAM 网络准确率最高，为98.8%，比 ResNet34 提高了 0.9%，比 ResNet34+SE 提高了 0.1%，比 ResNet34+CBAM 提高了0.5%。在精确率上，ResNet34+SE+CBAM网络比 ResNet34 提高了 0.9%，比 ResNet34+SE提高了 0.1%，比 ResNet34+CBAM 提 高 了 0.4%。原图新鲜苹果腐烂苹果Layer1Layer2Layer3Layer40255075100125150175200050100 150 2000255075100125150175200050100 150 2000255075100125150175200050100 150 2000255075100125150175200050100 150 2000255075100125150175200050100 1502502000255075100125150175200050100 1502502000255075100125150175200050100 1502502000255075100125150175200050100 150250200 图8模型提取各层特征可视化热力图Fig.8Visualizationthermodynamicdiagramofeachlayerfeatureextractedbymode 0102030405060708090100012345678910训练迭代次数VGG16GoogLeNetMobileNetV2ResNet34验证集准确率/%图9各网络验证集准确率结果对比Fig.9Comparisonofaccuracyresultsofeachnetworkmodelforthevalidationset 00.20.40.60.81.01.21.412345678910训练迭代次数VGG16GoogLeNetMobileNetV2ResNet34训练集损失值 图10各网络训练集损失值对比Fig.10Comparisonofthelossvalueofeachnetworkmodelforthetrainset 第 2 期张 杰，等：基于注意力机制的水果损伤检测及分类 31 在 召 回 率 上，ResNet34+SE+CBAM网 络 比ResNet34 提高了 1.1%，比 ResNet34+SE 提高了0.2%，比 ResNet34+CBAM 提高了 0.6%。结果证明，改进后模型性能最佳，具体结果见表 1。表1各网络模型分类性能对比Tab.1Comparisonofclassificationperformanceofeachnetworkmodel模型准确率/%精确率/%召回率/%ResNet3497.997.997.9ResNet34+SE98.798.798.8ResNet34+CBAM98.398.498.4ResNet34+SE+CBAM98.898.899.0 表 2 为改进后的模型 ResNet34+SE+CBAM在测试集中各品种预测精确率、召回率、特异度结果。该网络每类品种的特异度均超过 99.5%，说明模型的误分类率很小，但在腐烂苹果这个品类上精确率和召回率最低，说明模型的性能还有提升的空间。表2测试集各品种预测结果Tab.2Resultsofeachvarietyintestset类别精确率/%召回率/%特异度/%新鲜苹果98.299.399.5新鲜香蕉100.099.8100.0新鲜橙子98.899.399.8腐烂苹果98.397.799.5腐烂香蕉99.699.399.9腐烂橙子99.598.299.9 表 3 为改进后的模型 ResNet34+SE+CBAM与文献 5 的实验结果数据对比。该文献采用MobileNetV2 模型进行实验，且使用与本文相同的数据集。通过对比可知，改进后模型的大部分实验数据都优于文献 5 报道的实验结果，说明改进后模型的识别效果显著提升。表3测试集实验结果对比Tab.3Comparisonofexperimentaltestsetresults类别精确率/%召回率/%F1-Score/%ResNet34+SE+CBAM文献5ResNet34+SE+CBAM文献5ResNet34+SE+CBAM文献5新鲜苹果98.29899.39998.797新鲜香蕉100.09999.89899.897新鲜橙子98.89999.39999.099腐烂苹果98.39897.79997.998腐烂香蕉99.69999.39899.498腐烂橙子99.59998.29998.899 由于公开的水果数据集中新鲜与腐烂水果的图片差异较大，特征区分较容易等原因，上述各网络在分类性能测试中精确率都很高20。但实际在做水果分类时，一些损坏不那么明显的水果也经常需要予以剔除，如图 11（d）（f）所示：分别为虫蛀、缺水缩皱、挤压伤等。对于这类损伤，现有的数据集中相关样本较少，从而使得训练后模型难以分辨现实水果的腐坏程度，可能出现分类错误。为了测试各模型对这类水果损伤的分类效果，新拍摄了 334 张苹果图片作为补充数据，其中 296 张为腐烂苹果，38 张为新鲜苹果，图 11为拍摄样例，借此讨论新增数据对网络模型识别效果的提升作用。由于新增的水果数据集数量较少，为了讨论新数据集加入后对实验结果的影响，在原数据集保持不变的基础上，将新数据集加入到验证集作为结果测试使用，而训练集保持不变。实验结果表明，经过训练之后，各个网络模型在验证集中测得的准确率均有所下降，特别是在苹果这个类别中的各项指标均有明显地下降，但改进后的 32 光 学 仪 器第 45 卷ResNet34+SE+CBAM 网络分类效果依然优于未改进前网络。表 4、表 5 分别展示了新数据加入验证集前后的各网络效果对比。表4新数据加入验证集前改进前后的网络性能对比Tab.4Comparisonofperformanceeffectsbeforeandafternetworkimprovementbeforethedataisaddedintothevalidationset类别模型精确率/%召回率/%特异度/%新鲜苹果ResNet3497.898.899.2ResNet34+SE98.099.299.4ResNet34+CBAM97.998.999.3ResNet34+SE+CBAM98.299.399.5腐烂苹果ResNet3497.197.299.1ResNet34+SE98.097.599.5ResNet34+CBAM97.797.299.4ResNet34+SE+CBAM98.397.799.5 表5新数据加入验证集后改进前后的网络性能对比Tab.5Comparisonofperformanceeffectsbeforeandafternetworkimprovementafterthedataisaddedintothevalidationset类别模型精确率/%召回率/%特异度/%新鲜苹果ResNet3493.891.399.0ResNet34+SE97.191.499.3ResNet34+CBAM94.191.499.1ResNet34+SE+CBAM97.391.699.5腐烂苹果ResNet3496.089.297.6ResNet34+SE96.592.697.4ResNet34+CBAM96.195.197.8ResNet34+SE+CBAM96.796.297.9表 4 为原始数据集中的 10 次迭代测试结果，因为原始数据集中腐烂水果图片损坏程度都比较严重，所以分类效果好。表 5 则加入了一些损坏不严重的样本，可以看到网络模型的相关测试数据均有所下降，但改进后模型的分类效果仍有优势。表 6 为训练集中加入新数据后，网络改进前后的实验结果分析。经过 10 次训练迭代后，从各个网络在苹果类别的各项指标中可以看出，加入新数据后，ResNet34+SE+CBAM网络的性能仍优于 ResNet34 网络，损失值降低 0.052，准确率提高 1.5%，同样优于加入单个注意力机制模块的网络性能。说明在新增数据集后，注意力机制模块仍有助于提升网络的识别能力。表6网络改进前后在数据增强后的性能对比Tab.6Comparisonofperformanceeffectsafterdataenhancementbeforeandafternetworkimprovement类别损失值准确率/%ResNet340.24597.4ResNet34+SE0.19598.0ResNet34+CBAM0.23597.8ResNet34+SE+CBAM0.19398.9 将新的苹果数据加入训练集，经过损坏程度较低、不易区分的水果数据训练后，各模型在苹果类别的指标都有所提升，包括新鲜苹果和腐烂苹果两个类别，如图 12、图 13 所示。结果对比显示，注意力机制模块加入原网络是有效的，改进后的 ResNet34+SE+CBAM 模型效果更佳。训练集数据扩增之后，在新鲜苹果和腐蚀苹果这两个类别的对比实验中，ResNet34+SE+CBAM 网络分别比 ResNet34 网络的精确率提高了 1.2%和 2.0%，比 ResNet34+SE 网 络 提 高1.2%和 0.4%，比 ResNet34+CBAM 网 络 提 高 新鲜苹果腐烂苹果(a)(b)(c)(d)(e)(f)图11苹果数据集Fig.11Applesdataset 0.9830.9830.9950.9750.9950.9950.9960.9970.9970.9890.9990.940.950.960.970.980.991.00CBAMSE+CBAM精确率召回率特异度ResNet34 ResNet34+SEResNet34+ResNet34+0.980 图12各网络在新鲜苹果类别的对比图Fig.12Comparisonofnetworkinthefreshapplescategory 第 2 期张 杰，等：基于注意力机制的水果损伤检测及分类 33 1.5%和 0.8%；在召回率上，比 ResNet34提高2.1%和 2.4%，比 ResNet34+SE 提高了 0.1%和1.4%，比 ResNet34+CBAM 提高 0.1%和 1.9%。结果证明，在数据增强后，双注意力机制模块的加入使改进后的模型表现出较好的实验效果。3结论本文将 ResNet34 网络应用于缺陷水果分类数据集中，并将其与 VGG16、GoogLeNet、MobileNetV2 网 络 作 对 比。实 验 结 果 表 明，ResNet34 网络在准确率较高的情况下，损失下降得最快，效果最好。为了优化模型，使其能在相同的迭代次数下达到较好的效果，在网络中加入了注意力机制 SE 和 CBAM，增强了模型特征提取过程中关注显著信息的能力，同时抑制无关的特征信息。实验对比发现：改进后的模型相比之前准确率提高了 0.9%，而且比分别单独加入一个注意力机制模块的效果更好，准确率分别提高了 0.1%和 0.5%；在加入新的苹果数据集之后，改进后网络在新鲜苹果类别的精确率提高了 1.2%，在腐蚀水果类别的精确率提高了2.0%。在未来的工作中，将进一步研究更加细化的水果品质分类，用更优的分类网络来帮助实现更高的实验目标。参考文献：MIAH M S,TASNUVA T,ISLAM M,et al.Anadvanced method of identification fresh and rottenfruits using different convolutional neuralnetworksC/2021 12th International Conference on 1 Computing Communication and NetworkingTechnologies (ICCCNT).Kharagpur:IEEE,2021:1 7.KARAKAYA D,ULUCAN O,TURKAN M.Acomparative analysis on fruit freshnessclassificationC/2019 Innovations in IntelligentSystems and Applications Conference(ASYU).Izmir:IEEE,2019:1 4.2 WAJID A,SINGH N K,JUNJUN P,et al.Recognitionof ripe,unripe and scaled condition of orange citrusbased on decision tree classificationC/2018International Conference on Computing,Mathematicsand Engineering Technologies (iCoMET).Sukkur:IEEE,2018:1 4.3 SINGH S,SINGH N P.Machine learning-basedclassification of good and rotten appleM/KHARE A,TIWARY U,SETHI I,et al.Recent Trends inCommunication,Computing,and Electronics.Singapore:Springer,2019:377 386.4 CHAKRABORTY S,SHAMRAT F M J M,BILLAHM M,et al.Implementation of deep learning methodsto identify rotten fruitsC/2021 5th InternationalConference on Trends in Electronics and Informatics(ICOEI).Tirunelveli:IEEE,2021:1207 1212.5 苏宝峰,沈磊,陈山,等.基于注意力机制的葡萄品种多特征分类方法 J.农业机械学报,2021,52(11):226 233,252.6 SELVARAJU R R,COGSWELL M,DAS A,et al.Grad-CAM:Visual explanations from deep networksvia gradient-based localizationC/Proceedings of the2017 IEEE International Conference on ComputerVision.Venice:IEEE,2017:618 626.7 HE K M,ZHANG X Y,REN S Q,et al.Deep residuallearning for image recognitionC/Proceedings of the2016 IEEE Conference on Computer Vision andPattern Recognition.Las Vegas:IEEE,2016:770 778.8 江紫薇.基于神经网络的自适应梯度下降法的改进研究 D.哈尔滨:哈尔滨工业大学,2020:36 37.9 陈娟,陈良勇,王生生,等.基于改进残差网络的园林害虫图像识别 J.农业机械学报,2019,50(5):187 195.10HU J,SHEN L,SUN G.Squeeze-and-excitationnetworksC/Proceedings of the 2018 IEEE/CVFConference on Computer Vision and PatternRecognition.Salt Lake City:IEEE,2018:7132 7141.11蒋恺彦程.基于图卷积网络的 miRNA-disease 关联预12 0.9660.9820.9780.9860.9650.9750.970.9890.9960.9940.9980.940.950.960.970.980.991.00CBAMSE+CBAM精确率召回率特异度ResNet34 ResNet34+SEResNet34+ResNet34+0.990 图13各网络在腐烂苹果类别的对比图Fig.13Comp