基于改进CBAM注意力机制的害虫分类算法.pdf

第 卷 第 期 年 月南昌工程学院学报 收稿日期：基金项目：国家自然科学基金资助项目（）作者简介：骆睿（），男，硕士生，通信作者：朱华生（），男，教授，硕士生导师，文章编号：（）基于改进 注意力机制的害虫分类算法骆睿，朱华生，蓝宏，陈聪，任桥峰，段发样（南昌工程学院 信息工程学院，江西 南昌 ）摘要：将传统深度学习的 注意力机制算法直接用于害虫分类，得到的精度不理想，主要原因是害虫个体小、害虫与背景颜色差异小。为此，提出一种适用害虫分类的改进 注意力机制算法。该算法通过改进通道注意力模块，提高害虫的关键信息特征在特征图中的比重，以解决害虫与背景颜色差异小的问题；改进空间注意力模块，以解决害虫个体小、感知难的问题。在消融实验中得到的结果表明，该算法能够有效解决害虫个体小、害虫与背景颜色差异小等问题，使分类准确率得到提升，达到 。关键词：深度学习；害虫分类；通道注意力；空间注意力；中图分类号：文献标志码：，（，）：，：；（）由于害虫种类繁多，传统的害虫防治往往依赖农作物专家或害虫防治专家的经验，费时费力且不方便。由于农林从业人员的经验参差不齐，操作不规范 ，加大了害虫防治工作的难度。随着精准农业的兴起，计算机视觉技术在农业生产中的运用，为害虫的识别提供了新思路，深度学习就是其中的技术之一 。害虫识别方法主要分为基于手工提取特征方法和基于卷积神经网络方法两大类 。在早期，基于手工特征提取方法是害虫识别的主要解决方案。等 利用尺度不变特征变换（）和支持向量机（）分类算法识别了 种害虫。文献 中，使用 分类器来识别叶子图像以及阿克苏林果图像中的害虫。姚侃 提取十字花科蔬菜害虫的特征放入特征分类器中，进而对害虫进行分类。然而，由于害虫种类繁多，针对某种经济农作物而设计识别害虫的特征处理器效率低下。随着深度学习技术的发展，深度卷积神经网络（）在图像分类任务中表现出优越的性能 ，引起不少研究人员的兴趣。刘德营等 利用经典卷积神经网络 对白背飞虱进行分类识别，省去了传统识别方法中必要的复杂图像预处理过程。周爱明等 建立卷积神经网络 的蝴蝶识别模型，使用蝴蝶标本数据集时，其准确率与传统的 方法相差不大，但识别自然环境下的蝴蝶数据集时，其准确率远超 方法。樊景超 利用轻量级网络模型 对果园害虫进行识别且网络模型 能 在 移 动 设 备 上 运 行。杨 承 林 搭 建 结构的深度学习网络模型对害虫进行分类，但参数量巨大。何明智等 融合 和 模块用以图像分类，虽减少部分参数量，但仍不利于实际环境的部署及使用。在自然环境下，害虫数据集图像背景复杂、对象体积小，冗余的背景信息增加了模型对害虫分类及识别难度。而注意力模块可以有效地抑制冗余信息，加强关键特征信息，如 、等 。王美华等 通过改进 注意力模块研究虫害现象，但其注意力模块是通过三分支并联相乘来完成对关键特征信息加权，这样增加了网络模型的计算负担，同时也对计算机显存提出了更高要求。王胜利等 同样是通过改进 的通道注意力模块实现对害虫分类。付国栋等 在 通道注意力模块中融入 注意力的一维卷积操作，以减缓失去全连接层后导致的长程依赖问题，但对于高冗余度数据集，局部一维卷积和全局 函数权值分配可能会导致噪声突出。王生霄等 在 的基础上对通道注意力模块进行改进，通过最大池化和平均池化运算后相加得到通道描述符，但最大池化易使网络模型在高冗余度情况下关注噪音信息。本文提出了一种新的即插即用混合域注意力模块，即局部十字注意力模块（，）。在该模型中，特征图首先通过窗口通道注意力模块（，），以便能更准确地关注关键特征信息；接着通过局部十字空间注意力模块（，），以扩大单个像素点的感受野，强化害虫细微特征的提取。局部十字注意力模块聚合了空间维度和通道维度特征，能抑制次要特征，从而提升了关键特征信息在所有特征信息中的权重。算法总体结构 主干网络模型结构本文算法选择 作为主干网络。的网络模型结构如图 所示，其中网络宽度、深度以及输入图像分辨率三个维度参数，都是通过复合模型扩张方法结合神经结构搜索获得。该网络模型通过神经结构搜索获得三个维度最优参数，相较于传统按照经验调整的方法，具有精度高、节省算力的优势。主要由 卷积层组成，而 卷积层分为 和 卷积层，不同 卷积层代表着层内的结构、参数不同。本次实验选择 网络模型作为害虫图像分类的主干网络模型，并融入改进后的 注意力模块进行试验。图 网络模型结构图 卷积层 和 卷积层是 的重要组成部分。如图 所示，二者均由深度可分离卷积模块和 注意力模块组成。其中深度可分离卷积操作分为逐通道卷积（）和逐点卷积（）两步。这样大大减少网络模型参数，加快网络模型运行速度。而 注意力模块通过注意力加权操作，可以较好地弥补由深度可分离卷积操作造成的特征图中通道信息之间缺乏交互的缺点。在 卷积层提取图像特征的同时，将可分离卷积操作和 注意力模块相组合，可保证网络模型的准确率、参数量及运行速度。和 卷积层的区别在于 卷积层在进行逐通道卷积前，把输入特征图的通道数升维至 倍。第 期骆睿，等：基于改进 注意力机制的害虫分类算法图 与 卷积层算法流程图 注意力模块和 注意力模块 注意力模块 注意力模块属于通道注意力模块，在 卷积层中通过关注输入特征图的关键特征信息，从而提升 网络模型的泛化性及准确率。如图 所示，注意力模块首先对输入特征图（）进行全局平均池化，压缩 的空间维度得到（），也称作通道描述符。其次通过两个 层的通道特征学习和 函数归一化后得到通道注意力权重（）（）。最后，通道注意力权重（）与输入特征图 相乘得到输出特征图（）。图 注意力模块示意图 注意力模块 注意力模块属于混合域注意力模块，其模块结构如图 所示，由通道注意力模块和空间注意力模块组成。与 注意力模块相比，注意力模块不仅加强了 注意力模块的特征提取能力，还加入空间注意力模块。在输入特征图依次经过 注意力模块的通道、空间注意力模块后，输入特征图中的通道、空间特征信息得到自适应特征细化。如图 所示，的通道注意力模块在 注图 注意力模块结构意力模块的基础上加入了全局最大池化操作，将全局最大池化与全局平均池化得到的两个通道描述符逐元素相加，使其进行信息交互，增强网络模型对关键通道信息的学习能力。图 的通道注意力模块示意图空间注意力模块是 注意力模块中的重要模块，能够加强网络模型对关键特征信息的空间定位能力。其模块如图 所示，空间注意力模块对输入特征图（）分别进行全局最大池化和全局平均池化，压缩 的通道信息得到（）和（）。然后将二者拼接并采用 卷积运算，融合空间描述符中的信息，并使用 函数归一化，生成空间注意力权重（）（）。最后将空间注意力权重（）与输入特征图 逐元素相乘得到输出特征图（）。图 的空间注意力模块示意图 、注意力模块的不足 注意力模块通过对特征图的全局平均池化得到具有全局性的通道描述符，而 注意力模块的通道注意力模块在 注意力模块的基础上增加了全局最大池化，并逐点相加，将全局最大池化和全局平均池化得到的通道描述符融合。注意力模块和 注意力模块均是在全局池化后得到通道描述符，忽略了特征图的局部细节，所以网络模型难以关注背景特征复杂，以及对象与背景特征相似的图像中对象的关键特征信息。注意力模块中得到的空间描述符，虽然后续采用 卷积运算扩大其感受野并融合空间信息，但该空间描述符由通道方向的池化生成，感受南昌工程学院学报 年野为 ，其中对象内部的特征之间关联较弱。所以 注意力模块易受噪声干扰，导致难以关注体积较小的对象。后续的实验证明 注意力模块与 注意力模块在对害虫数据集分类时确实存在此现象。注意力模块因为害虫对象在图像上信息占比较少且噪声较大，所以需要加强对害虫关键特征的定位能力。同时害虫图像上冗余信息较多、背景复杂度较高、背景特征与害虫特征较为相似，需要加强对害虫关键特征的识别能力。故本文选择同时具有通道、空间注意力的混合模块进行算法改进。在害虫数据集里，害虫在图像中信息占比较小，因此 、等着重于解决远程依赖问题的混合域注意力模块应用于害虫数据集中的效果有限。相比而言，注意力模块更细致地关注害虫对象的空间位置信息，其内部模块之间分工明确，先关注害虫对象的关键特征信息，再加强关注害虫对象的关键空间位置信息。所以本文提出的注意力模块算法选择基于 注意力模块进行改进，并替换 注意力模块在 和 卷积层中的位置。本文所提出的注意力模块算法基于上述的不足进行改进，名为局部十字注意力模块（，），属于混合域注意力模块。如图所示，注意力模块的模块结构与 注意力模块一致，在连接通道注意力模块后连接空间注意力模块。注意力模块分别将 注意力模块中的通道、空间注意力模块改进为窗口通道注意力模块（，）和局部十字空间注意力模块（，）。注意力模块通过相对细致地压缩空间信息以减少信息损失。注意力模块扩大空间描述符的感受野以突出特征图中细小关键特征的位置信息。注意力模块可用式（）（）表示：（），（）（），（）式中：（）代表通道注意力模块的输出权重；（）代表空间注意力模块的输出权重；代表特征图加权乘法运算；代表输入特征图；代表通道注意力模块的输出特征图；代表输入特征图。注意力模块 注意力模块中的通道注意力模块在 注意力模块的基础上改进，使用全局平均池化和全局最大池化操作获取两个通道描述符，经 层的特征学习后将两者相加融合。由于害虫对象在图像上像素占比较少，背景与害虫特征相近，全局的池化操作对局部细节特征的提取能力较弱，故本文提出 注意力模块，并替换 注意力模块中的通道注意力模块，用以加强网络模型对害虫对象中细小特征的提取能力。图 模块结构如图 所示，注意力模块首先将输入特征图（）平均分为个窗口特征图（），并全局平均池化每个窗口获得 个通道描述符（）。再利用两个共享全连接层（）和非线性激活函数，使 个通道描述符中的关键信息交融共享。使用 函数分别将 个共享信息后的通道描述符进行归一化后得到 个窗口注意力权重（）（）。最后将 个窗口注意力权重与各自的窗口特征图 逐 点 相 乘 得 到 输 出 特 征 图（）。图 注意力模块示意图 通道注意力模块计算公式：（）（，）（）（，），（，），（，），（，），（）式中：为输入的特征图；为共享全连接层；（，）为池化核大小为（，）的平均池化操作；（，）为窗口平均池化后的输出值，其上标为池化操作的起始坐标；为第一层 权重；为第二层 权重；为 函数；为拼接操作；（）为通道注意力的输出权重。本文提出的 注意力模块利用窗口切割策略获取害虫特征图中细致的局部关键特征信息，并同时输入进一个 层中以融合各窗口的第 期骆睿，等：基于改进 注意力机制的害虫分类算法局部特征信息，使得网络模型兼顾对局部、全局特征的感知。如图 算法流程所示，与 、注意力模块通过全局池化操作得到通道描述符的方式不同，注意力模块通过窗口池化操作得到通道描述符。因此 注意力模块提取的通道信息比 注意力模块的通道信息更为细致。注意力模块获取了每个窗口特征图中的关键通道特征信息，并让每个窗口通道描述符共同进入 层，将每个窗口提取关键特征信息进行信息交互以达到观测全局的目的，且没有增加网络模型的参数量。害虫对象体积较小，背景植物信息冗余且繁杂，故 注意力模块旨在使害虫特征图通过通道注意力模块时，保留更多、更细致的关键特征信息，同时不影响注意力模块对全局特征信息的感知。后续的消融实验也证明共享全连接层的效果优于无共享全连接层，且相较于 注意力模块的准确率更高。图 注意力模块算法流程图 注意力模块本文提出的算法中，注意力模块是在 注意力模块中的空间注意力基础上进行改进。注意力模块仅对特征图做通道方向上的全局平均池化和最大池化操作。而如图 所示，相较于 注意力模块中的空间注意力模块，注意力模块对特征图使用步长为 、大小为 和 的池化核进行平均池化操作，还保留了 注意力模块中全局平均池化和最大池化的操作。压缩通道信息以得到特征的空间信息，并将 个池化操作所得的特征图拼接，得到一个大小为 的特征图。图 注意力模块细节图 注意力模块中得到的空间描述符是由通道方向上的池化操作生成的，其感受野为 ，即使后续模块通过卷积核大小为 的卷积操作扩大网络模型中特征图的感受野，但图中特征信息相互之间仍联系较弱。且如文献 所描述，注意力模块中的全局最大池化操作会使网络模型关注背景的某些噪声信息，故 注意力模块在提取害虫对象特征时容易使网络模型被噪声干扰，产生注意力偏移现象。为避免上述问题，注意力模块丰富了网络模型提取的关键特征信息。如图 所示，注意力模块首先对输入特征图（）进行 个池化操作。其中池化核大小为 和 的平均池化操作，意在扩大模块中特征图的感受野，加强网络模型对特征图关键空间位置信息的感知能力，使网络模型不再局限于对单个像素组范围的注意力感知，同时抑制对噪声特征的关注。随着下采样的进行，特征图的高宽逐渐变小，空间信息逐渐消失，所以 值随之逐渐变小，在浅、中、深层网络时的数值为 、。注意力模块中的 个池化操作后将得到、，其尺寸均为。将其拼接后使用 卷积核提取特征并降维至单通道。最后经 函数归一化，生成空间注意力权重（）（）。图 注意力模块示意图 空间注意力模块计算公式：（）（）；南昌工程学院学报 年 （）；（，）（）；（，）（）（；）（）式中：为通道注意力模块的输出特征图；为卷积核大小 的卷积降维操作；为 进行通道方向上的全局平均池化后输出的特征图；为进行通道方向上的进行全局最大池化后输出的特征图；为 进行通道方向上的步长为 平均池化后输出的特征图；为进行通道方向上的步长为 平均池化后输出的特征图；（）为空间注意力的输出权重。注意力模块会集中关注害虫身体的某一部分，而非完整地关注害虫的整个身体。如图 算法流程图所示，注意模块通过局部纵向和横向的平均池化操作，增大后续卷积操作的感受野，加强害虫对象特征的联系。纵向和横向空间特征图与其余两个空间特征图进行通道方向上拼接，丰富关键特征的空间信息，使网络模型的注意力更加全面，以解决 注意力模块会使得网络模型被噪声信息干扰的问题。图 注意力模块算法流程图 实验结果及分析 实验环境与数据集本次实验使用 作为编程语言，并选择使用 框架搭建网络模型。数据集为 中的经济作物害虫数据集（），该数据集由南开大学计算机科学学院和卡迪夫大学计算机科学与信息学院所收集，害虫类别个数为 ，训练集有 张，验证集有 张，测试集有 张。本次实验的运行环境是 的 位操作系统，内存为 ，显卡是 。模型训练细节为了能够客观地得出 注意力模块与其他注意力模块的数据，本次消融实验中所有模型均选择使用交叉熵损失函数（），以及随机梯度下降法（）作为优化方法，学习率设置为 ，迭代次数（）设为 。同时为减少网络模型的过拟合及加快学习速度，将动量参数（）调整为 ，权重惩罚（）调整为 ，率设为 。热力图分析热力图分析是深度学习模型对图像特征关注点的具体体现，可分析出网络模型是否关注物体本身。如图 所示，注意力模块会使网络模型出现关注对象错误的现象，即由于背景复杂度高，注意力关注背景并非害虫对象本身，且欠缺对对象的整体关注。注意力模块在辅助网络模型运行时，会造成注意力定位不准确、关注对象不完整的现象。（）模块在背景度较为复杂的情况下，依旧会产生注意力偏移的现象。反观 注意力模块，即使在背景复杂度较高的情况下，也能实现对害虫对象完整地、准确地关注。图 热力图图 是 注意力模块中的 注意力模块有无共享全连接层及原图的对比。在无共享全连接层的情况下，网络模型本身的注意力发生了以下涣散的现象：（）针对芒果扁嘴叶蝉图片进行分类识别时，面对小体积对象的农业害虫图像，网络模型注意力几乎覆盖整张图片；（）针对苹果黄蚜图片进行分类识别时，面对小体积对象及害虫和背景颜色相似的情况时，网络模型错误地关注背景的植物部分，而非中间的蚜虫部分；（）针对叶蝉对象进行分类识别时，网络模型的注意力并没有细致地包裹对象且往背景扩散。上述现象皆因为 注意力模块没有采用共享全连接层，导致各个窗口间缺乏特征信息的交互。而当 注意力模块采用共享全连接层策略时，注意力均能对物体产生很好的包裹。第 期骆睿，等：基于改进 注意力机制的害虫分类算法由上述分析可知，采用共享全连接层操作可促进每个窗口区域的相互交流，使原本的局部注意力模块变成具有“全局性”的局部注意力模块。同时窗口注意力模块（）的准确率比传统的通道全局注意力模块（）更高。图 注意力模块有无共享全连接对比 验证集和测试集根据在害虫数据集中测试集的实验数据发现，注意力模块的准确率比其他注意力模块更高，且实验证明 注意力模块的泛化性也更好。如表 所示，注意力模块在测试集实验中均优于其他注意力模块。如图 所示，注意力模块在验证集上的收敛速度优于其余混合域模块。注意力模块的准确率相较 注意力模块和混合域 注意力模块提升了 和 。基于 注意力模块改进的 注意力模块，在参数量未明显增加的情况下，准确率比重参数型 注意力模块高 。图 、注意力模块验证集对比表 各注意力模块准确率对比图模块准确率 由表 可知，在害虫数据集中，注意力模块的准确率和泛化性比 通道注意力模块更优，且优于传统 注意力模块。注意力模块与 注意力模块进行消融实验对比，当 注意力模块充当空间注意力模块时，通道注意力模块仍然采用 注意力模块的通道注意力模块，充分地显现出了 注意力模块比 注意力模块中的空间注意力模块更加优越。在其它的通道注意力模块后加入 空间注意力模块可令测试集的实验准确率有所提升。表 注意力模块与其他通道注意力模块相比模块准确率 （没有共享全连接）（）结论本文提出了基于 注意力模块的害虫数据集分类算法。该算法在传统 注意力模块基础上进行改进，并加入了深度学习网络模块。利用农业害虫数据集进行验证，发现该算法相较于 注意力模块、（）注意力模块和 注意力模块算法具有更高的分类准确率和更好的泛化性，同时能够有效地降低复杂背景对分类结果的影响。本算法可准确识别害虫类别及危害程度，对目前的农业生产智能化及粮食安全具有重大意义。参考文献：马佳佳，陈友鹏，王克强，等 基于优化 的虫害图像识别研究 中国粮油学报，（）：汪京京，张武，刘连忠，等 农作物病虫害图像识别技术的研究综述 计算机工程与科学，（）：南昌工程学院学报 年 ，：，：，（）：，（）：程鲁玉，孟小艳，达新民 基于 算法的林果害虫图像识别 信息通信，（）：姚侃 基于图像识别的十字花科蔬菜主要害虫分类研究 杭州：浙江农林大学，：，：，：，：刘德营，王家亮，林相泽，等 基于卷积神经网络的白背飞虱识别方法 农业机械学报，（）：周爱明，马鹏鹏，席天宇，等 基于深度学习的蝴蝶科级标本图像自动识别 昆虫学报，（）：樊景超 基于 的果园害虫分类识别模型研究 天津农业科学，（）：杨承林 基于 的农业图像分类方法研究 长春：长春工业大学，：何明智，朱华生，李永健，等 基于融合 和 的图像分类模型 南昌工程学院学报，（）：，：，：（），：，：王美华，吴振鑫，周祖光 基于注意力改进 的农作物病虫害细粒度识别研究 农业机械学报，（）：王胜利，牟怿 基于注意力机制的蔬菜害虫分类方法 武汉轻工大学学报，（）：付国栋，黄进，杨涛，等 改进 的轻量级注意力模型 计算机工程与应用，（）：，：，：，：王生霄，侯兴松，黑夏萌 嵌入 结构的改进 超宽带雷达生命信号检测算法 国外电子测量技术，（）：，：，：，：第 期骆睿，等：基于改进 注意力机制的害虫分类算法