基于多轴注意力双通道神经网络模型的食草动物粪便分析方法.pdf

Chinese Journal of Wildlife 2023，44（3）：531-540Chinese Journal of Wildlifehttp：/基于多轴注意力双通道神经网络模型的食草动物粪便分析方法马光凯1，2#*，邓雯心1#，杨飞飞2，包衡2，姜广顺2*（1.东北林业大学机电工程学院，哈尔滨，150040；2.国家林业和草原局猫科动物研究中心，东北林业大学野生动物与自然保护地学院，哈尔滨，150040）摘 要针对使用粪便显微分析法时对食草动物粪便中植物表皮细胞人工分类困难且效率低的问题，提出一种基于多轴注意力的双通道神经网络分类方法，用于自动识别显微镜下食草动物粪便中残留的植物表皮细胞种类。首先，获取粪便中残留的植物表皮细胞图像，作为神经网络模型的输入；引入多轴注意力机制提高网络特征提取能力，同时降低注意力导致的计算复杂度；构建局部和全局通道，提高网络对植物表皮细胞图像信息的获取能力；最后将2个通道提取的特征进行融合，完成对植物种类的识别。此外，应用移动倒置瓶颈卷积（MBConv）模块进行模型的轻量化处理，减少模型参数和计算量，进而提高识别效率。结果表明：基于多轴注意力的双通道神经网络分类方法具有更优的分类性能，对植物表皮细胞种类识别的准确率高达86.46%，为实现高效率、智能化的食草动物粪便分析方法提供了技术支撑。本研究构建的网络模型及相关代码已开源，具体内容参见https：/ Fecal Analysis Method for Herbivore Based on Multi-axis Attention-based Neural Network of Dual-channelMA Guangkai1，2#*，DENG Wenxin1#，YANG Feifei2，BAO Heng2，JIANG Guangshun2*稿件运行过程收稿日期：2023-01-19修回日期：2023-02-23关键词：粪便显微分析；深度学习；多轴注意力；特征融合Key words：Fecal microscopic analysis；Deep learning；Multi-axis attention；Feature fusion中图分类号：TP183文献标识码：A文章编号：2310-1490（2023）-03-0531-10DOI：10.12375/ysdwxb.20230307基金项目：国家自然科学基金项目（31872241，32171691）；中央高校基本科研业务费专项基金项目（2572021BF08，2572022DS04）第一作者简介：马光凯，男，35岁，讲师；主要从事模式识别、机器学习研究。E-mail：#共同第一作者：马光凯；邓雯心*通信作者：马光凯，E-mail：；姜广顺，E-mail：野 生 动 物 学 报第44卷（1.College of Mechanical and Electrical Engineering，Northeast Forestry University，Harbin，150040，China；2.Feline Research Center of National Forestry and Grassland Administration，College of Wildlife and Protected Area，Northeast Forestry University，Harbin，150040，China）Abstract：To solve the problem of difficulty and low efficiency in manually classifying plant epidermal cells in herbivore feces using fecal microanalysis，a dual-channel neural network classification method based on multi-axis attention is proposed to automatically identify the genus of plant epidermal cells remaining in herbivore feces under the microscope.Firstly，image of plant epidermal cell remained in the feces was obtained as the input of the neural network model.The multi-axis attention mechanism was introduced to improve the ability of network feature extraction and to reduce the computational complexity caused by attention.Local and global channels were constructed to improve the ability of the network to obtain the image information of plant epidermal cell.Finally，the features extracted by the two channels were fused to complete the recognition of plant categories.In addition，a mobile inverted bottleneck convolution module was applied to lighten the model to reduce the model parameters and computational effort，and thus to improve the recognition efficiency.The experimental results showed that the method proposed in this paper had better classification performance，and the recognition accuracy of plant epidermal cell species reached 86.46%，which provided technical support for the realization of an efficient and intelligent herbivore fecal analysis method.The model and related codes in this paper have been open sourced to the following URL：https：/ 等8通过深度神经网络提取深度特征对宫颈细胞分类，同时采用迁移学习手段自动辅助宫颈筛查。Su等9提出一种白细胞分类系统，通过将不同特征输入到 3 种类型的神经网络中对白细胞类型进行识别，最高识别准确率达 99.11%。Meng 等10使用卷积神经网络开发了自动单细胞分类框架，以帮助筛选癌症和识别临床候选药物，对多种细胞的分类准确率超过99%。目前，基于深度学习方法的显微分析方法大多应用于生物医药领域，如对动物单个细胞进行分类等。而食草动物粪便显微分析中获取的是植物角质碎片，由紧密排列的植物细胞组成，且同一碎片中细胞之间形态具有差异，因此细胞分类难度较大。为此，本研究采用局部-全局的训练策略11，设计了针对植物表皮细胞分类的基于多轴注意力的双通道网络模型。首先，利用移动倒置瓶颈卷积（mobile inverted bottleneck convolution，MBConv）模块作为条件位置编码12，提升模型泛化能力和可训练性的同时，减少模型参数和计算量，并提高识别效率。使用上述卷积模块和多轴注意力模块组合构建局部特征提取模块以及全局特征提取模块，两模块作为网络基本构件，分别提取图像中植物表皮细胞的局部和全532马光凯等：基于多轴注意力双通道神经网络模型的食草动物粪便分析方法第3期局特征，同时降低直接应用全局自注意力导致的二次复杂度。最后，采用双通道结构以并行方式提取植物表皮细胞特征，将提取到的局部特征和全局特征融合，提高网络模型对食草动物粪便中植物种类识别任务的适配性，进而提升模型分类性能。1数据采集与制作研究数据来源于 20112015年冬季，在汗马、沾河和漠河地区采集的驼鹿（Alces alces）粪便样本。首先在烘箱中烘烤粪便样本，使用研磨机研磨并筛选，将得到的碎片加入10%的次氯酸钠模拟消化并获取溶液中的悬浮物制作玻片；然后，将样本载玻片放置在10 40的显微镜视野中，对清晰的细胞壁轮廓进行拍摄。通过观察视野中出现的可辨认的植物表皮细胞，对照原始植物表皮细胞显微装片对植物种类进行鉴定，从中选取6种出现次数较多的植物种类，共1 473张图片用于本研究，包括274张越橘属（Vaccinium）、247 张 桦 木 属（Betula）、245 张 柳 属 （Salix）、236张桤木属（Alnus）、237张杨属（Populus）和234张榛属（Corylus）植物图片。为保证算法的识别性能，采用矩形框对每张原始图像中植物角质碎片位置进行标记并裁剪，对剪裁后的图像进行灰度处理。随后，按照8 2的比例将数据随机划分得到训练集和测试集，其中训练集包含1 182张图片，测试集包含 291 张图片，6 种植物表皮细胞的样例如 图1所示。2基于多轴注意力的双通道分类网络为实现对食草动物粪便中植物表皮细胞的分类，利用卷积模块和注意力机制构建基于多轴注意力的双通道分类网络。粪便中的植物角质碎片由排列紧密的表皮细胞构成，包含丰富的局部和全局的上下文信息，使用注意力机制可以提高模型获取图像中长距离依赖关系的能力。然而，注意力计算具有很高的计算复杂度，若单独对图像进行局部训练会比对整幅图像的效率更高。但是，仅对图像局部训练限制了模型学习局部图块间的像素所包含的信息的能力。为提高模型对植物表皮细胞图像全局信息的获取能力，在构建模型时使用 2 个通道，即对局部图块进行特征提取的局部通道 1，以及对图像的原始分辨率进行特征提取的全局通道 2。基于多轴注意力的双通道分类网络的整体框架图（图2）。对于每个通道，遵循深度卷积神经网络的多阶段设计，每个通道包含4个阶段：stage 1，图1植物表皮细胞数据集样例Fig.1 Samples of plant epidermal cell dataset533野 生 动 物 学 报第44卷2，3，4。在每个阶段中，通过将MBConv模块、块注意力和网格注意力组合，得到局部特征提取模块 和全局特征提取模块。对模块重复堆叠构成一个阶段，每个阶段都具有不同的特征图分辨率，从 而分别获取多个分辨率下的局部特征和全局特 征。特征融合模块中，通过池化层和全连接层对 2 个通道提取到的特征进行融合，最终输出分类结果。2.1移动倒置瓶颈卷积移动倒置瓶颈卷积模块最初在 EfficientNets方法13中被提出，该结构利用深度可分离卷积（depthwise separable convolution，DSC）14捕捉空间的相互作用，能轻量化模型的参数和计算量，因此，选用MBConv 作为构建网络的卷积模块。另外，在 MBConv中引入压缩与激励（squeeze-and-excitation，SE）模块15增强网络中基本卷积模块的表示能力。通过将该卷积模块与注意力相结合，可以进一步提高网络的泛化能力和可训练性16。MBConv模块整体结构如图3所示。在MBConv模块中，通过将普通的卷积拆分为深度卷积（depthwise convolution，DC）和1 1的逐点卷积（pointwise convolution，PC），即深度可分离卷积，进行卷积运算的轻量化处理。采用SE模块自适应调整输出特征的权重，以获取不同通道特征中的关键信息。SE模块首先通过全局平均池化（global average pooling，GAP）将输入特征序列包含的全局空间信息压缩为一个实数，以缓解卷积网络的低层中感受野尺寸较小，变换得到的输出不能很好地利用上下文信息的问题。随后采用激励（excitation）操作利用压缩获取到的全局信息，使用 2 个全连接层（fully connected，FC）并在第 1个FC使用ReLU激励函数，学习特征图各通道之间的非线性关系，同时限制模型的复杂度，最终通过sigmoid激活函数获得输出特征。最后，通过11的卷积将SE建模后特征图的通道数恢复到原有维度，并与MBConv模块的输入特征图相加，解决因深度增加导致的模型训练失败的问题。MBConv模块计算过程可用公式（1）表示：xx+Proj(SE(DConv(Conv(Norm(x)（1）式中：x是 MBConv 模块的输入特征图；Norm代表BatchNorm归一化；Conv是 11 的逐点卷积，DConv是深度卷积，两卷积操作后都执行BatchNorm归一图2基于多轴注意力的双通道分类模型框架Fig.2 Multi-axis transformer-based classification model of dual-channel图3移动倒置瓶颈卷积结构Fig.3 The mobile inverted bottleneck convolution structure534马光凯等：基于多轴注意力双通道神经网络模型的食草动物粪便分析方法第3期化和GeLU激活函数；SE是压缩和激励层；Proj是用于向下投影特征通道的11卷积。2.2多轴注意力机制由于某些种类的植物细胞差异较小，且植物角质碎片中同一种类不同部位的细胞形态差异较大，因此对植物表皮细胞进行分类的难度较大。为解决该问题，引入多轴注意力机制17将注意力分解为稀疏的块注意力和网格注意力，与卷积模块分别组成局部特征提取模块及全局特征提取模块，对植物表皮细胞的局部和全局特征进行捕获，以获取更多的有效信息，提高识别精度。通常情况下，自注意力作为卷积的补充，通过计算不同位置上的特征相似度，可弥补传统的卷积神经网络对长距离依赖关系捕获能力的不足18。然而，这种对相似度的计算具有很高的时间复杂度，计算效率较低。如图 4A 所示，为降低复杂度，轴向注意力机制1920通过将二维的自注意力分为2个部分，先在高度轴上进行自注意力计算，随后在宽度轴上进行自注意力计算，从而减少时间复杂度至O(NN)。不同于轴向注意力，本研究使用的多轴注意力方法通过分解空间轴，将注意力分解为块注意力和网格注意力，如图 4B 所示。两者同时在高度轴和宽度轴上通过块注意力和网格注意力对特征图进行计算，将直接在空间上应用注意力算子产生的二次复杂度降低至线性复杂度O（N）。块注意力将输入特征X (H W C)划分到大小为（H/PW/P，PP，C）的张量中，也就是将特征图分割为互不重叠的窗口，每个窗口的大小为PP。块注意力模块通过在PP维度上进行自注意力计算，将注意力限制在小窗口内，可以在降低自注意力计算复杂度的同时，获取到窗口内的局部信息。块注意力划分过程如公式（2）所示：Block:(H,W,C)(HPP,WPP,C)(HWP2,P2,C)（2）网格注意力则通过使用GG均匀分布的网格对特征图划分，得到大小为（G/G，H/GW/G，C）的张量，每个网格的大小为H/GH/G。在分解的网格上进行自注意力计算，从而获取全局信息。网格注意力划分过程如公式（3）所示：Grid:(H,W,C)(G HG,G WG,C)(G2,HWG2,C)(HWG2,G2,C)（3）块注意力模块和网格注意力模块结构如图5所示，2个模块均遵循基于Transformer2122模型的经典设计，使用LayerNorm23归一化层和前馈网络（feedforward networks，FFNs）24，通过跳跃连接传递信息，将块注意力和网格注意力的计算结果和输出层相加，解决因深度增加导致的性能下降。注意力模块中使用相对位置的自注意力对窗口和网格进行注意力计算，使得自注意力包含空间信息，进而提高性能25，在二维的视觉任务中展现出更强的输入适应性以及交互性26。相对位置自注意力计算如式（4）所示：图4轴向注意力(A)与多轴注意力(B)比较Fig.4 Comparison of axial attention（A）and multi-axis attention（B）535野 生 动 物 学 报第44卷RelAttention(Q,K,V)=softmax(QKTd+B)V（4）式中：Q，K，V H W C，Q是查询矩阵，K是键矩阵，V是值矩阵；d是Q和K的维度；B是相对位置偏置，B H2 W2。使用相对位置自注意力的块注意力计算过程如式（5）和式（6）所示：xx+Unblock(RelAttention(Block(LN(x)（5）x x+MLP(LN(x)（6）与块注意力类似，网格注意力计算过程如式（7）和式（8）所示：x x+Ungrid(RelAttention(Grid(LN(x)（7）x x+MLP(LN(x)（8）式中：输入特征x H W C；Unblock()和Ungrid()分别为块划分和网格划分的逆操作；RelAttention为相对位置自注意力计算；LN代表层归一化；MLP是由2个线性层组成的多层感知器。使用块注意力和网格注意力与MBConv分别构成局部特征提取模块和全局特征提取模块，从而以线性时间复杂度在两通道中进行局部和全局信息提取，最终获得植物表皮细胞在不同分辨率下的有效特征。2.3特征融合模块首先将通道1和通道2获取到的局部特征和全局特征拼接为一维张量，从而对两通道的特征进行融合。对于融合的特征，经过池化层、全连接层和softmax函数输出最终分类结果，如式（9）所示：softmax(yi)=eyic=1Ceyc（9）式中：yi是全连接层中对应第i类的输出值；C是植物总类别个数；softmax(yi)是样本属于第i类的概率值。3结果3.1试验设置试验平台的硬件配置包括 Inter 中央处理器、NVIDIA GeForce RTX 3090显卡。试验中所有代码均使用Python编写，并在深度学习PyTorch框架上运行。对于输入图像，下采样使用2个33的卷积层，每一个通道包含4个阶段。通道1的基础模块由1个MBConv模块和1个块注意力模块构成；通道2的基础模块由1个MBConv模块和1个网格注意力模块构成。试验中训练设置 200 个周期，batchsize 设置为128，采用AdamW27算法对模型优化，初始学习率设为0.001。3.2评价指标对于本研究中的植物表皮细胞分类问题，采用准确率（accuracy）、精确率（precision）、召回率（recall）和F1分数（F1-Score）4种评价指标对模型分类效果进行评价。其中，准确率为预测正确的样本数在所有测试样本中所占的比例；精确率指预测正确样本在预测为该类样本中所占的比例；召回率指预测正确样本在所有该类样本中所占的比例；F1分数同时衡量精确率和召回率，是对二者进行平均的一个结果。准确率、精确率、召回率和F1分数的公式分别如式（10）式（13）所示：Accuracy=TP+TNTP+FP+FN+TN（10）图5块注意力模块（A）和网格注意力模块（B）结构Fig.5 Structures of block attention module（A）and grid attention module（B）536马光凯等：基于多轴注意力双通道神经网络模型的食草动物粪便分析方法第3期Precision=TPTP+FP（11）Recall=TPTP+FN（12）F1-score=2PrecisionRecallPrecision+Recall（13）式中：TP为预测正确时，真实结果为正样本的样本数量；TN为预测正确时，真实结果为负样本的样本数量；FP为预测错误时，真实结果为负样本的样本数量；FN为预测错误时，真实结果为正样本的样本数量。3.3性能评价划分比例和输入图像尺寸共同决定局部注意力和全局注意力窗口和网格的大小，如以1/32的比例对224像素 224像素的图像进行窗口划分，窗口大小为7 7，网格划分同理。为验证划分比例对网络分类效果产生的影响，将2种尺寸（224像素 224像素和256像素 256像素）的输入图像划分为不同大小的窗口和网格（表1）。由表1可知，具有较大尺寸的输入图像具有更高的准确率，且当2个通道都以1/32的比例对图像进行划分时，在2种尺寸的输入图 像 上 准 确 率 均 达 到 最 高，分 别 为 83.33%和86.46%。同时，对于使用网格注意力的通道2，划分比例对其影响较大。对于相同尺寸的输入图像，当通道1的窗口划分比例不变时，随着网格划分比例的增大，准确率在 2 种尺寸的图像上分别得到2.43%和3.47%的提升。通过混淆矩阵对各类的分类效果进行可视化，对角线的数值为该种类预测的召回率（图6）。由图6可知，桤木属和桦木属之间混淆程度最高，19%的桤木属被预测为桦木属，其次，9%的杨属和榛属被预测为柳属。这是由于3种植物表皮细胞之间形态差异较小，造成不同种类之间混淆程度较高。基于混淆矩阵，计算6属植物的评价指标（表2），桦木属的召回率达93.5%，除桤木属外的5种类别的F1分数均高于80%，具有较好的识别效果。表3为植物表皮细胞不同分类方法的性能对比。由表3可见，本研究方法在不同的输入图像尺寸上均获得了最高的准确率，分别为83.33%和86.46%；其次是同样结合了卷积神经网络和注意力机制的CoAtNet-3，准确率分别达到 79.51%及 82.30%；而由MBConv作为基本模块构建的EfficientNet-b2的准确率仅为77.18%和74.49%。这是由于一般的神经网络模型对本数据集中植物表皮细胞图像特征提取不足，对于形态相近的植物种类产生大量误分类，导致总体分类准确率不高。本研究中的模型通过结合高效卷积模块和多轴注意力提取到大量有效特征，进而表现出最佳的分类性能。表1不同窗口和网格划分比例的试验结果Tab.1 Experimental results of different split ratios of window and grid图像尺寸（像素）Image size224224256256窗口划分比例Window split ratio1/2241/321/321/1281/321/32网格划分比例Grid split ratio1/2241/2241/321/1281/1281/32准确率（%）Accuracy81.2580.9083.3381.6082.9986.46图6分类结果混淆矩阵Fig.6 Confusion matrix based on the classification results表2基于混淆矩阵6属植物的评价指标Tab.2 Evaluation indicators for 6 genus plants based on confusion matrix属Genus越桔属 Vaccinium桦木属 Betula柳属 Salix桤木属 Alnus杨属 Populus榛属 Corylus精确率（%）Precision90.274.183.381.495.282.6召回率（%）Recall85.293.583.374.585.182.6F1分数（%）F1-Score87.682.783.377.889.982.6537野 生 动 物 学 报第44卷4讨论在对食草动物进行食性分析时，通常使用粪便显微分析法，通过人工对比粪便样本与植物表皮细胞样本，进而确定动物的食物种类。由于动物消化过程和化学制片都会对角质层造成影响，并且有些植物的表皮细胞差异小，这些因素使得人工辨认难度较大，从而对食性分析的结果产生较大影响28。因此，使用深度学习辅助进行粪便显微分析，在食草动物食性研究中具有较大的应用潜力。本研究构建了6个种类的粪便残留植物表皮细胞数据集，初步探索了使用神经网络对食草动物粪便中的植物表皮细胞进行分类的方法。从最终分类结果看，在细胞形态差异较小的种类之间仍存在较大程度的混淆，如桤木属和桦木属、杨属和榛属，为此，模型性能需要进一步提升。目前，深度学习在生物医学领域的细胞分类上已有大量研究2930，但植物表皮细胞和动物细胞不同，使用单个植物细胞分类难度较大，需要先对排列紧密的表皮细胞精准地分割，很难直接借鉴现有的动物细胞分类方法。不过，植物角质碎片中的各个细胞形态虽不完全相同但整体上具有共通性，如何在提取到单个表皮细胞特征的同时，充分利用输入图像中包含的所有细胞特征是提高分类性能的一个关键问题。本研究构建的模型通过提取局部的细胞特征并与全局特征融合，提高了整体分类准确率，但尚未实现全类别的高精度识别。深度学习方法对训练样本的数量具有很大的依赖性。而在粪便显微分析法中，样本制作工序多，标注成本高，获取大量有标签数据也是一大难以克服的难题。为此，未来可以着重研究基于小样本的分类方法，或利用大量没有标注的植物表皮细胞图像进行半监督学习。该学习方法首先通过无标签表皮细胞图像对模型进行自监督预训练，然后使用少量的有标签表皮细胞图像进行有监督分类训练，以增强下游分类任务中模型性能。同时需提升分类模型对局部特征的提取能力，进一步提高模型对植物表皮细胞的识别效果。5结论本研究提出了一种基于多轴注意力的双通道神经网络模型，对食草动物粪便显微图像中的植物表皮细胞进行分类。该模型引入多轴注意力机制与卷积模块结合构建局部特征提取模块和全局特征提取模块，从而降低算法的时间复杂度，提升模型对排列紧密的植物表皮细胞的特征提取能力；使用双通道结构，并行地进行局部和全局的特征提取，高效利用了图像包含的特征信息。同时，使用移动倒置瓶颈卷积模块轻量化网络的参数和计算量，增强模型拓展性的同时提升了模型的识别性能。试验结果表明，与时下主流的深度学习分类模型相比，本研究提出的模型准确率达86.46%，有效提高了对食草动物粪便中植物表皮细胞的分类效果。致谢：特别鸣谢窦红亮、刘辉、马英杰、李钊越、丁美琦和宫爽等在东北林业大学野生动物与自然保护地学院攻读研究生期间为本研究的野外调查和室内试验的辛勤付出！参考文献：1 BAO H，DOU H L，MA Y J，et al.Moose winter diet components from feces and field feeding signs：consistency and variability related to forage availability and nutritional requirementsJ.Ecological Research，2017，32（5）：685-692.2 吴建平，单继红，王志平.小兴安岭通河林区斑羚冬季食性分析 J.动物学杂志，2005，40（4）：40-44.WU J P，SHAN J H，WANG Z P.Winter food-habits of goral in Tonghe region of Lesser Xingan Moutains J.Chinese Journal of Zoology，2005，40（4）：40-44.3 陈化鹏.有蹄类食性研究方法的评价 J.动物学杂志，1991，表3不同分类方法表现的比较Tab.3 Performance comparison of different methods方法Method本研究模型The research methodEfficientNet-b2ConvNeXt-BResNet50CoAtNet-3VGG19图像尺寸（像素）Image size224224256256256256288288288288384384224224256256224224384384224224准确率（%）Accuracy83.3386.4677.1874.4967.0168.3275.3575.8779.5182.3073.64538马光凯等：基于多轴注意力双通道神经网络模型的食草动物粪便分析方法第3期26（2）：40-41；64.CHEN H P.Evaluation of research methods of ungulate feeding habitsJ.Chinese Journal of Zoology，1991，26（2）：40-41；64.4 何欢，张玮琪，刘蕊，等.小兴安岭沾河林区狍冬季食物组分及其与单宁含量关系的初步分析 J.北京林业大学学报，2015，37（2）：121-127.HE H，ZHANG W Q，LIU R，et al.Relationship between the composition and tannin content in winter food for roe deer at Zhanhe forest farm of Lesser Xingan Mountains J.Journal of Beijing Forestry University，2015，37（2）：121-127.5 宫爽，张萍，栾雪，等.粪便显微分析和DNA宏条形码技术在野猪食性分析中的应用和比较 J.野生动物学报，2022，43（3）：645-653.GONG S，ZHANG P，LUAN X，et al.Application and comparison of fecal microscopic analysis and DNA metabarcoding technology for dietary analysis of wild boar J.Chinese Journal of Wildlife，2022，43（3）：645-653.6 任毅，王继飞，高惠，等.宁夏贺兰山地区狗獾夏季食性研究J.野生动物学报，2019，40（3）：627-633.REN Y，WANG J F，GAO H，et al.Studying on the food habits of badger（Meles meles）in summer in the Helan Mountains，NingxiaJ.Chinese Journal of Wildlife，2019，40（3）：627-633.7 FOX T A D，FRANCIS I S，BERGERSEN E.Diet and habitat use of Svalbard pink-footed geese Anser brachyrhynchus during arrival and pre-breeding periods in Adventdalen J.Ardea，2006，94（3）：691-699.8 ZHANG L，LU L，NOGUES I，et al.DeepPap：deep convolutional networks for cervical cell classification J.IEEE Journal of Biomedical and Health Informatics，2017，21（6）：1633-1643.9 SU M C，CHENG C Y，WANG P C.A neural-network-based approach to white blood cell classification J.The Scientific World Journal，2014，2014：796371.10 MENG N，LAM E Y，TSIA K K，et al.Large-scale multi-class image-based cell classification with deep learningJ.IEEE Journal of Biomedical and Health Informatics，2019，23（5）：2091-2098.11 VALANARASU J M J，OZA P，HACIHALILOGLU I，et al.Medical transformer：gated axial-attention for medical image segmentation C/OL/DE BRUIJNE M，CATTIN P C，COTIN S，et al.Medical image computing and computer assisted intervention-MICCAI 2021：lecture notes in computer science，Vol.12901.Cham：Springer，2021：36-46（2021-09-21）2023-01-19.https：/doi.org/10.1007/978-3-030-87193-2_4.12 CHU X X，TIAN Z，ZHANG B，et al.Conditional positional encodings for vision transformers EB/OL.2021：arXiv：2102.10882（2021-02-22）2023-02-23.https：/arxiv.org/abs/2102.10882.13 TAN M X，LE Q V.EfficientNet：rethinking model scaling for convolutional neural networks C/Proceedings of the 36th International Conference on Machine Learning.Long Beach：Proceedings of Machine Learning Research，2019：6105-6114.14 HOWARD A G，ZHU M L，CHEN B，et al.MobileNets：efficient convolutional neural networks for mobile vision applicationsEB/OL.2017：arXiv：1704.04861（2017-04-17）2023-02-23.https：/arxiv.org/abs/1704.04861.15 HU J，SHEN L，SUN G.Squeeze-and-excitation networks C.2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake：IEEE，2018：7132-7141.DOI：10.1109/CVPR.2018.00745.16 XIAO T，SINGH M，MINTUN E，et al.Early convolutions help transformers see better C/OL/RANZATO M，BEYGELZIMER A，DAUPHIN Y，et al.Advances in neural information processing systems 34，2021：30392-30400（2021-11-10）2023-01-19.https：/proceedings.neurips.cc/paper_files/paper/2021/file/ff1418e8cc993fe8abcfe3ce2003e5c5-Paper.pdf.17 TU Z Z，TALEBI H，ZHANG H，et al.MaxViT：multi-axis vision transformer C/OL/AVIDAN S，BROSTOW G，CISS M，et