seqAFF-ResNet：面向新冠肺炎的诊断模型.pdf

第 19 卷 第 2 期2024 年 2 月Vol.19 No.2Feb.2024中 国 科 技 论 文CHINA SCIENCEPAPERseqAFF-ResNet：面向新冠肺炎的诊断模型周涛1，2，常晓玉1，2，彭彩月1，2，陆惠玲3（1.北方民族大学计算机科学与工程学院，银川 750021；2.图像图形智能处理国家民委重点实验室（北方民族大学），银川 750021；3.宁夏医科大学理学院，银川 750004）摘 要：新冠肺炎的计算机辅助诊断是一种实现智能化影像诊断、临床诊断及临床分型的方法，在新冠肺炎的辅助诊断过程中，图像的病灶区域与组织边界对比不明显，导致模型不能较好地关注病灶区域，对有效特征的提取不够充分。针对上述问题，提出一个新冠肺炎辅助诊断模型seqAFF-ResNet（sequential attentional feature fusion-residual neural network）。设计串行注意力特征融合（sequential attentional feature fusion，seqAFF）模块，该模块串联条带注意力特征融合（strip attentional feature fusion，SAFF）模块和全局局部注意力特征融合（global local attentional feature fusion，GLAFF）模块，获取图像的纹理信息以及全局和局部信息，弥补卷积神经网络对于细节特征提取能力的不足，使得模型可以更好地关注于病灶区域；构造深浅层特征融合（deep and shallow feature fusion，DSFF）模块，使用深层特征的语义信息来影响浅层信息，同时将浅层的空间信息传入深层特征中，使深浅层特征进行有效融合，捕获丰富的上下文信息，实现跨层注意力特征增强，使网络能够更好地定位病变区域。与残差神经网络（residual neural network，ResNet）相比，seqAFF-ResNet 准确率提升了 3.42%，精确率提升了 3.53%，F1分数提升了2.77%，AUC值提升了0.9%，实验结果表明，所提模型可以提高新冠肺炎的识别准确率，且与同类模型相比具有更好的性能。所提方法为新冠肺炎的辅助诊断提供了有效的识别方法，对新冠肺炎的计算机辅助诊断具有重要意义。关键词：新冠肺炎；残差神经网络；计算机辅助诊断；串行注意力特征融合；深浅层特征融合中图分类号：TP391 文献标志码：A文章编号：2095-2783（2024）02-0224-11开放科学（资源服务）标识码（OSID）：seqAFF-ResNet：diagnostic model of COVID-19ZHOU Tao1，2，CHANG Xiaoyu1，2，PENG Caiyue1，2，LU Huiling3（1.School of Computer Science and Engineering，North Minzu University，Yinchuan 750021，China；2.Key Laboratory of Image and Graphics Intelligent Processing of State Ethnic Affairs Commission（North Minzu University），Yinchuan 750021，China；3.College of Science，Ningxia Medical University，Yinchuan 750004，China）Abstract：Computer aided diagnosis of COVID-19 is used to realize the intelligent image diagnosis，clinical diagnosis and clinical typing.In the process of auxiliary diagnosis of COVID-19，the obscure contrast between the focus area of the image and the tissue boundary，results in that the model can not well focus on the focus area as well as insufficient extraction of effective features.To solve these problems，a supplementary diagnosis model of COVID-19，seqAFF-ResNet was proposed herein.A serial attention feature fusion module（seqAFF）was designed，which connected strip attentional feature fusion module（SAFF）and global local attentional feature fusion module（GLAFF）in series to obtain texture information as well as global and local information of the image to compensate the lack of detail feature extraction ability of convolutional neural network，so as to focus on the lesion area better.Deep and shallow feature fusion module（DSFF）was constructed using the semantic information of deep features to influence the shallow information，meanwhile the spatial information of the shallow layer was passed into the deep features to fuse the deep and shallow features effectively.As a result，rich contextual information and achieving cross-layer attentional feature enhancement can be captured，enabling the network to better localize the lesion area.Compared with ResNet，the accuracy rate of seqAFFResNet increases by 3.42%，the accuracy rate increases by 3.53%，the F1 score increases by 2.77%，and the AUC value increases by 0.9%.The experimental results show that the model in this paper can significantly improve the recognition accuracy of COVID-19，exhibiting a better performance compared with similar models.The method proposed in this paper provides an effective identification method for the auxiliary diagnosis of COVID-19，and is of great significance for the computer-aided diagnosis of COVID-19.Keywords：COVID-19；residual neural network；computer aided diagnosis；sequential attentional feature fusion；deep and shallow feature fusion收稿日期：2023-06-19基金项目：国家自然科学基金资助项目(62062003)；宁夏自然科学基金资助项目(2022AAC03149)第一作者：周涛（1977），男，教授，主要研究方向为医学图像分析处理、计算机辅助诊断、模式识别，周涛，等：seqAFF-ResNet：面向新冠肺炎的诊断模型第 2 期新型冠状病毒肺炎（COVID-19）是2019年爆发的大型传染性疾病，它是近百年来影响范围最广的流行性疾病，即使目前我国已经不再针对此传染疾病患者进行强制隔离，但是新冠肺炎仍是传染能力较强的疾病，且目前为止没有找到较好的控制方法。研究证明计算机断层扫描（computed tomography，CT）已成为辅助新冠肺炎诊断的重要手段之一1，因此基于新冠肺炎CT图片做新冠肺炎识别的辅助诊断具有重要意义。ResNet2是 目 前 深 度 学 习 的 热 点，且 基 于ResNet的新冠肺炎识别已经取得较好的应用。Rajpal等3提出了一种新颖的分类框架，将一组精选特征与从深度卷积神经网络获得的特征相结合，利用ResNet-50的迁移学习优势在一组预处理图像上训练网络。Serte等4采用ResNet-50对3D-CT体积的CT图像进行预测，实验证明，此模型更稳健，效果更好。Mamalakis 等5创建了一个带有卷积神经网络（convolutional neural network，CNN）块的额外层，将DenseNet-121和ResNet-50这2个模型连接在一起，与2个单独的网络相比具备更优越的性能，在新冠肺炎的图像诊断实验中可以得出网络的有效性。Sun等6提出了一种新的混合集成模型TSRNet，该模型基于注意力机制和深度残差网络的卷积神经网络（RANet）来提取特征，将疑似患者的肺部CT图像准确分类为 COVID-19和正常。因此，基于残差神经网络的新冠肺炎识别已经取得较好的研究成果。ResNet及其后续中，身份映射特征和残差学习特征通过短跳跃连接融合为输出，实现了深度网络的训练。在特征金字塔网络（feature pyramid network，FPN）7和U-Net8中，通过长跳跃连接将浅层特征和深层特征融合，以获得高分辨率和语义强的特征，这对于语义分割和对象检测至关重要。尽管特征融合在目前的网络中很普遍，但大多数特征融合工作都专注于构建复杂的路径来组合不同内核、组或层中的特征。特征融合方法很少得到解决，通常通过简单的操作来实现，例如相加或拼接，这些操作仅提供特征映射的固定线性聚合，并且这种组合不能确定是否适用于特定对象。为此，Dai等9提出了一个多尺度通道注意力模块AFF（attentional feature fusion），既避免了通道注意力将每个特征图压缩为一个标量的极端操作，又缓解了尺度变化和小对象实例引起的问题，更关注于小对象的信息。为此，本文基于新冠肺炎图像的特点设计特征融合方法，使得模型可以提取病灶区域的有效特征。虽然新冠肺炎识别领域已经取得较多研究成果，但是仍存在一些问题。新冠肺炎的病灶区域与正常组织间的差异不明显，使得CT图像COVID-19有效特征提取困难，模型难以聚焦于新冠肺炎病灶区域，为分类模型的构造带来较大挑战。因此，本文提出一个新冠肺炎辅助诊断模型 seqAFF-ResNet，本文的贡献主要有以下2个方面：第一，深度学习对于较小目标的病变区域提取能力较弱，且提取特征时难以考虑纹理信息，为了充分提取病变区域特征，本文提出seqAFF模块，该模块将SAFF以及GLAFF串联在一起，本文将具有方向信息的条带池化方法引入串行注意力特征融合模块。其中SAFF模块使用2个不同方向的池化提取方向特征，获取新冠肺炎图像的纹理信息；GLAFF模块分别使用全局平均池化和逐点卷积，提取图像的全局和局部信息。seqAFF基于多个角度充分提取特征图的有效特征，弥补了CNN对于细节特征提取能力的不足，使得模型可以更好地关注于病灶区域。第二，由于深度学习在训练过程中易损失较多信息，而病灶区域较小，在训练过程中容易丢失，为此本文构建了深浅层特征融合模块，分别使用通道注意力和空间注意力对深层特征和浅层特征进行增强，将网络浅层特征的空间信息传到深层，使浅层空间信息与深层语义信息进行有效融合，捕获丰富的上下文信息，使网络能够更好地定位病变区域，进一步提高模型的分类准确率。1seqAFF-ResNet网络架构本文提出一种基于新冠肺炎CT图像的辅助诊断网络架构seqAFF-ResNet。首先，构造了seqAFF模块，该模块将 SAFF 和 GLAFF 进行串联，利用SAFF模块获取图像的纹理信息，利用GLAFF模块获取全局和局部信息，弥补了卷积神经网络对于细节特征提取能力的不足，使得模型可以充分获取病灶 区 域 特 征。其 次，构 建 了 DSFF，该 模 块 对seqAFF-Res Block得到的特征图进行通道和空间注意力操作获取权重，同时对最大池化模块输出特征图执行3次扩张卷积，扩张率分别为2、3、4，使得浅层特征与深层特征尺寸统一。本文将原始图像输入到网络中，首先进行卷积和池化操作，将获得的特征图传入 seqAFF-Res Block，在seqAFF-Res Block内部先进行2次卷积，再采用seqAFF模块进行细节特征的提取，获取图像的纹理信息以及全局和局部信息，再将特征图输入到DSFF模块，同时对初始卷积和池化操作后的特征图进行扩张卷积后传入DSFF模块，再分别对seqAFF-Res Block 获取的特征图与扩张卷积后的特征图加权；然后，将2个加权运算获得的特征图拼接，利用一个 11 卷积改变通道将特征图输入到下一个seqAFF-Res Block，实现深浅层特征汇聚的操作，从225第 19 卷 中 国 科 技 论 文而使得信息互补。本文堆叠了4个串行注意力特征融合残差块（seqAFF-Res Block）和3个DSFF模块，2种方法交叉使用，最后对图像进行识别分析。图1为本文的网络架构。表1对整体架构的结构、尺寸、维度进行了详细的描述。1.1串行注意力特征融合模块由于本文研究的新冠肺炎CT图像的病灶区域大多呈现为分布广泛的结构，为了更充分地提取病灶区域特征，本文创建了 seqAFF 模块，该模块由SAFF 及 GLAFF 串联而成，整体结构如图 2 所示。SAFF模块利用2个方向的池化提取特征图的纹理信息，GLAFF模块提取全局和局部信息，同时将深层特征和浅层特征进行融合，增强了模型对于病灶特征的提取能力，提升了网络的性能。seqAFF 模块将 SAFF 模块和 GLAFF 模块串联，其中SAFF模块使用了条带池化10，分别提取横向和纵向的特征，获取病灶区域的纹理信息；再分别进行2次逐点卷积，此时2条支路获取的特征分别为行向量和列向量，将2条支路的向量进行矩阵相乘可获得与原始特征图尺寸大小相同的特征图；然后使用Sigmoid函数将其转为权重矩阵，分别与2路原始输入特征图相乘获取加权特征；最后将2路加权特征图1seqAFF-ResNet网络架构Fig.1Network architecture diagram of seqAFF-ResNet表1seqAFF-ResNet网络结构Table 1Structure of seqAFF-ResNet networkResNet结构层初始卷积层最大池化层残差块残差块残差块残差块平均池化层分类层COVID-ResNet结构层初始卷积层最大池化层seqAFF-Res BlockDSFFseqAFF-Res BlockDSFFseqAFF-Res BlockDSFFseqAFF-Res Block平均池化层分类层COVID-ResNet1877 Conv1，步长233 MaxPool1，步长233 Conv33 ConvSPAFF2DeConvCBAMconcat11 Conv133 Conv33 ConvSPAFF2DeConvCBAMconcat11 Conv133 Conv33 ConvSPAFF2DeConvCBAMconcat11 Conv133 Cconv33 CconvSPAFF233AvgPool1fc层输出尺寸112112645656645656128565612828282562828256141451214145127751211512112图2seqAFF模块Fig.2seqAFF block226周涛，等：seqAFF-ResNet：面向新冠肺炎的诊断模型第 2 期图做相加处理，输出的值即为条带注意特征融合模块的输出特征图。具体结构如图2（a）所示。GLAFF模块如图2（b）所示，使用2条支路进行特征提取，一条支路使用全局平均池化，并利用2次逐点卷积获得尺寸为11的特征，提取全局信息；另一条支路使用逐点卷积，提取局部信息，将11的特征与另一条支路的特征相乘，将全局信息与局部信息相融合，最后使用 Sigmoid 函数将其转为权重矩阵，分别与2路原始输入特征图相乘获取加权特征相加输出。给定2个特征图X，YRCHW，其中X和Y分别为浅层特征和深层特征，通过改变池化实现方向注意，选择逐点卷积（PWConv）作为特征融合的上下文聚合，行列方向通道分别为R，CRCHW，则有R(XY)=(PWConv2(PWConv1(xAvgPool(XY)，（1）C(XY)=(PWConv2(PWConv1(yAvgPool(XY)。（2）式 中：PWConv1的 内 核 大 小 为CrC11；PWConv2的内核大小为CCr11；为校正后的线性单位（ReLU）；为批处理归一化（BN）。由此SAFF可以表示为Z=X(R(XY)(C(XY)+Y(1-(R(XY)(C(XY)。（3）式中：为Sigmoid函数；为像素对应相加；为像素级乘法；Z为SAFF的最终输出。GLAFF模块提取全局信息与局部信息，使得特征保留更加全面，减少信息损失。为了保存参数，通过 一 个 瓶 颈 结 构 对 局 部 通 道 上 下 文 信 息L(X)RCHW进行计算：L(X)=(PWConv2(PWConv1(X)。（4）L（X）与输入特征具有相同的形状，它可以保留和突出低级特征中的细微细节。g为全局通道，即在L（X）前加一个全局平均池化，那么seqAFF模块的输出Z可表示为Z=M(Z)X+(1-M(Z)Y=(L(Z)g(Z)X+(1-)(L(Z)g(Z)Y。（5）式中，M(Z)RCHW为对局部通道和全局通道相加后经过Sigmoid函数产生的注意权重。1.2串行注意力特征融合残差块目前网络架构中通常通过简单的操作实现不同层间的特征融合，例如求和或拼接，但这对于某些特定问题来说往往可能并不是最好的选择，因此Dai等9提出了一种 AFF 模块，融合来自不同层或分支的特征。检测非常小的物体是目前一些网络关键性能的瓶颈11，应在注意力模块内聚合上下文，以缓解尺度变化和小对象实例引起的问题。针对医学病理图像分类模型来说，病灶区域特征更能决定分类的正确与否，而病灶区域的对象实例远小于图像区域，因此更应该注意不同层的特征融合方法。为此本文构建了 seqAFF-Res Block，具体结构如图3所示，该模块将seqAFF模块引入残差单元，将传入残差单元的特征与经过残差卷积的特征传入seqAFF 模块，分别作为浅层特征和深层特征的输入。经过seqAFF模块实现层级间深层特征与浅层特征的融合，并利用seqAFF模块提取方向特征、全局和局部特征的能力充分提取有效特征，增强网络对于新冠肺炎的识别性能。1.3深浅层特征融合模块残差神经网络的深层阶段获取的高级特征用于识别对象类别的语义信息，而浅层阶段获取的低级特征保留用于重建对象边界的空间细节，如形状、纹理、轮廓和边缘等。因此，最终输出的高级特征在语义上很强，适合定位显著区域，但缺乏足够的分辨率和精确的空间细节，与之相反，低级特征适合定位边界和空间结构细节，但缺乏全局语义信息。虽然抽象的语义信息在分类任务中起着重要作用，但是未能充分利用低层次丰富的细节信息，导致有用信息损失，因此，为了充分利用网络不同阶段的分层特图3seqAFF-Res Block模块Fig.3seqAFF-Res Block module227第 19 卷 中 国 科 技 论 文征，以减少信息损失，并保留有用的特征信息，本文构建了一个DSFF，具体结构如图4所示。经过 seqAFF-Res Block 获取到深层的语义特征，使用不同扩张率的扩张卷积对浅层特征尺寸进行缩减，同时扩大感受野，对浅层特征进行缩放，使其与深层特征尺寸相同。DSFF模块将浅层特征传递到深处，使得深层特征与浅层特征进行融合，保留更多原始信息。该模块使用通道注意力和空间注意力机制获取权重，对深层特征和浅层特征进行加权，然后将2个特征图进行拼接，通道注意力和空间注意力使得网络在通道和空间上同时关注于病灶区域的特征，在对浅层信息加权时可以减少无用信息的传入，有效地融合深层特征的高级语义信息和浅层特征的空间细节以实现跨层特征增强，捕获丰富的上下文信息，使网络能够更好地定位病变区域。最后利用 11 卷积调整通道数输入到下一个 seqAFF-Res Block。2实验2.1实验环境硬件环境：Windows Server 2019 Datacenter 的64 位系统，搭载 Intel Xeon Gold 6154，3 GHz x36 CPU处理器，计算机内存为256 GB，并采用2块并行的TITAN 显卡加速图像处理。软件环境：程序编写采用 Python 语言，基于GPU版本的Pytorch框架进行网络搭建和训练。使用自适应矩估计（Adam）优化器进行优化，最后对模型架构进行测试评估。参数设置：对学习率采用每10个训练周期乘以0.9的衰减策略，在新冠肺炎胸部CT数据集上采用0.001的初始学习率；Adam优化器每次随机选择1个样本进行训练和梯度更新，每次更新后的学习率衰减值设置为10-5，为减缓梯度下降的震荡程度和加快收敛，采用 0.9的 momentum 动量，优化梯度为开始时刻到当前时刻的梯度指数加权平均；对于新冠肺炎胸部CT数据集的迭代次数设为200，训练批处理大小设置为 32。损失函数使用交叉熵损失。在图5中，随着迭代次数的增加，seqAFF-ResNet的精度逐渐增加，损失值逐渐减小，当迭代次数超过80次以后，损失值和准确率均趋于稳定，表明网络性能较优。2.2评价指标以准确率（Accuracy，Acc）、精确率（Precision，Pre）、召回率（Recall，Rec）、F1分数（F1-score）、AUC（area under curve）作为评价指标估计模型的有效性。混淆矩阵中，TP表示将正例样本预测为正样本，FP表示将负样本预测为正样本，FN表示将正样本预测为负样本，TN表示将负样本预测为负样本。1）Accuracy指被正确分类的样本占总样本的比例。通过正确分类的样本数除以所有样本数，评估预测结果的正确率。Accuracy=TN+TPFP+TN+TP+FN。（6）2）Precision指预测为正样本的结果中是正确分类的比例。通过计算正确预测为正的占所有预测为正的比例，评估系统所识别出的疾病准确率。Precision=TPFP+TP。（7）3）Recall指真实为正样本的结果中，是正确分类的比例。通过计算正确预测为正的占所有实际为正的比例，评估系统能成功识别出疾病的效率。图4DSFF模块Fig.4Deep and shallow feature fusion module图5seqAFF-ResNet的学习变化曲线Fig.5Changing curves of learning of seqAFF-ResNet228周涛，等：seqAFF-ResNet：面向新冠肺炎的诊断模型第 2 期Recall=TPFN+TP。（8）4）F1值衡量二元模型精确度，兼顾了准确率和召回率，是精确率与召回率的调和平均值，F1值分布在01，其值越大表示模型越好。F=(1+2)PrecisionRecall2Precision+Recall。（9）值越大，Recall的权重越大；值越小，Precision的权重越大。其中=1时，F1=2PrecisionRecallPrecision+Recall。（10）5）AUC被定义为ROC曲线与坐标轴围成的面积，作为数值可以直观地评价分类器的好坏，其值越大越好。2.3数据集随着 COVID-19 的出现，到目前为止有关新冠肺炎已经进行了许多学术研究，一些研究人员基于原数据创建了数据集，并将其提供给公众。本文所使用的 COVID-19 患者 CT 数据集是将 2 个已发表的 COVID-19 识别的 CT 扫描公开数据集结合在一起。数 据 集 一：该 数 据 集 是 从 Kaggle 下 载 用 于SARS-CoV-2（COVID-19）识别的大型CT扫描公开数据集，这项数据集是英国的兰卡斯特大学研究员发布的，是从巴西圣保罗医院的真实患者中收集的有关新冠肺炎分类的肺部CT公共数据集，该数据集在Kaggle中免费提供。数据集二：该数据集是COVID-19 的CT公开数据集12，其中包含来自216名患者的349个COVID-19影像和397个非COVID-19影像。2个数据集原始图像如图6所示，可以看出，2个数据集都是有关新冠肺炎的CT图像数据集，且数据集类型相似，可以将2个数据集合并使用。本文将合并后的数据集按照6 2 2的比例重新分成训练集、验证集和测试集进行分类实验，数据集分布具体情况见表 2，将所有不同尺寸大小的原始图像缩放至224像素224像素，然后将其转换为向量格式并对其进行像素值归一化处理。2.4消融实验为了验证本文方法的有效性，通过消融实验来进行对比。分别做了6个实验，6个实验表示如下：Experiment1：不 增 加 任 何 模 块，使 用 原 始ResNet18网络对数据集进行分类识别。Experiment2：在残差块内部引入 SAFF 模块对数据集进行分类识别。Experiment3：先将通过扩张卷积的浅层特征与残差块的特征进行直接拼接，然后对数据集进行分类识别。Experiment4：先将通过扩张卷积的浅层特征传入深层，再将加入SAFF模块的残差块的输出特征与其直接拼接后进行分类识别。Experiment5：先将通过扩张卷积的浅层特征传入DSFF模块，再将加入SAFF模块的残差块的输出特征传入DSFF模块进行深浅层融合，最后对数据集进行分类识别。Experiment6：先将通过扩张卷积的浅层特征传入DSFF模块，再将加入SAFF模块与GLAFF模块的残差块的输出特征传入DSFF模块，DSFF模块对深浅层特征进行融合，最后对数据集进行分类识别（即本文提出的模型seqAFF-ResNet）。本文针对于模型有无加入扩张卷积、SAFF 模块、GLAFF模块以及DSFF模块来进行对比实验，具体实验结果见表3。图6新冠肺炎数据集示例Fig.6Example of COVID-19 dataset表2CT影像的数据集分布Table 2Data set distribution of CT images数据集SARS-CoV-2COVID-19 CT训练集COVID-19752209no-COVID-19737239验证集COVID-1925070no-COVID-1924679测试集COVID-1925070no-COVID-1924679229第 19 卷 中 国 科 技 论 文由表 3 可以看出：Experiment2 相比于 Experiment1 在各项指标上均有提升，仅召回率略低于Experiment1，准确率、精确率、F1分数及AUC值分别提高了2.49%、2.02%、1.87%、0.47%，说明单独在残差网络中加入扩张卷积支路可以较好地弥补深度神经网络传递过程中的特征丢失问题。Experiment3相比于 Experiment1 在各项指标上均有提升，仅在AUC值上略低，说明单独在残差块内加入注意融合模块会增加网络对于特征的提取能力。Experiment4 相比于 Experiment2 和 Experiment3 在各项指标上均有提升，其中比 Experiment2 分别提高了0.46%、0.32%、0.61%、0.46%、0.39%，比 Experiment3 分别提高了 0.62%、0.90%、0.30%、0.60%、6.20%，说明加入扩张卷积支路及注意融合模块可以在弥补特征丢失问题的同时增加网络对于特征的提取能力，使网络性能获得更多提升。Experiment5比Experiment4的准确率提升了0.16%，说明对不同层次特征分别进行空间和通道维度的特征增强，并对其进行有效融合以实现跨层特征融合使得模型分类效果得到显著提升。Experiment6对注意融合模块串联了GLAFF模块，相比于Experiment5各项指标均 有 提 升，仅 在 召 回 率 上 略 低，准 确 率 提 高 了0.31%，这是因为该模型不仅实现了从2个方向以及全局、局部进行特征提取，且对深浅层特征进行跨层融合，有效地弥补了 CNN 提取信息能力较弱的不足，对方向特征提取能力的增强，获取病灶纹理特征，提高了模型对病变的特征提取能力，从而提取到更多有效的特征实现准确分类。消融实验三维柱状图如图7所示，由图7可以看出本文方法的优胜性，SAFF模块能从不同方向提取纹理信息，更容易获取病灶边界信息；GLAFF模块分别使用全局平均池化和逐点卷积从而提取全局和局部信息；DSFF模块将深浅层特征融合，这有利于更好地表达图像的细节信息，使模型的分类精度得到很大程度的提高。若不考虑特征融合，会导致无法聚焦于病灶区域特征，对于有效目标特征提取不够充分；若不考虑全局特征的交互，会导致模型对于图像的抗噪声能力较弱，模型的分类精度不高。因此，本文在残差块内引入 seqAFF 模块充分提取病灶区域特征，同时使用DSFF模块补充信息，从而极大地抑制了网络的过拟合现象。2.5对比实验本文的对比实验部分展示了与不同网络的分类效果对比结果，本实验选取了10种与本文方法类似的模型进行比较，主要将 ResNet18、DenseNet121、GoogleNet、ResNext50、SE-ResNet18、SE-ResNext50、Xception、Inceptionv3、Inceptionv4、EiffcienNetb0 与本文方法seqAFF-ResNet在胸部CT图像的样本空间进行训练，根据不同网络模型识别时的识别精度和训练时间，探究它们在不同样本空间上的识别率和效率，采用模型参数、准确率、精确率、召回率、F1分数及AUC值进行对比，以验证实验的有效性。对比结果见表4，可以看出：ResNet18是基础网络，分类准确率、精确率、召回率、F1分数和AUC值分别为 93.79%、94.29%、96.62%、94.44%、98.25%。DenseNet 通过密集连接方式实现特征复用，将每一层与前面所有层在通道维度上进行拼接，通过复用不同层的特征图，减少层间的相互依赖性，还避免了ResNet网络中逐像素相加操作导致的一定程度上的信息流被破坏，能够更加精确地提取图像中与疾病有关的特征，从而提高识别准确率。GoogleNet在加深网络结构的同时引入Inception模块以增加网络的宽度，由于DenseNet通过堆叠多个密集单元可以解图7消融实验三维柱状图Fig.73D histogram of ablation experiments表3消融实验对比结果Table 3Comparison results of ablation experiments实验Experiment1Experiment2Experiment3Experiment4Experiment5Experiment6扩张卷积seqAFFSAFFGLAFFDSFF模型参数量/MB85.2897.4588.5699.4194.1599.57准确率/%93.7996.2896.1296.7496.9097.21精确率/%94.2996.3195.7396.6396.6497.82召回率/%96.6296.3196.6296.9297.2396.62F1分数/%94.4496.3196.1796.7796.9397.21AUC值/%98.2598.7292.9199.1198.9799.15230周涛，等：seqAFF-ResNet：面向新冠肺炎的诊断模型第 2 期决网络加深带来的梯度消失和网络退化问题，整体预测效果优于 GoogleNet 和 ResNet18。ResNext50在残差块的基础上使用了分组卷积，分类准确率、精确率、召回率、F1分数和 AUC 值分别为 94.57%、93.94%、95.38%、94.66%、98.63%，ResNext 与GoogleNet类似，使用了网络加宽的操作进行改进，但却比GoogleNet简单易懂。SE-ResNet将SE注意力机制引入残差网络，使得网络聚焦于病变区域，对COVID-19 CT图像的分类效果有较好的提升。SE-ResNext在 ResNext的基础上引入 SE注意力机制，将 senet 中的 bottleneck 换成 ResNext 的 bottleneck，有效地结合了 SE 对有效特征的聚焦能力以及ResNeXt同构、多分支的优势，从而带来分类性能的提升。Inceptionv3主要提出了分解卷积，把大卷积因式分解成小卷积和非对称卷积，但在 COVID-19数据集上的分类效果最差，说明分解卷积对于COVID-19 的 CT 图像提取能力较差。Inceptionv4针对Inceptionv3进行了一系列简洁的优化，因此各项指标均得到了提升。Xception采用深度可分离卷积替换原来Inceptionv3中的卷积操作，在基本不增加网络复杂度的前提下提高了模型的效果。EiffcienNetb0模型的准确率、精确率、召回率、F1分数以及AUC 值分别为 93.95%、93.59%、94.46%、94.03%、98.02%，取得了较优的模型性能。通过以上10种模型方法与本文方法在COVID-19数据集上的性能指标对比可以看出，本文网络综合性能最好，本文基于ResNet18做改进，准确率、精确率、召回率、F1分数及AUC 值分别为 97.21%、97.82%、96.62%、97.21%、99.15%，可见seqAFF-ResNet明显整体优于其他网络，仅在召回率上略低于SE-ResNet18，AUC值略低于SE-ResNext50，更好地表明该模型方法的有效性，通过特征融合模块可以充分提取病变区域特征，深浅层特征融合可以获取丰富的上下文信息，从而增强网络的特征提取能力，提升网络识别精度。本文从不同角度展示可视化对比结果，三维柱状图更突出展示不同评价指标之间的对比效果，使用雷达图对数据进行描述可以更直观地看出每种网络之间的差异性，与不同 CNN 模型分类结果的评价指标对比如图 8 所示。在三维柱状图中本文的seqAFF-ResNet显示为深绿色矩形块，在雷达图中本文seqAFF-ResNet显示为红色折线，可以看出 seqAFF-ResNet 模型较其他模型识别效果更显著，进一步验证了 seqAFF-ResNet 模型的有效性。表4不同网络对比结果Table 4Comparison results of different networks网络ResNet182DenseNet13GoogleNet14ResNext5015SE-ResNet1816S