一种结合三重注意力机制的双路径网络胸片疾病分类方法_李锵.pdf

一种结合三重注意力机制的双路径网络胸片疾病分类方法李 锵*王 旭 关 欣(天津大学微电子学院 天津 300072)摘 要：近年来，利用CNN进行医学图像处理，在胸片疾病分类任务中取得显著研究进展。然而，与单一结构CNN相比，双路径网络可结合不同CNN特点，从而提高疾病分类能力。其次，对于不同疾病，其位置、大小、形态、密度、纹理等特征均有不同，而注意力机制有助于模型提取不同病理特征，提升分类精度。因此针对胸片疾病分类问题，该文提出一种结合三重注意力机制的双路径卷积神经网络(TADPN)，TADPN将ResNet和DenseNet结合的双路径网络DPN作为骨干网络，并利用3种不同形式的注意力机制改进DPN，在维持参数量稳定的同时提高网络复杂度，进而提升对胸片疾病的分类精度。在ChestXray14数据集上实验，并与目前较为先进的6种算法对比，14种疾病的平均AUC值达到0.8185，较前人提升1.1%，表明双路径CNN及三重注意力机制对胸片疾病分类的有效性及TADPN的先进性。关键词：医学图像处理；胸片分类；卷积神经网络；注意力机制中图分类号：TN911.73;TP391.41文献标识码：A文章编号：1009-5896(2023)04-1412-14DOI:10.11999/JEIT220172A Dual-path Network Chest Film Disease Classification MethodCombined with a Triple Attention MechanismLI Qiang WANG Xu GUAN Xin(School of Microelectronics,Tianjin University,Tianjin 300072,China)Abstract:In recent years,medical image processing with CNN has made remarkable research progress in thetask of chest film disease classification.However,compared with single structure CNN,dual-path network cancombine the characteristics of different CNN to improve the ability of disease classification.Secondly,fordifferent diseases,their location,size,shape,and texture are different,the attention mechanism helps the modelto extract different pathological features and improve the classification accuracy.Therefore,focusing on thechest film disease classification problem,a dual path convolution neural network TADPN(Triple AttentionDual Path Network)combined with a triple attention mechanism is proposed.TADPN takes the dual-pathnetwork combined with ResNet and DenseNet as the backbone network and uses three different forms ofattention mechanisms to improve the backbone network.The network complexity and classification accuracyare improved while maintaining the stability of the parameters.In this paper,the validity of TADPN iscompared with the six advanced algorithms on the ChestXray14 dataset.The experiments show theprogressiveness of the dual-path CNN and the triple attention mechanism,as well as the effectiveness ofTADPN.The average AUC value of 14 diseases reaches 0.8185,which is 1.1%higher than that of previousgenerations.Key words:Medical image processing;Chest film classification;CNN;Attention mechanism 收稿日期：2022-02-22；改回日期：2022-07-27；网络出版：2022-08-05*通信作者：李锵基金项目：国家自然科学基金(61471263,61872267,62071323)，天津市自然科学基金(16JCZDJC31100)，天津市科技计划项目(20YDTPJC01110)，天津大学自主创新基金(2021XZC-0024)Foundation Items:The National Natural Science Foundation of China(61471263,61872267,62071323),The Natural Science Foundationof Tianjin(16JCZDJC31100),The Scientific and Technological Project of Tianjin(20YDTPJC01110),The Seed Foundation of TianjinUniversity(2021XZC-0024)第45卷第4期电 子 与 信 息 学 报Vol.45No.42023年4月Journal of Electronics&Information TechnologyApr.20231 引言胸部疾病患病率高且种类复杂，仅肺炎就造成每天约2200名儿童死亡1,2。胸腔积液、气胸、浸润等疾病能影响多个器官正常运作，严重威胁健康3。胸片，即胸部X线片(Chest X-Ray,CXR)的获取快速，成本低廉，是最常用的疾病筛查手段之一4。临床医学中，每张胸片都需要医师从复杂的影像中提取病理信息并分析判断患病类别，过程耗时且费力，给医疗资源造成巨大压力。由于疾病纹理细节复杂多变，易发生漏诊、误诊，同时医师主观决策存在不确定性，即使两位专业医师的诊断结果依然可能存在分歧。因此，利用卷积神经网络(ConvolutionalNeural Networks,CNN)的计算机辅助诊断(Com-puter Aided Diagnosis,CAD)完成疾病分类任务，提供临床参考，变得非常重要5。近年来，出现了许多使用CNN对医学图像处理的研究，如肺结节分割6、脑肿瘤分割7、乳腺癌病理图像分类8、胸片疾病分类911，能够快速精确辅助医师诊断。本文的目标是，通过搭建卷积神经网络模型，对多种胸片疾病自动分类。研究表明以残差网络(Residual Networks,ResNet)1214和密集连接网络(Densely Connected Convolutional Networks,DenseNet)1518为骨干网络的CNN模型分类效果较好19。如Gundel等人20提出一种基于位置感知的密集网络DNetLoc，将DenseNet作为骨干网络，利用高分辨率胸片结合空间信息进行疾病分类，平均分类精度达到0.807。Tang等人14将ResNet作为骨干网络，提出一种注意力引导机制，实现疾病分类和疾病弱监督定位，平均分类精度达到0.803。Yang等人21使用挤压激励模块(Squeeze Excitation Net,SENet)22和自注意力机制改进ResNet-50，得到0.807的平均分类精度，表明注意力模块的有效性。Guan等人23使用特征嵌入模块和注意力模块，将ResNet-50及DenseNet-121作为骨干网络，得到0.816的平均分类精度。3 3上述算法取得了较高分类精度，但依然存在不足，如未充分发挥骨干网络的结构优势，且注意力机制未完全学习疾病语义特征。故本文从网络结构和注意力机制两方面改进，提出一种三重注意力机制的双路径网络(Triple Attention Dual Path Net,TADPN)，具体改进为：(1)评估以ResNet和DenseNet为骨干网络对胸片疾病分类效果，并将二者结合的双路径网络(Dual Path Net,DPN)24作为骨干网络。(2)使用选择性卷积核(SelectiveKernel,SK)25替代常规卷积核，强化卷积操作的特征提取能力。(3)使用通道注意力模块(Channel Attention Module,CAM)和空间注意力模块(Spatial Attention Module,SAM)26增强通道和空间尺度的特征提取能力。本文在ChestX-ray14数据集上27验证算法性能，与6个先进算法对比，取得最佳平均分类精度。2 TADPN基本原理1 14本文提出的TADPN整体框架如图1所示，该图描述了待分类胸片经预处理，输入到模型，经4个TADPN块(TADPN Block)的特征提取和尺度变换，经过全连接分类层(Linear Classifier)，输出为的向量形式。每个TADNP块的卷积单元 图 1 模型整体框架第4期李 锵等：一种结合三重注意力机制的双路径网络胸片疾病分类方法1413数为3,4,20,3。表1描述了TADPN的操作流程及特征图尺度变换过程。本节将详细说明TADPN具体组成，包括：骨干网络DPN、三重注意力模块SK,CAM及SAM。2.1 双路径网络DPN首先，ResNet及DenseNet的数学表示为Xl(R)=Hl(Xl1)+Xl1(1)Xl(D)=Hl(X0,X1,.,Xl1)(2)Xl(R)Xl(D)XllHl()ll 1l 1其中，表示ResNet，表示DenseNet，为第 层的输出，表示卷积、ReLU等非线性变换。ResNet第 层输出为第层的输出与第层输出的非线性变换之和，使用残差学习方ll 1式，将本层输入和输出相加作为下一层输入，使得后续网络包含更多特征信息，以此实现特征重用，称这种结构为捷径连接(Shortcut Connect)12。DenseNet第 层输出为从0到第层所有层通道合并后的非线性变换，每个卷积块的输出均映射到后续层作为输入，实现对特征的重复挖掘利用15。可见二者均采用“跳跃”连接结构，不同点在于，ResNet做逐元素相加，通道数不变，DenseNet做拼接，通道数改变。基于此，DPN通过构建上述两条不同连接方式的特征通道，融合到同一网络不同路径中，同时继承二者结构优势，一个DPN卷积单元的基本原理如图2(a)所示。假设输入4通道特征图，将输入表 1 TADPN网络结构层操作输出尺寸卷积层77卷积，步长为2112112池化层33最大池化，步长为25656TADPN块(1)1 1卷积、3 3 SK卷积、1 1卷积 CAM、SAM35656TADPN块(2)1 1卷积、3 3 SK卷积、1 1卷积 CAM、SAM42828TADPN块(3)1 1卷积、3 3 SK卷积、1 1卷积 CAM、SAM201414TADPN块(4)1 1卷积、3 3 SK卷积、1 1卷积 CAM、SAM377分类层14维全连接114 图 2 DPN基本单元与TADPN基本单元1414电 子 与 信 息 学 报第 45 卷拆分为Res分支(红色)和Dense分支(蓝色)，选取Res分支作为DPN主干。两路分支经11卷积降维，33卷积，11卷积升维后各自得到特征图，Res分支与原输入逐元素相加(element-wise addi-tion sum)，Dense分支与原输入拼接(Concatenate)，最终将通道合并作为下层输入。l因此，DPN在第 层特征提取过程的数学表示为Xl(D)=Xl(R)+Xl(D)=Hl(X0,X1,.,2Xl1)+Xl1(3)Xl(D)其中，表示DPN，可见，相比于ResNet和DenseNet,DPN提取特征信息能力更高，通过特征重用和特征发掘，提取图像或特征图中更丰富的特征，加强模型训练的拟合度和分类精确度24。本文将DPN作为骨干网络，每次堆叠3,4,20,3个基本单元。实验表明了DPN对医学图像胸片疾病分类任务的适用性，并且分类精度均优于以ResNet或DenseNet作为骨干网络的分类算法。对DPN改进，将33卷积替换为SK，在11卷积升维后对特征图分组(Group)，加入CAM及SAM的串联或并联形式，得到本文TADPN卷积块，如图2(b)所示，下文将具体解释所改进模块或组件的原理。2.2 注意力机制应用于胸片疾病分类的可行性分析在标准CNN中，每层神经元感受野大小相同，网络对每个元素关注度相同。而在医学影像中，以图3(a)为例，大部分区域为低灰度值背景、高灰度值骨骼和胸廓、深灰色皮下组织、肌肉、脂肪，医师读片时无需重点关注。而重点部位如胸腔、肺组织、纵隔、心脏等组织中，病灶面积占比很小，结节、肿块等病灶面积基本小于10%，如图3(b)所示。病发位置也不同，如结节、肿块可发病于肺部多个位置，气胸、胸膜增厚发病于胸腔，心脏肥大发病于心脏部位。14类胸部常见疾病影像学诊断依据如表2所示，可见不同疾病位置、大小、形态、密度、纹理等性状复杂多样，差异较大。对此，注意力机制可关注病灶关键特征，得到感兴趣区域(Region Of Interest,ROI)。文献23,28有效利用注意力机制提升算法性能，但仍有改进空间。例如，SE模块通过学习特征通道的重要程度，强化有用特征并抑制无用特征，是一种通道注意力模块22。但在胸片图像中，不仅在各通道中包含值得关注的信息，通道内部，即特征图各像素点间的重要程度也不同，例如，心脏肥大、积液、浸润等病灶面积较大，结节、肺炎等病灶面积较小，且病灶位置分布在肺野、心脏、胸廓等不同部位。故针对胸片图像，需进一步选择性提取特征。文献29,30表明SK,CAM及SAM对自然图像特征提取的有效性，本文将上述3个模块迁移到医学图像处理任务中，并验证其有效性。表 2 14种胸片疾病的影像学诊断依据疾病影像学依据肺不张肺野呈均匀致密影，气管、纵隔向患侧移位，肋间隙变窄心脏肥大心影增大积液肋膈角变钝或消失，纵隔向健侧移位，体液上缘呈外高内低凹面向上弧形影浸润患侧浸润性阴影肿块肺实质内呈高密度阴影(直径大于3 cm)结节肺实质内呈高密度阴影(直径小于3 cm)肺炎肺纹理增多、密度增高，呈毛玻璃影，片状模糊，边界不清气胸肺被压缩向肺门部收缩，呈均匀无肺纹理走形透亮影肺实变呈空气支气管征、肺泡充气征、阴影不透明、血管模糊水肿肺纹理以及肺门区血管增粗，肺透亮度降低、肋膈角改变或消失肺气肿肺体积增加、纹理增粗、透过度增大纤维化肺中下野呈毛玻璃状、典型性改变弥漫性线条状、结节状、云絮样、网状阴影胸膜增厚肋隔角变浅、变钝，呈不规则条状钙化疝气呈高透光度膨出，与肺组织相连 图 3 一个患有结节的胸片成像第4期李 锵等：一种结合三重注意力机制的双路径网络胸片疾病分类方法14152.3 选择性卷积核针对上述问题，本文使用SK卷积改进DPN中的33常规卷积核，提升模型对医学图像疾病特征的捕捉能力。SK本质上是一种基于卷积核的注意力机制，可根据输入特征的多个尺度自适应调节接受域，根据ROI自动调整感受野，同时兼顾不同尺度目标的动态卷积核25。SK结构如图4所示。XSKH W CH,W,CXSK3 3定 义 输 入 特 征 图维 度 为，分别表示特征图高度、宽度和通道数。使用Kernel(1)、Kernel(2)，2组不同尺寸的卷积核提取特征，获得的不同尺度的特征信息，其中，Kernel(2)为卷积核尺寸为，膨胀大小为2的膨胀卷积(dilated convolution)，对于相同尺寸卷积核，膨胀卷积具有更大感受野31，可通过调整卷积核尺寸及膨胀系数D，得到适应胸片病灶特征尺度信息的最佳参超数。XXCXg将两个分支的特征图通过逐元素相加融合得到，并对进行全局平均池化(Global AveragePooling,GAP)，得到个通道全局信息，具备全局感受野，如式(4)所示Xg=Fgap(X+X)=1H WHi=1Wj=1X(i,j)(4)XgWWX,XYSK经过全连接(Full Connect,FC)操作的非线性变换(BN+ReLU)继续降低维度，并经过softmax函数激活归一化，得到两路分支的特征学习选择权重，与对应元素相乘(element-wiseproduct)加权得到最终特征图。因此对于相同尺寸的输入，由于待捕获特征的尺寸不同，经多分支特征尺度权重学习后，感受野也随之动态调整，形成适应特征目标尺度的注意力机制。本文使用SK替代骨干网络33常规卷积，使得模型能够根据ROI的大小，自适应调整卷积核尺寸25，准确提取病理特征信息，提高模型整体分类的准确率。2.4 通道和空间注意力模块本文使用CAM和SAM优化模型对病理信息语义特征的提取能力，分别提取通道域和空间域的注意力信息。CAM和SAM的实现方式如图5所示。Fin输入特征图经特征分组(Group)划分为G个子特征组，在组内分别学习每组特征图的通道和空间特征，特征分组可节约计算开销32，本文设置G=8。CAM和SAM的顺序可分为并行、串行(先CAM后SAM、先SAM后CAM)3种组合方式，3种组合的计算复杂度相同，以下分别解释CAM和SAM具体实现过程。2.4.1 通道注意力模块单通道输入经卷积变换，通道数增加，但每个通道提取出的特征图价值不尽相同，胸片大量位置为无用信息，为使模型关注更有意义的特征图，使用CAM。该模块可自适应校准通道特征权重，保留有价值特征，过滤无价值特征，强化模型对通道特征的提取能力，CAM结构如图6所示。XCAMH W CXCAM1 1 CWCWCXCAMYCAMFSFMLPFMaxFAvg定义输入特征图维度为，分别经过最大池化和平均池化，生成两个尺度为的特征图，其中，最大池化可保留图像纹理特征，平均池化可保留整体数据特征26。然后各自通过多层感知器(Multi Layer Perceptron,MLP)，MLP包含两个全连接层一个ReLU隐藏层，以压缩特征尺寸减小参数开销。将两路输出相加并Sig-moid归一化，得到各通道注意力权重，与输入相乘得到本模块输出。上述计算过程如式(5)所示，其中，表示Sigmoid归一化，表示MLP操作，表示最大池化操作，表示平均池化操作。YCAM=XCAM WC=XCAM(FS(FMLP(FMax(XCAM)+FS(FMLP(FAvg(XCAM)(5)2.4.2 空间注意力模块SAM可使学习重点聚焦在有意义的位置，提升模型对胸片异常区域的敏感度，SAM结构如图7所示。XSAMH W C定义输入特征图维度为，分别经最大池化和平均池化，将生成的两个特征图做 图 4 SK结构1416电 子 与 信 息 学 报第 45 卷H W 27 7WSWSXSAMYSAM拼接(Concatenate)操作，得到尺度为的各位置权重，再经卷积降维和Sigmoid归一化，得到各位置注意力权重，与输入相乘得到本模块输出。上述计算过程如式(6)所示，其中，#表示通道拼接YSAM=XSAM WS=XSAM(WS(F77Conv(FMax(XSAM)#FAvg(XSAM)(6)因此，CAM可辨识特征图中的特异性通道，并为SAM提供增强的异常病理特征，本文对比实验表明，令CAM和SAM串行顺序组合，可得到最佳分类结果，消融实验表明，CAM和SAM存在互补关系。将卷积核注意力模块SK、通道注意力模块CAM、空间注意力模块SAM同时加入骨干网络DPN中，形成三重注意力双路径网络TADPN。3 实验结果和分析 3.1 数据集及预处理本文使用ChestXray14数据集，该数据集由美国国立卫生研究院整理，是目前最大的胸片公开数据集，包含30 805个患者的112 120张胸片前视图，全部为1 024像素1 024像素的png格式灰度图。其中51 708张图片被标记为一种或多种14种常见疾病，其余图片被标记为不患病。疾病种类及数量分布如表3所示，疝气、肺炎、纤维化等疾病样本较少，而浸润、积液等疾病样本较多，疾病数量比例和临床诊断中患病比例大致相同，这种数量不均衡加大了模型分类难度。可见疾病种类多且数量不平衡，分类难度较大。表 3 ChestXray14数据集疾病种类及数量疾病名称数量(张)疾病名称数量(张)疾病名称数量(张)肺不张(Atelectasis)11 559气胸(Pneumothorax)5 302无病60 361心脏肥大(Cardiomegaly)2 776肺实变(Consolidation)4 667积液(Effusion)13 317水肿(Edema)2 303浸润(Infiltration)19 894肺气肿(Emphysema)2 516肿块(Mass)5 782纤维化(Fibrosis)1 686结节(Nodule)6 331胸膜增厚(Pleural Thickening)3 385肺炎(Pneumonia)1 431疝气(Hernia)227患病合计51 759总计112 120 图 5 CAM和SAM实现方式 图 6 CAM结构 图 7 SAM结构第4期李 锵等：一种结合三重注意力机制的双路径网络胸片疾病分类方法1417本文沿用官方划分标准，将全部图片按照7：2：1随机划分为训练集、测试集和验证集。为压缩计算量，增加批处理量，将图像按双线性插值法缩小至256256。为提升模型鲁棒性，对数据增强，使用限制对比度自适应直方图均衡化(ContrastLimited Adaptive Histgram Equalization,CLAHE)增强图像对比度，突出细节，如图8所示。为提升模型泛化能力，对每张图像随机选取中心点裁剪至224224，最后转换为RGB3通道向量格式作为模型输入。本文没有对数据样本扩增，以确保各疾病标签与实际患病比率统一。3.2 实验过程及评价指标本文实验环境为:(1)CPU：Intel Core i9-9900X 3.5 GHz。(2)GPU：Nvidia RTX2080Ti(11 GByte)4。(3)操作系统：Ubuntu 16.04。(4)深度学习框架：Pytorch1.1。L1L1对于医学图像二分类任务，在训练时一般使用传统交叉熵损失函数33，的计算方式为L1(y,y(P)=14i=1y lg(y(P)14i=1(1 y)lg(1 y(P)y=y1,y2,.,yC,y(P)=y(P)1,y(P)2,.,y(P)C|(7)yyC其中，为真实标签，的值为0(无病)或1(患该类y(P)y(P)CCC=14L1疾病)，为预测概率，的值为0,1区间任意实数，表示疾病序号，本文。最终为14维向量，将14种疾病的损失值求平均作为模型整体损失。L2L2前文提到，在临床中，疾病样本存在不均衡分布，使模型对不同疾病产生不同程度拟合。而本文未采用数据扩充的方式实现样本均衡。因此对于胸片图像分类任务，可使用加权交叉熵损失函数34强化反向传播时对少量疾病的学习，缓解疾病数量不平衡造成的影响，的计算方式为L2(y,y(P)=NCy14i=1lg(y(P)PC14i=1y lg(1 y(P)NC=|NC|PC|+|NC|,PC=|PC|PC|+|NC|(8)=2NCPC|NC|PC|CNC其中，为超参数，令，为负平衡因子，为正平衡因子，和分别表示每个训练批次中第类疾病真实标签的0和1的总数。若第C类疾病患病样本越少，则越大，该类疾病的损失越大，即对样本较少的疾病赋予更大的权重值，强化模型对各种疾病的拟合程度。本文使用Adam优化器，初始学习率为0.001，学习率每10轮乘以0.9，批处理量设置为160，当验证集损失稳定时停止训练，训练过程约为6 h。本文采用受者操作特征曲线下面积(Area Under 图 8 原数据和经CLAHE增强后数据对比1418电 子 与 信 息 学 报第 45 卷the receiver operating Characteristics curve,AUC)评估算法对每种疾病的识别能力。由于疾病数量较多且类别分布不均，AUC可直观衡量算法对每种疾病个体及平均分类能力，大部分相关工作均采用该指标。AUC值计算方法如混淆矩阵表4及式(9)、式(10)所示。TPR=TPTP+FN(9)FPR=FPFP+TN(10)定义预测值为1，真实值同为1的疾病样本为真阳(True Positive,TP)，同理定义伪阳(False Pos-itive,FN)、伪阴(False Negative,FN)、真阴(TrueNegative,TN)。并计算真阳率(True PositiveRate,TPR)及伪阳率(False Positive Rate,FPR)，TPR表示所有真实为1的样本中预测为1的比例，FPR表示所有真实为0的样本中预测为1的比例。以FPR为横坐标，TPR为纵坐标绘制受试者操作特征曲线(Receiver Operating Characteristics,ROC)，ROC曲线下面积即为AUC值。AUC值越高，分类越准确，算法分类能力越强。3.3 结果对比分析本文TADPN算法对14类胸片疾病分类的ROC曲线如图9所示。表5给出了TADPN模型在ChestX-ray14数据集上测试的AUC值，并与同数据集的前人模型比较，其中，加粗字体表示每行最优结果。通过与基于ResNet和DenseNet的前人模型对比，可见本文算法进一步提升了分类精度，达到0.818 5的平均AUC，提升1.1%(0.818 5vs.0.809 7)。具体而言，表 4 混淆矩阵预测类别真实类别1(患病)0(无病)1(患病)真阳(TP)伪阳(FP)0(无病)伪阴(FN)真阴(TN)表 5 不同模型在ChestX-ray14数据集上的结果比较基于ResNet模型基于DenseNet模型TADPN文献14文献35文献21文献36文献37文献28本文肺不张0.755 70.800.800 40.762 70.7950.785 00.794 5心脏肥大0.886 50.870.879 80.883 50.8870.876 60.901 2积液0.819 10.870.8720.815 90.8750.862 80.882 3浸润0.689 20.700.712 20.678 60.7030.673 00.693 5肿块0.813 60.830.795 30.801 20.83 50.804 00.822 2结节0.754 50.750.720 50.729 30.7160.729 90.728 0肺炎0.729 20.670.734 70.709 70.7420.742 30.742 8气胸0.849 90.870.842 20.837 70.8630.842 60.874 5肺实变0.728 30.800.8010.744 30.7860.784 60.802 9水肿0.847 50.880.878 70.841 40.8920.872 70.895 9肺气肿0.907 50.910.853 60.883 60.8750.858 00.880 9纤维化0.817 90.780.7980.807 70.7560.775 40.794 3胸膜增厚0.764 70.760.743 10.753 60.7740.775 60.774 2疝气0.874 70.770.871 10.876 30.8360.864 50.872 4平均0.802 70.8040.807 30.794 10.809 70.802 00.818 5 图 9 TADPN在ChestX-ray14数据集上的ROC曲线和AUC值第4期李 锵等：一种结合三重注意力机制的双路径网络胸片疾病分类方法1419TADPN对多种疾病取得了更好的分类性能，尤其是心脏肥大的分类精度提高了1.6%(0.901 2vs.0.88 7)，气胸的分类精度提高了1.3%(0.847 5vs.0.863)。就每种疾病而言，AUC最高的是心脏肥大、水肿、肺气肿，分别为90.12%,89.59%,88.9%，是因为此类疾病数量较少，且病理特征突出，易识别。积液的AUC也超过0.88，虽然积液样本数较大，但该病外观较明显易识别。此外由于肺炎疾病面积较大，且病灶片状模糊，边界不清晰，识别难度大，但本文还是优于前人结果，达到74.28%。虽然疝气样本量只有227，仅占1%，但本模型依然能达到87.24%，这表明注意力模块能充分学习该疾病高透光度特征。浸润的AUC最低，虽然该病样本量最大，占38%，但浸润的病理学表现为浸润性阴影，不同病变期内纹理类型、阴影面积、明暗程度、清晰程度均不固定，且整个肺野均有可能出现病变，随机性较强。这导致模型无法很好拟合该病的全部特征。综上，本文模型对胸片疾病分类的平均AUC进一步提升，总体分类能力较强。3.4 泛化实验分析为验证TADPN的泛化性能，选取2个新型冠状病毒(Corona VIrus Disease-2019,COVID-19)肺炎胸片数据集38,39。对于每个数据集，选取无病、常规肺炎、新冠肺炎各100张，组成额外测试集，测试TADPN的普适性。新冠肺炎轻症患者影像学表现为肺部磨玻璃影，重症表现伴随肺实变、胸腔积液或浸润，与普通肺炎无明显区别。本节使用的2个测试数据集未提供其他疾病标签，因此只进行肺炎疾病的二分类实验，即不患肺炎和患肺炎。实验中，将常规肺炎和新冠肺炎均标记为患肺炎，泛化实验结果如图10所示，可知TADPN对肺炎的分类精度为0.753 2和0.729 4，与图9测试结果相近，表明TADPN较好的泛化性。3.5 消融实验分析为评估TADPN的骨干网络的先进性及SK模块、CAM、SAM的有效性，本文进行额外消融实验。分别移除各模块，在同条件下测得每个模型AUC值，并与本文模型对比，结果如表6及表7所示。由表6可知，ResNet对肺不张、心脏肥大等共8类疾病的分类精度优于DenseNet，但DenseNet对14类疾病的平均AUC高于ResNet,DPN则对超过半数疾病分类结果优于单一网络，虽然有6类疾病分类精度降低，但幅度很小，平均AUC依然最高，可见DPN结合DenseNet及ResNet结构特点，优势互补，实现最优分类效果。由表7可知，通过改进DPN，本文模型较骨干模型提升0.55%(0.8130vs.0.8091)，表明本文的改表 6 3种骨干网络分类结果对比肺不张心脏肥大积液浸润肿块结节肺炎ResNet-1010.790 00.907 70.870 50.688 20.80740.720 80.706 9DenseNet-1210.787 20.903 00.872 40.685 30.802 50.709 60.722 2DPN-920.791 30.910 60.873 40.684 20.807 60.713 80.730 1 气胸肺实变水肿肺气肿纤维化胸膜增厚疝气平均ResNet-1010.860 40.794 80.890 00.868 20.777 40.761 10.864 50.807 7DenseNet-1210.861 60.799 40.886 30.866 00.773 90.763 20.895 10.809 1DPN-920.861 50.797 90.888 80.867 70.782 70.774 60.897 40.813 0 图 10 TADPN对不同测试集的泛化实验ROC曲线和AUC值1420电 子 与 信 息 学 报第 45 卷进是有效果的。就每个模块而言，分别移除3个注意力模块，平均分类精度均下降，表明每个模块的注意力侧重在不同操作单元，并将各自优势互补。3.6 模型参数分析表8给出了TADPN中对SK两路分支卷积核尺寸及膨胀系数D设置不同超参数，对分类结果及模型复杂度的影响。在分类精度方面，使用33常规卷积和33膨胀系数为2的膨胀卷积组合，对疾病的分类效果最高，卷积核尺寸越大，分类精度下降越明显。在模型复杂度方面，对于相同卷积核尺寸，不同膨胀系数，模型的复杂度相同，卷积核尺寸越大，模型复杂度越高。表9给出了DPN-92与本文3个注意模块组合后的平均AUC和模型复杂度，包括参数量(Paramet-ers)及浮点运算数(FLoating Point Operations,FLOPs)。在分类精度方面，CAM,SAM对模型分类精度的提升效果优于SK模块。为对于每个特征图，CAM对整体权重调节，SAM对局部位置权重调节，因此CAM,SAM的3种组合方式中，CAM+SAM串行最高，SAM+CAM串行次之，CAM|SAM并行最低，总体差别不大，与文献30对自然图像分类的结果一致。在模型复杂度方面，可知CAM和SAM对模型复杂度提升不明显，SK模块对模型复杂度提升较高，最终形成的TADPN较骨干网络DPN参数量增加20.28%，浮点运算数增加5.79%。3.7 热图分析ChestX-ray14数据集由专业医师定位病灶位置，其中，包含8种疾病的983张标注图，均给出疾病边界框坐标，本文将边界框绘出以直观评估TADPN模型定位病灶位置及学习疾病特征的能力。本文使用梯度加权类激活映射(Gradient-Weighted ClassActivation Mapping,Grad-CAM)方法40，从TADPN最后的卷积层中提取各像素点权值，最终生成热图，如图11所示，其中，(1)列为医生标注图，疾病位置用红色矩形框标记，(2)-(6)列为热表 7 消融结果对比肺不张心脏肥大积液浸润肿块结节肺炎骨干模型0.791 30.910 60.873 40.684 20.807 60.713 80.730 1移除SK0.787 40.910 20.878 90.690 80.808 70.720 40.743 5移除CAM0.791 90.907 40.875 00.684 60.815 30.722 30.736 9移除SAM0.786 40.907 40.875 80.688 70.816 40.721 70.738 6TADPN0.794 50.901 20.882 30.693 50.822 20.728 00.742 8 气胸肺实变水肿肺气肿纤维化胸膜增厚疝气平均骨干模型0.861 50.797 90.888 80.867 70.782 70.774 60.897 40.813 0移除SK0.865 90.804 60.897 10.879 30.783 40.770 20.875 00.815 4移除CAM0.867 20.802 70.894 20.881 20.775 80.774 40.890 00.815 6移除SAM0.873 20.803 40.887 50.876 10.783 60.780 50.872 00.815 1TADPN0.874 50.802 90.895 90.880 90.794 30.774 20.872 40.818 5表 8 SK卷积参数设置对比分支1分支2平均AUCParameters(M)FLOPs(G)卷积核1膨胀系数D1卷积核2膨胀系数D23313320.818 54.565 120.57