基于改进SE-Net网络与多注意力的脑肿瘤分类方法.pdf

第 卷 第 期 西 华 师 范 大 学 学 报(自 然 科 学 版)()年 月.:./.收稿日期:基金项目:四川省教育厅重点项目()西华师范大学英才科研基金项目()作者简介:张晓倩()女硕士研究生主要从事图像处理研究通信作者:罗建()男博士副教授硕士生导师主要从事图像处理研究:.引文格式:张晓倩罗建杨梅等.基于改进 网络与多注意力的脑肿瘤分类方法.西华师范大学学报(自然科学版)():.()():.基于改进 网络与多注意力的脑肿瘤分类方法张晓倩罗 建杨 梅金芊芊朱 熹(西华师范大学 电子信息工程学院四川 南充)摘 要:手工筛选肿瘤图像来预测脑肿瘤类别的方法非常耗时而将深度学习与医学图像相结合的方式可以在一定程度上帮助医生解决这一问题因此提出改进的 网络 首先将 激活函数代替批归一化和特征融合后的 激活函数使模型更好地学习有效特征其次在第一层和第二层卷积层后分别添加 和改进的 注意力模块在空间和通道 个方向并发进行特征提取使目标特征充分被利用最后在 注意力模块中添加全局最大池化利用双通道池化层提取有效特征抑制无效特征提高模型准确率 在 公开的数据集中进行训练与测试最终结果表明该方法在脑肿瘤分类测试集中的准确率、召回率、精确率和 值分别达到 、.、.和.充分验证了改进模型的有效性关键词:脑肿瘤多注意力机制深度卷积神经网络计算机辅助诊断系统分类中图分类号:文献标志码:文章编号:()脑肿瘤也指颅内肿瘤包括垂体瘤、脑膜瘤和胶质瘤是常见且致命的肿瘤之一 如果能尽快确定脑肿瘤的类型及时确定治疗方案那么脑肿瘤患者的生存率将明显提高 通常手工筛选肿瘤图像来预测脑肿瘤的类别非常耗时而利用脑肿瘤辅助诊断系统将深度学习与医学图像相结合可以在一定程度上帮助医生解决这一问题 脑肿瘤辅助诊断系统是在大量脑肿瘤图像数据的基础上结合以往的诊断结果、医生的个人经验以及患者的既往病史帮助医生快速得出诊断结论近年来卷积神经网络已经成为图像处理中最流行的方法 等提出了一种残差学习框架来训练深度网络并在 图像分类任务中取得了最好的效果 它摒弃了以往简单叠加卷积层的方法在网络上增加跳跃连接并将浅层特征信息带到网络的深层很大程度上解决了网络梯度消失或梯度爆炸的问题但残差网络没有对关键信息进行聚焦 等提出了一种不同的 结构通过在卷积层、最大池化层和 层的每一层后都添加全连接层可对脑膜瘤、胶质瘤和垂体瘤实现准确分类但是 结构对信息的提取有限并且当网络层数太深时采用反向传播调整内部参数会使靠近输入层的参数改动较慢 等提出了一种将 与全局平均池化相结合的方式来解决在深度网络中存在的梯度消失和过拟合的问题该方法的平均准确率高达.能对脑膜瘤、胶质瘤和垂体瘤进行高质量分类虽然此方法利用全局平均池化避免过拟合但是没有关注目标信息存在一定的信息丢失情况 夏景明等提出 网络框架利用双通道池化层、深度残差结构、多尺寸卷积核对脑膜瘤、胶质瘤和垂体瘤进行有效分类但没有对有效信息给予关注使得网络对信息学习的不够充分由于深度网络容易出现信息丢失因此可以利用残差结构给网络深层带来浅层特征来解决这一问题针对上述情况本文将从以下几个方面展开研究:()利用 激活函数同时代替批归一化和特征融合后 西华师范大学学报(自然科学版):./年的 激活函数与 激活函数相比 并没有屏蔽过多的特征这可以使模型更好地学习有效特征对脑肿瘤图像进行有效分类()在第一层卷积、批归一化和 激活函数后插入 注意力提取通道特征信息弥补深层网络存在信息丢失的情况能使得模型更好地学习到有效信息()在第二层卷积、批归一化和 激活函数后插入 注意力用 激活函数代替 激活函数在通道和空间上并发的提取特征信息使特征信息得到充分利用()注意力模块中加入全局最大池化将全局平均池化和全局最大池化相结合使提取的高维信息互补更有利于特征提取本文基于改进的 网络利用多注意力机制提取特征信息在空间和通道上获取有效特征在分类上取得了较好的效果 方法描述.网络模型()是由自动驾驶公司 的高级工程师胡杰提出的一种基于加权特征图思想的网络结构 它可以在 结构或残差网络 中嵌入 注意力模块 注意力模块主要对特征通道间的相关性进行建模促使网络能对有效特征聚焦能更好的提取目标特征以提高模型的表达能力 简而言之是通过对重要特征信息进行强化来提升准确率本文基于 的思想在残差网络 中嵌入 注意力模块 本文的网络模型如图 所示:首先在批归一化后用 激活函数代替 激活函数 与 激活函数相比 并没有屏蔽过多的特征这可以使模型更好地学习有效特征 其次在特征融合后用 激活函数代替 激活函数 激活函数处处可导且连续光滑与 激活函数相比可以显著提高模型的表达能力 此外在全局最大池化后的第一个卷积层(包括卷积、批归一化和 激活函数)后增加 注意力模块将其在通道特征中聚焦以最大限度地提取通道信息然后在第二层卷积层之后加入改进的 注意力机制让其在空间和通道 个方向并发进行特征提取使目标特征发挥极致作用 通过试验发现通道特征更有利于信息提取可以提高模型的准确率 因此采用改进的 注意机制可获取更多通道信息提高模型的表达能力在输入特征图后模型将执行 个步骤 首先通过步骤 对特征图进行数据预处理包括卷积、批归一化、激活函数和全局最大池化然后对处理后的图像分别进行保留操作和步骤 操作包括 个子步骤分别为卷积和批归一化以及 激活函数、注意力模块、注意力模型和 注意力模块将步骤 循环处理多次 若保留数据和输出数据的尺寸不相同则对保留数据再添加一次卷积操作若两者数据尺寸相同则直接进行融合处理 最后通过步骤 进行全局平均池化和全连接层后输出?1SE NetFig.1 Model map of the improved SE Net network-XX?.ECA?1?2?3?Sigmoid?1Ck=31CBAM?Sigmoid?MC(F)MS(F)M(F)FF?+?+?Swish?SE?第 卷第 期 张晓倩等:基于改进 网络与多注意力的脑肿瘤分类方法 .激活函数深度网络中激活函数的选择对模型的性能有显著影响 校正线性单元()是应用最广泛的激活函数 激活函数在深度网络中往往表现优秀 激活函数又称自门控激活函数是谷歌在 年提出的 经验证在同等情况下 激活函数比 激活函数更能提高模型的精准度 激活函数的表达式如式()所示:()()()式中:可以是常数也可以是通过训练得到的参数 当 激活函数即为 激活函数当 时 激活函数则变成线性函数 因此 激活函数则可看作是两者之间的平滑激活函数 当 时不存在梯度消失的情况当 时神经元不会像 激活函数那样死亡 同时与 激活函数相比 激活函数的导数不是一成不变的而且 激活函数处处可导连续光滑.注意力模块?Sigmoid?XX?2Fig.2 Structure of the double channel pooling layer.双通道池化层平均池化更突出背景信息用于将图片中激活的平均值作为最终输出 最大池化更突出纹理信息用于将图片中激活的最大值作为最终输出 本文在 注意力模块中将平均池化与最大池化相结合采用双通道池化层的方式主要步骤如下:将 分别传入最大池化和平均池化两个路径后使用 函数将两部分的结果合并最后使用 激活函数来捕捉非线性因素然后输出 进入下一步操作 双通道池化层结构如图 所示3 SEFig.3 Structure of SE attention module?(b)SE(a)SE?CCC/rC/rCCWWHHCCX?ReLU?Sigmoid?Sigmoid?X?ReLU?Sigmoid?W H C/r/rCCCCCW H CXX.改进的 注意力模块图()为原始的 注意力模块主要由压缩 和激励 组成 改进后的 注意力模块如图()所示主要步骤如下:首先是 操作先将 的特征图通过双通道池化层可得到 的全局信息描述符 再经过 操作由两次全连接层来预测通道间的重要性 先通过第一个全连接层来缩放输入与输出分别为 和 /其中 为缩放参数再通过第二个全连接来还原输入与输出分别为 /和 之后利用 输出特征图中各层权值的向量 最后是 操作将输出的权值向量与特征图相乘获得有权值信息的特征图 这一步骤聚焦有效特征避免无效特征更好地提取目标特征在一定程度上提高模型的精准度.注意力模块 注意力模型是 等在 年提出的一种高效的通道注意力它主要是通过获取通道间的 西华师范大学学报(自然科学版):./年关系来提高目标特征的表达能力 相对于传统的注意力方法它可能解决降维对模型预测带来的副作用 本文采用 注意力模块增强卷积层后通道间的相关性便于有效特征的提取图 是 注意力模块的结构在同等条件下特征图 先通过全局平均池化再利用权重共享的一维卷积进行学习 在此期间将考虑通道间的相关性来获取跨通道交互可以明显降低模型的复杂度 随后将通过 激活函数 最后将激活函数输出的信息与特征图 相乘后输出 公式()是 自适应选择一维卷积核大小的方法 ()()式中:代表一维卷积核大小 为通道数通过此公式可以确定局部跨通道交互的覆盖范围即确定 的取值?4 ECAFig.4 Structure diagram of ECA attention moduleX?Sigmoid?Ck=3CX.注意力模块 主要由通道和空间注意力模块组成是 年提出的注意力模块 它可以与任何前馈卷积神经网络集成提取有效特征信息 注意力模块的结构如图 所示 特征图 的尺寸是 依次表示为特征图的通道数、高度和宽度 经过 注意力模块后输出特征图()尺寸大小为 最终输出的特征图 为 ()()式中:指 个向量对应相乘()指通道与空间注意力模块融合后的特征图()为()()()()式中:表示 激活函数()表示通道注意力后的输出特征()表示空间注意力后的输出特征 为了更有效地提取特征本文用 激活函数代替通道和空间注意力中的 激活函数在同等条件下可以提高模型的准确率?MC()FMS()FM()F?5 BAMFig.5 Structure diagram of BAM attention moduleSigmoid?FF通道注意力模块的主要步骤如下:首先对特征图进行全局平均池化再通过 方法获得通道间的相关性最后通过全连接层输出特征图空间注意力模块的主要步骤如下:首先将特征图进行卷积卷积核大小为 然后分别进行空洞卷积(卷积核大小为 )和普通卷积(卷积核大小为 )最后输出特征图 第 卷第 期 张晓倩等:基于改进 网络与多注意力的脑肿瘤分类方法 通过式()和()输出最后的注意力特征图对重要的特征信息分配更多的注意力提高模型的精确率 试 验.数据集本文所使用的数据集来自于 的公开脑肿瘤数据集通常用于分类 此数据集包含 类肿瘤图像:胶质瘤、脑膜瘤、垂体瘤和无肿瘤 数据集一共有来自 张脑图像其中胶质瘤 例脑膜瘤 例垂体瘤 例以及正常脑图像 例 在本次肿瘤分类任务中由于数据集图像统一并且分布均衡对训练数据集进行随机裁剪图像大小为、随机水平翻转以及归一化操作对于验证和测试数据集将原图片中短边尺寸统一缩放到、裁剪图像大小为 和归一化操作 将数据集划分为训练集(张)、验证集(张)、测试集(张)在训练集中包含胶质瘤 例、脑膜瘤 例、垂体瘤 例以及无肿瘤 例在验证集中包含胶质瘤 例、脑膜瘤 例、垂体瘤 例以及无肿瘤 例在测试集中包含胶质瘤 例、脑膜瘤 例、垂体瘤 例以及无肿瘤 例.试验参数本文试验的硬件环境:为()().个 内存为 为 显卡 软件环境:.深度学习框架在训练模型的过程中学习率采用 策略初始学习率设置为.最终学习率为.迭代批量设置为 训练次数 为 用 优化器进行优化动量设置为.评估指标图像分类的常用评价指标包括准确率、精确率、召回率和 值准确率指所有样本中被模型预测为正确的比例精确率则是指正确被模型预测为正的占模型全部预测为正的比例召回率可以理解为正确被模型预测为正的占样本中所有实际为正的比例 值被定义为精确率和召回率的调和平均数 值受精确率和召回率的影响精确率越高召回率越高 值越高 公式如下:准确率 ()精确率 ()召回率 ()()?6SE NetFig.6 Confusion matrix of prediction results of theSE Net model-improved400350300250200150100500Confusion matrix without mormalization?000200110000297299303405式中:指预测为正确(实际为正确)的正样本个数指预测为正确(实际是错误)的负样本个数 指预测为错误(实际是正确)的正样本个数 指预测为错误(实际是错误)的负样本个数 本文使用宏平均计算准确率、精确率、召回率和 值模型训练完成后使用测试数据集对本文中改进的 模型进行评估生成的混淆矩阵如图 所示 改进的 模型在脑肿瘤图像的分类任务中具有较好的准确率出现错误分类的个体较少能对脑肿瘤进行精准分类 模型的错误分类图像如图 所示()()是模型预测结果()()是图像的真实标签 可以看出()垂体瘤图像诊断为脑膜瘤存在的问题可能是病灶区域较小模型对于较小的肿瘤敏感度较低()脑膜瘤图像诊断为胶质瘤存在的问题可能是大多数胶质瘤生长 西华师范大学学报(自然科学版):./年于在脑内即不靠近颅底脑膜瘤是个相对规则和规整的球形形态常常位于颅板内侧颅底但在这张图像中肿瘤区域位于脑内但真实标签是脑膜瘤属于特殊情况模型对于这一类特殊情况还不具备分辨能力()和()都是将胶质瘤图像诊断为脑膜瘤通过图像可以看出肿瘤区域较小且脑膜瘤和胶质瘤有一定的相似性所以模型出现了判断错误通过对错误分类的个体图像分析可以得出由于肿瘤区域较小且胶质瘤和脑膜瘤有一定的相似性模型对于两者的区分出现少部分的错误但对于诊断为脑肿瘤这一结果是没有问题的对于具体的肿瘤类型还需借助肿瘤专家的帮助但总体来说改进的模型对脑肿瘤可以实现精准分类能大大缩短诊断时间证明了模型的有效性?：?：?(a1)(b1)(c1)(d1)(a2)(b2)(c2)(d2)?7Fig.7 Image of Error cases.网络整体性能?8Fig.8 Training loss chart050100150200250300350400450?/?1.61.41.21.00.80.60.40.20本文模型在训练时损失函数值的变化如图 所示:当迭代次数增大网络的损失值慢慢减小在迭代次数接近 次左右网络的损失值开始收敛并且趋于稳定 由于保存 值时每隔 次迭代保存 次损失值即一共有 次迭代数据.消融试验为了验证改进的模块对网络模型的有效性进行了消融试验 所有试验在相同的环境下进行消融试验结果如表 所示 首先在 的基础上在特征融合和批规范化后使用 激活函数替换原有的 激活函数在深层网络中效果优于 激活函数的同时也不会出现神经元死亡的情况使得模型能更好地学习随后在 注意力模块中添加全局最大池化来突出目标特征通过全局平均池化和全局最大池化相结合的方式使提取的高维信息互补更有利于通道特征信息的提取 为了进一步的提取更多地特征信息加入 和 注意力模块在通道和空间两个方面都再一次进行目标特征提取使得目标信息能充分利用最终能准确地对肿瘤实现分类在消融试验中验证了更改激活函数添加最大池化、和 注意力模块的性能 其中影响最大的是在特征融合后使用 激活函数在深度网络中其表现良好优于 激活函数对模型的准确率有一定的提高表 消融试验对比结果可见改进后的模型的准确率可达到.在同时更换 激活函数、添加最大池化、注意力以及 注意力后对表 中测试集的准确率 值进行比较最终结果较原模型增加了.充分验证了改进后模型的可行性 第 卷第 期 张晓倩等:基于改进 网络与多注意力的脑肿瘤分类方法 表 消融试验对比结果 特征融合后使用 激活函数批规范化后使用 激活函数 注意力模块添加最大池化添加 注意力模块添加 注意力模块测试集的准确率/.与其他方法对比表 模型对比结果 模型评价指标/准确率召回率精确率 值.本文.为了验证本文改进的 模型的有效性将其与目前先进的算法进行对比 由于大多数的分类模型是基于 和 改进的所以本文将 和 优秀的变体进行对比试验对比结果如表:在同等试验环境下采用 的公开数据集进行训练与测试在准确率、精确率、召回率和 值中都取得了最优的结果 由此可见本文提出的改进 模型在脑肿瘤分类中表现优秀能大幅度的提升模型的性能.可视化分析为了更好地对模型的注意力模块进行解释本文使用梯度加权类激活映射()方法生成了热图用于可视化分析模型在判别脑肿瘤类别时所依据的病灶区域 如图 所示本文分别将 个类别的脑肿瘤图像进行可视化分析从左到右图像的类别分别为垂体瘤、脑膜瘤、胶质瘤以及无肿瘤 从上到下 组图像中第一组图像是原始图像第二组到第四组图像都是热图暖色部位表示模型对该位置的关注度关注度越高模型学习到的特征越丰富 其中第二组图像是原始图像使用基础模型 生成的热图第三组图像是在基础模型的基础上将 激活函数更换为 激活函数、在 注意力模块中添加最大池化以及添加 注意力模块后生成的热图第四组图像是在第三组的基础上添加 注意力模型后生成的热图通过可视化结果可以看到使用基础模型对 个类别的图像进行可视化时模型对疾病位置和面积关注度准确度不高如第二组图像 所示当第二组模型的基础上添加 注意力可以从图中看到模型更加聚焦病灶范围这也使得模型避免学习病灶区周围无用特征如第三组图像 所示最后在第三组模型的基础上添加 注意力从通道和空间两个部分捕捉特征信息使得模型对病灶区域定位更加准确如第四组图像 所示 通过可视化分析模型也充分解释了模型中添加注意力模型的可行性对模型的准确率的提高有着不可或缺的作用 结 论利用深度学习与医学图像相结合的方法来辅助临床医师减少脑肿瘤患者的死亡率有着至关重要的作用 本文基于多注意力提出一种改进的 网络能够大幅度提高模型的准确率高质量的对脑肿瘤实 西华师范大学学报(自然科学版):./年(a)?(b)?(c)?(d)?(1)Original_Images(2)SE-ResNet-50_Model(3)SE-ResNet-50+ECA(4)SE-ResNet-50+BAM?9Fig.9 Location heat map of brain tumor lesion area现分类 通过对 例数据进行测试并和先进的 变体进行试验对比表明了提出的方法能够准确对肿瘤的类别分类是省时和准确高的辅助诊断工具参考文献:./.:./:(.).:.():.夏景明邢露萍谈玲等.基于 的脑肿瘤分类方法.南京信息工程大学学报(自然科学版)():./.:./.().:/第 卷第 期 张晓倩等:基于改进 网络与多注意力的脑肿瘤分类方法./.张焕张庆于纪言.激活函数的发展综述及其性质分析.西华大学学报(自然科学版)():.():.石丽裴莉莉陈昊等.改进 的水泥路面露骨病害检测.计算机系统应用():.:/().:.赵杰伦张兴忠董红月.基于尺度不变特征金字塔的输电线路缺陷检测.计算机工程与应用():.:/.().:/./.唐东林吴续龙周立等.结合深度学习与注意力机制的墙体安全检测模型.安全与环境学报():.().:/./.:.():./().:.:/.:./().:./.().:/./.:/().:.():.: