基于注意力机制的圆锥角膜分类辅助诊断研究.pdf

2023 年第 8 期8计算机应用信息技术与信息化基于注意力机制的圆锥角膜分类辅助诊断研究杨雨倩1 李秀丽1 杨涵兵1 朱亚萍1YANG Yuqian LI Xiuli YANG Hanbing ZHU Yaping 摘要 圆锥角膜是一种眼部疾病，较早发现并诊断圆锥角膜可控制病情,避免角膜移植，也可以为准分子激光手术进行圆锥角膜排查。然而,目前圆锥角膜的早期诊断较为困难,一种可靠的计算机辅助筛查圆锥角膜诊断方法需求迫切。基于此，首次把引入注意力机制(convolutional block attention module,CBAM)的残差网络(residual neural network,ResNet)模型（CBAM_ResNet50）应用在圆锥角膜辅助诊断中，通过对角膜地形图的原始数据集进行预处理，用其训练 CBAM_ResNet50 网络，并和未引入注意力机制的ResNet50 网络模型进行对比。使用 CBAM_ResNet50 网络模型准确率达到了 98%，比未引入注意力机制 ResNet50 网络模型准确率提升了 3%。CBAM_ResNet50 可以较为准确地对圆锥角膜进行分类，能有效辅助医生诊断圆锥角膜。关键词 图像分类；深度学习；注意力机制；圆锥角膜；角膜地形图 doi：10.3969/j.issn.1672-9528.2023.08.0021.华北水利水电大学信息工程学院 河南郑州 4500180 引言近年来，计算机技术和图像处理技术的不断发展，在医学领域中，辅助诊断技术已经取得了很大的进步，在减轻医生负担的同时，诊断效率也有一定的提升。但是，如何进一步提高诊断的准确性依然是一个重要的问题1。圆锥角膜是眼部疾病之一，是做屈光手术的禁忌，所以圆锥角膜分级诊断尤为重要。目前借助于计算机技术进行圆锥角膜检测算法有两类。一种是基于传统的机器学习算法，另一种是深度学习算法。传统的机器学习算法基于提取的特征参数，使用支持向量机 SVM、随机森林等分类器进行分类。1997 年，Smolek 等人2应用神经网络方法构建神经网络模型然后对圆锥角膜进行分类，该研究证实了神经网络通过角膜地形图识别圆锥角膜的价值。Hidalgo 等人3使用 SVM 构建圆锥角膜分类模型。Lopes 等人4应用随机森林算法构建圆锥角膜分类模型。虽然这些传统的机器学习方法可以实现自动诊断，但是以上的机器学习模型均基于人工提取角膜地形图的参数构建的，人工提取的特征参数相对简单且具有局限性。而深度学习的特征提取不依赖人工，而是机器自动提取，且提取到的特征表达能力强5-6。Xie Y 等人7基于Pentacam 角膜地形图，使用深度学习方法中的卷积神经网络InceptionResNetV2 模型，通过迁移学习技术构建了 AI 模型。深度学习技术虽然为圆锥角膜分级提供了另一种思路，但上述方法对图像上的关键性特征和无用特征都给予了相同关注。近年来，为了模拟人类视觉的感知机制，研究者提出了注意力机制，并取得了重要突破。这是因为计算机视觉在注意力机制的辅助下能聚焦于特征图的特定特征或重要的局部位置,并对权值进行重新分配,突出关键性特征,弱化无用特征,从而有效地提高模型的性能。为了增强对角膜地形图中异常区域的检测能力，引入注意力机制。首次把引入注意力机制的 ResNet508网络模型应用在圆锥角膜分类辅助诊断的研究中。1 本文方法1.1 基本框架本文所应用的引入注意力机制的残差网络框架如图 1 所示。该框架中，角膜地形图是网络的输入。首先，利用基于注意力机制的残差网络特征提取模块，获得聚焦的特定特征或局部位置的深层特征表示，然后，对获得的深层特征表示进行平均池化处理，并通过全连接层获得最终的检测结果。图 1 引入注意力机制的 ResNet50 网络框架 2023 年第 8 期9计算机应用信息技术与信息化1.2 基于注意力机制的残差网络特征提取模块注意力机制9由 Treisman 和 Gelade 共同提出的。它与人类视觉的注意力机制类似。注意力机制在神经网络中得到了广泛的应用。注意力机制主要分为通道注意力机制（channel attention module）10、空 间 注 意 力 机 制（spatial attention module）11和空间和通道混合注意力机制12。通道注意力代表的是 SENet 网络(sequeeze and excitation net,SENet)，通道注意力给每个通道赋予一个权重，对贡献度大的通道赋予较大权重，但忽略了空间信息。空间注意力代表的是 STN 网络，空间注意力是只关心与任务相关的区域，但忽略了通道域中的信息，将每个通道中的图片特征同等处理。空间和通道混合注意力机制代表的是卷积块注意模块，与 SENet 和STN(spatial transformer network,STN)相比，同时关注了空间和通道两个维度。针对本文应用的基于注意力机制的残差网络特征提取模块如图 2 所示。在不破坏残差块 block 结构的情况下，在残差块 block 之间引入 CBAM 注意力机制。图 2 引入 CBAM 注意力机制的残差网络CBAM 中的通道注意力模块对输入的一个 HWC特征图 F 各个通道先分别进行空间维度的全局最大池化和平均池化得到两个 11C 的通道描述，接下来使用共享的隐藏多层感知器（MLP）对它们进行处理，之后在送入两个全连接层，最后使用 Sigmoid 激活函数输出得到权重系数。将权重系数与输入特征图 F 相乘加权到之前的通道上，更新各通道的特征权重，并记为 Mc，该过程可以概括为公式(1)和(2)。()()()()()()cMMLP AvgPoolMLP MaxPoolF=F+F(1)()cMFFF=(2)CBAM 中的空间注意力模块是对输入的一个 HWC特征图F先分别进行通道维度的全局最大池化和平均池化，得到两个 HW1 的空间描述，然后将结果拼接成特征图输入到 7*7 的卷积层进行学习，最后经过 Sigmoid 激活函数输出得到权重系数。将权重系数与输入特征图 F 相乘得到新特征权重，并记为Ms，该过程可以概括为公式(3)和(4)。()()()()()7 7sMAvgPoolMaxPoolF=fF,F (3)()sMFFF=(4)式中：为 Sigmoid 激活函数，AvgPool 和 MaxPool 为全局平均池化和全局最大池化，MLP 为多层感知机。1.3 网络框架本文方法的网络结构如图 3 所示，在 ResNet50 主干网络加入 CBAM 注意力机制，使网络模型能聚焦于特征图的特定特征或局部位置，突出关键性特征,弱化无用特征,从而有效地提高模型的性能。ResNet50 是由 49 个卷积层和 1 个全连接层构成。图 3 中虚线框内为残差块，每个残差块后都加入了 CBAM 注意力机制。虚线框外的数值对应残差块堆叠的个数。图 3 本文的网络框架2 实验2.1 数据收集和预处理本数据集使用的是临床医学图像角膜地形图。该数据集包含 500 张角膜地形图临床医学图像。该图像是通过Pentacam 仪器测量而生成的临床医学图像。该图像经过临床眼科专家进行标注，分成了正常角膜组和圆锥角膜组两个类别。其中圆锥角膜组的患者图像类别纳入标准：裂隙灯检查至少存在以下角膜基质变薄、锥状向前膨隆、Fleischer 环、Vogt 条纹、上皮或上皮下瘢痕阳性体征中的一项；角膜地形图检查有特征性的地形特征，表现为不对称的蝴蝶结图案，有或无轴偏斜，而裂隙灯检查未见异常临床表现圆锥角膜征。正常角膜图像类别纳入标准：纳入与 KC 组年龄、性别匹配的受试者。双眼前表面曲率46.5 D；后表面曲率小于57.2 D；角膜最薄点厚度（TCT）490 m；近视 8.00 D，散光 2.00 D，矫正远视力（CDVA）0.8 的正常角膜地形图。该数据集的原始图像有患者的详细信息，需要对数据集进行脱敏处理。为了使数据集有更好的训练效果，本文对数据集进行了预处理，如图 4 所示，利用图像处理技术首先对图 4（a）中的主要区域进行获取，得到图 4（b），然后对图4（b）中嘈杂的背景进行处理，得到图 4（c），最后统一图片的尺寸大小。角膜地形图实验数据集划分为正常角膜组和圆锥角膜组2 个类别，数据集按 6:2:2 的比例划分为训练集、验证集和测试集。整个数据集的划分如表 1 所示。2023 年第 8 期10计算机应用信息技术与信息化表 1 角膜地形图数据集的划分类别训练集验证集测试集圆锥角膜1505050正常角膜15050502.2 实验结果与分析本文实验环境采用 Pytorch 深度学习框架和 Python 语言实现圆锥角膜图像分类检测。采用 8 核 CPU，16 GB 内存，12 GB 显存的 NVIDIA RTX3060 的 GPU。在实验环境相同的情况下，对只用深度残差网络ResNet50 网络模型在数据集上的实验结果和 ResNet50 网络模型引入 CBAM 注意力机制后在数据集上的实验结果进行对比。图 5 显示了对 ResNet50 模型以及 ResNet50 引入 CBAM模块两种网络模型在训练过程中的识别准确率变化，当epoch 为 10 的时候两种模型的识别准确率趋于稳定，结果表明 CBAM_ResNet50 模型相比于 ResNet50 网络模型识别率有所提升。图 6 是两种网络模型的损失函数曲线，可以看出CBAM_ResNet50 收敛速度明显优于 ResNet50 网络模型，这是因为 CBAM 模块可以强化或弱化通道上的某些内容或位置，使网络性能表现的更优。本 文 采 用 混 淆 矩 阵、准 确 率（accuracy）、精 确 率（precision）、敏感度（sensitivity）和 F1SCORE 的模型评价指标评估这两种模型。图 7 是 ResNet50 和 CBAM_ResNet50 两种网络模型的混淆矩阵。两种网络模型 ResNet50 取得了 95%的分类准确率，CBAM_ResNet50 取得了 98%的分类准确率。CBAM_ResNet50 模 型 的 分 类 准 确 率 比 ResNet50 高 3%，所 以CBAM_ResNet50 的分类准确率优于 ResNet50。图 7 两个模型的混淆矩阵(a)角膜地形图原始图(b)角膜地形图区域获取(c)去除背景干扰的区域图 4 数据处理(a)ResNet50 网络准确率变化 (b)CBAM_ResNet50 准确率 变化曲线 变化曲线图 5 两种模型准确率变化曲线 (a)ResNet50 网络损失函数 (b)CBAM_ResNet50 损失函数 变化曲线 变化曲线图 6 两种模型 loss 损失 2023 年第 8 期11计算机应用信息技术与信息化通过表 2 得出 ResNet50 网络模型的准确度、精确度、敏感度和 F1SCORE 的值分别为 95.00%、97.87%、92.00%和 94.84%，CBAM_ResNet50 的准确度、精确度、敏感度和 F1SCORE 的平均值分别为 98.00%、98.00%和 98.00%和98.00%，引入 CBAM 的 ResNet50 网络模型总体上在准确度、精确度、敏感度和F1SCORE 提高了3%、0.13%、6%和3.16%。实验结果验证了注意力机制模块 CBAM 的引入对网络模型ResNet50 提取的特征参数能获得更多与任务目标相关的信息而舍弃掉其他无用或作用小的信息。表 2 模型的性能指标ModelAccuracy/%Precision/%Sensitivity/%F1SCORE/%ResNet5095.0097.8792.0094.84CBAM_ResNet5098.0098.0098.0098.003 结束语本文首次把引入注意力机制的残差网络应用到圆锥角膜诊断方法中。在 ResNet50 中嵌入 CBAM 注意力机制模块 构 建 CBAM_ResNet50 网 络 模 型。经 过 对 比 ResNet50 和 CBAM_ResNet50 模 型 在 准 确 率、精 确 度、敏 感 度 和F1SCORE 上的值，CBAM_ResNet50 网络模型性能表现得更优，验证了残差网络引入注意力机制的有效性。该模型实现了初步识别高危圆锥角膜，具有临床应用的潜力，为圆锥角膜筛查提供了新的方法。参考文献：1 王雁,李晶.正确应对角膜屈光手术发展中的问题及挑战J.中华眼科杂志,2018,54(1):3-6.2 SMOLEK M K,KLYCE S D.Current keratoconus detection methods compared with a neural network approachJ.Investigative ophthalmology&visual science,1997,38(11):2290-2299.3 HIDALGO I,RODRIGUEZ P,ROZEMA J J,et al.Evaluation of a machine-learning classifier for keratoconus detection based on scheimpflug tomographyJ.Cornea,2016,35(6):827-832.4 LOPES B T,RAMOS I C,et al.Enhanced tomographic assessment to detect corneal ectasia based on artificial intelligenceJ.American journal of ophthalmology,2018,195:223-232.5 SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition EB/OL.(2015-04-10)2023-01-27.https:/arxiv.org/pdf/1409.1556.pdf6 SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutions C/2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Boston:IEEE,2015:1-9.7 XIE Y,ZHAO L,YANG X,et al.Screening candidates for refractive surgery with corneal tomographic-based deep learningJ.Jama ophthalmology,2020,138(5):519-526.8 HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition C/2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Las Vegas:IEEE,2016:770-778.9 ZHU X,CHENG D,ZHANG Z,et al,An empirical study of spatial attention mechanisms in deep networks C/2019 IEEE/CVF International Conference on Computer Vision(ICCV),Seoul,Korea(South):IEEE,2019:6687-6696.10HU J,SHEN L,ALBANIE S,et al.Squeeze-and-excitation networksJ.IEEE transactions on pattern analysis and machine intelligence,2020,42(8):2011-2023.11MAX J,KAREN S,ANDREW Z,et al.Spatial transformer networksC/Proceedings of the 28th international conference on neural information processing systems-Volume 2(NIPS15).MIT Press,Cambridge,:MA,2017:23-36.12SANGHYUN W,JONGCHAN P,JOON-YOUNG LEE,et al.Convolutional block attention module.in computer visionC/ECCV 2018:15th European conference,Munich,Germany,September 814,2018Proceedings,Part VII.Springer-Verlag,Berlin:Spingr,2018:15-24.【作者简介】杨雨倩（1994），女，河南许昌人，硕士，华北水利水电大学信息工程学院，研究方向：人工智能、机器学习、深度学习。李秀丽（1967），女，河南郑州人，学士，华北水利水电大学信息工程学院，研究方向：人工智能、机器学习、深度学习。杨涵兵（2001），男，河南许昌人，本科，华北水利水电大学信息工程学院，研究方向：人工智能。朱亚萍（2000），女，河南周口人，硕士，华北水利水电大学信息工程学院，研究方向：人工智能、机器学习、深度学习。（收稿日期：2023-01-28 修回日期：2023-03-12）