跨级可变形Transformer编解码视网膜图像分割算法.pdf

：引用格式：梁礼明，阳渊，何安军，等跨级可变形编解码视网膜图像分割算法无线电工程，（）：，（）：跨级可变形编解码视网膜图像分割算法梁礼明，阳渊，何安军，李仁杰（江西理工大学 电气工程与自动化学院，江西 赣州）摘要：眼底视网膜血管图像分割对青光眼、糖尿病等疾病的预防和诊断具有重要意义。针对视网膜血管图像边缘分割模糊、微细血管漏缺和模型感受野不足等问题，提出了一种跨级可变形编解码（，）视网膜图像分割算法。在特征提取网络中融入通道像素增强模块和跨级融合骨干，实现对视网膜血管全局特征的粗提取；在网络编码部分加入可变形自适应编码模块（，），通过可变形编码的方式增大模型感受野；在编解码结构底层加入深层语义门控注意模块，实现对视网膜血管深层特征的充分学习，以改善血管图像边缘分割模糊的问题。在模型训练阶段采用加权交叉焦点损失函数，克服视网膜血管图像样本不平衡的问题。在公共数据集和上进行仿真实验，所提算法灵敏度、特异性、准确率和指标在上达到、和，在上达到、和。通过与其他先进算法对比分析可以看出，所提算法分割效果可靠且整体性能先进。关键词：可变形；跨级融合骨干；加权交叉焦点损失函数；视网膜血管图像分割；深层语义门控注意模块中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，）：，（），收稿日期：基金项目：国家自然科学基金（，）；江西省自然科学基金面上项目（）；江西省教育厅科学技术研究重点项目（）；江西省研究生创新专项资金项目（）：（，）；（）；（）；（）信号与信息处理 年 无线电工程 第 卷 第 期：；引言眼底视网膜血管是人体中可看见的血管，医生把它当作了解其他脏器血管情况的窗口。从眼底视网膜图像中分割出精确的视网膜血管图，对高血压、糖尿病等疾病的辅助诊断至关重要。然而，视网膜血管的形态分布复杂多样，如旁支数量多、血管粗细和微细血管特征多样等。若采取人工方法获取视网膜血管特征，不仅会存在一定的主观误差，而且耗时费力。因此设计一种能自动且准确分割视网膜血管图像的算法是很有必要的。目前视网膜血管图像分割方法主要分为两大类：一是基于血管跟踪、形态学处理、匹配滤波和形变模型等传统方法。这些方法在模型训练时通常需要人工特征和专家标记，不仅过程繁琐而且人工标记存在一定容错率。近年来，随着计算机的迅速发展，计算能力大大提升，涌现出诸多基于深度学习的视网膜血管图像分割算法。二是深度学习的方法，例如，王莹等提出了一种多尺度特征融合的，该算法虽然在准确率和灵敏度方面有一定的提升，但仍存在较多血管伪影干扰。等将反卷积层替代卷积神经网络的全连接层，提出全卷积神经网络算法，该算法在分割领域取得了比较好的效果，促进了深度学习算法在分割等领域的应用。等提出了编码解码思想的算法，其巧妙使用拼接操作建立编码解码之间的特征关联，获得了较为理想的血管分割图，但存在血管边缘细节丢失的问题。等融合加权注意力门与网络，在视网膜微细血管分割上取得了良好效果，但分割背景中存在较多非血管噪声干扰。等利用多通道特征融合策略提出基于融合机制的多通道深度神经网络视网膜血管图像分割算法，该算法分割策略新颖，但存在分割血管断裂的问题。等将金字塔结构与融合提出金字塔，其在分割方面性能较为理想，但存在病理特征误分割以及微细血管分割漏缺的问题。尽管这些先进算法在视网膜分割任务上均取得了较好的成效，但仍然不能很好地应对视网膜血管图像分割的挑战。一般存在如下问题：视网膜血管图像边缘分割模糊、微细血管漏缺、非血管噪声干扰和模型感受野范围不足等问题。针对上述存在的问题，本文提出跨级可变形编解码（，）视网膜分割算法，主要工作为：利用跨级融合骨干与通道像素增强模块结合，建立通道之间的合作依赖关系，提升模型对视网膜血管特征语义的充分提取；引入可变形自适应编码模块，通过可变形编码的方式增大模型感受野，提高视网膜血管图像分割准确度；采用深层语义门控注意模块深入捕获空间特征权重与构建特征图位置空间联系，增强模型抗噪声干扰能力，降低血管背景误分割概率；设计加权交叉焦点损失函数，有效解决视网膜血管图中像素分割不平衡的问题。相关工作 算法总体结构针对视网膜血管图像边缘分割模糊、微细血管提取难和模型感受野不足的问题，提出视网膜分割算法，网络结构如图所示。由特征提取网络、编码和解码三部分组成，其中编码解码结构的层对应通道数分别为、和。首先对视网膜图像做预处理和数据集扩充，然后在编码部分设计可变形自适应编码模块，并采用双边特征提取策略建立血管像素上下文依赖关系，其次在编解码结构的底层加入深层语义门控注意模块，从更深维度捕获血管细节特征，最后把提取的语义信息融合至解码阶段，促进分割图像的生成。信号与信息处理 图跨级可变形编解码视网膜图像分割算法结构 可变形自适应编码模块由等开发，最早用于自然语言处理领域。视觉（，）由等提出，并用于图像分类任务。的出现使在计算机视觉领域大放异彩。能突破位置距离的限制，更好地建立像素之间的联系。等提出的可变形多层感知器（，）能对全局语义信息进行自适应特征解析。为更好地实现对视网膜血管纹理特征的提取，提出可变形自适应编 码模 块（，），如图所示。由位置编码自注意模块（，）、模块和结构组成。其中模块如图所示。图模块 模块首先对高度和宽度维度分别做相对位置编码操作，并用和表示，然后对和中的每个元素分别求和，得到对应于特征图中各像素内容的位置编码维度矩阵。最后通过自注意力机制学习不同权重的上下文血管语义信息，有利于模块对视网膜血管全局语义特征的学习。其过程在数学上表示为：（），（）（），（），（，），（）（，）槡()，（）式中：、表示高度与宽度的相对位置编码后的特征块，、表示维度与维度的相对位置编码映射法则，、和分别表示、和维度上的权重，表示注意力矩阵，表示激活函数，表示注意力维度，、和均表示维度矩阵。模块的自适应空间偏移量在混合展平的血管特征中做映射操作，进而获得更广阔的特征感受野，如图所示。通过模块位置编码强化视网膜血管图像像素之间的关联性，然后经模块对视网膜血管图像分割进行自适应特征信号与信息处理 年 无线电工程 第 卷 第 期 解析，实现对视网膜血管特征的全局提取，其计算过程为：（）（），（）式中：、表示输入特征与输出特征。图模块原理 通道像素增强模块在跨级融合阶段，高分辨率特征图具有丰富的视网膜血管全局特征，而低分辨率特征图具有充裕的深层局部语义信息。为了加强高分辨率特征与低分辨率特征之间的语义联系，需要对特征图做像素增强。受文献启发，提出通道像素增强模块（，），如图所示。首先对输入特征图分别进行最大池化和平均池化操作，充分获取特征图全局上下文信息和排除非血管噪声干扰。然后经全连接层提高模型的学习能力，最后将激活后的特征与输入特征进行特征相乘，使维度恢复到输入维度达到像素增强的目的。计算过程为：（）（），（）式中：、分别表示输入特征图和输出特征图，表示激活函数，、分别表示最大池化和平均池化操作。图通道像素增强模块 跨级融合骨干视网膜血管图像边界模糊且分布多样复杂，对其特征进行准确提取存在较大的难度。在诸多分割算法中，往往通过构建更深的神经网络来实现对复杂特征的提取。然而这种策略弊端明显，增加了计算复杂度、牺牲了空间分辨率。为了能从空间上提取更多视网膜血管特征，引入多分辨率结构并融合通道像素增强模块构建跨级融合骨干（，），如图所示。在模块中，高低分辨率特征图之间通过跨级融合的方式实现语义特征互联，从而提取到更多复杂的视网膜血管图像像素。模块计算过程表示为：()，（），（）式中：表示拼接操作，、分别表示第层输出特征图和第层输入特征图，表示第层特征融合输出。图跨级融合骨干 信号与信息处理 深层语义门控注意模块视网膜血管形态分布错综复杂，对局部微细血管边界检测和分割较难。为了捕获更多微细血管特征权重和建立局部空间依赖关系，等提出递归门控卷积（），从空间交互维度实现对空间特征权重的学习与更新。等提出双注意力结构实现对局部语义依赖关系的捕捉。为解决视网膜微细血管图像边界分割难的问题，提出深层语义门控注意模块（，），以更好地建立局部空间依赖关系和捕获视网膜局部特征，实现对微细血管的准确分割。如图所示，模块由双注意机制和递归门控卷积构成。其中，双注意机制分别从空间和像素点位置维度上计算注意力特征图，再进行特征融合，以获得更为丰富的视网膜血管细节，最后经递归门控卷积对微细血管局部建立依赖性。其数学表示如下：（）（），（），（），（），（）（），（）式中：、分别表示空间和位置注意力特征图，、分别表示位置和空间维度上的特征像素矩阵，表示像素级融合操作，、分别表示输入特征和输出特征，表示门控卷积操作。图深层语义门控注意模块 实验过程及参数设定 实验环境及参数设置本文算法基于位 操作系统，使用程序语言在框架搭建而成，实验主要硬件配置如下：显卡 ，运行内存，。实验模型训练使用优化器，训练过程采取早停机制，若连续轮为最佳权重，则保存；否则停止训练。迭代次数为，批次大小为，学习率设置为 ，采用余弦退火法对学习率进行衰减，即：（）()()，（）式中：表示学习率，表示最大学习率，表示最小学习率，表示当前迭代次数，表示最大迭代次数。损失函数交叉熵损失（）函数常被用于分类问题。视网膜血管图像分割问题本质上是二分类问题，所以常用交叉熵损失函数作为其损失函数，例如：（，）（）（），（）式中：为交叉熵损失函数，为像素总和，为像素的真实标签，为像素的预测标签。由于视网膜数据集中相似的样本占绝大多数，在分割时容易出现数据不平衡的问题，为了缓解这一问题，文献采用焦点损失函数（），即：（）（）（），（）式中：为 损失函数，为像素的预测标签，、均为调节因子。本文将 和 加权结合成加权交叉焦点损失函数（），并将其用于本文模型的训练，即：（），（）信号与信息处理 年 无线电工程 第 卷 第 期 式中：为 损失函数，为加权因子，本文加权因子取值为，详见 节实验分析。实验数据集采用公共数据集与进行训练和测试。数据集包含张彩色视网膜图像，分辨率大小为 ，其中张图像作训练，张图像作测试。数据集包含张彩色视网膜图像，分辨率大小为 ，由于该数据集没有划分训练测试图像，故对数据集采取五折交叉验证法进行实验。数据预处理与扩充由于视网膜眼底图像存在非血管渗出物、干扰噪声较多和光照不均匀的现象，导致视网膜血管图像前景与背景信息难以分辨。为了获得理想的分割结果，对数据集做以下预处理，如图所示。首先对原图做灰度转换，有利于减少干扰噪声对视网膜分割的影响，然后对灰度图做对比度受限直方图均衡化（，），减少光照不均匀现象对视网膜分割的干扰，最后做伽马（）校正，进一步达到增强对比度的效果，使血管像素与非血管像素之间更容易区分。图预处理各阶段可视化图 数据集和的图像较少，容易出现模型训练过拟合和训练不充分的问题。为缓解这一问题，对数据集做如下扩充。首先对数据集采用的滑动窗口将金标签和训练图片随机分割成 张局部特征块，如图所示，然后对局部特征块以 的概率做随机水平翻转、垂直翻转以及旋转操作，最终达到数据扩充的目的，如图所示。图局部特征块可视化图 图数据扩充可视化图 评估指标为了能更客观地评估模型的先进性，采用分数（，）、灵敏度（，）、特异性（，）、准确率（，）、曲线与坐标轴围成的面积（，），其具体公式分别为：，（），（），（），（）式中：、分别表示与专家分割图一致的血管像素和背景像素，、分别表示与专家分割图不一致的血管像素和背景像素。信号与信息处理 实验结果对比分析 实验分割结果为了证明算法对视网膜血管图像分割的先进性，将本文算法与文献中的、文献中的、文献中的和文献中的分割算法置于相同实验环境下进行比较。图为各先进算法的视网膜血管图像分割效果图，其中第、第行图像来源于数据集，第、第行图像来自于数据集。由第、第行病变视网膜图像可知，、和分割图像中均出现微细血管边缘像素模糊和主血管像素缺失的问题，说明本文算法能较好地实现对主血管和微细血管图像的分割。由第、第行健康视网膜图像可知，、和分割图中存在不同程度的微细血管边缘漏缺的问题，说明能抑制非血管背景噪声干扰，对微血管特征的辨识能力以及血管的分割能力强。图各先进模型视网膜血管图像分割效果 实验结果客观分析为了更细节地分析的优异性，对图中第、第行视网膜图像进行局部放大对比。如图所示，两原图分别来自于数据集中的健康视网膜图像和数据集中的病变视网膜图像。图不同算法视网膜血管图像分割细节对比 信号与信息处理 年 无线电工程 第 卷 第 期 在第、行局部细节放大图中，、和均出现了微细血管图像边界分割不完全和非血管像素伪影的问题。说明中模块能较好地实现对微细血管的特征提取，且在编解码底部的能良好地完成血管前景和非血管背景像素的分割。在第、行局部细节放大图中，、和出现边界微细血管像素和主血管像素分割漏缺的问题。说明中跨级融合骨干能较好地完成对粗血管特征语义的提取，双边特征提取网络部分对微细血管边界的提取也能起到良好效果。总体说明能比较先进地完成视网膜血管图像分割任务。为了更全面地衡量的可靠性，对本文算法从模型计算量、参数量以及各评估指标等角度做多维度定量数据分析。实验结果如表所示，其中粗体为最优指标。由表不难看出，的模型计算量和参数量分别为 和，虽然略低于算法，但显著优于其他先进算法，说明模型为轻量化模型。在指标评估层面，总体指标均优于其他先进算法，在数据集上仅特异性不是最优，低于中特异性最优指标。在其编解码部分均设计了注意结构，能较理想地实现对血管纹理的识别与提取，但操作的代价是参数量大且复杂度高。在灵敏度、准确率和指标均明显优于；在数据集上仅灵敏度指标略低于算法。巧妙地运用结构，一定程度上能促进对血管前景的提取，但其他个指标均高于。总之，在模型计算量、参数量和各评估指标等层面总体优于其他先进算法，说明可靠性高。表不同先进算法结果对比 方法 为了能更直观地表达的优越性，在数据集上将各先进算法的曲线和曲线做可视化对比。曲线表示真阳性和假阳性之间的关系，其曲线越靠左上方凸，说明算法正确分割视网膜血管图像像素的能力越强。曲线表示正确率和查全率之间的关系，曲线越靠近右上方凸，表明算法分割的血管数量多且正确分割血管的能力也越强。如图所示，在曲线和曲线中分别位于最左上方和最右上方，且和 指标的值分别为 和 ，说明误分割率低且能分割更多的正确血管，分割性能优越。（）数据集曲线对比图信号与信息处理 （）数据集曲线对比图图不同先进算法在数据集上曲线与曲线对比 实验结果主观分析上面对的先进性进行了客观分析，为了更全面地了解本文算法的整体性能，从主观维度对进行综合分析，如表所示。文献中的指标均来源于原文，粗体表示该项指标最优。表主要从灵敏度、特异性、准确率和指标对先进性进行了对比分析。其中，灵敏度为分割结果图中正确分割的血管与真实血管的像素比值，特异性表示正确分割的非血管背景与真实背景的像素比值，准确率表示分割结果图中正确分割的血管和背景像素占整个视网膜血管分割图的比值，值表示分割的总体效果，值越高表示分割整体性能越好。由表可知，在数据集上，灵敏度指标为，明显高于其他算法，比文献中的次优指标高，说明能比较好地分辨微血管伪影，实现对视网膜微细血管图像的正确分割。在数据集上，准确率和分别为 和，指标表现突出，说明本文算法对视网膜血管前景与非血管背景的分割能力强。在和数据集中灵敏度、准确率和指标均达到最优，表明的鲁棒性强，整体性能优异。表近年来先进算法对比 方法年份 文献 文献 文献 文献 文献 文献 文献 文献 文献 文献 文献 消融对比实验为了验证加权交叉焦点损失函数对解决视网膜血管前景与背景像素分割不平衡问题的有效性，在数据集上对损失加权因子做进一步对比实验，实验结果如表所示。由表可知，当值为 时，准确率和特异性指标均达到最优，但灵敏度指标 为最低指标。当取 时，整体性能良好，且灵敏度达到最优，说明取 时能较理想地解决像素不平衡问题。信号与信息处理 年 无线电工程 第 卷 第 期 表损失因子在数据集对比分析 为了证明本文所提算法中各模块的可靠性，对本文模型中所用模块进行消融实验。如表所示，粗体表示该指标最优，其中表示基础网络，表示在的编码端融入跨级融合骨干，表示在编码阶段加入，表示在编解码底部加入，构成本文算法。在中特异性指标达到最优，准确率提升，说明跨级融合骨干模块能提升模型分割准确率，实现对全局语义信息的提取。在中准确率、灵敏度和分数分别提升、和，表明能显著提高灵敏度，实现对血管前景与背景的有效提取与辨析。在阶段整体指标达到最优，其中灵敏度提升，证明能实现对视网膜血管深层语义特征的进一步学习，进而实现对血管像素与非血管像素的准确分割。表基于数据集模块消融对比 方法 结束语本文提出跨级可变形编解码视网膜分割算法，并使用加权交叉焦点损失函数（）对模型训练进行评估。通过与其他先进算法对比分析，证明本文算法能更好地解决视网膜微细血管边缘模糊、主血管分割漏缺和非血管伪影干扰的问题；在指标对比上，本文算法具有更高的灵敏度、准确率和，说明算法整体性能先进、可靠性高。?参考文献，：梁礼明，黄朝林，石霏，等融合形状先验的水平集眼底图像血管分割计算机学报，（）：，（）：，（）：，：，：，：王莹，朱家明，宋枭基于改进型网络的视网膜血管图像分割无线电工程，（）：，（）：，：，：（）：，（）：，：信号与信息处理 ，（）：，（）：，：，（）：，：，：（）：，：（）：，（）：，：，（）：，：，：（）：，：，：（）：，（）：，：，（）：，：，（）：，（）：，（）：，：，：（）：（）：，（）：，（）：，：，：，：，：，：，（），：信号与信息处理 年 无线电工程 第 卷 第 期 ，：，（）：，（）：孙颖，丁卫平，黄嘉爽，等：基于粗糙通道注意力机制的视网膜血管分割网络计算机研究与发展，（）：作者简介梁礼明男，（），硕士，教授，硕士生导师。主要研究方向：机器学习、医学影像和系统建模等。阳渊男，（），硕士研究生。主要研究方向：医学图像处理。何安军男，（），硕士研究生。主要研究方向：医学图像处理。李仁杰男，（），硕士研究生。主要研究方向：医学图像处理、目标检测。信号与信息处理