1、DOI:10.11992/tis.202201030网络出版地址:https:/ U-Net 的皮肤镜图像分割方法沈鑫1,魏利胜2(1.安徽工程大学 电气工程学院,安徽 芜湖 241000;2.安徽工程大学 安徽省电气传动与控制重点实验室,安徽芜湖 241000)摘 要:针对皮肤镜图像类内差异性、类间相似性、数据集不平衡等问题,本文提出了一种基于注意力残差 U-Net(attention residual block-UNet,ARB-UNet)的皮肤镜图像分割方法。将卷积块注意力机制模块(convolutionalblock attention module,CBAM)引入到 U-Net 模
2、型的“跳过连接”中;同时将 CBAM 模块集成到残差模块DRB(dilated residual networks)中得到注意力残差结构(attention residual block,ARB);且选取 Focal TverskyLoss 作为该模型的损失函数;在 ISIC2016 数据集上对所提 ARB-UNet 模型进行训练和测试,并与传统方法和 U-Net 等经典方法进行了对比实验,实验结果中灵敏度(sensitivity,SE)达到了 92.9%,特异性(specificity,SP)达到了 94.1%,Dice 相似指数(dice similarity cofficient,DSC
3、)达到了 92.1%,整体上均优于其他对比方法,从而验证了本文方法是有效的和可行的。关键词:图像分割;皮肤镜;卷积神经网络;注意力残差 U-Net;注意力机制;卷积块注意力机制模块;深度学习;残差网络中图分类号:TP391 文献标志码:A 文章编号:16734785(2023)04069909中文引用格式:沈鑫,魏利胜.基于注意力残差 U-Net 的皮肤镜图像分割方法 J.智能系统学报,2023,18(4):699707.英文引用格式:SHEN Xin,WEI Lisheng.Dermoscope image segmentation method based on ARB-UNetJ.CAA
4、I transactions onintelligent systems,2023,18(4):699707.Dermoscope image segmentation method based on ARB-UNetSHEN Xin1,WEI Lisheng2(1.School of Electrical Engineering,Anhui Polytechnic University,Wuhu 241000,China;2.Anhui Key Laboratory of Electric Driveand Control,Anhui Polytechnic University,Wuhu
5、241000,China)Abstract:Aiming at the problems of intra-class difference,inter-class similarity,and dataset imbalance in dermoscopicimages,a dermoscopic image segmentation method based on attention residual block-UNet(ARB-UNet)is proposed.Firstly,the convolutional block attention module(CBAM)is introd
6、uced into the“skip connection”of U-Net model;atthe same time,the CBAM module is integrated into the residual module DRB(dilated residual networks)to obtain theattention residual block(ARB);Focal Tversky loss is selected as the loss function of the model;Finally,the proposedARB-UNet model is trained
7、and tested on ISIC2016 data set,and compared with traditional methods and classical meth-ods such as U-Net.The experimental results show that the sensitivity(SE),specificity(SP),and dice similarity index(DSC)have reached 92.9%,94.1%,and 92.1%,respectively,which are all better than other comparative
8、methods inoverall.Thus,the feasibility and effectiveness of the method in this paper are verifiedKeywords:image segmentation;dermoscopic;convolutional neural network;attention residual block-UNet(ARB-UNet);attention mechanism;convolutional block attention module(CBAM);deep learning;residual network
9、黑色素瘤是一类死亡率较高,极其危险的皮肤癌1-2。美国每年就涉及 100 000 多例新增病例,其中死亡病例超过 9 000 例3。治疗黑色素瘤最好的方法是尽早治疗,这样患者的存活率可超过收稿日期:20220118.网络出版日期:20230322.基金项目:安徽省教育厅重大项目(KJ2020ZD39);安徽省检测技术与节能装置重点实验室开放基金项目(DTESD-2020A02).通信作者:魏利胜.E-mail:lshwei_.第 18 卷第 4 期智能系统学报Vol.18 No.42023 年 7 月CAAI Transactions on Intelligent SystemsJul.202
10、3智能系统学报编辑部版权所有95%。皮肤镜技术是一种非侵入性的皮肤成像技术,它是检测皮肤病的主要手段,可以帮助皮肤科医生辨别良性病变和恶性病变,特别在黑色素瘤的诊断上。然而靠医生的人工诊断比较浪费时间,效率较低,且带有部分主观看法,所以利用计算机来辅助医生在黑色素瘤的诊断中有着很高的价值,给皮肤科医生提供定量和客观的评估,而皮肤镜图像的分割是整个辅助诊断过程中一个重要的阶段。皮肤镜图像分割是从病变区域中提取出关键的特征,以便在接下来的病变分类任务中更好地区分病变类型。然而,由于病变的不规则性、不同的形状和颜色,还有诸如毛发等噪声的干扰,皮肤病变的分割具有很大的挑战性。在较早的研究中,皮肤镜图像
11、分割大多采用传统的分割算法,如阈值分割4-6、区域生长7-8和边缘检测9。这些方法依赖于从颜色10、形状11和纹理12等特征中获取的手工特征,实现起来较麻烦,比较费时间,而且鲁棒性较差,不能获得满意的结果。为达到准确分割的目标,目前大多数学者采用卷积神经网络对图像进行分割。Shelhamer等 13创建了全卷积神经网络(fully convolutionalnetworks,FCN),将原始应用于图像分类的模型转移到图像分割任务中,显著提高了图像分割的性能。Ronneberger 等14创建了 U-Net 模型,该模型分为 2 个阶段,先向下采样,后向上采样。通过下采样路径提取高级语义信息,并
12、结合跳跃连接和上采样路径来恢复详细信息。经过多次实验论证,U-Net 模型有着较好的性能,特别是在医学图像分割方面。Zhou 等15提出了 U-Net+网络,通过在下采样阶段和上采样阶段之间增加 Denseblock 与卷积层来提高网络的分割性能。Oktay等16提出在 U-Net 跳跃式连接中加入注意门(at-tention gate,AG),以提高胰腺分割协议的预测准确性和敏感性。Sarker 等17介绍了 SLSDeep,结合了跳跃连接、扩张残差和金字塔网络。在该模型中,编码器网络依赖于扩张的残余网络层和金字塔池化网络,增强了从皮肤镜图像中学习特征的能力。Zhang 等 18利用 FCN
13、 学习的特征,将FCN 生成的特征与浅层卷积神经网络相结合,提出了一种自动分割皮损区域的框架,以提高模型的整体分割性能。Baghersalimi 等19提出了具有编码器解码器范式的 DermoNet,处理早期层的高分辨率特征以及更深层次的高语义特征,以将每个密集块的输出与相应的解码器联系起来。以上文献增加了网络结构复杂性,不能克服图像边界模糊、数据集不平衡和 ROI 区域较小等问题。为此,本文提出一种 ARB-UNet 模型,引入有效的 CBAM 注意力机制,并选用 Focal tver-sky loss 作为模型的损失函数,以提高模型的分割性能。1 ARB-UNet 算法原理ARB-UNet
14、 算法流程图如图 1 所示。首先对皮肤镜图像预处理,包括灰度化和限制对比度自适应直方图均衡化(contrast limited adaptive histo-gram equalization,CLAHE)20处理;然后,进行图像分割,将经过预处理的图像经过 ARB-UNet 模型进行训练和测试,从而得到皮肤镜图像的分割图。图像预处理原始输入图像预测分割图灰度化、CLAHE 处理图像分割ARB-UNet分割网络 图 1 ARB-UNet 算法流程Fig.1 Flow chart of ARB-UNet algorithm 1.1 图像预处理图像预处理是图像分割任务中的第 1 步,也是较为关键的
15、一个阶段,好的预处理方法能显著提升模型的分割效率。下面介绍所提算法采用的图像预处理方法。本文训练集中的部分图像如图 2 所示,为了降低后续处理过程中的运算量,首先对其进行灰度化处理。与 RGB 图像相比,灰度图像可以更好地显示病变区域,对比度较强,并且灰度化处理可以减少数据量,使运算速度大幅度提高,得到的结果如图 3 所示。(a)图像 1(b)图像 2(c)图像 3 图 2 原始图像Fig.2 Orignal images (a)灰度图像 1(b)灰度图像 2(c)灰度图像 3 图 3 灰度化处理图Fig.3 Grayscale processing images 700智能系统学报第 18
16、卷 从图 3 中可以看出,将彩色图像转变为了灰度图像,但是由于图中的背景与要分割出的病变区域区别不够明显,图像的对比度有待提升。在提升图像对比度的方法中,较常用的是CLAHE 算法。自适应直方图均衡化(adaptive his-togram equalization,AHE)算法通过求所有像素邻域的变换函数来增强每个像素。CLAHE 基于自适应直方图均衡化,其中直方图是针对像素的上下文区域计算的,然后将像素强度转换为显示范围内的值,在局部强度直方图中,该值与像素强度的等级成比例。CLAHE 算法可以解释为p(rk)=nkn(1)nkrknp(rk)rk式中:为具有灰度值 的像素数,为像素总数,
17、为具有灰度值 的像素总数。灰度值变换为s=T(r)(2)T(r)0 r 1式中为的单调递增函数。最后对上述灰度图像进行 CLAHE 处理,得到的结果如图 4 所示。(a)处理结果 1(b)处理结果 2(c)处理结果 3 图 4 CLAHE 处理图Fig.4 Images processed by CLAHE algorithm 从图 4 可以看出,经过 CLAHE 处理得到的皮肤镜图像的局部对比度明显提升,与原图相比病变区域更加明显,充分体现了皮肤镜图像的细节信息,有利于下一步进行皮肤镜图像的分割。1.2 ARB-UNet本文所提的 ARB-UNet 模型是 U-Net 模型的改进版。ARB-
18、UNet 模型的详细结构如图 5所示。CBAMCBAMCBAM3264641283 1632 16 1输入图像激活函数输出ARB最大池化层 22反卷积层 2211 卷积 图 5 ARB-UNet 模型Fig.5 ARB-UNet model 从图 5 可以看出,ARB-UNet 由收缩路径和扩展路径这 2 个部分构成。左侧的收缩路径向下采样,用于提取图像局部的特征,右侧的扩展路径根据上下文信息对图像的特征精准定位。受注意力机制最近在图像处理领域得到广泛应用的启发,在该模型中,引入了卷积块注意力模块(convolu-tional block attention module,CBAM)21,通过
19、关注图像的细节特征来增强特征的表达。一方面,本文将 CBAM 模块应用到原 U-Net 模型的“跳过连接”中,为收缩路径中的每个特征映射赋予权重,而不是像原 U-Net 网络中将它们平等地复制到对应的扩展路径中;另一方面,考虑到特征通道之间的关系,本文将 CBAM 注意力机制模块应用到残差结构(double residual block,DRB)中,并将其命名为注意力残差结构(attention residual block,ARB)。整个网络模型的结构来源于 U-Net,U-Net 的卷积块被 ARB 替代。收缩路径包含 4 个模块,每一个模块包括 ARB 结构和规格为 22 的最大池化层,
20、扩展路径同样包含 4 个模块,每一个模块包括规格为 22 的转置卷积,并与通过 CBAM模块从收缩路径加权的特征映射连接,然后通过ARB 模块之后,最后经过卷积层和 sigmoid 函数得到模型的分割图。1.3 注意力残差模块 ARB为了充分提取图像中的高级特征,DRNet22提出了残差模块 DRB,本文将 CBAM 模块集成到残差模块 DRB 中,提出注意力残差模块 ARB,ARB模块的结构图如图 6 所示。CBAM输入批规范化ReLU卷积器输出特征图正则化模块 图 6 ARB 模块结构Fig.6 ARB module structure 从图 6 可以看出,注意力残差结构 ARB 中引入了
21、批规范化(BN)优化算法23,该算法通过规范化操作使得每批训练数据的均值和方差分别为0 和 1,提高了网络的收敛速度,还能减小“梯度分散”现象对网络的影响,同时优化了模型的训练效果。批规范化算法的实现步骤较简单,首先计算批数据的均值 和方差,接着由 和 对该批数据第 4 期沈鑫,等:基于注意力残差 U-Net 的皮肤镜图像分割方法701 进行规范化计算,最后通过参数 和 推导尺度变换和偏移。批规范化算法流程如下所示。x1,x2,xm输入批处理数据:。=1mmi=1xi1)计算批数据的均值:;=1mmi=1(xi)2)计算批数据的方差:;xi=xi2+3)根据 和 进行规范化计算:;yi=xl+
22、4)推导尺度变换和偏移:;5)返回参数 和。yyi=N,(xi)输出 规范后的结果:。为防止网络出现过拟合,在上述的注意力残差结构 ARB 中添加了 Dropblock 层24,Dropblock是一种结构化的 Dropout 形式,它比 Dropout 更有效地随机丢弃局部块区域和正则化卷积层,可以让模型获得更好的精度。Dropblock 通过随机丢弃特征图中一部分相邻的块状区域,迫使网络利用其他部位语义信息进行决策分类,使用伯努利分布来生成二进制掩码矩阵,只得到 0 和 1 两个值,其中值为 0 的元素作为基点,然后通过将特征图和该掩码矩阵进行哈达玛积计算来获得输出特征图。其计算为=1 p
23、a2s2(sa+1)2(3)ap(sa+1)2s式中:为丢弃基点的概率;为随机丢弃区域的大小;为神经元保留概率;为有效种子采样区域大小;表示输入特征图大小。1.4 注意力机制CBAM 是一种轻量级的注意力机制,适用于任何卷积神经网络模型,大大提高了模型的性能。图 7 是 CBAM 的模型结构图。卷积块注意力机制模块通道注意力机制空间注意力机制输出特征图输入特征图 图 7 CBAM 模型结构Fig.7 CBAM model structure F RCHWMc RC11Ms R1HWCBAM 模块将注意力映射分别注入通道维度与空间维度,然后将注意力映射与输入特征映射相乘,以达到自适应优化。设定作
24、为输入特征图,CBAM 先后映射出通道注意力特征图和空间注意力特征图。整个注意力过程可以概括为F=Mc(F)F(4)F=Ms(F)F(5)F式中 表示为 element-wise 乘法。在乘法过程中,注意力值会根据特征的重要性分配不同的权重,通道注意力值和空间注意力值会沿着彼此的维度进行分配,提取图像的细节特征。是最终的输出特征图。如图 8 所示,通道注意模块通过输入,然后分别通过多层感知器(multilayer perceptron,MLP),对 MLP 输出的特征逐个元素求和,生成最终的通道注意特征图。对其进行乘法运算并输入特征图,生成空间模块所需的输入特征,表示为Mc(F)=sigmoi
25、d(MLP(AvgPool(F)+MLP(MaxPool(F)(6)输入特征图最大池化平均池化sigmoid激活输出特征图多层感知器(MLP)多层感知器(MLP)图 8 通道注意力模块Fig.8 Channel attention module 如图 9 所示,空间注意力机制的输入特征图是上述通道注意力机制的输出特征图。接着将输入特征分别进行最大池化操作和平均池化操作,接着进行特征拼接,然后通过卷积层提取特征,最后经过 sigmoid 函数生成输出特征,可以表示为Ms(F)=sigmoid(f77(AvgPool(F);MaxPool(F)(7)f77式中为大小为 77 的卷积核。输入特征图输
26、出特征图拼接卷积77最大池化平均池化sigmoid激活 图 9 空间注意力模块Fig.9 Spatial attention module 1.5 损失函数由于 ISIC2016 官方皮肤数据集存在数据不平衡问题,所以本文应用了基于 Tversky 指数的 Fo-cal Tversky Loss25来评估模型预测的质量。在医学图像分割领域,Dice 相似指数(dice score coeffi-cient)被广泛用于评估图像预测值和真实值之间的相似性:Dc=Ni=1picgic+Ni=1pic+gic+(8)pic 0,1gic 0,1式中:为预测标签;为真相标702智能系统学报第 18 卷
27、签;N 为图像的总像素;为很小的参数,避免被零除。Dice Loss 表示预测图像和实际标签图像之间重叠的最小值,定义为Lc=c1Dc(9)Dice Loss 最明显的第 1 个缺点是对于假阳性(false positive,FP)和假阴性(false negative,FN)分配的权重是相等的,使得分割图的精度较高但其召回率较低。在这一点上,指数 Tversky 优化了Dice Loss,其数学表达式为Tc=Ni=1picgic+Ni=1picgic+Ni=1picgic+Ni=1picgic+(10)picicpicicgicgic式中:为像素 属于目标区域类别 的概率,为像素 属于背景类
28、别 的概率,为像素 i 属于目标区域类别 c 的标签值,为像素 i 属于背景类别c 的标签值。c1Tc在数据集不平衡的情况下,通过调整超参数和 来控制 FP 和 FN 的平衡,提高召回率。通过最小化来作为 Tversky Loss 损失函数。Dice Loss 第 2 个缺点是很难分割较小的感兴趣区域(region of interest,ROI)区域,因为小的ROI 区域对损失的影响不大,Dice Loss 就不适合这样的分割任务,影响了模型的分割性能。为了克服这个缺点,提出了一种含参数 的 Focal Tver-sky Loss 来控制背景简单且难度较大的 ROI 区域分割,该损失函数中焦
29、点参数将交叉熵损失指数化,以便关注以较低概率检测到的样本。定义Focal Tversky Loss 为Fc=c(1Tc)1/(11)Tc 1,3式中:是 Tversky 系数,。2 实验分析本文实验选择在 ISIC2016 公共数据集上进行验证和测试,该数据集来自国际皮肤病图像协会(international skin imaging collaboration,ISIC)官方网站。ISIC2016 数据集的训练集共有 900 张图片,测试集共有 379 张图片,以及对应的真实标签图片。本文将该数据集的训练集以 82 的比例分为训练集和验证集。如表 1 所示,混淆矩阵是一种评估和分析图像分割的
30、方法。本文采用了灵敏度(sensitivity,SE)、特异性(specificity,SP)和 Dice 相似指数(dice sim-ilarity cofficient,DSC)这 3 项指标来评估所提算法的效果。3 项指标定义为S=TT+W(12)P=RR+E(13)D=2T2T+W+E(14)式中:S 为所有正样本中被预测为正样本的比重;P 为被预测为负样本的占所有负样本的比重;D 为集合之间相似的评估指标,计算真实值和预测值的相似比例,最大值为 1,此时分割结果最好,最小值为 0,此时分割结果最差。表 1 混淆矩阵Table 1 Confusion matrix 标签实际预测结果正样
31、本负样本正样本TE负样本WR 本文的实验是基于谷歌 colab 平台上进行的,整个算法的实现是通过 Python 语言进行编写,基于 Tensorflow 框架。本文在 ISIC2016 官方皮肤数据集上训练提出的 ARB-UNet 模型,为了保持较小的参数量,设定第 1 个卷积层之后的通道数为16,并使用收敛速度较快的 Adam 优化器和上述介绍的 Focal Tversky Loss 损失函数优化本文的模型。为了让模型的性能达到最佳,经过多次实验论证,训练时的迭代轮次设置为 100,批次大小(batch size)设置为 2,学习率设置为 1105。ISIC2016 数据集中的图像分辨率是
32、不统一的,为了保持输入数据分辨率的一致性,防止训练过程中出现梯度爆炸问题,需要将数据集中的图片调整为统一分辨率。本文使用 3 种不同分辨率的图片对分割结果进行对比,分别是 192 像素192 像素、256 像素256 像素、512 像素512 像素,实验结果如表 2 所示。表 2 不同图像分辨率的实验结果对比Table 2 Comparison of experimental results with differ-ent image resolutions 分辨率/像素像素SDP1921920.9190.9170.9322562560.9250.9200.9385125120.9290.92
33、10.941 从表 2 可以看出,相比于其他 2 种分辨率图片,512 像素512 像素的图片在所有指标上获得第 4 期沈鑫,等:基于注意力残差 U-Net 的皮肤镜图像分割方法703 了最优的结果,更能被充分提取特征。因此将数据集图片的分辨率统一调整为 512 像素512 像素。为了验证 Focal Tversky Loss 损失函数对模型的提升效果,本文选取了交叉熵损失函数和 Fo-cal Tversky Loss 损失函数进行了实验对比,结果如表 3 所示。表 3 不同损失函数对比实验Table 3 Comparative experiment of different loss fun
34、ctions 损失函数SDP交叉熵损失0.9080.9030.912Focal Tversky Loss0.9290.9210.941 从表 3 可以看出,相比于交叉熵损失函数,Focal Tversky Loss 损失函数明显提升了模型的分割效果,其中 S 提升了 2.1%,D 提升了 1.8%,P 提升了 2.9%,表明了 Focal Tversky Loss 损失函数更加适用于类别不均衡的数据集,在一定程度上避免了数据量较小且不均衡对分割结果的影响。ARB-UNet 模型训练过程中的准确率和损失曲线如图 10 和图 11。0.820.840.800.780.760.740.720.700
35、20406080100准确率训练集准确率验证集准确率训练次数 图 10 准确率曲线Fig.10 Accuracy graph 0.240.260.220.200.180.160.14损失020406080100训练次数训练集损失验证集损失 图 11 损失曲线Fig.11 Loss graph 从图 10 可以看出,横坐标表示训练次数,纵坐标表示准确率,ARB-UNet 模型在前 20 个 epoch的训练过程中,准确率曲线在逐渐上升,其中训练集曲线和验证集曲线之间距离在拉大,表明了模型处于学习和训练的过程中,且在不断完善;20 个 epoch 之后模型的准确率上升幅度减小,保持在较小的幅度内变
36、化,最后趋于稳定,且训练集和验证集之间的差距较大,体现出所提模型的泛化能力较弱。从图 11 中可以看出,横坐标表示训练次数,纵坐标表示损失值,模型的损失曲线随着 epoch 次数的增加在下降,最终在较小的幅度范围内收敛。本文方法与大津算法(Otsu algorithm,OTSU)和遗传算法(genetic algorithm,GA)的实验结果对比图如图 12所示,其中,图 12(a)表示数据集原始图像,图 12(b)表示 OTSU 算法分割得到的图像,图 12(c)表示 GA 算法分割得到的图像,图 12(d)表示本文方法分割得到的图像。(a)原始图像(b)OTSU 算法(c)GA 算法(d)
37、本文方法 图 12 与传统方法的实验结果对比Fig.12 Comparison of experimental results with tradition-al methods 由图 12 可知,OTSU 算法分割出的图形不够完整,孔洞较多,且边缘的毛刺很多,不够光滑,基于 GA 的分割算法整体效果要优于 OTSU 算法,病变区域的轮廓更加完整,但是仍存在孔洞较多的问题,且对第 2 幅和第 4 幅图像的分割效果较差,而本文算法分割出的病变区域轮廓完整、光滑,没有出现大面积的缺失。综上所述,本文方法的分割效果要远好于以 OTSU 算法、GA遗传算法为代表的传统方法,能够适应多种不同深浅颜色的病
38、变区域的分割,满足分类识别的要求。本文方法的分割结果和真实标签值的对比图如图 13 所示。704智能系统学报第 18 卷(a)原始图像(b)标签值(c)本文方法 图 13 分割测试集图像结果Fig.13 Segmentation test set image results 从图 13 可以看出,本文所提出的模型的最终分割图与真实值很相似,对图像的分割较为精准。但当图像含有毛发干扰的情况下,分割结果存在一定的误差,这和本文的预处理过程较简单有关系,这也是本文方法需要改进的地方。分别采用 ARB-UNet 模型、U-Net 模型、结合注意力机制的 Attention-UNet 模型对 ISIC2
39、016 数据集进行图像分割,这 3 种网络的分割结果如表 4所示。表 4 不同网络在 ISIC2016 数据集上的实验结果Table 4 Experimental results of different networks on IS-IC2016 dataset 方法SDPU-Net0.9060.8820.918Attention-UNet0.9130.8970.938本文方法0.9290.9210.941 由表 4 中的数据可知,本文提出的方法取得了令人满意的效果,各个指标较其他 2 种方法都有所提高。这表明 ARB-UNet 与其他 2 种模型相比在皮肤镜图像分割上有显著的改进。为了验证
40、本文运用注意力机制(CBAM)的有效性,在 ISIC2016 数据集上进行了消融实验,通过不加入 CBAM 模块与本文方法对比,实验结果如表 5 所示。表 5 加入 CBAM 模块前后的实验结果对比Table 5 Comparison of experimental results before andafter adding CBAM module 方法SDP未将CBAM模块加入到U-Net的跳过连接中0.9010.8980.917未将CBAM模块应用到DRB残差结构中0.9140.9070.923本文方法0.9290.9210.941 从表5可以看出,加入注意力机制模块(CBAM)后,模型
41、的性能得到了全面提升。其中将 CBAM模块加入到 U-Net 的跳过连接后,3 个指标 S、D和 P 分别提升了 2.8%、2.3%和 1.8%;将 CBAM模块应用到 DRB 残差结构得到 ARB 模块后,3 个指标 S、D 和 P 分别提升了 1.5%、1.4%和 2.1%。验证了注意力机制模块(CBAM)可以关注图像的细节特征,使模型能够充分提取图像的特征,提高了模型的分割性能,也证实了所提算法是有效的。为了更进一步证明本文方法是有优势的,选取了在 ISIC2016 皮肤病变检测挑战赛中成绩排在前 5 名的参赛团队的实验结果与本文方法的实验结果进行比较,结果如表 6 所示。表 6 本文方
42、法与 ISIC2016 挑战赛前 5 名实验结果对比Table 6 Proposed method compared with the top 5 experi-mental results of ISIC2016 challenge 方法SDPTeam-EXB0.9100.9100.965Team-CUMED0.9110.8970.957Team-Rahman0.8800.8950.969Team-SFU0.9150.8850.955Team-TMU0.8320.8880.987本文方法0.9290.9210.941 分析表 6 得知,ARB-UNet 模型的前 2 项评估指标均高出其他参赛
43、团队,相比于 Team-EXB 参赛团队,S、D 两项指标分别提升了 1.9%、1.1%。本文方法的最后一项指标 P 稍低于其他方法,一方面是因为所提模型的局限性;另一方面是因为数据集的数据量较小且不均衡,模型没有充分学习到皮肤镜图像的特征。这 2 个方面的不足将是后续研究工作中要着重解决的问题。表 6 的实验结果综合表明了本文方法在提升皮肤镜图像的分割性能方面是可行的,并且具有一定的优势。3 结束语本文提出了一种注意力残差 U-Net(ARB-UNet)网络模型来分割皮肤镜图像,该方法采用 CBAM注意力模块来提升网络的区分能力。并且本文采用了 Focal Tversky Loss 损失函数
44、来优化本文提出的模型,其适用于类别不平衡的数据集,提高了模型的性能。模型的改进首先是在 U-Net 的跳过第 4 期沈鑫,等:基于注意力残差 U-Net 的皮肤镜图像分割方法705 连接中增加 CBAM 注意力机制模块,将权重分配给来自收缩路径的特征图,充分关注图像的细节特征;另一方面将 CBAM 注意力机制模块应用到DRB 残差结构中得到注意力残差结构 ARB,来构造网络的收缩路径和扩张路径。通过实验证明,所提出的 ARB-UNet 模型在灵敏度 SE、特异性SP、Dice 相似指数 DSC 这 3 项评价指标中优于一些现有的经典方法,证明了本文方法对皮肤镜图像的分割是有效的和可行的,在辅助
45、医学诊断中有一定的前景。针对本文方法存在的不足,在未来的研究工作中,首先要继续改进和优化模型的结构,其次增加图像预处理算法以适应小数据集或在数据量较大的数据集上训练,使模型能够充分学习图像的特征,使模型的分割能力得到全方面提升。参考文献:CIYSKA M,KAMISKA-WINCIOREK G,LANGE D,et al.The incidence and clinical analysis ofnon-melanoma skin cancerJ.Scientific reports,2021,11:4337.1LI Yuexiang,SHEN Linlin.Skin lesion analy
46、sis towardsmelanoma detection using deep learning networkJ.Sensors,2018,18(2):556.2SIEGEL R L,FEDEWA S A,MILLER K D,et al.Can-cer statistics for hispanics/latinos,2015J.CA:a cancerjournal for clinicians,2015,65(6):457480.3徐国雄,张骁,胡进贤,等.基于阈值分割和轮廓提取的图像边缘检测算法 J.计算机技术与发展,2015,25(12):6467,71.XU Guoxiong,Z
47、HANG Xiao,HU Jinxian,et al.Medicalcell edge detection algorithm based on threshold segment-ation and contour extractionJ.Computer technology anddevelopment,2015,25(12):6467,71.4RIYANTO I.Morphology based melanoma skin segment-ation methodJ.Helix,2021,11(3):713.5尹雨山,王李进,尹义龙,等.回溯搜索优化算法辅助的多阈值图像分割 J.智能系
48、统学报,2015,10(1):6874.YIN Yushan,WANG Lijin,YIN Yilong,et al.Backtrack-ing search optimization algorithm assisted multilevelthreshold for image segmentationJ.CAAI transactionson intelligent systems,2015,10(1):6874.6孔令军,王茜雯,包云超,等.基于深度学习的医疗图像分割综述 J.无线电通信技术,2021,47(2):121130.KONG Lingjun,WANG Qianwen,BAO
49、 Yunchao,et al.7A survey on medical image segmentation based on deeplearningJ.Radio communciations technology,2021,47(2):121130.STARVIN M S.A novel and efficient approach for theclassification of skin melanomaJ.Journal of ambient in-telligence and humanized computing,2021,12(12):1043510459.8LAKSHMI
50、B V,SRIDEVI K.A qualitative approach onde-noising and segmentation algorithms for melanomaimagesJ.Annals of the romanian society for cell bio-logy,2021:1384-1393.9FAN Haidi.Automatic segmentation of dermoscopy im-ages using saliency combined with Otsu thresholdJ.Computers in biology and medicine,201