基于APC-UNet模型的皮肤病变区域分割研究.pdf

第36卷第5期2023年10月Vol.36 No.5Oct.2023四川轻化工大学学报（自然科学版）Journal of Sichuan University of Science&Engineering(Natural Science Edition)基于APC-UNet模型的皮肤病变区域分割研究张博源a，黄成泉b，王 琴a，万林江a，周丽华a(贵州民族大学 a.数据科学与信息工程学院；b.工程技术人才实践训练中心，贵阳 550025)摘 要：针对皮损皮肤镜图像分割不准确的问题，本文提出了一种基于 Atrous-spatial-pyramid-pooling Parallel Coordinate-attention pattern U-Net（APC-UNet）模型的皮肤病变区域分割算法。算法在U-Net模型的编码器中融入Atrous Spatial Pyramid Pooling（ASPP）模块和ParNet模块以提升模型的特征提取能力，在解码器中嵌入带有注意力机制的 Coordinate Attention（CA）模块以增强模型的定位能力,并且引入了Lovsz-hinge损失函数来解决皮损皮肤镜图像样本类别不均衡的问题。通过消融实验验证了提出的模型的改进合理性，通过对比实验结果表明，APC-UNet模型整体上优于5种对比模型，并且相较于基准模型U-Net，在Dice系数、IoU、精确率、召回率和准确度上分别提升了6.14%、8.11%、6.79%、2.28%和2.49%，各项性能指标均有较好提升，是一种有效可行的皮肤病变区域分割算法。关键词：计算机辅助诊断；皮肤病变区域分割；深度学习；U-Net模型；注意力机制中图分类号：TP391.4 文献标志码：A引 言皮肤癌是一种生长于皮肤表面的癌症，通常由异常的细胞所致，同时也能扩散到身体的其他部位，并且由于它本身的特性，其肿瘤在皮肤表层中通常可以清晰地观测到。皮肤癌作为最常见的癌症之一，其出现几率超过了肺癌、结肠直肠癌与前列腺癌。当前最常见的3种皮肤癌1分别是基底细胞癌(BCC)、鳞状细胞癌(SCC)与黑色素瘤，其中BCC、SCC与其他不常见的皮肤癌又被划分为非黑色素瘤皮肤癌，而黑色素瘤尽管并不最常见，但却是恶性程度最高的。黑色素瘤有时是由痣发展而来，治疗手段是对其进行手术切除。因为皮肤癌具有易发现的特点，所以在大多数情况下，皮肤癌可在患病早期被发现，因而可以对皮肤病变区域进行及时治疗，从而延长患者寿命或者增加患者的存活率。而在早期皮肤癌的诊断阶段，通常需要医师具备专业的医学知识和丰富的临床诊断经验，尽管如收稿日期：2022-09-12基金项目：国家自然科学基金项目(62062024);贵州省省级科技计划项目(黔科合基础-ZK2021一般342);贵州省教育厅自然科学研究项目(黔教技2022015);贵州省研究生教育教学改革重点项目(黔教合YJSJGKT2021018)通信作者：黄成泉(1976-),男,教授,博士,研究方向为机器学习,(E-mail)文章编号：20967543（2023）05005109DOI:10.11863/j.suse.2023.05.072023年10月四川轻化工大学学报（自然科学版）此，医师仍存在误诊的情况。通过计算机辅助检测的方法对皮损皮肤镜图像进行自动分割，已成为医师研判患者病情的重要辅助手段，能够为医师提供诊断参考和制定准确的治疗方案。随着近些年来深度学习技术的蓬勃发展和迅速跟进，越来越多的基于深度学习的皮肤病变区域分割方法被提出。齐永锋等2提出了一种改进稠密卷积网络的皮肤损伤分割方法，通过改善网络结构使特征信息得以充分传递，分割准确率相较于其他算法显著提升，但提出的方法需要堆叠非常深的神经网络才能实现不错的分割准确率，这对训练网络具有非常大的挑战性。王雪3提出基于U-Net多尺度和多维度特征融合的皮肤病变区域分割方法，解决了U-Net模型特征提取单一和空间上下文信息丢失的问题，但是该方法与之对比的模型太少，缺乏一定的说服力。蒋新辉等4针对皮肤病变区域分割效果差的问题，提出了一种基于U型结构的上下文编解码网络，通过融入高效双通道注意力和空洞空间金字塔池化来获取更多的空间信息和语义信息，以此提高分割精度，并且分割效果不错，但是该方法使用了预训练的编码模块，后期需要针对皮肤病变区域分割任务进行微调。以上所述的方法在皮肤病变区域分割领域均取得了不错的分割效果，但是也存在些许不足，诸如对比模型太少以及需要预训练模型等，此外这些研究未提及皮损皮肤镜图像一般存在的样本类别不均衡的问题。针对以上方法存在的问题，本文在U-Net模型5的基本框架下，对U-Net模型进行适当改进，通过在U-Net模型的编码器中融入空洞空间金字塔池化模块(Atrous Spatial Pyramid Pooling,ASPP)6和 ParNet模块7以提升模型的特征提取能力，在解码器中嵌入带有注意力机制的 Coordinate Attention（CA）模块8以增强模型的定位能力，提出一种基于Atrous-spatial-pyramid-pooling Parallel Coordinate-attention U-Net（APC-UNet）模型的皮肤病变区域分割算法，并且引入了Lovsz-hinge损失函数来解决皮损皮肤镜图像样本类别不均衡的问题，以此来提高对皮损皮肤镜图像的分割准确性，并且增加对比模型来加强对比效果。1 算法原理本文提出的APC-UNet模型是通过卷积神经网络执行一种有监督的深度学习。首先将皮损皮肤镜图像输入到网络，然后通过训练的方式进行特征学习并输出得到分割结果图；最后将分割结果图与专家标注的标签进行对比。1.1 APC-UNet模型本文在U-Net模型基础上进行适当改进，提出了一种针对皮肤病变区域分割的APC-UNet模型，其结构如图1所示，它在U-Net模型中结合了注意力模块和空洞空间金字塔池化(ASPP)模块，以此提升皮肤病变区域分割的准确性。APC-UNet模型对U-Net模型进行了以下改进：1）对U-Net模型的框架进行改进，减少U-Net模型的一个下采样层，相应地减少一个上采样层，这样有助于减少计算量，增加模型的推理速度。2）对U-Net模型的编码器进行改进，编码器的作用是通过下采样实现特征提取，将其中用于下采样的卷积层替换为ResNet模型9中的Residual模块，同样起到下采样的作用。模型一共进行了 3 次下采样，在前两次下采样后，融合ASPP模块和ParNet模块，ASPP模块有助于从不同感受野捕获皮损皮肤镜图像病变区域的特征，ParNet模块可以防止模型过拟合，由于ASPP模块的感受野比较大，同时第三次下采样后的特征图的分辨率较小，因此第三次下采样不适合再融合 ASPP模块和ParNet模块。3）对U-Net模型的解码器进行改进，解码器的作用是通过上采样来恢复图像尺寸实现端到端的输出。在解码器的前两次上采样拼接后，嵌入了CA模块，帮助模型实现病变区域的准确定位，从而实现皮损皮肤镜图像的准确分割。52第36卷第5期张博源，等：基于APC-UNet模型的皮肤病变区域分割研究图1 APC-UNet模型的网络结构1.2 Residual模块Residual模块的作用是进行下采样，其结构如图2所示。Residual模块中包含了两个33卷积核和一个11卷积核，通过一个拼接操作将11卷积核卷积后的结果与第二次33卷积核卷积后的结果进行特征融合，再使用ReLU函数激活。本文中的Residual模块代替了U-Net模型中原本的下采样模块，在实现下采样的同时，通过拼接11卷积核控制特征信息的表达能力和减少模型的计算量，以此将特征信息有效地向下传递并加快模型的推理速度，还避免了训练过程中因网络深度过深而导致的梯度消失问题，从而保证模型训练的稳定性。图2 Residual模块的网络结构1.3 ASPP模块由于皮损皮肤镜图像病变区域的复杂性，其容易受各种因素影响，比如病变区域大小不一致，病变区域与皮肤的对比度低，病变区域有毛发遮蔽等特点，所以需要充分提取皮损皮肤镜图像的特征信息，因此本文将ASPP嵌入到编码器中，其好处在于以不同的感受野从多尺度获取图像的特征信息，从而获取上下文信息，该模块的结构如图 3 所示。ASPP模块主要包含了多种不同膨胀率的空洞卷积和池化，能够以不同的感受野捕获特征，并且克服了传统卷积计算量大和损失分辨率的问题，将各空洞卷积和池化的结果进行拼接实现特征信息共享，然后通过卷积融合这些特征信息。由于空洞空间金字塔池化中原本的空洞膨胀率过大，本文对空洞卷积的膨胀率进行了调整，根据模型的下采样次数和实验分析，最终确定将空洞膨胀率重新设置为3、6、9，以此适应本文改进的模型。图3 ASPP模块的网络结构1.4 ParNet模块ParNet 模块主要由 3 部分组成，分别是 Skip-Squeeze-Excitation（SSE），以及两个不同的卷积核，其中SSE部分主要进行了一次全局平均池化操作，然后使用Sigmoid激活函数，将SSE与两个不同的卷532023年10月四川轻化工大学学报（自然科学版）积核的卷积结果进行融合，再通过SiLU函数激活。由于ASPP模块具有非常强的特征提取能力，为防止模型过拟合，同时为模型添加更多的非线性能力，所以在每个 ASPP 模块后紧跟 ParNet 模块。ParNet模块的结构如图4所示。图4 ParNet模块的网络结构1.5 CA模块本 文 在 U-Net 模 型 的 解 码 器 中 嵌 入 了Coordinate Attention（CA）模块。由于改进的 U-Net模型的解码器已经充分捕捉了皮损皮肤镜图像的特征信息，而解码器部分需要建立长程依赖关系，实现通道关系的建立和空间位置信息的学习，从而帮助模型定位目标。CA模块的结构如图5所示，首先通过两个池化核实现空间中两个方向上的特征信息学习，再将两个方向的特征信息进行拼接，通过压缩通道实现通道关系的建立，再使用11卷积核进行扩展实现特征信息共享，然后将得到的特征信息进行拆分，分别形成两个注意力权重，最后作用于输入的特征图，以此实现感兴趣区域目标的准确定位。图5 CA模块的网络结构2 损失函数由于皮肤病变区域的大小差距可能十分悬殊，所以通常皮损皮肤镜图像数据集存在样本类别不均衡的问题，为了解决这一问题，本文使用Lovsz-hinge 损失函数对皮损皮肤镜图像进行分割计算。Lovsz-hinge 损失函数是一种基于 IoU 的损失函数10，可以通过对IoU优化进行损失计算，IoU也被称作Jaccard指数，其计算如式(1)所示：Jc()y*,y=|y*=c y=c|y*=c y=c(1)而Jaccard loss的公式为：Jc()y*,y=1-Jc()y*,y(2)其中，y*为标签向量，y为模型的预测向量，c为某个类别。由于 Jaccard loss 只能够进行离散情况下的损失计算，但是神经网络的预测输出是连续的，所以上式无法进行求导计算，如果不能求导就不能进行参数更新，因此Jaccard loss不可以直接用于神经网络中。由于Jaccard loss是子模函数，所以可以通过Lovsz extension11-13进行扩展而变得连续可导，而Jaccard loss 通过 Lovsz extension 扩展后就成为了Lovsz-hinge损失函数，从而可以解决上述问题。3 实验结果及分析3.1 数据集本文选用的数据集来源于国际皮肤影像协会(ISIC)，该协会提供了公开的ISIC2018皮肤镜图像数据集14-15，该数据集包含了2594张皮损皮肤镜原始图片(Image)以及对应的标签(Label)。由于数据集中图片尺寸过大且大小不一，对计算机的计算负荷较大，于是将原图和标签统一重塑为256256分辨率的图片。本文将数据集中的图片随机划分为训练集和测试集，其中训练集为 2000 张，而测试集为594张。54第36卷第5期张博源，等：基于APC-UNet模型的皮肤病变区域分割研究3.2 实验环境本文的实验环境基于深度学习框架PyTorch结合Python编程语言进行搭建。计算机的配置如下：操作系统为ubuntu16.04，系统内存为16 GB，CPU为Intel Core i7-7700K4.2 GHz，GPU 为 NVIDIA GeForce GTX 1080，显存为8 GB。本文实验用Adam优化器进行网络优化，网络初始学习率设置为0.0001，所有模型批量大小均为8。3.3 实验参数设置为了探究本文提出的模型在训练集上损失值与最优迭代次数的关系，将初始迭代次数设置为100，实验结果如图6所示。从图6中不难发现，损失值总体上随着迭代次数的增加而稳步下降，在迭代次数达到70附近时，损失值已经逐步趋于平稳，因此将本文实验中的迭代次数设置为70。图6 损失值的变化趋势图3.4 评价指标本文为了对提出的模型进行准确地评估，引入5种评价指标，分别是Dice系数、IoU、精确率(P)、召回率(R)以及准确度(A)，从而实现对客观实验的真实评价。在图像分割任务中，分割的样本可以分为4个类别，TP代表分类正确的正样本；TN代表分类正确的负样本；FP代表被错误分类为正样本的负样本；FN代表被错误分类为负样本的正样本。5种评价指标的公式如下：Dice=2 TP2 TP+FN+FP(3)IoU=TPFN+FP+TP(4)P=TPTP+FP(5)R=TPTP+FN(6)A=TP+TNTP+TN+FP+FN(7)3.5 APC模块的消融实验 为了验证本文提出的改进模型对皮肤病变区域分割的有效性，本节增加了关于APC模块的消融实验，消融实验以U-Net模型作为基准模型，分别以ASPP模块、ParNet模块、CA模块为组件，按照一定的组合规律将组件融入到U-Net模型中，实验结果见表1。表1 基于U-Net模型的APC模块的消融实验%方案号12345组件名称ASPPParNetCA性能指标Dice82.1287.8687.5286.1688.26IoU73.1080.7079.8078.6181.21P84.7591.6488.5790.4491.54R86.7588.4490.4687.1489.03A91.9594.0393.7893.8294.44从实验结果可知，相比于没有加入组件的U-Net模型，加入组件的U-Net模型都可以表现出更好的分割性能，因此不论加入哪个组件，都对U-Net模型的分割结果具有增益效果，在加入所有组件时，模型的分割性能达到最优，Dice、IoU、精确率、召回率和准确度都有了较大提升。3.6 不同模型的分割结果对比为了展现本文提出的模型的分割效果，通过与当 前 经 典 的 5 个 基 于 深 度 学 习 的 分 割 模 型 在ISIC2018数据集上进行比较，本文选用了测试集中552023年10月四川轻化工大学学报（自然科学版）6张皮损皮肤镜图像作为展示，实验结果如图 7所示。其中第一行为皮损皮肤镜图像，第二行为皮损皮肤镜图像的标签，第三行为U-Net模型的分割结果，第四行为 Attention-Unet模型16的分割结果，第五 行 为 SegNet 模 型17的 分 割 结 果，第 六 行 为FusionNet 模型18的分割结果，第七行为 PSPNet 模型19的分割结果，第八行为本文提出的 APC-UNet模型的分割结果。OriginalimageLabelU-NetAttention-UNetSegNetFusionNetPSPNetOurs图7 不同模型在ISIC2018数据集上的分割结果对比从图7可见，皮损皮肤镜原始图像的情况各不相同，如图像中存在病变区域及轮廓不明显，病变区域及周围有毛发遮蔽的影响，病变区域的形状和大小各异，患者皮肤的肤色和纹理对病变区域的干56第36卷第5期张博源，等：基于APC-UNet模型的皮肤病变区域分割研究扰，这些因素都客观地影响了对皮损皮肤镜图像中病变区域的准确分割。尽管几乎所有模型都能对病变区域完成大体的分割，但是准确性上有较大差别，U-Net模型和Attention-UNet模型的分割结果相对来说是最差的，对病变区域漏分和错分的情况较为明显。SegNet模型对病变区域不明显的图像的分割效果较差，容易导致漏分的情况出现。FusionNet模型和PSPNet模型的分割结果有明显的改善，但是轮廓的细节不够清晰和准确，而本文提出的APC-UNet模型在病变区域上的漏分和错分情况很少，同时对病变区域的轮廓边缘保留了更多细节，从而可以更加精确地分割皮肤病变区域。图7的实验结果显示了本文提出的模型与其他模型的对比结果，但是没有从指标层面来分析。通过指标直接验证模型的分割效果，结果见表2。表2 不同模型在ISIC2018数据集上的分割性能对比%模型名称U-NetAttention-UNetSegNetFusionNetPSPNetAPC-UNetDice82.1284.0986.4486.3487.1788.26IoU73.1075.6678.5778.1279.4981.21P84.7587.4590.9386.8991.2291.54R86.7586.4486.4490.4187.5389.03A91.9591.8493.2693.2493.7394.44从表2可见，U-Net模型和Attention-UNet模型的分割结果是最差的，与图7的实验结果表现基本一致，FusionNet模型和PSPNet模型的分割结果也较为不错。而本文提出的模型通过U-Net模型改进而来，在召回率适中的情况下，Dice、IoU、精确率和准确度都是表现最好的，相比于基准模型U-Net，本文提出的模型在Dice、IoU、精确率、召回率和准确度方面都有较大提升，分别提升了6.14%、8.11%、6.79%、2.28%和 2.49%。因此实验结果表明，本文提出的APC-UNet模型优于其余5种分割模型。4 结束语皮肤癌严重威胁人的生命健康安全，而早期通过计算机对皮损皮肤镜图像的皮肤病变区域实现自动分割是医师诊断病情的重要辅助手段，有助于制定下一步的治疗方案，以此可以延长患者寿命或增加患者存活率，因而实现对病变区域的准确分割对医师研判病情有着重大的现实意义。针对皮损皮肤镜图像的病变区域分割不准确的问题，本文提出了一种基于APC-UNet模型的皮肤病变区域分割研究算法，通过融入 ASPP模块和 ParNet模块来改进U-Net模型的编码器以此提升特征提取能力，在解码器中嵌入带有注意力机制的CA模块来改善模型的定位能力以此实现准确地分割，并且在国际皮肤影像协会提供的 ISIC2018 数据集上进行验证。实验结果表明，本文提出的APC-UNet模型优于5种经典的对比分割模型，相比于基准模型U-Net，Dice提升了 6.14%，IoU 提升了 8.11%，精确率提升了6.79%，召回率提升了2.28%，准确度提升了2.49%。因此，本文提出的APC-UNet模型可以为皮损皮肤镜图像的病变区域分割问题提供一种较好方法，且其分割性能具有一定优势。参考文献：1 KOMATSUBARA K M,JETER J,CARVAJAL R D,et al.Advances in the treatment of advanced extracutaneous melanomas and nonmelanoma skin cancersJ.American Society of Clinical Oncology Educational Book,2017,37:641-650.2 齐永锋,侯璐璐,段友放.基于DenseNet-BC网络的皮肤镜下皮肤损伤分割J.计算机工程与科学,2020,42(6):1060-1067.3 王雪.基于U-Net多尺度和多维度特征融合的皮肤病变分割方法J.吉林大学学报(理学版),2021,59(1):123-127.4 蒋新辉,李喆.基于U型结构上下文编码解码网络的皮肤病变分割研究J.激光与光电子学进展,2021,58(12):122-129.5 RONNEBERGER O,FISCHER P,BROX T.U-net:convolutional networks for biomedical image segmentationC/International Conference 572023年10月四川轻化工大学学报（自然科学版）on Medical Image Computing and Computer-assisted Intervention,Munich,Germany,October 5-9,2015:234-241.6 CHEN L C,ZHU Y,PAPANDREOU G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentationC/Proceedings of the European Conference on Computer Vision(ECCV),Munich,Germany,September 8-14,2018:801-818.7 GOYAL A,BOCHKOVSKIY A,DENG J,et al.Non-deep networksJ.Advances in Neural Information Processing Systems,2022,35:6789-6801.8 HOU Q,ZHOU D,FENG J.Coordinate attention for efficient mobile network designC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,Online,June 19-25,2021:13713-13722.9 HE K,ZHANG X,REN S,et al.Deep residual learning for image recognitionC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,USA,June 26-July 1,2016:770-778.10 RAHMAN M A,WANG Y.Optimizing intersection-over-union in deep neural networks for image segmentationC/International Symposium on Visual Computing,Las Vegas,USA,December 12-14,2016:234-244.11 YU J,BLASCHKO M.Learning submodular losses with the Lovsz hingeC/International Conference on Machine Learning,Lille,France,July 6-11,2015:1623-1631.12 YU J,BLASCHKO M B.The lovsz hinge:a novel convex surrogate for submodular lossesJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,42(3):735-748.13 BERMAN M,TRIKI A R,BLASCHKO M B.The lovsz-softmax loss:a tractable surrogate for the optimization of the intersection-over-union measure in neural networksC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Salt Lake City,USA,June 18-22,2018:4413-4421.14 ALJANABI M,ABDULLAH A S,MOHAMMED J K,et al.Assessment of skin lesions segmentation on database ISIC 2018 by bee colony linkJ.IOP Conference Series:Materials Science and Engineering,2021,1076:012051.15 TSCHANDL P,ROSENDAHL C,KITTLER H.The HAM10000 dataset,a large collection of multi-source dermatoscopic images of common pigmented skin lesionsJ.Scientific Data,2018,5(1):1-9.16 REHMAN A,BUTT M A,ZAMAN M.Attention Res-UNet:attention residual UNet with focal tversky loss for skin lesion segmentationJ.International Journal of Decision Support System Technology,2023,15(1):1-17.17 BADRINARAYANAN V,KENDALL A,CIPOLLA R.Segnet:a deep convolutional encoder-decoder architecture for image segmentationJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495.18 QUAN T M,HILDEBRAND D G C,JEONG W K.Fusionnet:a deep fully residual convolutional neural network for image segmentation in connectomicsJ.Frontiers in Computer Science,2021,3:613981.19 ZHAO H,SHI J,QI X,et al.Pyramid scene parsing networkC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Hawaii,USA,July 21-26,2017:2881-2890.引用格式：中 文:张博源,黄成泉,王琴,等.基于APC-UNet模型的皮肤病变区域分割研究J.四川轻化工大学学报(自然科学版),2023,36(5):51-59.英 文:ZHANG B Y,HUANG C Q,WANG Q,et al.Research on skin lesion region segmentation based on APC-UNet modelJ.Journal of 58第36卷第5期张博源，等：基于APC-UNet模型的皮肤病变区域分割研究Sichuan University of Science&Engineering(Natural Science Edition),2023,36(5):51-59.Research on Skin Lesion Region Segmentation Based on APC-UNet ModelZHANG Boyuana,HUANG Chengquanb,WANG Qina,WAN Linjianga,ZHOU Lihuaa(a.School of Data Science and Information Engineering,b.Engineering Training Center,Guizhou Minzu University,Guiyang 550025,China)Abstract:Aiming at the problem of inaccurate segmentation of skin lesion dermatoscope images,a skin lesion region segmentation algorithm based on Atrous-spatial-pyramid-pooling Parallel Coordination pattern U-Net(APC-UNet)model has been proposed in the present study.The Atmosphere Spatial Pyramid Pooling(ASPP)modules and ParNet modules are integrated into the encoder of the U-Net model in the algorithm to improve the feature extraction capability of the model.And the Coordinate Attention(CA)modules are embeded with attention mechanism in the decoder to enhance the positioning capability of the model.In addition,the Lovsz-hinge loss function is introduced to solve the problem of class imbalance of skin lesion dermatoscope images.The improvement rationality of the proposed model through the ablation experiment is verified.The comparison experiment results show that the APC-UNet model is better than the five comparison models on the whole,and compared with the benchmark model of U-Net,the Dice coefficient,IoU,precision,recall and accuracy are improved by 6.14%,8.11%,6.79%,2.28%and 2.49%,respectively,and all performance indicators are improved,which is an effective and feasible skin lesion region segmentation algorithm.Key words:computer-aided diagnosis;skin lesion region segmentation;deep learning;U-Net model;attention mechanism59