LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用.pdf

Chinese Journal of Biomedical Engineering2023年8 月August2023中医国生程报物No.4Vol.:42学学42卷4期LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用夏景明1#谈玲2*梁颖？（南京信息工程大学人工智能学院，南京210044)2（南京信息工程大学数字取证教育部工程研究中心，南京210044)摘要：UNet网络中编解码器对应的特征图之间存在语义鸿沟，其双卷积层无法学习多尺度信息，造成部分特征信息丢失，影响MRI图像分割效果。针对这一缺陷，本研究提出一种新的图像分割网络局部残差融合多尺度双分支网络LMD-UNet。在编码流程，网络采用局部特征残差融合密集块和多尺度卷积模块，扩大影像感受野并优化底层视觉特征的传播；在解码流程，网络采用双分支卷积的方式生成新的高级语义特征，以此来重建编码路径中损失的信息。利用公开脑肿瘤数据集BraTs的335例病例做分割实验，并将分割结果与现阶段主流分割网络UNet进行对比。结果显示，LMD-UNet模型的Precision、D i c e、9 5%H D、Re c a l l 等4项客观评价指标分别达到0.9 33、0.9 2 1、0.702和0.9 6 6，相较于UNet,对应指标分别提升了6.3%、5.7%、1.8%和6.1%。研究表明，LMD-UNet能够实现更精细的脑肿瘤图像分割。此外，所提出的方法对于细节部分边缘轮廓的分割也有较好的效果，能够为脑肿瘤诊断和手术提供保障。关键词：肿瘤图像分割；多尺度卷积；密集块；双分支卷积中图分类号：R318文献标志码：A文章编号：0 2 58-8 0 2 12 0 2 3)0 4-0 431-11Application of LMD-UNET Network in Multi-Modal MRI ImagesSegmentation of Brain TumorsXia JingmingTan Ling?*1#Liang Ying(School of Artificial Intelligence,Nanjing University of Information Science&Technology,Nanjing 210044,China)2(Engineering Research Center of Digital Forensics Ministry of Education,Nanjing University of Information Science&Technology,Nanjing210044,China)Abstract:There is a semantic gap among the feature maps corresponding to the codec in the UNet network,andits dual roll integration layer cannot learn multi-scale information,resulting in the loss of some featureinformation,which affects the MRI image segmentation effect.To solve this problem,this paper proposed a newimage segmentation network local residual fusion multi-scale dual branch network LMD-UNet.In the codingprocess,the network used local feature residuals to fuse dense blocks and multi-scale convolution modules toexpand the receptive field of images and optimize the propagation of underlying visual features;and in thedecoding process,the network used double branch convolution to generate new high-level semantic features toreconstruct the information lost in the coding path.For segmentation experiments,335 cases of the public braintumor dataset BraTs were used,and the segmentation results were compared with U-Net that is currently amainstream segmentation network.Experimental results showed that the four objective evaluation indexes ofLMD-UNet model,precision,dice,95%HD and recall reached 0.933,0.921,0.702 and 0.966 respectively.Compared to U-Net,the corresponding indicators increased by 6.3%,5.7%,1.8%,and 6.1%,respectively,which indicated that LMD-UNet achieved more precise segmentation of brain tumor images.Meanwhile,thedoi:10.3969/j.issn.0258-8021.2023.04.006收稿日期：2 0 2 2-0 6-0 6，录用日期：2 0 2 3-0 4-18基金项目：国家重点研发计划科技创新2 0 30 一“新一代人工智能 重大项目（2 0 2 1ZD0112200）；江苏省产学研基金（BY2022459）#中国生物医学工程学会会员（Member，Ch i n e s e So c i e t y o f Bi o me d i c a l En g i n e e r i n g）*通信作者（Corresponding author）,E-ma i l：c i l l a t a n o n u i s t.e d u.c n432中42卷生国医程报学学物proposed method also showed a good performance in the edge contour segmentation for the detail part,whichprospectively provided guarantee for the diagnosis of brain tumor and the surgery.Key words:image segmentation;multi-scale convolution;dense block;dual branch convolution引言在临床上，对磁共振成像（magneticresonanceimaging,MRI)脑肿瘤影像进行准确分割能够为医生提供肿瘤的几何参数和病理信息，从而帮助分析脑肿瘤的生长形态和变化趋势。同时，影像分割在病理研究、手术方案确定以及肿瘤结构的三维重建等方面也有重大意义 。MRI脑肿瘤影像包含3个肿瘤重要区域信息，分别为完整肿瘤（whole tumor，WT）、核心肿瘤（core tumor,TC）和肿瘤增强（tumorenhancement，ET）等3个区域。WT区域为完整肿瘤区域,在临床手术前可以指示出完整水肿范围，帮助临床医生精准定位肿瘤位置，确保肿瘤的精准切除。TC区域为肿瘤核心区，是典型需要切除的序曲,表征为胶质细胞演化而来的恶性肿瘤。ET区域为过度活跃的肿瘤部分，由坏死细胞构成，不利于后期治疗和穿刺检查。根据输人及输出方式不同，基于深度学习的脑肿瘤分割方法可以分为块分割和端到端分割，后者主要通过编码器（Encoder）-解码器（Decoder）的结构实现。模型以完整图像或图像块作输人，利用卷积层提取特征，并在解码模块中利用卷积层恢复图像尺寸，最终得到待分割图像每个像素点的类型概率。该方法的主流模型有两种，分别为基于全卷积网络（fully convolutional networks,FCN）2 和基于UNet网络 3。FCN模型以卷积过程代替全连接，并利用反卷积扩展特征图尺寸。但FCN的Decoder只包含一个反卷积过程，结构相对简单，分割后的各项客观指标不能令人满意。而UNet的连接采用矩阵拼接形式，可以增强模型的抗干扰和识别相似图像的能力，减少过拟合的几率并降低分割的运算量。近年来，利用改进的UNet实现MRI图像分割逐渐成为研究热点。Hao等 4 在UNet网络基础上的提出一种全卷积网络（FCN-UNet）解决脑肿瘤分割问题。FCN-UNet采用了一种全局的数据增强策略对数据实施预处理，在BraTs2015数据集上的实验表明，对于WT、T C和ET这3类肿瘤，分割指标Dice值分别为0.85,0.84和0.6 4。通常情况下，拓展网络的宽度和深度可以优化学习性能，但随之模型也会出现退化和梯度消失问题。He等 5 引人恒等映射方式解决了该问题。Kermi等 6 在UNet中融入残差模块，并将网络模型在Brats2018数据集上开展实验，对于WT、T C和ET这3类肿瘤，分割指标Dice值分别为0.867,0.815和0.7 9 3。然而，因为ResNet网络的参数量大，造成了计算复杂度大幅增加。Huang等 7 从特征维度考虑，不采用加深网络层数和加宽网络结构的方法来改善网络效果，而是重复利用支路的设置和相关特征，模型在改善梯度消失问题的同时,参数量也大幅降低。Jegou等 8 提出一种基于语义分割的全卷积网络（FC-DenseNet），FC-DenseNet中链接融合了DenseNet中的密集块与残差网络的恒等映射，在各类医学图像分割应用中均取得了优异的表现。Zhang等 9 提出了一种语义分割网络（DR-UNet）,D R-U Ne t 模型综合了UNet网络和残差网络的优点，在特定影像区域提取的实验中，该方法的主客观评价指标优于文献中所有对比算法。杨振等 10 提出一种名为级联DenseUNet的肝脏肿瘤分割网络，将DenseNet融于UNet网络结构，从像素级和区域级特征出发，建立分类肿瘤的灰度模型和概率模型，但对于低对比度的肿瘤分割效果较差。韩阳等 1 提出了一种基于三重注意力的脑肿瘤图像分割网络。通过引人三重注意力模块，并在编码层中使用深度残差模块，充分融合图像局部与全局特征信息。但是浅层特征信息噪声大，图像边缘信息带有很多的余信息。沈志强等 12 提出一种基于同构化改进的UNet分割方法。在UNet编解码器和跳层路径中引人同构单元IU构成的同构网络，以缓解UNet的编解码特征之间的语义鸿沟。但是该方法没有训练优化语义差异。邓仕俊等 13 提出基于多尺度特征感知的器官分割网络。通过建立输入感知模块，改变了跳跃连接中的直连方式。但该方法对体积极小且形状极不规则的病灶分割上边缘信息丢失严重。杨斌斌等 14 提出一种基于DenseMedic的脑皮层结构的语义分割。使用OreoDown方法较早加人大步长的卷积并夹心式地恢复层深，引入平行的混合空洞卷积层进一步扩大感受野，以实现对大范围全局信息的精准局部感知。但是特征层尺寸的快速变化会使中间尺寸信息损失，分割精度有所下降。综上，UNet网络结433夏景明，LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用4期构中的编解码器对应的特征图之间存在语义鸿沟，容易出现局部最优的情况。UNet的双卷积层无法学习多尺度信息，造成了部分特征信息丢失，影响分割结果。针对上述问题并综合分析FCN、Re s Ne t、DenseNet和UNet模型的特点，本研究提出一种基于UNet模型的图像分割网络局部残差融合多尺度双分支网络LMD-UNet（l o c a l f e a t u r e r e s i d u a l f u s i o ndense block-multi-scale convolution block-dual branchconvolutional-UNet)。1材料和方法1.1方法1.1.1LMD-UNet网络LMD-UNet的结构如图1所示。模型整体框架上类似于UNet，在编码环节引人一种多尺度卷积模块（multi-scale convolutionblock，M SC模块）和一种局部特征残差融合密集块（localfeatureresidualfusiondenseblock，LFR密集块）来代替UNet网络各层中两个相同的33卷积层。MSC模块采用空洞卷积与普通卷积并联的方式同时引人两类映射，可同步提升模型感受野和特征提取能力。文献 15 提出低级视觉信息在脑肿瘤图像分割中有关键意义，因此在编码阶段尽可能多地保留并传递该类信息至关重要。考虑将局部特征残差与密集层融合得到LFR密集块，并将ResNet网络的恒等映射应用到该密集块和相应编码流程中。采用过渡层进行下采样，同时使用含有LFR密集块、上池化与双分支卷积的反卷积结构来实现解码过程。LMD-UNet要求相同密集块中的特征图具有同样的尺寸，因此，过渡层仅部署在不同密集块之间以实施下采样。为了降低模型参数，减少计算复杂度，过渡层中添加11的卷积操作，具体结构BN（b a t c hnormalization)+Conv(11)+22Max-pooling。网络中下采样模块各密集块的层数设置依据是FC-DenseNet网络中前4个密集块的数量。在解码过程中把输出特征与编码过程中相同维度的低级视觉特征连接，然后融合这些的特征生成新的高级语义特征，以此来获得编码路径中经过渡层后损失的信息。1.1.2多尺度卷积模块（MSC模块）文献16 指出空洞卷积在扩大分割模型感受野的同时，也利于自动检测到MRI图像的分割目标。此外，分辨率的提升也有益于精确定位分割目标。这在分割实现中具有重大意义。InputOutputMSCMSCLFRLFRMSCLFRUn-MSCpoolLFRMSCTDLFRUn-poolMSCMSC多尺度卷积模块LFRLFRLFR局部特征残差融合密集块MSCTDUn-TD过渡层poolUn-MSC上池化poolMSC双分支卷积拼接LFRConv 1x1LFRUn-TDCConcatenationpool图1LMD-UNet网络结构Fig.1LMD-UNet structure434中生国医42卷物报学程学空洞卷积具有和传统卷积相当的计算量，只变更了数据的采样密度。引入该模块不需要大幅变更模型的其他结构，也不增加模型参数。但是，通过空洞卷积得到的某一层的输出,其邻近像素是由彼此独立的子集卷积获得，相互之间依赖较少，容易导致局部信息丢失。LMD-UNet网络中的多尺度卷积模块（MSC模块）并联了普通卷积模块和空洞卷积模块，并联的方式可以解决卷积结果相关性匮乏的问题。LMD-UNet网络的MSC模块结构如图2所示。1.1.3局部特征残差融合密集块（LFR密集块）密集块中的各层都可以从原始输人和损失函数中获取梯度，以此来进一步改善层间信息交互，更有利于梯度和特征传递。因此，密集网络兼具网络窄和参数量小两个优点。LMD-UNet网络的密集块通过融合局部特征残差和密集连接层实现，称之为局部特征残差融合密集块（LFR密集块）。该密集块的输出结果直接访问次密集块中的各层，因此获得了一个连续存储模式。通过将恒等映射连接应用在密集块中，并将前一层的输出连接到当前，学习过程中底层视觉特征输入33空洞卷33普通卷积层积层矩阵拼接ReLul输出图2MSC模块及并联方式Fig.2MsCmoduleandparallelmodeInputFd-1ConvFd.1ReluConvFd.2ReluConvFd.3ReluConvFd.cReluFdOutput图3LFR密集块结构Fig.3LFRdenseblock structure可以更有效地传递，过程如图3所示。Fa-1和F。分别是LFR密集块的输人和输出，各自包括G。个特征图。第d个LFR密集块中第d个卷积层输出如式（1）：Fd.=oWa.(Fd-1,Fa.1,I,Fd.-1)(1)d.2式中，为ReLU激活函数。Wd.。为第c个卷积层的权值,为简便起见，此处省略偏置项。假设Fa.。由G个特征图构成，式（1）中的（Fa-1,Fa.1,Fa.2，Fd.c-1）的意义为第d-1个LFR密集块输出特征图与第d个LFR密集块中各卷积层（1,2,c1）输出特征图的拼接，并最终输出G。+（c-1）G 个特征图。前一个LFR密集块和各层输出都与后续各层直接连接，此连接方式不仅能够提取到局部密集特征还保留了前馈特性。在LFR密集块d中,用Concatenation的连接方式将每层的特征映射引人到其他层，称为多层特征融合，如式（2）：Fa.=Ca(Fa.1,Fd.2(2)式中，Ca表示第d个LFR密集块的连接函数。具体来说，该处理过程是将由先前LFR密集块提取得到435夏景明，等车：LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用4期的局部低级信息融合到当前LFR密集块的多层特征中，终输出为Fad.=C(Fa-1,Fd.)(3)式（3）中的C与ResNet网络的恒等映射连接的意义等价。1.1.4解码网络LMD-UNet网络在解码过程中使用由LFR密集块、上池化与双分支卷积组成的结构来实现经卷积和池化后的特征图尺寸放大。解码网络采用LFR模块和MSC模块的双分支结构，联合不同类型的卷积核并跨层链接不同尺度层级之间的病灶特征。解码过程中，利用上采样把输出特征与编码过程中相同维度的低级视觉特征连接，然后融合这些特征生成新的高级语义特征，以此来获得编码路径中经过渡层后损失的信息。在多尺度联合分支的解码器结构中,LFR模块中卷积联合设置为31与13，目的是兼顾全局特征与图像细节。1.1.5损失函数损失函数采用二值交叉熵损失函数，也是目前图像分割网络中最为常用的目标函数，表示为1NLbinarycross-entropyN(1-y:)log2(1-p(y:)(4)式中，N表示样本数量，y表示第i个样本的预测标签，p（y）表示输出属于y,标签的概率。1.2数据集与实验方案1.2.1数据集MRI图像能够清晰的分辨软组织，并可以对特定组织作多个切面 17 ，在临床上该类图像已经成为最常用的脑肿瘤诊断医学影像。但在捕获成像时，电磁波相关物理参数的异化会造成空间分辨率、光度表示、比特深度等信息的差别。因此，单模态MRI对肿瘤病灶相应部分的形态结构和代谢情况的描述是不够完整、准确和详细的，难以满足临床诊断的要求。多模态MRI图像能够提供更多肿瘤病灶信息。LMD-UNet的特色之一是可以并利用多模态MRI图像来作为输入，为临床获取更多诊断信息数据集采用BraTs2018（h t t p s:/w w w.m e d.upenn.edu/sbia/brats2018/data.html）和 BraTs2019(https:/www.med.upenn.edu/cbica/brats2019/data.html）。每个病例包括4个模态，分别为液体衰减反转恢复序列Flair、对比增强T1ce、T 1加权成像、T2加权成像18 。多模态图像信息能够充分互补，进一步提高分割的准确性。因此,实验中将病例的4种模态切片作为分割网络的输入向量。选取BraTs2018作为训练集，BraTs2018共含有2 8 5个病例，包括2 10 例高级别胶质瘤（highgradeglioma，HGG）和7 5例低级别胶质瘤LGG(lowgradeglioma，LGG）。Br a T s 2 0 19 在BraTs2018的基础上增加了49例HGG和1例LGG。为避免数据集较少而出现的过拟合，把BraTs2019中相对于BraTs2018新增部分作为验证集。MRI图像为NIFTI格式的立体像素，训练集和验证集之中各病例各模态图像维度均为155240240。LMD-UNet网络是二维网络，学习前需要对三维图像进行预处理。实验中，二维图像通过使用二分位分割方法将病例影像从横断位截面切片获得。数据集中病例的4个序列是不同模态，对比度差异较大，采用z-score方式对每个模态图像实施标准化处理19 ,其中GroundTruth文件不实施标准化。为减小类别不均衡的影响，在实验中舍弃部分影像中不含病灶的切片。为提升模型的性能，实验中将原始二维图像的宽和高从2 40 mm裁剪至16 0 mm，但不改变图像分布的线性特征和对应关系。经预处理后，图像被划分至4个通道，17 9 15片切片为训练集，7 7 6 0 片切片为验证集。1.2.2评价指标为全面评估LMD-UNet网络的脑肿瘤分割效果，除采用常规的精确度Precision和召回率Recall作为指标外，还使用相似系数Dice（D i c e s i m i l a r i t ycoefficient）2 0 、豪斯多夫距离（Hausdorff distance，95%HD）、交并比IoU（i n t e r s e c t i o n o v e r u n i o n）2 1 作为评价指标，并且将分割结果与实际标签数据作对比，从主观视觉角度来分析分割效果。Dice系数通常用于表征分割结果与实际参数之间的相似性，取值范围在0 1之间，分割结果最优时Dice=1,最差时Dice=0,其定义如式（5）：IAnBI2TPDiceA,B)=2(1 A I+I B I)FP+2FP+FN(5)式中,A,B分别为专家数据值和网络模型预测值。95%HD对轮廓信息非常敏感，可用该参数度量预测值Y与实际值X的最大不匹配程度，9 5%HD越趋近于0 表示实际值与预测值越相似。选择9 5%作为最大距离分位数能够尽量降低因少数离群点造成的不稳定和不合理现象，定义为436中生医国42卷程学物报学95%HD(X,Y)=max/maximinJl x-y ll/,xeXYEmaximin lly-xll/95%(6)式中,X,Y是预测集合和实际值集合，是两个集合的距离范式。IoU是检测准确度的指标,取值范围为0 1,IoU=1时表示预测值与实际结果相同,定义为TPIoU(7)FP+TP+FN1.2.3参数设置使用Pytorch搭建LMD-UNet网络，采用Adam优化器优化模型，训练批次大小为2 0，训练轮次为400，初始学习率为0.0 0 0 2，权重衰减系数为0.0002。密集块中的k是增长率，其意义是每个密集块中各层输出的特征图数量。为验证k值的作用，对k设置了不同值,并进行了相应Dice值比较。由于Dice相对于其他这3个评价指标更常用,所以确定参数k仅以Dice在WT、T C、ET 这3个分割区域上的均值作为参考。当k取不同值时，分割结果如表1所示。当k=16时，分割效果最好，说明较小的k可以有更好的分割效果，同时可以避免网络变宽。表1k值对Dice系数的影响Tab.1Influence ofk value onDicecoefficientDice系数值160.859320.798480.792注粗体表示最优结果。NoteThe best result is shown in bold.1.2.4模型性能验证方案为了验证所提出方法的有效性，展开消融实验，以UNet网络为基础，依次添加LFR密集块、MSC模块并采用双分支卷积作解码方式，验证LMD-UNet中各项改进对网络性能的影响。为了进一步测试LMD-UNet网络的分割性能，将部分性能较先进的分割网络如UNet、文献 2 2(DenseUnet)方法、文献 9 （DeepResUnet）、FCN8 s、与LMD-UNet网络在相同数据集上进行对比实验，从定量评价指标和分割结果两方面衡量模型性能。2结果2.1消融实验消融实验的定量分析结果如表2。从中可以看出,LMD-UNet中改进的模块对分割结果的准确性和相似性都有改善。2.2对比实验本研究的目标是分割出完整肿瘤、核心肿瘤和肿瘤增强坏死（WT,TC和ET)这3个区域。实验结果如图4、图5和图6 所示。WT为绿色区域，在临床手术前，MRI图像可以指示出完整水肿范围和体积,帮助临床医生获得肿瘤的高精度定位，便于在术中对神经做好保护，并确保肿瘤的精确切除；TC为黄色区域，其表征胶质细胞演化而来的恶性肿瘤;ET为红色区域，由坏死细胞构成,该区域出现不利于后期治疗和穿刺检查。由于大多数肿瘤具有周界不清、浸润性生长的病理特征,故在实验时从T1ce、Fl a i r、T 1、和T2这4个模态中选取对比度最强的Flair作为原始对比对象，选择了3个不同特点的病例做视觉效果对比。其中,病例1明暗对比度弱,精分割难度大；病例2存在扩散和转移,能够体现多区域分割效果；病例3边缘复杂，分岔多，能够体现出细节的分割效果。图7 和图8 显示了LMD-UNet网络与对比算法DeepResUnet、U Ne t 、FCN8 s、FCN16 s、FCN32 s 和DenseUnet的IoU曲线和损失函数曲线对比。可以看出，LMD-UNet网络的IoU值显著高于对比算法，且损失函数值最低。为了更好的证明分割效果，利用Precision、表2消融实验的定量分析结果Tab.2Quantitative analysis results of ablation experiments网络模型DicePrecisionRecall95%HDUNet0.8120.8250.9261.159UNet+LFR0.8260.8480.9261.144UNet+MSC+LFR0.8370.8660.9421.132LMD-UNet0.8590.8770.9431.088(UNet+LFR+MSC+Dual-Branch Convolutional)注粗体表示最优结果。NoteThe best result is shown in bold.437夏景明，等等：LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用4期(a)(b)(c)d)(e)(f)(g)图4病例1分割结果。（a）原始图像；(b）手工标签；(c)FCN8s算法；（d)UNet算法；（e)DenseNet算法；（f)DeepResUnet算法;(g)LMD-UNet算法Fig.4 Segmentation result of case 1.(a)The original image;(b)Artificial labeling;(c)FCN8s;(d)UNet;(e)DenseNet;(f)DeepResUnet;(g)LMD-UNet(a)(b)(c)(d)(e)()(g)图5病例2 分割结果。（a）原始图像；(b）手工标签；(c)FCN8s算法；（d)UNet算法；（e)DenseNet算法；（f)DeepResUnet算法;(g)LMD-UNet算法Fig.5 Segmentation result of case 2.(a)The original image;(b)Artificial labeling;(c)FCN8s;(d)UNet;(e)DenseNet;(f)DeepResUnet;(g)LMD-UnetDice、9 5%H D、Re c a ll等4项评价指标针对WT、T C和ET的分割结果作定量分析，对比结果如表3-6 所示，最优数据已加粗。从数据可以看出，LMD-UNet在4项评价指标上最优结果分别可达到0.9 33、0.921,0.702和0.9 6 6。3讨论从实验结果可以看出，UNet作为LMD-UNet网络的基本框架,其肿瘤分割效果客观指标Precision=0.825,Dice=0.812,95%HD=1.158,Recall=0.925。将UNet编码流程中每层上的相同的两个33卷积改为LFR密集块后，各项指标都有小幅提升，其中Precision比UNet网络提升了2.5%，最为明显，这说明LFR密集块能够有效传递和保存低级视觉信息，并能够利用局部特征融合减小训练中的信息丢失。在编码流程中添加MSC模块后，Recall438中42卷生医国报程学学物(a)(b)(c)(d)(e)(f)(g)图6 病例3分割结果。（a）原始图像；（b）手工标签；(c)FCN8s算法；（d)UNet算法；（e)DenseNet算法；(f)DeepResUnet算法;(g)LMD-UNet算法Fig.6 Segmentation result of case 3.(a)The original image;(b)Artificial labeling;(c)FCN8s;(d)UNet;(e)DenseNet;(f)DeepResUnet;(g)LMD-UNet0.900.850.8020.750.70UnetFCN8S0.65FCN16SFCN32SQurs0.60DeepResUnetDenseUnet050100 150200250 300350400epoch图7IoU曲线对比Fig.7Comparison of IoUcurvesUhet0.40FCN8SFCN16SFCN32S0.35oursDeepResUnetDenseUnet0.300.250.200.150.10E050100150200250300350 400epoch图8损失函数曲线对比Fig.8Comparisonof Loss curves和Precision在第一步的基础上分别提升了1.4%和1.8%，这说明并联了空洞卷积和普通卷积的MSC模块能够使LMD-UNet网络在获得更多特征和细节的同时扩大感受野。从表2 中的数据可以发现，在使用双分支卷积结构作为解码网络后，9 5%HD和Dice的值明显提升，相比上一步实验分别减小了3.8%和增加了2.6%，这说明将上池化和双分支卷积结合能够有效地抓取细节和全局特征，并能够将提取的特征较完整地恢复到原先像素。最终，LMD-UNet的Precision值为0.8 7 7，Dice值为0.8 59,Recall值为0.9 43,9 5%HD值为1.0 8 8，4项指标分别比UNet网络改善了6.3%、5.7%、1.8%和6.1%，充分体现了LMD-UNet网络的有效性。从3个典型病例的实验结果看,FCN8s的分割结果相对最粗糙,FCN方法较简单，对提取到的特征信息没有二次处理，使得分割结果显粗糙。由图4(c）和图5（c）可发现边缘轮廓线明显不清晰，且图4(c)将部分ET区域错误分割到WT区域，总体效果一般，未达到精细分割。UNet增加的跳跃连接使网络在上采样过程中融合了下采样过程中的特征图，将来自解码器的深层高级特征与来自编码器的浅层低级特相结合。所以UNet的分割效果优于FCN8s，边缘也更为明显，但在丢失了部分细节信息，导致其对TC、ET 区域的识别度不高。DenseUnet将密集连接引人到UNet中，通过特征在通道上的密集连接来实现特征重用，反复结合上层特征，补充损失的特征信息。利用密集块填补了UNet的细节信息，分割效果得到大幅度改善，但是仙件衣小取儿名木。439夏景明，等：LM D-U Ne t 网络在脑肿瘤多模态MRI图像分割中的应用4期表3不同对比算法Precision值Tab.3Precisionof different algorithms网络PrecisionFCN8sFCN16sFCN32sUNetDenseUnetDeepResUnetLMD-UNetWT0.5650.5340.4150.7830.8050.8120.864TC0.9080.9040.8970.9360.9350.9260.933ET0.5320.4880.3490.7550.7790.7840.835Average0.6680.6420.5540.8250.840.8410.877注粗体表示最优结果。NoteThebestresult is shown in bold.表4不同对比算法Dice系数值Tab.4Dice of different algorithms网络DiceFCN8sFCN16sFCN32sUNetDenseUnetDeepResUnetLMD-UNetWT0.5660.5380.4180.7720.790.7980.841TC0.8970.8960.8740.9190.9220.920.921ET0.5340.4920.3490.7440.7670.7670.815Average0.6670.6420.5470.8120.8260.8280.859注粗休丰是优结里NoteThebestresult is showninbold.表5不同对比算法9 5%HD值Tab.595%HD of different algorithms网络95%HDFCN8sFCN16sFCN32sUNetDenseUnetDeepResUnetLMD-UNetWT1.9512.2132.6081.3581.4261.3331.252TC0.7840.8280.9130.7060.6860.7430.702ET2.0052.2722.7321.411.4771.4041.311Average1.581.7712.0841.1581.1961.161.088注粗体表示最优结果。NoteThe best result is shown in bold.表6不同对比算法Recall值Tab.6Recall of different comparison algorithms网络RecallFCN8sFCN16sFCN32sUNetDenseUnetDeepResUnetLMD-UNetWT0.9410.9140.9130.9250.9270.9420.944TC0.9280.9250.9210.9440.9640.9660.966ET0.9010.8830.8490.9070.9140.9160.918Average0.9230.9070.8940.9250.9350.9410.943注粗体表示最优结果。NoteThe best result is shown in bold.观察图4（e）发现WT边缘区域的出现空洞，且在图6(e)中发现其在边缘枝权区域出现轮廓断裂和不连贯。说明该方法对于边缘复杂分叉多的特殊病例的分割效果有待提升。DeepResUnet用残差单元代替普通神经单元作为基本单元，由于残差单元可以简化深层网络训练，所以该网络加深了网络深度来提取更深层次的特征，在残差模块还融合了多维度特征，虽然总体效果较好，但网络层数深易产生过拟合，且其泛化能力不强，从图5（f）和图6（f)中可以看出，WT区域分布着众多零散点，分割结果无法连成一个连续区域。分析对比实验的结果，我们发现文献 2 提出的FCN系列网络从抽象的特征中恢复出每个像素所属的类别，完成了像素级分类，但其对各个像素之间分类，没有充分考虑像素之间的关系，得到的分割结果不够精细。文献 9 提出的DeepRes-UNet中44042卷生医报学程国学物网络模型综合了UNet网络和残差网络的优点，残差单元简化了深层网络的训练，有助于特征信息传播且不会退化，然而简化训练会带来泛化能力的下降，出现零散点散落。文献 2 2 提出DenseUnet的脑肿瘤分割网络将密集块结构融人了UNet模型，编码路径使用连接密集块跳跃连接到解码路径，使低级空间特征得以保留，可以进行更好地上下文探索，但其占用显存大且对边缘部分分割效果