子宫肌瘤MRI图像分割方法研究进展_孙成女.pdf

166计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering1 引言子宫肌瘤是由子宫平滑肌细胞增生而成，是一种常见于女性生殖系统中的良性肿瘤1。据统计，我国育龄女性子宫肌瘤患病率已高达 25%2。临床上常用的子宫肌瘤检查方法包括超声检查、宫腔镜检查和磁共振成像(MRI)检查。其中MRI 由于其成像质量高、优越的软组织对比度，被认为是检测和定位子宫肌瘤最准确的成像技术3。子宫肌瘤的传统治疗方法（如子宫切除术和子宫肌瘤切除术）具有手术时间长、可能引起术后并发症等缺点，微创治疗越来越受到人们的关注4。高强度聚焦超声（HIFU）是一种新兴的无创治疗子宫肌瘤的热消融技术，该手术在实时超声(称为超声引导聚焦超声手术（USgFUS）)或磁共振成像(称为磁共振成像引导聚焦超声手术（MRgFUS）)引导下，依靠超声的机械能和热能消融目标组织5。在 HIFU 治疗前，需要分割子宫及子宫肌瘤为手术规划提供辅助。在 HIFU 治疗后，需要分割消融后的子宫肌瘤以测量非灌注体积来获得关于疗效的第一定量反馈。因此，子宫及子宫肌瘤的自动分割对于 HIFU 手术计划和疗效评估是至关重要的。图 1 显示了 HIFU 治疗前后的子宫肌瘤 MR 图像。目前，子宫及子宫肌瘤分割工作通常依赖于放射科医生进行手动分割，这个过程不仅繁琐耗时且具有主观性，依赖于医生的专业知识和经验水平。因此，为了帮助医生提高子宫肌瘤 MRI 图像分割的准确性和效率，开发一种快速且准确的子宫肌瘤自动分割方法在临床应用中具有重要的价值。目前在医学图像分割领域常用的分割方法可分为两大类：传统分割方法和深度学习分割方法，具体如图 2 所示。传统的医学图像分割方法主要包括：阈值法、水平集法、边缘检测法、模糊 C 均值法及区域生长法。这些方法大多依赖于手工设计的特征实现分割任务，同时自我学习能力较弱，对噪声、灰度不均匀等干扰敏感6。近年来，得益于不断提高的计算机性能和持续增长的可用数据量，深度学习技术得到飞速发展,主要包括卷积神经网络（CNN）、自编码神经网络(AENN)和深度置信网络（DBN）。特别是 CNN，因其具有自学习和泛化能力被广泛地应用于医学图像分割领域，并在医学图像分析中有明显优于传统方法的潜力7-8。本文接下来的部分首先介绍了基于传统方法的子宫肌瘤 MRI 图像分割，其次阐述了基于深度学习方法的子宫肌瘤 MRI 图像分割，最后对子宫肌瘤分割方法进行了总结并对其未来的发展趋势进子宫肌瘤 MRI 图像分割方法研究进展孙成女1刘志伟1吕发金2*（1.重庆医科大学生物医学工程学院，超声医学工程国家重点实验室 重庆市 400016）（2.重庆医科大学附属第一医院放射科 重庆市 400016）摘要：本文为了提高医生工作效率和分割准确性，寻求一种快速且准确的子宫及子宫肌瘤自动分割方法具有重要的研究意义。本文对近年来子宫及子宫肌瘤 MRI 图像分割方法进行了总结，包括水平集、区域生长等一些传统分割方法以及最新的深度学习分割方法。最后在文末对子宫及子宫肌瘤分割领域未来的发展方向进行展望。关键词：磁共振成像；模糊 C 均值；图像分割；深度学习方法第一行是子宫肌瘤术前 T2W MR 图像。第二行是子宫肌瘤术后 T1W 增强 MR 图像。红色轮廓表示子宫肌瘤。绿色轮廓表示消融后的子宫肌瘤。图 1：HIFU 治疗前后的子宫肌瘤 MR 图像图 2：医学图像分割方法167计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering行展望。2 基于传统方法的子宫肌瘤MRI图像分割2.1 基于水平集的方法水平集算法是一种基于能量泛函的图像分割方法。其基本思想是将二维曲线隐式表达为三维连续函数曲面的零水平集，并利用图像的相关信息为其定义能量泛函。通过三维曲面的演化来达到演化其内部隐含曲线的目的，从而实现目标分割。该算法并不试图跟踪演化后的曲线位置，而是通过不断更新水平集函数，使得零水平集不断变化，实现了二维曲线的演化。只要始终保持水平集函数为一个有效函数，其内部隐含的曲线便可以发生任意拓扑结构的变化，解决了参数法无法实现拓扑结构改变的问题。因此，自该方法提出以来，便成为了国内外学者的研究重点。Yao 等人9提出了一种基于水平集算法的子宫肌瘤半自动分割方法。首先使用快速行进水平集对 MRgFUS 治疗后的子宫肌瘤 MR 图像进行粗略分割。随后利用拉普拉斯水平集从初始分割结果中搜素局部最小值来进行分割细化。在13 名子宫肌瘤患者组成的 MR 图像数据集中，该方法得到Sensitivity 均值为 84.6%，Specificity 均值为 84.3%。Ben-Zadok 等人10提出了一种子宫肌瘤分割的两步走半自动分割方法，首先是基于水平集算法进行子宫肌瘤的初始分割，随后是允许用户进行反馈的交互式手动细化。Khotanlou 等人11同样提出了一种子宫肌瘤的两步走半自动分割方法。第一步使用 Chan-Vese 水平集方法进行粗略的半自动分割子宫肌瘤。第二步使用形状先验模型对分割结果进行细化。所提出方法的分割结果与医生的手动分割进行对比，得到的 DSC 均值为 87.70%。2.2 基于模糊C均值的方法模糊 C 均值(FCM)算法是一种基于划分的聚类算法，它的主要思想是根据特定的目标函数，将大量无标签的数据划分成不同的簇，使得被划分到同一簇的对象之间相似度最大，而不同簇之间的相似度最小。FCM 算法因其算法简单、收敛速度快和可以处理大数据等特点，应用最为广泛且成功。Fallahi 等人12提出一种基于 FCM 算法的新方法用于子宫肌瘤患者 T1W 和 T1W 增强 MR 图像的子宫分割和体积测量。首先在 T1W 增强 MR 图像上使用 FCM 算法对子宫进行初始分割。由于 FCM 初始分割结果可能不是完全连接的，并且可能包含其他区域像素，如解剖学模糊性的结肠。因此，作者随后使用两种形态学操作(填充运算和开运算)来改善初始分割结果。最后，作者使用 MIPAV 软件包将 T1W 图像配准到T1W 增强 MR 图像上，在配准后，将分割结果作为掩码应用到 T1 图像上并使用直方图阈值化来去除冗余部分。他们在 10 名子宫肌瘤患者的 T1W 和 T1W 增强 MR 图像上进行方法评估，得到的 DSC 均值为 80%。后来，Fallahi 等人13在前文的基础上提出了一种多发性子宫肌瘤的两步走自动分割方法。第一步是使用 FCM 算法分割 T1W 增强 MR 图像和配准后 T1W MR 图像中的子宫，并使用一些形态学操作来细化分割结果。在第二步中，通过在配准的 T2W MR 图像上应用新的可能性模糊 C 均值（MPFCM）算法进行子宫分割，并利用基于知识的图像处理方法对子宫肌瘤进行分割。MPFCM 算法使用体素及其邻域的信息、隶属度和典型性进行分裂，不仅解决了 FCM 的隶属度函数不随着类中心的距离而减少问题，而且目标函数充分考虑了空间信息，并在大数据集的情况下也能正常工作。该方法在 5 名患者组成的数据集中取得了 DSC 均值为79.91%。此外，为了提高经 MRgFUS 治疗后的子宫肌瘤区域分割效率和准确性，Militello 等人14提出了一种基于无监督模糊 C 均值聚类和迭代最优值选择算法的子宫肌瘤全自动分割方法。首先应用 FCM 算法分割子宫区域，并应用一些形态学操作移除冗余部分。随后使用自适应阈值方法从已分割的子宫区域中识别出子宫肌瘤。所提出的方法在 15 例不同子宫肌瘤患者的 MR 图像上进行测试，得到的 DSC 均值为 88.67%，HD 均值为 2.988 像素。2.3 基于区域生长的方法区域生长算法是根据预先定义的准则将像素或子区域聚集成更大区域的过程。其基本思想是以一组生长点为起点，该生长点可以是单个像素，也可以是某个小区域，将与该生长点性质相似的相邻像素或区域与之合并，形成新的生长点，重复此过程直到不能生长为止。可以将灰度值、纹理和颜色等图像信息作为生长点和相似区域的相似性判断依据。Militello 等人15提出一种半自动多种子区域生长方法用于 MRgFUS 治疗后的子宫肌瘤区域分割。首先对输入图像应用平均滤波进行去噪。接着利用区域生长算法对子宫肌瘤区域进行分割。最后运用一些后处理操作来消除分割结果中的空洞，并计算消融后子宫肌瘤体积用于 MRgFUS 治疗的初步评估。由于在该方法中用户必须手动选择种子点，Rundo 等人16提出了一种基于直接区域检测模型的新方法用于 MR 图像中的子宫肌瘤分割。此方法分为三个阶段，第一阶段对输入图像进行归一化处理。第二阶段应用区域分割和合并方法进行种子区域自动选择和检测。第三阶段则通过自适应多种子区域生长算法分割子宫肌瘤。所提出的方法可以实现多发肌瘤的自动分割，在 14 例子宫肌瘤患者的矢状位方向 T1W168计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineering增强 MR 图像上得到的分割结果为 DSC 均值为 87.57%。图 3 展示了几种不同的传统方法分割子宫肌瘤 MR 图像示例。虽然上述的这些传统分割方法都取得了较好的分割效果，但是仍然存在一些问题。水平集算法作为一个基于梯度的方法，对大多数图像中常见的噪声和差的图像对比度非常敏感。模糊 C 均值法强烈依赖于初始化数据的好坏并容易陷入局部鞍点。区域生长法需要用户提供初始种子点用来迭代合并具有相似强度的邻域像素。总而言之，传统分割方法大部分利用图像的灰度、颜色、纹理和形状等表层特征对图像进行分割，对于需要大量深层特征的复杂分割任务而言并不适用。同时传统分割方法中的图像特征提取主要依赖于人工设计的特征提取器，并且调参需要具有专业知识和经验。3 基于深度学习的子宫肌瘤MRI图像分割近年来，随着数据量的持续增长和计算机性能(CPU、GPU)的不断提高，基于卷积神经网络的深度学习技术，具有从原始形式数据中自动学习分层特征表示的良好能力，消除了对手动特征的需求，被广泛地应用于医学图像分割领域，并取得了优异的结果7-8。Ronneberger 等人17在 2015 年提出了 U-Net，如图 4(a)所示，它是一个端到端对称的编解码结构，包括一个用于特征提取的收缩路径（编码器）和用于精确定位的扩展路径（解码器），并引入跳跃连接将编码器功能和解码器功能串联在一起以提高网络的分割性能，成为了医学图像分割领域最常用的卷积神经网络架构之一。在深度学习方法应用在子宫及子宫肌瘤 MR 图像分割方面，Kurata 等人18最早利用包含各种子宫疾病的 T2W MR 图像，评估优化的 U-Net，如图 4(b)所示，进行全自动子宫分割的临床可行性。即使用 LeakyReLU 函数代替原始U-Net 网络中 ReLU 函数作为非线性变换的激活函数，以避免 ReLU 函数输入为负数的区域梯度为 0，导致网络学习停止。同时，在网络中加入 dropout 层来改善神经网络的泛化问题。此外，将原始 U-Net 网络中的四次下采样增加到八次下采样，以进一步提高网络的分割性能。研究纳入 122 例女性患者（子宫内膜癌 14 例，宫颈癌 15 例，子宫肌瘤 55 例），结果表明改良的 U-Net 进行全自动子宫分割在临床上是可行的，所提出模型的分割性能不受子宫疾病存在的影响。然而，Kurata 等人18提出的优化的 U-Net 只是对原始U-Net 进行小范围修改，网络学习能力欠佳。因此，Tang等人19提出了另一种改进的 U-Net(Attention ResNet101-UNet，AR-UNet)，如图 4(c)所示，来分割子宫肌瘤 T2W MR 图像。该网络使用深度神经网络 ResNet10120代替原始 U-Net 的编码器部分来加深网络以进一步提取图像的语义信息。并在上采样和下采样特征图拼接之前添加 Attetnion Gate21来加强网络对子宫肌瘤区域特征关注，抑制无关区域特征激活，从而提高网络的分割性能。研究使用了 93 例子宫肌瘤患者的 T2W 矢状位方向 MRI 图像，随机选取 80 例患者作为训练集，13 例患者作为测试集，得到 DSC 均值为90.44%。此外，Zhang 等人22受 U-Net 网络中的编解码器结构启发，提出了一个名为 HIFUNet 的 2D 编解码模型，如图 4(d)所示，进行 MRI 图像中子宫区域的多类别分割（子宫、子宫肌瘤和脊柱）。网络的编码器部分使用预训练的ResNet10120网路进行特征提取，并结合深度多重空洞卷积（DMAC）和全局卷积网络（GCN）来扩大有效感受野以捕获更多的上下文信息并提高计算效率。DMAC 使用五个具有不同膨胀率的 33 大小卷积核对输入图像进行特征提取以获得不同的特征，并将所有的特征与输入图像融合作为最终输出图像。GCN 使用两个一维卷积核的组合代替单个二维卷积核用于跳跃连接层以进一步提高网络的计算效率。该模型在 297 例子宫肌瘤患者的术前矢状位方向 T2W MR 图像上进行训练和测试，其中 260 例作为训练集，37 例作为测试集。测试集分割结果为子宫的 DSC 均值为 82.37%，子宫肌瘤的 DSC 均值为 83.51%，脊柱的 DSC 均值为 85.01%。4 结语本文总结了传统方法和深度学习方法在子宫及子宫肌瘤图 3：用于子宫肌瘤 MR 图像分割的传统分割方法示例169计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software EngineeringMRI 图像分割领域的应用。两种分割方法具有各自的优点和不足：相比于手动分割，传统分割方法提高了医生的工作效率，然而大部分方法依然需要人工在图像处理过程中进行干预。基于深度学习的自动分割方法则实现了图像端到端的分割，能够针对当前问题从现有数据中自动学习合适的特征表示以识别子宫肌瘤，速度快且精度高。但是目前应用在子宫肌瘤分割中的深度学习方法主要是基于 2D UNet 及其变体网络，并基于 3D 体积的 2D 切片来执行分割任务，没有充分考虑器官的空间结构以及利用体积信息，分割精度有待进一步提升。基于目前子宫及子宫肌瘤 MRI 图像自动分割方法，提出了未来可能的发展方向。（1）3D 卷积可以充分利用 MRI 图像的体积信息以提高网络的分割性能，将 3D 深度学习模型应用于子宫肌瘤分割是未来一个值得研究的方向。（2）就图像预处理和后处理而言，传统分割方法具有简单高效的特点，因此将传统分割方法与深度学习方法相结合会有一个很好的发展前景。（3）目前用于子宫肌瘤分割的深度学习模型都是基于有监督学习，需要大量带注释的医学图像进行训练。未来半监督学习或无监督学习也将会成为一个值得研究的方向，这对于减轻标注者的工作量具有重要意义。参考文献1 Finco A,Centini G,Lazzeri L,et al.Surgical management of abnormal uterine bleeding in fertile age women J.Womens health(London,England),2015,11(4):513-25.2 Li S,Chen B,Sheng B,et al.The associations between serum vitamin D,calcium and uterine fibroids in Chinese women:A case-controlled study J.2020,48(5):0300060520923492.3 Zhao W-P,Chen J-Y,Zhang L,et al.Feasibility of ultrasound-guided high intensity focused ultrasound ablating uterine fibroids with hyperintense on T2-weighted MR imaging J.2013,82(1):e43-e9.4 Szkodziak P,Szkodziak F,Trzeciak K,et al.Minimally invasive procedures in the management of uterine fibroids J.Przeglad menopauzalny Menopause review,2017,16(4):122-5.5 Ringold S.FDA approves ultrasound fibroid therapy J.Jama,2004,292(23):2826.6 Haque I R I,Neubert J J I i M U.Deep learning（a）UNet17架构；（b）优化的 UNet18架构；（c）ARUNet19架构；（d）HIFUNet22架构图 4：用于子宫肌瘤 MRI 图像分割的深度学习模型170计算机与图像技术Computer&Multimedia Technology电子技术与软件工程Electronic Technology&Software Engineeringapproaches to biomedical image segmentation J.2020,18:100297.7 Gul S,Khan M S,Bibi A,et al.Deep learning techniques for liver and liver tumor segmentation:A review J.Computers in biology and medicine,2022,147:105620.8 曹玉红,徐海,刘荪傲.基于深度学习的医学影像分割研究综述 J.计算机应用,2021,41(08):2273-87.9 Yao J,Chen D,Lu W,et al.Uterine fibroid segmentation and volume measurement on MRI;proceedings of the Medical Imaging 2006:Physiology,Function,and Structure from Medical Images,F,2006 C.SPIE.10 Ben-Zadok N,Riklin-Raviv T,Kiryati N.Interactive level set segmentation for image-guided therapy;proceedings of the 2009 IEEE International Symposium on Biomedical Imaging:From Nano to Macro,F,2009 C.IEEE.11 Khotanlou H,Fallahi A,Oghabian M A,et al.Segmentation of uterine fibroid on mr images based on ChanVese level set method and shape prior model J.2014,26(02):1450030.12 Fallahi A,Pooyan M,Ghanaati H,et al.Uterine segmentation and volume measurement in uterine fibroid patients MRI using fuzzy C-mean algorithm and morphological operations J.Iranian journal of radiology:a quarterly journal published by the Iranian Radiological Society,2011,8(3):150-6.13 Fallahi A,Pooyan M,Khotanlou H,et al.Uterine fibroid segmentation on multiplan MRI using FCM,MPFCM and morphological operations;proceedings of the 2010 2nd International Conference on Computer Engineering and Technology,F,2010 C.IEEE.14 Militello C,Vitabile S,Rundo L,et al.A fully automatic 2D segmentation method for uterine fibroid in MRgFUS treatment evaluation J.Computers in biology and medicine,2015,62:277-92.15 Militello C,Vitabile S,Russo G,et al.A semi-automatic multi-seed region-growing approach for uterine fibroids segmentation in MRgFUS treatment;proceedings of the 2013 Seventh International Conference on Complex,Intelligent,and Software Intensive Systems,F,2013 C.IEEE.16 Rundo L,Militello C,Vitabile S,et al.Combining split-and-merge and multi-seed region growing algorithms for uterine fibroid segmentation in MRgFUS treatments J.2016,54(7):1071-84.17 Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks for biomedical image segmentation;proceedings of the International Conference on Medical image computing and computer-assisted intervention,F,2015 C.Springer.18 Kurata Y,Nishio M,Kido A,et al.Automatic segmentation of the uterus on MRI using a convolutional neural network J.Computers in biology and medicine,2019,114:103438.19 Chun-ming T,Dong L,Xiang Y J A A S R J f E,Technology,et al.MRI image segmentation system of uterine fibroids based on AR-Unet network J.2020,71(1):1-10.20 He K,Zhang X,Ren S,et al.Deep residual learning for image recognition;proceedings of the Proceedings of the IEEE conference on computer vision and pattern recognition,F,2016 C.21 Oktay O,Schlemper J,Folgoc L L,et al.Attention u-net:Learning where to look for the pancreas J.2018.22 Zhang C,Shu H,Yang G,et al.HIFUNet:Multi-Class Segmentation of Uterine Regions From MR Images Using Global Convolutional Networks for HIFU Surgery Planning J.IEEE transactions on medical imaging,2020,39(11):3309-20.作者简介孙成女(1998-)，女，江苏省连云港市人。硕士研究生，现就读于重庆医科大学。研究方向为图像处理、深度学习。刘志伟(1999-)，男，江西省赣州市人。硕士研究生，现就读于重庆医科大学。研究方向为图像处理、深度学习。吕发金(1968-)（通信作者），男，四川省成都市人。教授，主任医师，现就职于重庆医科大学附属第一医院放射科。研究方向为子宫影像解剖与影像病理学。