基于多模态影像分割的乳腺癌辅助诊断研究.pdf

2023年12 月计算机应用文摘第3 9 卷第2 4期基于多模态影像分割的乳腺癌辅助诊断研究张兴龙，陈祥，李少佐（沈阳建筑大学计算机科学与工程学院,沈阳110 16 8)摘要：乳腺癌是女性最常见的恶性肿瘤之一，近年来其发病率呈上升趋势，如何提高乳腺癌患者的生存率和生存质量是医学工作者函待研究并解决的重要问题。在乳腺癌的临床诊断中，影像学检查是必不可少的部分。然而，在利用计算机视觉技术进行乳腺癌诊断时，图像分割仍然是一个难题。基于卷积神经网络，文章利用U-Net和TransUNet网络对CT/PET图像数据进行了分割，并分别进行了单模态及多模态下的分割实验。经对比发现，多模态影像的分割效果更好，且TransUNet相比U-Net网络具有更好的分割效果。关键词：双模态图像；深度学习；乳腺癌分割中图法分类号：TP391文献标识码：AResearch on assistant diagnosis of breast cancer based onmultimodal image segmentationZHANG Xinglong,CHEN Xiang,LI Shaozuo(School of Computer Science and Engineering,Shenyang Jianzhu University,Shenyang 1l0168,China)Abstract:Breast cancer is one of the most common malignant tumors in women.in recent years,itsincidence rate is on the rise.how to improve the survival rate and quality of life of breast cancerpatients is an important problem that medical workers need to study and solve urgently.In theclinical diagnosis of breast cancer,imaging examination is an essential part.However,imagesegmentation is still a difficult problem when using computer vision technology to diagnose breastcancer.Based on convolutional neural networks,this article uses U-Net and TransUNet networks tosegment CT/PET image data,and conducts segmentation experiments under single mode andmultimodal conditions,respectively.After comparison,it was found that the segmentation effect ofmultimodal images is better,and TransUNet has better segmentation effect than U-Net network.Key words:dual modal image,deep learning,feature fusion,breast cancer segmentation断工作迈出重要的一步。本文将多模态 4 乳腺医学1研究背景及意义影像分割作为主要研究内容,旨在破除单一成像技术乳腺癌是生活中最常见的癌症之一，时刻威胁着女性的身体健康。根据2 0 2 1年最新统计数据显示，乳腺癌已成为全球死亡率排名第一的癌症，且其发展呈现年轻化趋势 1。基于人工智能的多模态乳腺影像诊断技术可有效辅助医生对乳腺癌作出早期准确诊断,对提高诊断效率和精度 2 具有重要意义。随着科技的进步,针对乳腺癌的早期筛查技术得到了快速发展，乳房钼靶、超声、乳腺磁共振成像和电子计算机断层扫描成像技术已被广泛应用于临床诊断中。这些影像技术具有各自的优缺点,若能有效结合不同影像技术的优势，则可提高对不同个体、不同病灶 3 的筛查敏感性,从而使乳腺癌的早期检测和诊造成的诊断弊端,从而对诊断技术进行研究、测试和改进,进而提高乳腺癌诊断的效率 5。2基础理论知识介绍2.1深度学习理论深度学习 6 能够为图像分割 7 、自然语言处理等复杂任务提供强大的表达能力，主要由神经网络、损失函数和优化器三部分组成。在计算机视觉领域，卷积神经网络是分割任务中常用的网络结构，循环神经网络则是自然语言处理和视频识别等包含时序性的任务中常用的网络结构。基金项目：沈阳建筑大学2 0 2 2 年度大学生创新创业训练计划项目（D202203151819356568）1282.2老卷积神经网络卷积神经网络中最典型的结构是卷积层，它通常由大批量的卷积核组成。卷积核又被称为过滤器,其数值大小被称为感受野，卷积神经网络中的自主提取特征能力便是通过卷积层的卷积操作来实现。池化层负责对卷积后的特征图进行尺寸压缩以减少网络的参数量级，同时缓解过拟合。全连接层又被称为线性层(Fully-Connected Layer,FC Layer）,主要根据实验需求将上一层的结果输出,其输出数量为分类类别数，旨在对整个网络进行分类。3楼数据预处理3.1实验数据集介绍实验所用数据共来自2 6 6 名乳腺癌病人，本文将266名乳腺癌病人的图像存于2 6 6 个文件夹中，每个文件夹中均包含CT和PET两种模态图像,这些图像均以PNG格式进行存储。其中,每个文件夹的子文件夹中包含两个子文件夹，一个用于存放CT图像,另一个用于存放PET图像,且每个子文件夹中的图像数量为2 0 0 3 0 0 张。3.2二维数据生成CT图像的原始大小为512 512,PET图像的原始大小为16 8 16 8,如图1所示（图（a）和图（b）为同一患者的CT图像和PET图像）。PET和CT两种模态的仪器放射源与患者之间的距离存在差异，导致两种模态的像素间距和分辨率存在不同,为使PET图像和CT图像中对应的组织及器官重合，需确保PET图像和CT图像的实际大小一致。因此,需要对PET图像进行裁剪，从而使两种模态图像的实际大小相等。本文利用Python数组切片截取功能截取掉PET图像多余的边界,裁剪后的PET/CT图像中包含乳腺癌的病灶区域和部分背景，如图2 所示。(a)原始CT图像图1预处理前的PET图像和CT图像4网络模型4.1 U-Net 网络U-Net网络通常由编码器、解码器和跳跃连接等计算机应用文摘三部分组成。编码器通常由卷积层构成，常被用于从输入图像中提取高级特征。其中，每一层卷积操作都会对特征图进行下采样，即将其大小缩小。解码器通常由转置卷积层构成,用于对编码器中提取的特征图进行上采样,直至其与输入图像的大小相同。跨跃连接存储了网络中不同级别的特征映射，可用其在解码阶段恢复输人图像的信息。(a)裁剪后的CT图像图2 预处理后的PET图像和CT图像4.2TransUNet 网络TransUNet8网络的结构图如图3 所示,该网络的整体架构仍是U-Net,但其在传统U-Net的基础上进行了较多更改,其中的最大改进是引人了注意力机制。TransUNet网络使用了多头和自注意力机制来学习特征表示，可更好地捕捉图像中的全局特征和局部特征,有利于解决U-Net 中存在的长距离信息传递困难等问题。同时,TransUNet可对输人图像进行直接分割，无需对其进行上采样和下采样等处理，具备近乎线性的可扩展性。Embedded SequenceLayerNormMSNormVeMLP(a)5实验结果及对比分析本文将准确率（Accuracy）作为验证乳腺癌分割性能的指标,从而对单模态和双模态图像训练的准确(b)原始 PET 图像率进行对比,Accuracy 的定义如公式（1)所示,其反映了模型对乳腺癌分割的准确程度,若Accuracy越大，则模型对乳腺癌病灶正确分割的数量就越多。Accuracy=TTP+TN+FP+FN其中,TP,TN,FP和FN分别代表真阳性、真阴性、假阳性和假阴性。2023年第2 4期(b)裁剪后的PET图像(16,H,W)CNNHiddenFeatureLinearProjectionTransformerLayer!（n=12)Transformer LayerHiddenFeature(n.patch,D)图3 TransUNet网络模型图TP+TN(54.H2.W/2)1/8Conv3x3,ReLu(128,H4.W/4)tUpsampleSegmentation head(258,He.we)DownsampleFeature ConcatenationD,H/16,W/16)(512.H16,W/16)(b)(1)2023 年第 2 4 期实验测试集的数量比例为8：2,本文通过训练集进行充分的训练从而使网络模型学习到更多有用的特征,进而在测试集上进行充分的评估和预测。为了保证验证分割的准确率，本文分别进行了6 组实验。其中,6 组实验采用的数据集均为二维图像,1组和4组实验仅采用CT图像,所用的网络分别为U-Net网络和TransUNet网络；2 组和5组实验仅采用PET图像,所用的网络分别为U-Net网络和TransUNet网络；3组和6 组采用PET/CT双模态图像，准确率最高，6组实验对比表如表1所列。表1六组实验对比序号图像模态1CT2PET3PET/CT4.CT5PET6PET/CT6结束语本文基于指导教师提供的数据集，分别进行了CT和PET的单模态实验以及PET/CT的双模态实验,并采用了U-Net与TransUNet网络模型进行实验。实验证明，多模态图像相比单模态图像在诊断过程中更加准确,TransUNet网络的图像分割效果相比U-Net(上接第12 6 页）漏；导电橡胶条采用槽式安装并控制槽深、宽尺寸，从而确保衬垫在槽内有足够的变形量。(2)通过滤波技术抑制机箱内的辐射源。电源输人航插后合理布置滤波器，并选择全金属密闭滤波器，滤波器需紧靠电源输人航插安装，从而使滤波器与机箱电源输入航插的连线尽可能的短；可选择增加滤波器罩,从而将电源输人航插与滤波器输人端罩人滤波器罩中,进而使航插和滤波器处于密闭舱体内。(3)通过合理布线减少机箱内部线缆之间的电场耦合带来的辐射量。显控终端内部尽量选择使用柔性印制板或软排线,并对其进行良好的屏蔽；必要的线缆则须合理走线，电源线、信号线分开走线，不同频率的信号线分开走线，从而避免机箱内部信号之间的电场耦合带来的干扰,可选择为所有内部线缆增加防波套 5O6结束语本文首先介绍了某型车载显控终端的原理及其电磁兼容性要求,并根据其在电磁兼容性实验过程中计算机应用文摘网络更好。参考文献：1何思怡,李贺,曹毛毛，等.全球及我国女性乳腺癌疾病负担年龄分布及变化趋势 J.中国肿瘤,2 0 2 3,3 2(1)：1-7.2陈诗慧,刘维湘,秦璟,等.基于深度学习和医学图像的癌症计算机辅助诊断研究进展J.生物医学工程学杂志，2017,34(2):314-319.3范玉.基于计算机视觉的皮肤病灶分割研究 D.贵阳：贵州民族大学,2 0 2 2.4于梦尧,钱伟军,李立，等.多模态磁共振成像检查在前列腺癌诊断中的应用价值 J.中国医学工程,2 0 2 3,3 1（5)：网络类型准确率/%U-Net76U-Net74U-Net86TransUNet82TransUNet85TransUNet9012915-19.5孙琼.乳腺超声检查对乳腺疾病患者诊断效率的影响J.影像研究与医学应用,2 0 17,1(14):113-114.6贾萌萌.基于深度学习的乳腺癌辅助病理诊断分析研究D.西宁青海大学,2 0 2 1.7孙雪.基于U-Net的医学图像分割网络研究 D.南京：南京邮电大学,2 0 2 2.8 CHEN J N,LU Y Y,YU Q H,et al.TransUNet:TransformersMake Strong Encoders for Medical Image Segmentation EB/0LJ.https:/arxiv.org/abs/2102.04306v1.作者简介：张兴龙(2 0 0 0 一），本科,研究方向：人工智能。陈祥(2 0 0 3 一）,本科,研究方向：人工智能。李少佐(2 0 0 1一），本科,研究方向：人工智能。遇到的Re102电磁辐射超标问题及其整改验证过程列出了在设计时应采取的防护措施，这些措施均具有实现易、成本低、效果好等特点，对提升车载显控终端的电磁兼容性具有明显促进作用，可为其他设备的电磁兼容性设计提供参考。参考文献：1史亮，陈夏燕，王婷婷，等.机载电子装备电磁兼容设计方法研究 J.环境技术,2 0 2 3,41(3）：2 6-3 0.2凌林玉.试析PCB设计中的电磁兼容问题 J.长江信息通信,2 0 2 3,3 6(2):10 8-110.3刘开进.北斗船载终端的电磁兼容优化设计 J.传感器世界,2 0 18,2 4(10):3 1-3 5.4张梅,王涛.车载恶劣环境下的显控终端设计 J.机械与电子,2 0 12,2 3 6(5):44-47.5叶锡涛.某型教练机测试改装中电磁兼容控制与防护J.机电信息,2 0 2 3,7 0 7(11):7 4-7 7.作者简介：崔浩浩（19 9 6 一），硕士，研究实习员，研究方向：电子电路及显控终端设计。