基于超声图像的乳腺癌CNN病理分型诊断模型的构建.pdf

技术与应用生命科学仪器 2023 第21卷/1期63Abstract:BACKGROUND:The diagnostic model of Convolutional neural network(CNN)based on ultrasound images is an effective means for clinical diagnosis of breast cancer.However,compared with the two-category diagnosis of benign and malignant breast cancer,the pathological subdivision and multi-category diagnosis of breast cancer may be more conducive to more accurate clinical treatment and have more clinical value.Objective:To construct CNN pathological diagnosis model of breast cancer based on ultrasound images and analyze its clinical diagnostic value.Methods:A total of 432 patients with breast cancer diagnosed by pathological examination in our hospital from January 2016 to January 2022 were enrolled,of which 262 were in situ cancer and 170 were invasive cancer.Collect all patient ultrasound image features and other data as a modeling data set,and divide the modeling data into a training set and a validation set in a ratio of 7:3.A neural network diagnostic model of breast cancer patient pathological types based on ultrasound images was constructed,and its performance in training and validation sets was compared.Results:Five ultrasound images,including morphology,hairy crab feet,Adler blood flow classification,axillary lymph node metastasis and posterior echo attenuation,were selected as modeling indexes.The CNN diagnostic model and Logistic regression diagnostic model were established by analyzing the data streams of the training set and the test set,respectively.The sensitivity,specificity and accuracy of the CNN diagnostic model were higher than those of the Logistic regression diagnostic model.Conclusion:The CNN pathological diagnosis model of breast cancer based on ultrasound images has higher clinical diagnostic value in diagnosing breast cancer in situ and invasive cancer than Logistic regression diagnosis model,and it has certain auxiliary value in clinical diagnosis of pathological types of breast cancer patients.Key words:neural network model;ultrasound image;breast cancer;pathological type基于超声图像的乳腺癌CNN病理分型诊断模型的构建於子扬 唐维 杨丽1（苏州大学附属第二医院，生殖医学中心，江苏苏州，215000）Construction of CNN pathological typing diagnosis model of breast cancer based on ultrasound imagesYU Ziyang，TANG Wei，YANG Li摘要：背景：基于超声图像的卷积神经网络（Convolutional neural network，CNN）的诊断模型是目前临床诊断乳腺癌良恶性的有效手段。但相比良恶性二分类诊断，乳腺癌病理细分多分类诊断可能更利于临床更精准治疗，更具临床价值。目的：基于超声图像构建乳腺癌CNN病理类型诊断模型，并分析其临床诊断价值。方法：纳入我院2016年1月至2022年1月经病理学检查确诊的432例乳腺癌患者，其中262例为原位癌，170例为浸润癌。收集所有患者超声图像特征等资料作为建模数据集，并将建模数据按7：3的比例划分为训练集和验证集。构建基于超声图像的乳腺癌患者病理类型的CNN诊断模型及Logistic回归诊断模型，并使用ROC曲线下面积来评价两种诊断模型的性能。结果：共筛选出形态、毛刺蟹足、Adler血流分级、腋窝淋巴结转移、后方回声衰减5个超声图像作为建模指标，通过分析训练集与测试集数据流分别建立CNN诊断模型及Logistic回归诊断模型，CNN诊断模型的灵敏度、特异度、准确度AUC曲线下面积CNN诊断模型均高于Logistic回归诊断模型。结论：基于超声图像的乳腺癌CNN病理诊断模型在诊断乳腺原位癌及浸润癌的临床诊断价值高于Logistic回归诊断模型，对临床乳腺癌患者病理类型诊断具有一定的辅助价值。关键词：卷积神经网络模型；超声图像；乳腺癌；病理类型中图分类号：R44 文献标识码：A DOI:10.11967/2023210209第一作者简介：於子扬 女 1984年7月 籍贯江苏苏州，民族：汉，学历:本科 主治医师 研究方向;超声，邮编;215004手机;18662601610,邮箱：vivian_，邮寄地址;江苏省苏州市三香路1055号通讯作者简介：杨丽，女，1980年9月，杨丽 籍贯安徽芜湖,邮箱 ，民族，汉，学历，硕士 主治医师 研究方向;甲乳方向，邮编215004，手机[phone]，邮箱，vivian_，邮寄地址，江苏省苏州市三香路1055号技术与应用生命科学仪器 2023 第21卷/1期640 引言乳腺癌是女性癌症死亡的第二大原因，早期进行有效筛查，早发现、早治疗可降低乳腺癌死亡率1。目前临床乳腺癌筛查主要方法为自动乳腺超声检查，具在横切面重建乳房，并可提供乳房的冠状视图的优势2。乳腺超声检查及其评估受医生的操作水平和经验的影响，部分医生尤其是基层医生由于操作水平有限，并缺乏足够的检查经验严重影响筛查效果3-4。深度学习模型具较强的特征自动抽取能力，可解决对手工提取特征的依赖。近年来，基于深度学习模型的乳腺癌超声图像诊断陆续展开，其中卷积神经网络（Convolutional neural network，CNN）在诊断乳腺癌良恶性中取得显著价值5-6。但既往研究多聚焦于CNN诊断模型对乳腺肿瘤良恶性的诊断，少有研究分析CNN诊断模型对乳腺癌病理类型的细分类作用。鉴于此，本研究基于超声图像构建乳腺癌CNN病理类型诊断模型，并分析对乳腺癌病理类型的分类价值。1 资料和方法1.1 一般资料我院2016年1月至2022年1月经病理学检查确诊的432例乳腺癌患者，其中262例为原位癌（原位癌组），170例为浸润癌（浸润癌组）。本研究经医院伦理委员会审查后批准通过，经患者及家属同意后签署知情同意书。纳入标准：（1）经病理学检查确诊为乳腺癌患者，且均为结节型或团块型；（2）均接受自动乳腺超声检查；（3）病灶超声影像最大径2cm，且为女性患者。排除标准：（1）自动乳腺超声图像不清晰者；（2）乳腺切除术后复发者；（3）入院前接受新辅助化疗、放疗及其他抗肿瘤治疗者。1.2 方法1.2.1 自动乳腺超声检查方法采用西门子ACUSON S2000 ABVS自动乳腺超声系统进行检查，嘱患者仰卧位，手臂上抬外展，充分暴露乳腺，检查过程中根据患者乳房大小设置仪器的最佳预设条件，系统自动调整扫描的深度、频率、聚焦部位及总增益。检查过程中分别对正中位和外侧为进行检查，时间65s，每次自动乳腺全容积超声（Automated breast ultrasound system，ABUS）扫描产生15.4cm16.8cm6 cm体积数据，层厚为0.5 mm，扫描完成后将图像上传至ABUS工作站，系统自动对图像进行三维重建，获得乳腺矢状面和冠状面的图像。测量过程中，单侧病变者取患侧，双侧病变者取右侧。1.2.2 图片处理获取原位癌和浸润癌患者超声图像后，使用Keras中Image Data Generator模块实现CNN，使用Ubuntu 18.04 系统 Nvidia P6000 GPU 进行训练，并对训练图片进行归一化处理。将样本根据7:3的比例采用随机分割为训练集和测试样本。1.2.3 CNN 模型的构建采用改良的Inception-v3 CNN（第三代GoogLeNet）提取病变特征并分类。感知模块使用多个常规卷积层进行特征提取，并将提取的特征串联为输出。为保留Inception-v3从自然图像到ABUS图像的强大特征提取，采用CNN VGG模型进行转移学习。本研究中重新设计了Inception-v3中提出的所有完全连接层，留下卷积结构作为病变特征提取的骨架。主干的体系结构的输入大小为2992993，主干由6个核大小为33的卷积层和1个核大小为33的平均合并层组成，包括5个Inception A、4个Inception B和2个Inception C模块。主干输出特征图，每个特征图的大小为88，在主干输出特征图的顶部增加一个全局平均合并层，每个特征图取单个矢量的平均值。然后，增加3个完全连接层，用神经网络分类器桥接卷积特征。3个完全连接层中隐藏神经元的数量分别为256、128和2。在第1和第2完全连接层之后应用脱落方案以缓解过度拟合。最后一个完全连接层的输出通过SoftMax函数进行标准化。技术与应用生命科学仪器 2023 第21卷/1期651.2.4 神经网络模型训练和评估采用五折交叉验证法对CNN进行训练、验证。具体操作为在训练过程中，每一个文件夹中包含了ABUS数据集中20%的乳腺病变，在每一轮交叉验证中，保留一个文件夹作为测试数据集，其余四个文件夹分为训练和验证数据集；四个文件夹中的三个属于训练数据集，其余文件夹用作验证数据集。在训练的每一个阶段之后，通过验证数据集对训练模型进行评估。为了选择最终的训练模型，根据验证数据集上的分类性能，采用提前停止策略。即当曲线下面积（area under the curve,AUC）值连续5个epoch不增加时，选择最终训练的模型。后，利用测试数据集对最终的训练模型进行评估，得到每一轮交叉验证的分类性能。报告的结果通过平均五轮交叉验证的分类性能得到的，包括敏感性、特异性和AUC值。1.3 质量控制研究过程中所有数据均由两名专职人员收集、整理，并采用双平行输入法输入数据，数据收集、整理过程中剔除异常数据。1.4 统计学方法所有数据均用SPSS22.0进行分析，计量资料用表示，服从正态分布的方差资料比较用独立样本t检验，不服从正态分布的组间比较用Wilcoxon秩和检验，计数资料用例（%）表示，通过了2检验，等级资料用秩和检验。用python 3.6.5（win64）软件和Keras神经网络库建立了CNN、Logistic回归诊断模型；用ROC曲线进行诊断效能比较，其中AUC比较通过Delong检验。以P0.05），见表1。表1 两组患者一般资料比较2.2 两组患者超声图像特征比较原位癌与浸润癌患者超声图像比较显示，形态、毛刺蟹足、Adler血流分级、腋窝淋巴结转移、后方回声衰减5个超声图像组比较差异有统计学意义（P0.05），见表2。表2 两组患者超声图像特征比较2.3 诊断模型指标的选择及模型建立实纳入原位癌与浸润癌患者超声图像特征有差异的形态、毛刺蟹足、Adler血流分级、腋窝淋巴结转移、后方回声衰减5个超声图像构建CNN诊断模型和Logistic回归诊断模型。共纳入2592个特征图，将样本根据7:3的比例采用随机分割为训练集和测试样本，共有1814个特征图被分配为训技术与应用生命科学仪器 2023 第21卷/1期66练集样本，1138个特征图被分配为验证集样本。2.4 CNN模型构建结果随着迭代次数增加，CNN模型的训练和验证损失逐渐减小并趋于稳定，训练和验证准确度逐渐增加并趋于稳定；CNN模型中训练集的平均损失率（1.440.46）%，验证集的平均损失率为（1.500.46）%；CNN模型中训练集的平均准确率95.13%，验证集的平均准确率为93.35%，具体见图1、2。图1 CNN模型构中训练集及验证集损失情况图2 CNN 模型构中训练集及验证集准确性2.5 CNN模型分类性能比较比较了CNN诊断模型及Logistic回归诊断模型中的敏感性、特异性和AUC，结果显示，两个集合均具有较高的诊断价值，见表2，图1-2。表3 CNN模型分类性能比较2.6 典型病例图图1 左乳9点低回声，Emax=98.7图2 左乳低回声形态不规则，边缘成角，边界模糊，内部回声不均匀图3 左乳8点低回声，Emax=94.1技术与应用生命科学仪器 2023 第21卷/1期67图4 左乳低回声形态不规则，边缘成蟹足状，边界模糊，内部回声不均匀图5 左乳4点低回声，Emax=77.9 图6 左乳低回声形态不规则，边缘成蟹足状，边界模糊，内部回声不均匀，可见较聚集点状强回声 3 讨论超声图像检查是诊断乳腺肿瘤良恶性病理改变的常见手段，但其诊断效果受医生操作技术及经验的影响7。因此，建立有效诊断模型对提高临床诊断效果具重要意义。既往临床上建了乳腺癌CNN学习模型，可直接从输入数据中提取成像特征8-9，在乳腺癌良恶性分类领域中，显示出特征提取能力强、性能潜力大和可扩展性强等优势10。但其是否可应用于乳腺癌超声图像的病理类型分类中尚缺乏系统性临床证据。为此，本研究构建基于超声图像的乳腺癌患者病理类型分类的CNN诊断模型，分析其临床应用价值。伴随着深度神经网络模型及数字技术的不断发展，CNN也得到显著发展，在医学影像图像的处理及诊断中均取得了显著进步。CNN在应用过程中不使用定向梯度直方图、局部二值模式及主成分分析等特征提取器，可直接从输入数据中提取图像特征，不需设计显式的特征提取器，更不需在每个中间步骤调整中间结果11-12。同时，在数据库规模有限的情况下，基于CNN CADx系统的迁移学习可有效解决上述问题。已有研究证实通过迁移学习，被使用大型自然图像数据库（如ImageNet）明确训练的预训练模型可用于解决医学成像领域的分类问题13。Masud等14采用预训练的GoogLeNet对肺结节恶性和良性病变进行区分。Wang等15使用预训练的VGG进行病变特征提取并使用Fisher判别乳腺病变。还有研究利用Inception-v3 建立超声成像乳腺病变分类模型，并显示出较高临床价值16工。在本次研究中也观察到基于超声图像构建的乳腺癌患者病理类型的CNN模型具有较高的临床意义，既往有研究也指出CNN模型对图像识别的准确率高达96.4%，而经过长时间训练的人类肉眼识别准确率为94.9%，低于该模型17。目前研究结果认为CNN模型在准确率与Epoch大小关系密切，较小的Epoch可能会导致CNN模型学习能力欠佳，使诊断效能低。但在Ha等18的研究中证实过大的Epoch不仅不能有效提高CNN模型的诊断准确率，还可能因训练时间过长引发过拟合问题。在本研究根据图1及图2 结果显示，当Epoch达到100时CNN模型可在得到充分学习训练数据的同时，避免过度收敛。本研究中对基于超声图像构建的乳腺癌患者病理类型的CNN模型进行深度训练及临床数据技术与应用生命科学仪器 2023 第21卷/1期68验证后，结果显示基于超声图像的CNN模型诊断乳腺癌患者病理类型方面，在训练集中的平均损失率为（1.440.46）%，验证集的平均损失率为（1.500.46）%；在训练集中的平均准确率95.13%，在验证集中的平均准确率为93.35%，且在训练集和验证集中损失逐渐减小并趋于稳定，准确度逐渐增加最后趋于稳定。在Wang19的小样本量研究中，其基于超声图像所建立的CNN模型针对117例断乳腺癌患者的识别准确率为85%，而本次研究基于超声图像构建的CNN模型在训练集及验证集中敏感度及特异度均超过80%，说明基于超声图像所建立的CNN模型针对乳腺癌患者病理类型的诊断具有较高临床价值，在今后的乳腺癌患者病理类型临床诊断中具有较好的应用前景。综上，基于超声图像的乳腺癌CNN病理诊断模型在诊断乳腺原位癌及浸润癌的临床诊断价值高于Logistic回归诊断模型，对临床乳腺癌患者病理类型诊断具有一定的辅助价值。但本次研究为小样本、单中心研究，对于地域、民族及习性等间的差异尚无法体现，同时针对肿瘤的位置尚未进行分类。故需要今后开展大样本、多中心研究，并针对病灶位置判断采用图像分割技术准确标注，以进一步验证本研究结论。参考文献1李佳圆.中国乳腺癌危险因素研究现况及其风险预测模型研究展望J.中国循证医学杂志,2020,20(7):745-748.2吴爱强,游仁芳,喻瑾,等.钼靶和超声检查在乳腺癌临床诊断的准确性的比较分析J.现代生物医学进展,2022,22(5):905-908+918.3黄春旺,丛淑珍.非典型乳腺癌超声诊断的要点及难点J.临床外科杂志,2021,29(3):218-221.4Qi H,Collins S,Noble JA.Automatic Lacunae Localization in Placental Ultrasound Images via Layer AggregationJ.Med Image Comput Comput Assist Interv,2018,11071(1):921-929.5汪琳琳,施俊,韩振奇,等.结合卷积神经网络与图卷积网络的乳腺癌病理图像分类研究J.北京生物医学工程,2021,40(2):130-138.6马梦伟,秦耿耿,徐维敏,等.基于X线及超声乳腺影像报告和数据系统构建机器学习模型预测乳腺癌分子分型J.中国医学影像技术,2020,36(12):1814-1819.7胡小丽,廖春雁,吴大浪,等.多参数超声联合穿刺诊断三阴性乳腺癌腋窝淋巴结转移J.中国临床医学影像杂志,2020,31(5):325-329.8Gao F,Wu T,Li J,et al.SD-CNN:A shallow-deep CNN for improved breast cancer diagnosisJ.Comput Med Imaging Graph,2018,70(1):53-62.9Zou L,Yu S,Meng T,et al.A Technical Review of Convolutional Neural Network-Based Mammographic Breast Cancer DiagnosisJ.Comput Math Methods Med,2019,2019(1):6509357.10Garg S,Singh P.Transfer Learning Based Lightweight Ensemble Model for Imbalanced Breast Cancer ClassificationJ.IEEE/ACM Trans Comput Biol Bioinform,2022,5(10):1109-1112.11Guo W,Liang W,Deng Q,et al.A Multimodal Affinity Fusion Network for Predicting the Survival of Breast Cancer PatientsJ.Front Genet,2021,12(1):709027.12Alanazi SA,Kamruzzaman MM,Islam Sarker MN,et al.Boosting Breast Cancer Detection Using Convolutional Neural NetworkJ.J Healthc Eng,2021,2021)1):5528622.13Wu N,Phang J,Park J,et al.Deep Neural Networks Improve Radiologists Performance in Breast Cancer ScreeningJ.IEEE Trans Med Imaging,2020,39(4):1184-1194.14Masud M,Eldin Rashed AE,Hossain MS.Convolutional neural network-based models for diagnosis of breast cancerJ.Neural Comput Appl,2020,9(1):1-12.15Wang K,Liang S,Zhong S,et al.Breast ultrasound image segmentation:A 技术与应用生命科学仪器 2023 第21卷/1期69coarse-to-fine fusion convolutional neural networkJ.Med Phys,2021,48(8):4262-4278.16Li X,Zhang S,Zhang Q,et al.Diagnosis of thyroid cancer using deep convolutional neural network models applied to sonographic images:a retrospective,multicohort,diagnostic studyJ.Lancet Oncol,2019,20(2):193-201.17Snchez-Cauce R,Prez-Martn J,Luque M.Multi-input convolutional neural network for breast cancer detection using thermal images and clinical dataJ.Comput Methods Programs Biomed,2021,204(1):106045.18Ha R,Chang P,Karcich J,et al.Convolutional Neural Network Based Breast Cancer Risk Stratification Using a Mammographic DatasetJ.Acad Radiol,2019,26(4):544-549.19Wang Y,Choi EJ,Choi Y,et al.Breast Cancer Classification in Automated Breast Ultrasound Using Multiview Convolutional Neural Network with Transfer LearningJ.Ultrasound Med Biol,2020,46(5):1119-1132.