基于卷积神经网络在卵巢肿瘤良恶性鉴别诊断中的研究.pdf

杨丽华，医学博士，教授，博士研究生导师，美国约翰霍普金斯大学医学院博士后。云南省万人计划名医，云南省医学学科带头人，昆明市中青年学术和技术带头人，昆明医科大学第二附属医院妇产教研室主任、住培基地妇产专业主任、国家药物临床试验妇产专业主任，妇科副主任主持工作。任中华医学会计划生育分会学组成员、云南省女医师协会女性盆底及妇科内分泌分会主任委员、云南省医学会妇产科分会副主任委员及多个省级学会委员。从事妇产科临床、教学科研工作 20 余年，对妇科常见病和复杂疑难疾病的诊治具有丰富的临床经验，尤其擅长妇科肿瘤、妇科内分泌疾病诊治及妇科微创手术治疗。近 5 年主持和参与国家级、省级、厅级等科研项目 12 项，发表论文 50 余篇。基于卷积神经网络在卵巢肿瘤良恶性鉴别诊断中的研究杨志新，赵丽珠，邓玥，杨丽华（昆明医科大学第二附属医院妇科，云南 昆明650101）摘要 目的建立卷积神经网络卵巢肿瘤超声诊断模型，探讨其在卵巢良恶性肿瘤鉴别诊断中的价值。方法收集 2015 年 6 月至 2022 年 9 月于昆明医科大学第二附属医院接受超声检查，并获得细胞学或组织病理证实的卵巢良性、恶性肿瘤超声图像各 200 张，共 400 张卵巢肿瘤超声图像。图像以 13 的比例分为训练集和验证集。基于卷积神经网络构建训练并验证 VGG16、MobileNet-V2 2 个诊断模型，同时选取高年资、低年资 2 名超声医生进行训练集超声图像诊断，以病理结果为金标准，评估 2 个诊断模型和超声医生鉴别卵巢良恶性的效能。结果VGG16 模型诊断卵巢肿瘤良恶性的灵敏度、特异度、准确度分别为 80.67%，79.33%，80.00%；MobileNet-V2 模型诊断卵巢肿瘤良恶性的灵敏度、特异度、准确度分别为 89.33%，93.33%，91.33%；MobileNet-V2 模型诊断效能最优，且 MobileNet-V2、VGG16 模型诊断效能均优于超声医生（P 0.05）。结论卷积神经网络卵巢肿瘤诊断模型具有较好诊断价值，其中 MobileNet-V2 模型能准确地判断卵巢肿瘤超声图像的良恶性。关键词卷积神经网络；卵巢肿瘤；超声诊断中图分类号 R711.75；R737.31 文献标志码 A 文章编号 2095 610X（2023）10 0134 06Differential Diagnosis of Benign and Malignant OvarianTumors Based on Convolutional Neural NetworkYANG Zhixin，ZHAO Lizhu，DENG Yue，YANG Lihua（Dept.of Gynecology，The 2nd Affiliated Hospital of Kunming Medical University，KunmingYunnan 650101，China）Abstract Objective To establish a convolutional neural network model for ultrasound diagnosis ofovarian tumors and explore its value in distinguishing between benign and malignant ovarian tumors.MethodsAtotal of 400 ovarian tumor ultrasound images，including 200 benign and 200 malignant tumors，were collected fromJune 2015 to September 2022 at the Second Affiliated Hospital of Kunming Medical University.These images wereconfirmed by cytology or histopathology.The images were divided into a training set and a validation set in a 13收稿日期20230808基金项目国家自然科学基金资助项目（81960469）；云南省万人计划名医专项基金资助项目（YNWR-MY-2019-037）；昆明医科大学创新团队基金资助项目（CXTD202008）；昆明医科大学第二附属医院院内临床基金资助项目（2020ynlc014）作者简介杨志新（1997），女，云南保山人，医学硕士，住院医师，主要从事妇科肿瘤研究工作。通信作者杨丽华，E-mail：昆明医科大学学报2023，44（10）：134139JournalofKunmingMedicalUniversityDOI:10.12259/j.issn.2095-610X.S20231027CN531221/Rratio.Two diagnostic models，VGG16 and MobileNet-V2 were constructed based on convolutional neural networksfor training and validation.A senior and a junior sonographers were selected to diagnose the ultrasound images in thetraining set.The performance of the two diagnostic models and the ultrasound doctors in distinguishing betweenbenign and malignant ovarian tumors was evaluated using the pathological results as the gold standard.ResultsThesensitivity，specificity and accuracy of VGG16 model in diagnosing the benign and malignant nature of ovariantumors were 80.67%，79.33%and 80.00%respectively.The sensitivity，specificity and accuracy of MobileNet-V2were 89.33%，93.33%and 91.33%respectively.The MobileNet-V2 model had the best diagnostic performance，and both the MobileNet-V2 and VGG16 models had better diagnostic performance than ultrasound doctors（P 0.05）.ConclusionThe convolutional neural network ovarian tumor diagnostic model has good diagnostic value，with the MobileNet-V2 model accurately determining the benign or malignant nature of ovarian tumor ultrasoundimages.Key words Convolutional neural network；Ovarian tumors；Ultrasonic diagnosis卵巢癌在女性生殖系统恶性肿瘤中发病率居第 3 位，病死率位列首位1，GLOBOCAN 数据2显示2020 年全球约有 31 万卵巢癌新发病例。由于卵巢癌早期缺乏典型临床特征，且无有效的筛查手段，超过 70%的患者被诊断时已在期或期，预后较差，严重威胁妇女生命健康34。因此发现卵巢癌早期诊断的有效策略成为亟待解决的问题。超声图像因其成本低廉、便捷迅速以及无创侵入等优点广泛运用于临床，2022 年国家卫生健康委员会发布的卵巢癌诊疗指南5指出现阶段超声检查是卵巢癌筛查的首选方法，可明确卵巢有无占位性病变，但高诊断准确率对超声医师的检查能力、临床经验及综合分析能力要求较高。近年来，深度学习作为前沿技术逐渐运用于医学影像学领域，其中卷积神经网络（convolutionalneural network，CNN）的应用最为广泛。CNN 技术可通过计算机辅助诊断系统自动学习提取超声图像特征，检测医师难以发现的深层成像特征，更好地辅助医生诊断疾病，提高诊断效率5。其与肝脏超声、乳腺超声、甲状腺超声图像等结合，协助提高结节良恶性诊断水平68。本研究选取VGG16 与 MobileNet-V2 2 个 CNN 模型与卵巢肿瘤超声图像结合，以提高卵巢肿瘤超声图像鉴别诊断水平，提高卵巢癌早期诊断效率。1资料与方法1.1病例选择与图像收集纳入标准9：细胞学或组织病理证实的卵巢恶性肿瘤、卵巢良性肿瘤患者；可获取疾病负荷状态的超声图像。排除标准9：虽病理证实为符合条件的卵巢病变但在昆明医科大学第二附属医院超声检查时已无疾病负荷；超声图像未存档或超声图像模糊无法辨认、包含无效信息过多。本次研究经昆明医科大学第二附属医院伦理委员会审查批准（伦理批件号审-PJ-2020-100），共收集2015 年 6 月至 2022 年 9 月卵巢肿瘤患者 365 例（良性患者 200 例，恶性患者 165 例），共 400 张卵巢肿瘤超声图像，均取得患者本人或家属知情同意。具体病理类型，见表 1。患者中位年龄为（48.3413.47）岁。超声图像集均来自 Philips-Affiniti 50 彩色多普勒超声诊断仪，探头为 C9-4v 腔内超声探头，探头频率 2242 Hz。采集图像存储为 JPG 格式。图像预处理流程，见图 1。挑选肿瘤清晰的图像，由工作经验 5 a 以上的超声科医生选取肿瘤感兴趣区域。另外，B 超图像上病灶标注等信息，利用 xs表1收集图片病理结果统计表（）xsTab.1Statistical tables of pathological results fromcollectedimage（）病理结果超声图片例数（n）年龄（岁）良性肿瘤20033.849.15成熟畸胎瘤64子宫内膜异位囊肿57纤维瘤4纤维-卵泡膜细胞瘤1囊腺瘤73炎性病变1恶性肿瘤20054.3210.70浆液性癌68黏液性癌10子宫内膜样腺癌8透明细胞癌22未分类腺癌31上皮内癌2生殖细胞恶性肿瘤8性索-间质恶性肿瘤10转移性肿瘤6交界性肿瘤35合计40048.3413.47第 10 期杨志新，等基于卷积神经网络在卵巢肿瘤良恶性鉴别诊断中的研究135Matlab 图像处理的方式去除。将图像统一调整为224224 像素大小便于模型训练。随后超声图片数据集以 13 比例分为训练集及验证集，选取100 例超声图片（恶性 50 例，良性 50 例）作为训练集用于模型的训练与建立，余 300 例超声图片（恶性 150 例，良性 150 例）作为验证集用于模型验证。图1B 超图像预处理流程图Fig.1Thepreprocessingofultrasoundimage1.2卷积神经网络模型搭建与训练采用 VGG16 和 MobileNet-V2 构建 CNN 模型，对卵巢超声图像进行分类。VGG 模型作为经典的CNN 网络，可以从 B 超图像中提取肿瘤尺寸、位置、纹理等空间特征信息以实现分类任务。本研究选择 VGG16 模型进行第 1 轮搭建，它包含 5 段卷积，每段卷积有 1 到 3 个卷积层，每段卷积后接 1 个最大池化层来缩小特征值尺寸和增强特征，后接 3 个全连接层，前 2 层均有 4096 个通道，第 3 层共 1000 个通道，对应 1000 个标签类别，最后 1 层为 Softmax 层，见图 2。MobileNet-V2 模型不仅借鉴 VGG 结构，堆叠卷积层以提高准确度，另外引入线性瓶颈结构和反向残差结构，实现模型参数少、计算速度快的优点，且适用于轻量级设备的应用部署。本研究应用的 MobileNet-V2 包含初始的 32 个卷积核的全卷积层，后接 17 个反向残差瓶颈模块，然后是 2 个全卷积层，2 个全卷积层之间插入 1 个平均池化层以实现分类任务，见图 3。本次实验使用个人计算机训练神经网络。使用python 3.7，CUDA 10.1 及包括Numpy、Pytorch、Torchversion 等在内的多个 Python 组件，分别对VGG16 网络和 MobileNet-V2 网络进行参数调整，学习率设置为 0.001，Batchsize 为 32，epoch 为200 次。损 失 值 代 表 训 练 数 据 输 入 VGG16 及MobileNet-V2 网络后，预测值和真实值之间的误差；准确率反映模型预测值与真实值之间的一致性。损失值越小，准确率越高则模型诊断效能更强。在每次训练结束时，将每次训练后的训练集损失函数值与训练集准确率进行记录保存，然后根据数据创建折线图表来直观地反应结果。使用CUDA 加速，对数据集进行训练与前向推理。经过 200 周期的训练后，模型保存为 CSV 文件。最后用验证集来测试训练集得到的模型，以此作为评价诊断模型的性能指标。输入图像Block 164224224Block 45122828Block 55121414Block 2128112112Block 32565656MaxpoolMaxpoolMaxpoolMaxpoolMaxpoolConv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积Conv 卷积FC 全连接层(4096)FC 全连接层(4096)FC 全连接层(1000)soft-max分类器输出良性肿瘤恶性肿瘤图2VGG16 模型Fig.2ThestructureofVGG16136昆明医科大学学报第 44 卷1.3比较 CNNs 卵巢癌诊断模型和超声医师诊断超声图像准确率选择本院高年资和低年资 2 名超声科医生，其中高年资医师的选择标准为取得中级资格证，妇科超声检查超过 10000 例，低年资医师标准为从事超声工作小于 3 a，妇科超声检查不到 3000例。2 名医师分别独立地对电脑屏幕所展示的验证集图像进行识别判断，记录结果。与模型诊断结果进行比较。1.4统计学处理采用 SPSS 26.0 对数据进行统计描述和统计学分析，计数资料统计描述采用例数或百分比表示。分别计算 Kappa 系数、灵敏度、特异度、准确度、阳性预测值、阴性预测值，4 种诊断方法各参数比较采用2检验，P 0.05 表明差异有统计学意义。2结果2.1VGG16 和 MobileNet-V2 诊断模型建立过程中的损失值与准确率随着训练次数的增加，两模型训练集的损失值不断下降，但损失值下降趋势逐渐减缓，VGG16 网络模型的损失函数值始终高于MobileNet-V2 模型，见图 4A。使用 VGG16 和 MobileNet-V2 进行训练后得到的准确率结果，见图 4B。总的看来，随着训练次数增加，2 模型训练集的准确率均呈上升的趋势，但实验次数 100 次之后，准确率提升便不再明显，最终 VGG16、MobileNet-V2 模型的准2.2VGG16 和 MobileNet-V2 卵巢肿瘤诊断模型和超声医师诊断效能比较统计 4 种诊断方法结果，VGG16 模型有 121例恶性肿瘤图片分类正确，119 例良性肿瘤图片分类正确；MobileNet-V2 模型有 134 例恶性肿瘤图片分类正确，140 例良性肿瘤图片分类正确；高年资医生有 113 例恶性肿瘤图片分类正确，121 例良性肿瘤图片分类正确；低年资医生有100 例恶性肿瘤图片分类正确，99 例良性肿瘤图片分类正确，计算统计各参数，见表 2。分别比较 MobileNet-V2、VGG16 模型、超声医生与病理诊断的一致性、准确率，灵敏度、特异度，结果发现 VGG16、MobileNet-V2 模型诊断的准确率，灵敏度、Kappa 值均高于超声医生（P 0.05），而高年资超声医生的诊断效能又优于低年资超声医生（P 0.05），其中 MobileNet-V2 模型各项指标均优于其他 3 种诊断方法，整体性能最佳（P 0.05）。输入图像Block 132112112 Block 2316112112 Block 6961414Block 5641414Block 716077Block3245656BottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckConv 卷积Conv 卷积(32077)Conv 卷积(1 28011)输出良性肿瘤恶性肿瘤Avgpool(1 28077)Block 4322828图3MobileNet-V2 模型Fig.3ThestructureofMobileNet-V2表2Mobilenet-V2、VGG16、与超声医生诊断能力比较Tab.2ComparisionofdiagnosisperformanceamongMobileNet-V2，VGG16andultrasounddoctorsinvalidationsets诊断模型参数Kappa值准确率（%）灵敏度（%）特异度（%）阳性预测值（%）阴性预测值（%）Mobilenet-V291.3389.3393.3393.0689.740.827*VGG1680.0080.6779.3379.6180.410.600*高年资医生78.0075.3380.6777.9378.060.560*低年资医生66.3366.6766.0066.2366.440.327*P0.05。第 10 期杨志新，等基于卷积神经网络在卵巢肿瘤良恶性鉴别诊断中的研究1373讨论恶性肿瘤的筛查与诊断一直以来都是肿瘤研究领域的热点，研究者们很早就将人工智能方法应用到肿瘤影像学中，从早期计算机辅助诊断系统，到现在普遍运用的深度学习。人工智能正逐步表露其巨大的潜力不断为恶性肿瘤的诊断筛查，甚至治疗、预后研究提供新的思路。伴随 CNN 的迭代更新，拥有良好性能的 CNN 模型不断涌现。VGG 的结构网络十分简洁，其利用小卷积核的堆叠，在减少网络参数的同时，能完成同大卷积核一样的感受野效果；另外每层卷积之后的非线性函数，提升网络对图片特征值的学习及表达。与之前的网络结构相比，VGG 的错误率大幅下降，拓展性很强，并且在图像分类和目标检测任务中都取得了很好的效果1011。VGG 依据深度不同，划分为 6 种结构，其中 VGG16 具有良好的图片分类能力。Han 等12使用10 种机器学模型和 VGG算法对肺癌患者的 PET/CT 图像进行学习分析，以构建用于肺腺鳞癌鉴别诊断的最佳分类模型，最后 VGG16 算法曲线下面积 0.903，优于结合放射组学的所有传统机器学习方法。Alshammari等13应用VGG16 对数据库中脑转移病人的核磁图像进行分类，使用函数计算辅助增强效能，最终对脑转移图像的分类准确率达 93.74%，除此之外，VGG16 还用来辅助腰椎狭窄的影像学诊断，与其他深度学习方法相比 VGG16 分类成功率最高，为 87.70%14。可见，VGG16 与影像学的结合应用比较灵活，且结果良好。本研究首先选用VGG16 网络模型来构建训练超声图像诊断模型，最后 VGG16 模型的准确率为 80.00%，灵敏度为80.67%，特异度为 79.33%。鉴于 VGG16 模型验证数据未达到笔者对 CNN 鉴别附件包块超声图像良恶性的预期，因此本研究选用 MobileNet-V2 模型进行新一轮搭建。MobileNet-V2 神经网络是轻量化卷积神经网络中表现较为优秀的网络，它不仅保留了 VGG 网络堆叠小卷积层以提高准确度的结构，还创新性地运用线性函数及反向残差模块来减少运算量，随着巨型网络一步步演变为轻量化网络，模型准确率也越来越高1516。近年来MobileNet-V2 广泛运用于医学影像辅助诊断，Palczynski 等17应用MobileNet-V2 协助白血病诊断，其分类平均准确率超过 90%。Srinivasu 等18利用MobileNet-V2 模型对皮肤病进行分类，该模型比其他经典 CNN 模型有更高的准确性。台北大学学者19选择 MobileNet-V2 分析患者腹部超声图像对胆囊炎进行分类，最终曲线下面积分别达0.92 和 0.94。本研究搭建 MobileNet-V2 网络模型验证集最后准确率为 91.33%，灵敏度为 89.33%，特异度为 93.33%。再选取本院 1 名高年资超声医生、1 名低年资超声医生对验证集数据进行独立诊断，比较诊断结果显示 MobileNet-V2 诊断性能最优，VGG16、MobileNet-V2 模型诊断的准确率，灵敏度、Kappa 值均高于高、低年资超声医生（P 0.05）。这与 Martinez-Mas 等20基于机器学习技术建立的卵巢肿瘤超声图像诊断模型准确率相当。本研究证明了利用卷积神经网络实现对卵巢癌肿瘤分类的可行性，有望应用于临床辅助卵巢癌的诊断、改善预后。但本研究模型训练的图像数据偏少，在下一步的工作中，将逐渐扩大样本量，改善优化算法模型，发展基于超声影像的卵巢癌自动检测方法，以期为卵巢癌早期诊断困难050100150训练次数损失值200250300vgg16mobilenet050100150训练次数2002503001.15AB1.101.051.000.950.900.850.800.750.70准确率(%)100908070605040vgg16mobilenet图4VGG16 和 MobileNet-V2 在训练过程中的损失函数值和准确率Fig.4ThelossandaccuracyofVGG16andMobileNet-V2duringtrainingprocessA：损失函数值；B：准确率。138昆明医科大学学报第 44 卷寻求新的解决办法。参考文献 狄文，胡媛.卵巢癌的大数据研究J.中国实用妇科与产科杂志，2018，34（1）：18-22.1Reid F，Bhatla N，Oza A M，et al.The World OvarianCancer Coalition Every Woman Study:Identifying chal-lenges and opportunities to improve survival and quality oflifeJ.Int J Gynecol Cancer，2021，31（2）：238-244.2La Vecchia C.Ovarian cancer:Epidemiology and riskfactorsJ.Eur J Cancer Prev，2017，26（1）：55-62.3张家雨，何昕晖，宫婷婷，等.肉类摄入与卵巢癌发病及预后关系的研究进展J.肿瘤防治研究，2019，46（5）：490-496.4Trinidad C V，Tetlow A L，Bantis L E，et al.Reducingovarian cancer mortality through early detection:Ap-proaches using circulating biomarkersJ.Cancer PrevRes（Phila），2020，13（3）：241-252.5Kim G R，Lee E，Kim H R，et al.Convolutional neuralnetwork to stratify the malignancy risk of thyroid nodules:Diagnostic performance compared with the American col-lege of radiology thyroid imaging reporting and data sys-tem implemented by experienced radiologistsJ.AJNRAm J Neuroradiol，2021，42（8）：1513-1519.6Hejduk P，Marcon M，Unkelbach J，et al.Fully automaticclassification of automated breast ultrasound（ABUS）imaging according to BI-RADS using a deep convolution-al neural networkJ.Eur Radiol，2022，32（7）：4868-4878.7Mitrea D，Badea R，Mitrea P，et al.Hepatocellular car-cinoma automatic diagnosis within CEUS and B-Mode ul-trasound images using advanced machine learning meth-odsJ.Sensors（Basel），2021，21（6）：1-31.8李睿，许祥丛，林静怡，等.基于卷积神经网络的超声影像肝癌自动分类J.生物化学与生物物理进展，2023，50（3）：668-675.9曹宇，邢素霞，逄键梁，等.基于改进的VGG-16卷积神经网络的肺结节检测J.中国医学物理学杂志，2020，37（7）：940-944.10高慧明.基于卷积神经网络的肺结节检测及良恶性分类方法研究D.太原:太原理工大学，2019.11Han Y，Ma Y，Wu Z，et al.Histologic subtype classifica-tion of non-small cell lung cancer using PET/CTimagesJ.Eur J Nucl Med Mol Imaging，2021，48（2）：350-360.12Alshammari A.Construction of VGG16 convolution neuralnetwork（VGG16_CNN）classifier with NestNet-Basedsegmentation paradigm for brain metastasisclassificationJ.Sensors（Basel），2022，22（20）：1-19.13Altun S，Alkan A，Altun I.LSS-VGG16:Diagnosis oflumbar spinal stenosis with deep learningJ.Clin SpineSurg，2023，36（5）：E180-E190.14刘雪纯，刘大铭，常佳鑫，等.基于MobileNet V2迁移学习的中药材图像识别J.长江信息通信，2022，35（7）：33-37.15易振通，吴瑰，官端正，等.轻量化卷积神经网络的研究综述J.工业控制计算机，2022，35（10）：109-111.16Palczynski K，Smigiel S，Gackowska M，et al.IoT applica-tion of transfer learning in hybrid artificial intelligencesystems for acute lymphoblastic leukemiaclassificationJ.Sensors（Basel），2021，21（23）：1-12.17Srinivasu P N，SivaSai J G，Ijaz M F，et al.Classification ofskin disease using deep learning neural networks with Mo-bileNet V2 and LSTMJ.Sensors（Basel），2021，21（8）：1-27.18Yu C J，Yeh H J，Chang C C，et al.Lightweight deep neur-al networks for cholelithiasis and cholecystitis detection bypoint-of-care ultrasoundJ.Comput Methods ProgramsBiomed，2021，211：106382.19Martinez-Mas J，Bueno-Crespo A，Khazendar S，et al.Evaluation of machine learning methods with FourierTransform features for classifying ovarian tumors based onultrasound imagesJ.PLoS One，2019，14（7）：e219388.20第 10 期杨志新，等基于卷积神经网络在卵巢肿瘤良恶性鉴别诊断中的研究139