基于深度学习的肺癌病理图像分类器设计.pdf

研制开发21现代仪器与医疗2 0 2 4年第30 卷第1期基于深度学习的肺癌病理图像分类器设计朱煜尔刘晓帆（1.新乡医学院医学工程学院，新乡4530 0 0；2.新乡医学院三全学院智能医学工程学院，新乡4530 0 0）【摘要】病理学检查是医生确定肿瘤是否发生癌变的“金标准”，但由于肺癌病理组织具有多种亚型，医生需要反复大量阅片才能最终给出医学诊断，不仅耗时且易出错。因此，本文借助深度学习进行肺癌病理组织亚型分类研究。通过对数据库数据进行预处理，找出特征值，使用不同层深的ResNet算法构建肺癌病理图像类别分类器，模型参数调整到最优后，对比训练ResNet18、Re s Ne t 34、Re s Ne t 50 三个不同层次网络模型，分析模型的accuracy、r e c a l l、F1s c o r e 和算术平均值等评价指标，其中ResNet34模型指标最佳，对肺癌病理图像的分类效果最好。【关键词】肺癌亚型；深度学习；ResNet模型；病理图像；Adamax优化器【中图分类号】TH77;TP18;R734.2【文献标志码】ADO110.11876/mimt202401005Design of pathological image classifier for lung cancer based on deep learningZhu Yuer,LiuXiaofan?(1.School of Medical Engineering,Xinxiang Medical College,Xinxiang 453000,China;2.School of Intelligent MedicalEngineering,Sanquan College,Xinxiang Medical College,Xinxiang 453000,China)Abstract Pathological examination is the“gold standard for doctors to determine whether a tumor has undergone canceroustransformation.However,due to the multiple subtypes of lung cancer pathological tissue,doctors need to repeatedly review a largenumber of films in order to finally give a medical diagnosis,which is not only time-consuming but also prone to errors.Therefore,thisarticle utilizes deep learning to study the subtype classification of lung cancer pathological tissues.By preprocessing the database data,finding the feature values,and using different layers of ResNet algorithms to construct lung cancer pathology image classificationmodels,after adjusting the model parameters to the optimal value,we compared the training results of three different network models:ResNetl8,ResNet34,and ResNet50.We analyzed the accuracy,recall,F1-score,and arithmetic mean of the models,and foundthat the ResNet34 model had the best performance in terms of classification accuracy for lung cancer pathology images.KeywordsLung cancer subtypes;Deep learning;ResNet model;Pathological images;Adamax optimizer近年来，我国的肺癌发病率与死亡率均位于癌症之首,对肺癌的诊断与治疗一直是医学研究的热点。根据病理生物学特点的不同可将肺癌分为小细胞肺癌和非小细胞肺癌两大类。其中，非小细胞肺癌又分为鳞状细胞癌、大细胞癌、腺癌等亚型。不同肺癌的病理亚型需采取不同的治疗方案，对应的治疗效果也有天壤之别。因此，对肺癌亚型准确及时的分类是肺癌系统治疗的关键性第一步。临床上，病理组织检查是鉴别肿瘤亚型的金标准2 ,对肺癌亚型的分类主要依赖于病理切片上细胞及细胞间的形态，但是病理组织切片图像纹理复杂，相似度高，且背景复杂，噪声大，分辨起来较为困难；另外，这一方式也会受到病理学家经验程度和主观意识的影响，不仅耗时耗力，且效率低下。从医学图像处理的角度上看，对肺癌亚型进行分类就是对肺癌病理组织图像进行分类和识别的过基金项目：2 0 2 4年度河南省科技攻关项目（课题名称：基于Res2net融合注意力机制的肺癌病理图像分类模型构建及应用）第一作者：朱煜尔，女，本科，讲师，研究方向：智能图像处理，E一mail：z y e 0 12 0 12 6.c o m22Modern Instruments&MedicalTrVoL3ONo.程。随着人工智能的发展，目前该领域的研究方法可分为两类：一类是基于传统机器学习对肺癌病理图像进行研究；另一类方法则是基于深度学习算法，卷积神经网络（CNNs）模型可以自动获取肿瘤空间信息，并且对组织形态进行量化分析，为解决医学图像领域的困难提供了更多可能性，是医学图像处理的一种热门选择4Wei等5 做了类似研究，他们的“DeepSlide模型识别肺腺癌的5种组织学亚型（贴壁型、腺泡型、乳头型、微乳头型、实性为主型）和非肿瘤组织的AUC均0.9 7，平均Kappa值为0.52 5，平均一致性为6 6.6%，均略高于3位病理学家的诊断结果（K a p p a 值为0.48 5，平均致性为6 2.7%）。Yu等6)通过对非小细胞癌数字病理切片图像处理，根据其形态学特征训练分类器，实现对非小细胞癌的亚型的分类，从而预测患者生存期。实验结果得到肺腺癌与肺鳞癌分类AUC只有0.7 左右，网络模型精度仍需提高。在基于块的肺癌病理图像分类中，国内学者宁静艳等7 采用卷积神经网络，分别在随机取块和滑动取块中取得了8 6%和8 1%的总分类精度。中山大学杨欢等8 学者开发了肺癌病理组织亚型六型分类器，且其AUC分别可达到0.9 7 0,0.9 18,0.9 6 3和0.9 7 8，极大的超出了现阶段标准要求本文在上述研究基础之上，综合现有分类器种类，选取ResNet算法对不同亚型肺癌病理组织切片进行分类和识别，构建肺癌病理组织亚型分类器1肺癌病理图像分类模型与方法1.1ResNet模型简介ResNet模型是卷积神经网络常用的算法之一，在2 0 15年ImageNet视觉识别大赛中由何恺明团队提出，在图像分类和物体识别中取得优异成绩。模型网络层次深，表征能力强，性能好，分类准确率高，能够缓解网络层次过深造成的梯度消失问题ResNet的卷积结构层数可以根据不同的任务进行变化，采用不同层数提高准确率，层数越多越能拟合复杂的特征。其网络层次结构如图1所示。layer nameoutput size18-layer34-layer50-layer101-layer152-layerconv1112X1127X7.64,stride 23x3max pool,stride2conv2_x56X5633.6433.641X1.641X1,641X1.64X2X33X3.64333,64333.64X33X3.64J3X3.6411,2561X1,2561X1,2563 3,12833.1281X1.1281X1.1281X1,128conv3_x28X28X2X43X3.128X433,128X43X3,128833,128）33.128)11,5121X1,51211,51233,256)3X3,256)1X1.2561X1.2561X1,256conv4_x1414X2X63X3.256x63X3.256X233X3.256?3633,25633.2561X1,102411,102411,102411,5121X1.51233,51233,5121X1,512conv5_x7X7X2X33X3.512X333.512X33X3.512X333.51233.512)1X1,204811,204811,204811average pool,1000-d fc,softmaxFLOPs1.81093.6X1093.81097.610911.3109图1ResNet网络层次结构ResNet模型的核心思想在于卷积神经网络之中加人了残差块，残差块的作用是当新加的一些层学习效果非常差时，可以通过残差块将这些层的权重参数设置为零，从而直接跳过这一部分。ResNetX有两种残差结构，ResNet18与ResNet34使用了具有短接分支的BasicBlock结构，适用于较浅的网络结构;ResNet50使用了Bottleneck结构，适用于较深的网络结构2 1,2 2】，两种残差结构如图2 所示【10 。1。50层以上的残差网络结构与50 层以下的残差网络基本结构不同，深度越深结构越复杂。所以，在医学领域很少用到ResNet50以上的网络进行训练。基于ResNet模型适用于图像分类的优点，本文选择深度学习的ResNet50层以下的模型，并对其分类精确度进行对比实验23现代仪器与医疗2 0 2 4年第30 卷第1期XXConv13x3Convl1x164/128/256/51264/128/256/512Bn1Bn1F(X)CF(X)ReLUConv233Conv1 1x164/128/256/51264/128/256/512Conv2.3x364/128/256/512Bn2Bn2Conv31xl64/128/256/512F(X)+X儿Bn3BasicBlockReLUF(X)+XBottleneck图2卷积神经网络基本结构1.2研究内容本文主要研究内容是基于深度学习的ResNet算法，对肺癌病理图像进行类别分类的任务。首先对LC25000公共开源的肺癌病理图像数据集进行预处理，提高数据质量。其次，根据ResNet残差网络结构的不同，建立ResNet8、Re s Ne t 34和Res-Net50三种不同层深的深度学习分类模型，根据肺癌位置形态的不同特点，卷积网络对特征进行提取，完成识别分类训练。观察训练输出结果，调整超参数或者损失函数、优化器的使用。最后根据评价指标进行评估，对比不同层数ResNet模型用于分类的准确率。1.3模型搭建与参数设置1.3.1整体网络框架由于肺癌病理图像样本制取困难，且存在特征相似性高等问题，对于有限的图像样本，如果采用过深的网络模型，容易造成训练集分类准确率过高，而测试集准确率较低的情形，即过度拟合合12 。若网络模型的深度不够，就无法提取深层语义信息，产生训练集分类准确率低，测试集准确率也较低的情况。实验中卷积神经网络模型直接调用Pytorch官方网站torchvision.models中保存的ResNetX模型，pre-trained设置为True,使用预训练模型,以便得到收敛较好的模型。定义肺腺癌病理图像lucd_tumor标签为0,肺鳞状细胞癌sqcc_tumor标签为1,肺良性no_tumor标签为2。1.3.2Adamax优化器选择优化器选择对深度学习模型训练至关重要，旨在通过调整参数最小化损失函数，使预测值接近实际值13。根据前期研究表明，Adam算法具备优秀的性能、收敛性和稳定性。对比Adam优化器，Ad-amax优化器能够提供更为简单的学习率上限范围，为模型训练提供了更强约束。以ResNet34为例,研究对比了Adam和Adamax优化器的使用情况。实验显示，Adamax在训练过程中损失值更低，收敛情况更理想。如图3所示。因此，本实验选择Ad-24Modern Instruments&Medical Treatm2024.Vol.30No.1amax优化器训练模型，用于减少过拟合，提高泛化能力。Adam优化器Adam优化器LossLoss2.0M1.51.5SSOTSSOT1.01.0traintrain0.5val0.5val0.0E0.00102030405001020304050EpochEpochAccuracyAccuracy1.001.0000.9750.950.9500.900.9250.900traintrain0.85val0.875val0.8500.800.8250102030405001020304050EpochEpoch图3不同优化器loss/acc曲线图1.3.3设置L2正则化正则化用于降低模型过拟合，增强其在新数据上的泛化能力141。过拟合指模型在训练数据上表现优异，但实际应用时性能下降。L2正则化通过添加与权重平方成正比的项至损失函数，抑制模型复杂度增长，防止过拟合。以ResNet34模型为例，实验验证L2正则化效果。设置优化器中weight_decay为0.0 0 1进行训练，验证集最优准确率达0.9 8 4，最终稳定至0.9 7 5。与不使用正则化相比，最终收敛相同，但最优准确率略低，表明正则化有助于减少过拟合风险。此外，使用L2正则化能够降低损失函数值，提高训练效果，如图4所示未使用正则化使用L2正则化LossLoss2.52.01.51.5trainSSOTSSOT1.01.0valtrainval0.50.50.0F0.00102030405001020304050EpochEpochAccuracyAccuracy1.000F1.0000.9750.9750.9500.9500.9250.9250.9000.900traintrain0.875val0.875val0.8500.8500.8250.8250102030405001020304050EpochEpoch图4不同正则化loss/acc曲线图25现代仪器与医疗2 0 2 4年第30 卷第1期2分类实验结果分析2.1评价指标准确率是衡量分类模型性能的一个标准，除此之外，为了更全面地分析和评估模型性能，本文还采用了分类中常用的评价指标对实验结果进行评估，包括准确率（accuracy）、召回率（recall）、精确率（p r e c i s i o n）、Fl s c o r e 指数、宏平均（macro avg）和加权平均(weighted avg)等指标1s)2.2实验数据处理实验所用数据集为LC25000公共开源的肺癌病理图像数据集6 。包括3类肺部病理图像，分别是50 0 0 张肺部良性病理图像、50 0 0 张肺腺癌病理图像以及50 0 0 张肺鳞状细胞癌病理图像。图像分类任务中，数据集质量对模型训练效果具有至关重要的意义。图像的类型、数量以及质量等关键因素直接决定了模型分类准确率的高低7 。本研究首先通过将所有图像统一缩放至12 8 12 8像素，消除尺寸和分辨率的差异。其次，利用随机旋转等图像增强技术，进一步增强模型的泛化能力此外，研究对图像数据进行了归一化处理，消除不同特征之间的量纲差异，并将给定的测试集数据随机划分成6:4的验证集和测试集。通过打乱数据集顺序，防止学习过程产生偏见，减少过拟合现象的发生。2.3实验结果与分析在训练过程中，本实验研究了模型准确率随迭代次数的演变趋势。具体而言，当卷积层数设定为18层时，模型的loss值表现较低，这表明模型在训练过程中的误差较小。经过45次代后，模型开始显示出收敛的趋势，即loss值逐渐趋于稳定。而当卷积层数增加至34层，且模型在迭代次数达到40次时，损失函数已经展现出良好的收敛态势，说明更深的网络结构在训练初期就能达到较好的性能。然而，当卷积层数进一步增加至50 层时，损失函数的收敛效果并不理想。实验显示，不同深度的模型在accuracy方面都表现出了较快的收敛速度，最终均能达到9 5%以上的分类准确率。见表1。表1评价指标信息表项目precisiorecalfl-scoreBestaccuracyaccuracyResNetl8macro avg0.850.770.720.9840.77Weighted avg0.830.770.7ResNet34macro avg0.880.780.770.9790.80Weightedavg0.850.800.77ResNet50macroavg0.850.770.730.980.75Weighted avg0.840.770.72经过对表3中的各项指标数据分析得出Res-Net18、Re s Ne t 34和ResNet50三个网络模型在准确率方面分别展现出7 7%、8 0%和7 5%的性能。通过进一步深入挖掘，ResNet34模型在宏平均与加权平均的精确度、召回率以及F1分数等多个核心评价指标上均展现出优于ResNet18和ResNet50模型的优势。充分证实了ResNet34模型在处理小样本肺癌病理图像分类任务时具备更佳的性能3结语为了提升肺癌病理图像分类的准确性和实时性，本研究采用Resnet算法进行分类验证。通过对比选择Adamax优化器减少过拟合现象，同时，采用正则化降低损失函数值，提高训练效果。本研究成功减小了特征数据的类内距离，从而增强了分类的稳定性。尽管本研究在肺癌病理图像分类方面取得了良好效果，但仍存在一些待解决的问题。例如，算法准确率相对较低，考虑改进网络结构为Res2net,并结合注意力机制模块提升模型分类准确率。此外，考虑到实际应用中样本标签标注成本较高，无标签样（下转第6 3页）上接第2 5页）63现代仪器与医疗2 0 2 4年第30 卷第1期in the MRI classification task of human brain neurological andpsychiatric diseases:A scoping reviewJ.Diagnostics,2021.11(8):1402.26宋筱蕾，穆新暖，于美霞，等.首发轻中度抑郁症患者治疗前后脑任务态功能磁共振研究J.临床放射学杂志，2 0 19,38(7):1174-1179.27Schnakenberg P,Hahn L,Stickel S,et al.Examining earlystructural and functional brain alterations in postpartum depres-sion through multimodal neuroimagingJ.Sci Rep,2021,11(1):13551.28胡冰，谭萱羽，刘婉晴，等.基于链接独立成分分析的神经精神疾病多模态MRI研究进展J.磁共振成像，2 0 2 2，13（3）：129 133.29计亚荣，王瑜，付常洋，等.基于典型相关分析与双模态数据融合的抑郁症辅助诊断J.中国医学物理学杂志，2 0 2 1,38(10):1316-1320.30Mousavian M,Chen J,Traylor Z,et al.Depression detectionfrom sMRI and rs-fMRI images using machine learningJ.Int本占据多数，因此，可结合半监督学习思想，充分利用无标签样本的信息，进一步提升肺癌病理图像的分类性能参考文献1徐贵璇，王阳，张杨杨，等.深度学习在肿瘤组织病理图像分析中的应用J.临床与病理杂志,2 0 2 1,41（6）：1454-146 2.2冯时，滕晓东.人工智能在肺癌病理精准诊断中的研究进展.中国胸心血管外科临床杂志，2 0 2 1,2 8（5）：59 2-59 6.3刘健.基于影像组学的非小细胞肺癌多亚型分类的方法研究 D.北京：北京交通大学，2 0 2 0.4毕珂，王茵，张婷婷，等.基于深度学习算法人工智能肺癌病理诊断模型的开发和应用J.第二军医大学学报，2 0 2 0,41(11):1229-1235.5Wei JW,Tafe LJ,Linnik YA,et al.Pathologist-level classifi-cation of histologic patterns on resected lung adenocarcinoma slideswith deep neural networksJ.Sci Rep,2019,9(1):3358.6Yu KH,Zhang C,Berry GJ,et al.Predicting non-small celllung cancer prognosis by fully automated microscopic pathologyimage featuresJ.Nat Commun,2016,7:12474.7宁静艳，俞晨，程年，等.基于卷积神经网络的肺癌病理图像分类 J.软件导刊，2 0 19,18（2）：141-144.8Yang H,Chen L,Cheng Z,et al.Deep learning-based six-type classifier for lung cancer and mimics from histopathologicalJIntell Syst,2021,57(2):395-418.31Alghowinem S,Goecke R,Wagner M,et al.Multimodal depres-sion detection:Fusion analysis of paralinguistic,head pose andeye gaze behaviorsJ.IEEE TAffect Comput,2018,9(4):478-490.32张迎辉，聂燕敏，孙波，等.基于深度森林多模态数据决策级融合抑郁症评价方法J.北京师范大学学报（自然科学版），2018,54(5):606-611.33赵健，周莉芸，武孟青，等.基于人工智能的抑郁症辅助诊断方法J.西北大学学报（自然科学版），2 0 2 3，53（3）：32 5-335.34Koutsouleris N,Dwyer DB,Degenhardt F,et al.Multimodal ma-chine learning workflows for prediction of psychosis in patients withclinical high-risk syndromes and recent-onset depression J.JAMAPsychiatry,2021,78(2):195.35孙也婷，陈桃林，何度，等.基于精神影像和人工智能的抑郁症客观生物学标志物研究进展 J.生物化学与生物物理进展,2 0 19,46(9）：8 7 9-8 9 9.whole slide images:A retrospective study J.BMC medicine,2021,19(1):80.9He K,Zhang X,Ren S,et al.Deep Residual Learning for Im-age RecognitionC/IEEE Conference on Computer Vision andPatternRecognition.IEEE,2016.10吴天赐，郁佳鑫，黄晓峰，等.深度学习图片分类模型ResNet-18用于判定口腔鳞状细胞癌浸润方式的初步研究 J.口腔医学研究，2 0 2 3,39（10）：9 17-9 2 2.11王恒，李霞，刘晓芳，等.基于ResNet50网络的乳腺癌病理图像分类研究J.中国计量大学学报，2 0 19,30（1）：7 2-7 7.12颜锐，陈丽萌，李锦涛，等。基于深度学习和组织病理图像的癌症分类研究进展J.协和医学杂志，2 0 2 1，12（5）：7 42-7 48.13杨观赐，杨静，李少波，等.基于Dopout与ADAM优化器的改进CNN算法J.华中科技大学学报（自然科学版），2 0 18，46(7):122 127.14姚超，赵基淮，马博渊，等.基于深度学习的宫颈癌异常细胞快速检测方法J.工程科学学报，2 0 2 1，43（9）：1140-1148.15刘亚伟，郭辰婧，赵绘萍.卷积神经网络的发展及其在肿瘤影像学中的应用 J.吉林医药学院学报，2 0 2 1,42（4）：2 9 0-2 9 2.16贾伟，江海峰，赵雪芬.采用细胞形态特征对比学习的肺癌图像分类J】.计算机工程与应用，2 0 2 3,59（19）：140-150.17Chen X,Ruan J.Research on COVID-19 Pneumonia DetectionMethod Based on Multi-Scale Convolution and Attention Mecha-nism C/2023 5th International Conference on Artificial Intelli-gence and Computer Applications（ICA ICA).0 2 0 2 4-0 3-14.