基于病理组织切片的肺腺癌肿瘤突变负荷预测模型.pdf

Chinese Journal of Biomedical Engineering2023年12 月2023December中医国生程No.6Vol.42报物学学42卷6 期基于病理组织切片的肺腺癌肿瘤突变负荷预测模型孟祥福1*杨子毅1杨啸林？侯嘉玥3（辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛125000)2（中国医学科学院基础医学研究所，北京协和医学院基础学院，北京京10 0 0 0 5）3（南京邮电大学通信与信息工程学院，南京210023)摘要：肺癌是目前死亡率最高的恶性癌症之一,其中非小细胞肺癌（NSCLC）致死率极高。最近医学研究发现，肿瘤突变负荷（TMB)对于癌症的免疫治疗和化疗的疗效具有较好的预测作用，但传统使用基因测序计算TMB的方法存在检测成本高、周期长、样本依赖度高等缺点。针对上述问题，本研究提出一种混合卷积神经网络和自注意力机制的深度学习模型（FCA-Former）用于预测TMB。该模型以CoAtNet为骨干网络，通过在网络中结合坐标注意力以及融合深度可分离卷积的方式，提高模型的运算速度以及对病理组织切片图像的全局特征提取能力。实验数据采用TCGA数据库中肺腺癌数字病理切片图像数据集，其中高TMB水平的样本2 7 1张，低TMB水平的样本6 6张。实验结果表明，所提方法达到的最高平均曲线下面积（AUC）为98.1%，比现有最好方法RcaNetr提高9.8%。此项研究结果对于NSCLC的预后治疗效果具有较强的指导意义。关键词：非小细胞肺癌；肿瘤突变负荷（TMB）；卷积神经网络中图分类号：R318文献标志码：A文章编号：0 2 58-8 0 2 1(2 0 2 3)0 6-0 6 98-12Prediction Model of Tumor Mutation Burden for Lung Adenocarcinoma Based onPathological Tissue SliceMeng Xiangfu*Yang ZiyilYang Xiaolin?Hou Jiayue3(School of Electronics and Information Engineering,Liaoning Technical University,Huludao 125000,Liaoning,China)2(Institute of Basic Medical Sciences,Chinese Academy of Medical Sciences,School of Basic Medicine,Peking Union Medical CollegeBeijing100005,China)3(School of Communications and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210023,China)Abstract:Lung cancer is one of the deadliest malignancies,particularly non-small cell lung cancer(NSCLC),poses a significant threat to public health.Recent medical research has found out the crucial role of tumormutation burden(TMB)in predicting the efficacy of immunotherapy and chemotherapy for cancer treatment.However,traditional methods for calculating TMB through genetic sequencing suffer from drawbacks,such ashigh detection costs,lengthy processing periods,and sample dependency.To address above problems,thispaper proposed a novel deep learning model named as FCA-Former,which combined convolutional neuralnetworks and self-attention mechanisms to predict TMB.The model employed CoAtNet as a backbone network,integrating coordinate attention and depth wise separable convolutions to enhance computational efficiency andglobal feature extraction capabilities from pathological tissue biopsy images.Experimental data sourced from theTCGA database comprised a dataset of lung adenocarcinoma digital pathology images,including 271 sampleswith high TMB levels and 66 samples with low TMB levels.The experimental results demonstrated theeffectiveness of the proposed approach,achieving a remarkable maximum area under the curve(AUC)of98.1%.This AUC outperformed the state-of-the-art RcaNet method by 9.8%.The results of this study havedoi:10.3969/j.issn.0258-8021.2023.06.007收稿日期：2 0 2 3-0 1-0 5，录用日期：2 0 2 3-0 7-19基金项目：国家自然科学基金（6 17 7 2 2 49）；中国医学科学院医学与健康科技创新工程项目（2 0 18-12 M-AI-009）；辽宁省教育厅一般项目(LJKZ0355)*通信作者（Corresponding author）,E-ma i l:ma r x i 12 6.c o m;699孟祥福，等：基于病理组织切片的肺腺癌肿瘤突变负荷预测模型6期significant implications for guiding prognostic and therapeutic strategies for NSCLC patients.Key words:non-small cell lung cancer;tumor mutation burden;convolutional neural networks引言肺癌是目前发病率与死亡率最高的恶性肿瘤之一。在2 0 2 2 年，中国和美国预计新发癌症病例分别约为48 2 和2 37 万，癌症死亡病例约为32 1和6 4万。在中国，最常见的癌症是肺癌，而在美国是乳腺癌,而肺癌也是两国最主要的癌症死因 ,非小细胞肺癌（non-small cell lung cancer，NSCLC）的致死率极高，晚期患者1年生存率不足40%。肺癌有多种诊断方法，包括组织病理切片，计算机断层扫描（computed tomography，CT）以及核磁共振图像（magnetic resonance imaging，M RI）等，其中组织病理切片是癌症诊断的金标准。对于非小细胞肺癌，免疫检查点抑制剂（i m m u n e c h e c k p o i n t i n h i b i t o r s，ICIs）在治疗程序性细胞死亡受体1（programmed celldeath1，PD-1）及其配体（programmed cell death ligand 1，PD-L1）中起着关键作用。免疫检查点抑制剂的主要生物标志物包括PD-L1表达、微卫星不稳定性和肿瘤突变负荷（tumor mutation burden，T M B）2 。2 0 13年，Lawrence等3 最早提出每兆碱基区域体细胞突变数量的概念。Alexandrov等4 通过全基因组测序（w h o l e g e n o me s e q u e n c i n g，W G S）和全外显子测序（w h o l e e x o me s e q u e n c i n g，W ES）技术分析突变图谱，描述出不同癌症样本中每百万碱基（mega base，Mb)的基因突变数量。2 0 15年,Rizvi等5 发现低TMB组的非小细胞肺癌患者虽然对PD-1抗体有反应,但反应是短暂的。相对高TMB组的患者具有更长的无进展生存期（progression-free survival，PFS）。之后,随着 CheckMate-0266 与 CheckMate-2277 等实验的相继提出，也验证了肿瘤突变负荷对非小细胞癌治疗的预测作用。CheckMate-026是首个分析肿瘤突变负荷与PD-1免疫抑制剂相关性的研究，该项研究发现通过免疫抑制剂的治疗使肿瘤突变负荷高的患者具有更长的生存周期。CheckMate-227使用联合免疫抑制剂的方案进行临床研究，发现高TMB的患者具有更长的无进展生存期WES技术是目前进行检测TMB的主要手段，但这种方法存在检测成本高、周期长、对样本依赖度高的缺点。因此急需开发一种成本低、周期短、样本依赖度低的TMB水平预测方法。在深度学习方法普及之前，科研人员根据病理学的先验知识设置特征提取器来对病理图像进行良恶性划分。Gunduz等8 通过概率图来表示细胞级别组织结构，包括细胞的度，聚类系数等，并根据概率图的特征对健康与不健康的发炎细胞进行区分。Altunbay等9 根据结肠组织的细胞核、细胞质以及腔成分的位置通过Delaunay三角剖分方法构建“彩色图”，并通过向后选择法提取关键特征，最后使用支持向量机（supportvectormachine，SVM）来进行病理组织分类。但需要指出的是，利用传统先验知识进行特征提取器方法不仅不能提取病理图像的深层次特征，还存在低维信息提取不完全的问题。深度学习是一种端到端的方法，通过模拟人类的神经系统来建立神经网络模型，从而对目标对象特征进行提取和分析，依靠组合和学习这些特征信息来获得抽象的深层次特征，最终完成分类或回归任务。对于病理图像分析领域，深度学习方法已经被证明在自动特征学习方面优于手动选取特征，Xu等10 通过k-means 算法对病理切片随机采样,对数据升维后再使用深度神经网络进行深层特征提取，结果表明模型可以有效提取切片的精细信息并完成最终预测。Cao等11 于2 0 2 0 年提出一种基于多示例学习的微卫星不稳定性预测模型，该模型以ResNet18作为分类器，通过迁移学习方法在结直肠癌数据集上取得良好的效果。自注意力机制首先在自然语言处理（naturallanguageprocessing，NLP）领域的研究者提出，由于在长距离建模和全局特征提取方面具有出色的能力，使计算机视觉领域的研究者受到启发。视觉自注意力机制（vision transformer，Vi T）是第一个将自注意力机制引入到视觉领域的工作，并在ImageNet21K与JFT数据集预训练下取得良好效果。Zhang等12 提出多阶段混合自注意力模型应用于胰腺癌病理切片图像快速诊断，通过卷积网络偏差引导自注意力模块，在卷积模块的输出部分加人焦点引导解码器（focusguideddecoder,FGD），用于对局部与全局信息的融合，使每个FCD模块都会结合CNN模块的注意力偏差，之后将FGD携带的信息结合自注意力模块的输入，实验结果表明模型的分类效果达到95.6 8%的准确率。700中生42卷医国报程物学学Shao等13 对于多示例学习中存在不同示例间关系被忽略的问题，提出一种基于自注意力机制的多示例学习方法。该方法除了利用示例间的空间与形态信息，还考虑了单个区域周围的上下文信息以及做出诊断决策时不同区域之间的相关性，最终使训练速度提升2 3倍，在Camelyon16数据集进行训练，用于二元肿瘤分类测试AUC高达93.0 9%。癌症亚型分类测试的AUC分别在TCGA-NSCLC数据集和TCGA-RCC数据集达到96.0 3%和98.8 2%。孙德伟等14 在Inception模块中结合CBAM注意力，使原始的GoogLeNet15具有空间和通道的建模能力，并将该网络用于对肺腺癌肿瘤突变负荷的分类预测,最终获得AUC值为0.8 2 的结果。但此种方法受卷积核局限性影响，不能对病理切片进行全局建模以获得整体的特征。刘邓等16 以残差网络为骨干，通过在网络中结合多维度特征注意以及多尺度信息融合的方式，来增强网络对肺腺癌病理组织切片的深层次特征提取能力。但该方法仍受限于卷积核的局限性的原因，有较大的提升空间。1材料和方法1.1材料所使用的数据集来源于癌症基因图谱（TheCancer GenomeAtlas,TCGA）数据库，该项目由美国国家癌症研究所（National CancerInstitute，NCI）和国家人类基因组研究所（NationalHumanGenomeResearchInstitute，NH G RI）于2 0 0 6 年联合启动，主要收集癌症患者各类临床数据。目前,TCGA数据库已收录超过2 0 0 0 0 名癌症患者的病理信息，并与33种癌症进行匹配。本研究研究涉及的基因组信息和全视野数字切片图像是TCGA数据库下TCGA-LUAD数据该数据集包括337 名病人的数字病理切片图像（wholeslice image，W SI），其中高TMB的数据样本2 7 1张，低TMB的数据样本6 6 张。本研究使用的分类标签是根据TCGA数据库给出的简单核苷酸变异数据计算得出的TMB值。根据CheckMate227实验，研究人员发现TMB10.0突变数/Mb的晚期非小细胞癌患者能够在干预治疗下明显延长无进展生存期。所以，将TMB值大于等于10 的WSI的标签设置为高TMB组（High），将TMB值值小于1.1的WSI设置为低TMB组（Low）。由于原始WSI像素数据很大，不能直接送人神经网络处理，因此先利用OpenSlide对WSI进行切片处理，按照2 2 4像素2 2 4表1讠训练集和测试集中WSI切片数量Tab.1The number of tiles of WSI in training and test sets训练集/张测试集/张总数/张高TMB组770185189109959294(High)低TMB组155 76943814199583(Low)像素的分辨率对原WSI进行切分，每张小切片的标签与其对应的WSI的标签一致。切分后的数据集按照8：2 的比率进行训练集与测试集的划分，划分后的训练集和测试集包含的小切片统计数具体参数如表1所示1.2方法从数字病理切片预处理方法以及深度学习模型设计方面阐述预测肺腺癌肿瘤突变负荷的实现过程。首先，将数字病理切片图像转换为符合深度学习模型输人要求的数据格式；然后，将切分的图像数据按照给定的标签进行分类，再将分类的图像按比例分为训练集和测试集；最后，构建模型，利用训练集进行模型训练，利用测试集对模型效果进行测试评价。1.2.1WSI切分对于原始的病理组织切片，通常以10、2 0、40 倍进行放大，然后扫描成WSI，W SI 以多层金字塔的结构进行保存，因此每张WSI包含数以亿计的像素值。本研究使用无重叠滑动窗口的方法对原始的WSI进行分块。一张WSI内的边界处通常含有大量空白部分，直接使用滑动窗口切分会保留空白部分，但这些空白图像不包含用来TMB分类预测的特征。为此，在对WSI进行切分过程中，如果某张小切片包含的空白区域超过50%，则该小切片将会被舍弃，WSI的切分预处理方法如图1所示。对WSI进行分块的过程中，由于不能对分块后的每一个小切片进行详细标注，因此本研究引人多示例学习（multiple instancelearning，M IL）方法对每张小切片进行类别划分。本研究将每张WSI看作一个包，而切分后的每张小切片看作一个示例，小切片的标签与其对应的整张WSI的标签一致。也就是说，如果一张WSI的标签为High，则对其切分获得的小切片标签都为High，一张WSI的标签为Low,则对其切分获得的小切片标签都为Low。1.2.2数据增强为使模型具有更好的泛化能力和鲁棒性，对训练数据使用5种方法实现数据增强（见图2）。包701孟祥福，等：基于病理组织切片的肺腺癌肿瘤突变负荷预测模型6期剔除空白区域大于50%的小切片x10无重叠滑动划分数2020窗口采样据集40图1病理图像预处理Fig.1Pre-processing of pathological images030图2病理图像数据增强Fig.2Data augment of pathological images括：1中心裁剪：对小切片图像进行放大，再在放大后图像的中心部分裁剪出与原小切片大小相同的图像；2)随机水平垂直翻转：以一个给定的概率对小切片图像进行水平和垂直翻转；3）随机角度旋转：对小切片图像按中心进行随机角度旋转；4）正则化：为防止模型过拟合，计算所有小切片图像的均值与标准差，再对每张小切片图像进行减均值和除以标准差操作；5）随机擦除：在训练过程中，随机选取某张小切片图像的某个矩形区域，通过填充随机值或平均像素值的方式将该区域进行覆盖，达到遮挡的效果，1.2.3深度学习模型构建传统卷积神经网络依靠卷积核提取局部特征，模型参数量少的同时有很高的计算效率，但卷积核对于全局特征的提取存在困难。相反，自注意力机制由于长序列建模与并行计算能力，可以有效提取病理图像全局特征。本研究构建一种混合卷积网络与自注意力机制的深度学习模型，在模型浅层的网络，使用一种融合倒残差模块与坐标注意力相结合的新型结构（FCA-MbConv）。在模型深层的网络，使用视觉自注意力机制对小切片图像的抽象特征进行学习。最后通过混合卷积网络与注意力模型来提高深度学习模型在肿瘤突变负荷方面的预测精确度。1.2.4FCA-FormerFCA-Former的主要方法是通过混合卷积网络与注意力机制模型的方式来减少参数量，并提高模型的分类预测效果。但简单将自注意力模块拼接效果并不好,Dai等17 提出，卷积神经网络更加适合提取浅层网络的局部特征，在卷积网络与自注意力模块组合时，“C,C,T,T”的组合模式即网络浅层使用卷积神经网络，深层使用自注意力机制在实际的过程中拥有最好的预测能力。在卷积模块阶段，对于浅层阶段的特征信息，局部卷积的能力并不弱于全局注意力机制，通过将融合倒残差结构设计在网络浅层来降低内存占用并提高模型的运算效率，同时在融合倒残差模块中使用坐标注意力结合位置信息并建立长距离依赖，缓解卷积网络提取局部特征时受到的限制。对于模型训练，将小切片输人至模型中。首先进人Stem阶段的下采样层，通过卷积方式对图像进行下采样操作并增加通道个数；之后在进人每个子模块前，先使用最大池化层对小切片图像进行两倍下采样并对特征矩阵进行升维操作；对于通过FCA-Former子模块的图像数据，模型会保持输人与输出数据特征矩阵维度相同；最后，由两个全连接层组成的多层感知机（multi-layerperceptron，M LP）模块输出每个类别对应的概率得到最终结果。FCA-Former模型结构图如图3所示，1.2.5融合坐标注意力倒残差模块融合倒残差模块（fused-mobileinvertedbottleneck convolution，Fu s e d-M b Co n v）是谷歌研究院在2 0 2 1年利用神经结构搜索（neural architecturesearch,NAS)在EfficientNetV218中提出的网络结构。在此之前，研究者们通过提高网络的宽度和深度以及通道数来提高网络的性能，如ResNet19通过残差连接的方法将模型的深度设计至10 0 0 层，有效解决因网络层数过深带来的模型退化问题倒残差模块（mobileinvertedbottleneckconvolution，M b Co n v）最先被Howard等2 0 在702中生国医物42卷程学报学CNN StageTransformerStageHxWx3HWx6422adunsmoaarduesmodarduesmoaStemFCA-MbConvFCA-MbConvTransformerTransformerMLPResultBlockBlockHeadx3x6x9X3HWHWHW9619216*16638432*32768图3FCA-Former模型结构Fig.3FCA-Former model structureMobileNet中提出，后来被谷歌研究院改进并提出EfficientNetV121,该网络通过NAS搜索将网络的深度、宽度以及图像分辨率按统一的参数进行优化。但在实际应用的过程中，该网络出现训练大分辨率图像存在训练速度低且显存占用高的问题。Fused-MbConv的出现主要解决倒残差模块存在的这一问题，在结构的主分支上将原本深度可分离卷积与升维卷积替换成一个升维卷积，通过一个卷积层完成升维以及特征提取工作，这个步骤用少量参数开销为代价来加快模型的运算速度。融合倒残差结构与倒残差结构的区别如图4所示。注意力机制是一种模仿人类关注点的一种深度学习技术。该技术可以根据图像特征抽取不同位置的权重，从而使模型关注更为重要的局部特征。本研究在融合倒残差模块中采用坐标注意力2 2】（coordinateattention，CA）模块替代SE注意力模块。传统的SE模块通过全局平均池化来计算通道间的权重，以较小的运算量为代价获得性能提升但SE模块忽略了空间位置信息的重要性。CBAM注意力模块通过卷积结合空间位置信息与通道信息，弥补SE模块缺陷，但此方法的卷积模块只能捕获局部特征并不能建立长距离依赖。坐标注意力分别从水平坐标和垂直坐标两个方向聚合特征，精准保留位置信息的同时，在另一个方向建立长距离依赖。所以，坐标注意力模块不仅可以帮助卷积网络更准确的定位和识别感兴趣的对象，还可以容易的嵌人到大多数主流的网络中。坐标注意力模块如图5所示。MbConvH.W.4CDWConv1x1Conv3x3H,W.CH,W.CSE+Convlx1H.W.4CConv3x3Fused-MbConv图4MbConv与Fused-MbConv的区别Fig.4The difference between MbConv and Fused-MbConv当特征矩阵X输人到坐标注意力中，首先会分别对水平和垂直方向的特征信息进行一维全局平均池化,特征矩阵由（H,W,C)分别变为（C,H,1）和(C,1,W）,计算方法为1x。(h,i)(1)WiW1.(j,w)(2)H0KiHzh和zw分别为聚合后两个方向的特征，此时得到一对方向感知的特征图，接着通过变换特征矩阵维度的方式，将两个特征矩阵进行拼接，再通过11的卷积操作变换维度，最后进行批标准化（batchnormalization，BN）以及ReLU激活函数，特征矩阵尺寸变为（C/r，（H+W），1），计算方法为f=relu(F,(zh,zw)(3)式中,F，为11的卷积操作,f为空间信息在水平与垂直方向的特征映射。之后通过拆分空间维度将特征矩阵分为两个单独的矩阵（C,H,1）和（C,1,W），再对两个矩阵分别进行二维卷积和Sigmoid激活函数，计算方法为gh=sigmoid(F,(f.)(4)gw=sigmoid(F,(f.)(5)式中,F，与Fw分别为两个11的卷积层，ghvgw为最终在水平与垂直坐标方向得到的权重，将两个矩阵与原矩阵进行相乘，得到特征矩阵通过坐标注意力的结果。上述过程计算方法表示为ye(i,j)=x(i,j)gh(i)gw(j)(6)综上所述，本研究设计了一种改进的融合坐标注意力倒残差结构（fused coordinate attention mobileinverted bottleneck convolution,FCA-MbConv）,使用坐标注意力模块代替原本融合倒残差结构中的SE模块。因为仅对局部特征进行提取的卷积层与仅对通道信息进行编码的SE模块会损失掉病理图像中丰富的特征，使特征提取不完全，导致模型对TMB预测效果变差。除此之外，为避免sigmoid激703孟祥福，等：基于病理组织切片的肺腺癌肿瘤突变负荷预测模型6期AvgPoolConv2dHxWxCHxWxCConcat+Conv2dSigmoldHxIxCBN+ReLU输入特征图SpiltHxIxC一输出特征图1xWxC1xWxCSigmoid1x(H+W)xC/rConv2dAvgPool图5坐标注意力模块Fig.5Coordinate attention moduleH,W.CH,W,4CH,W,4CH.W,CConv3x3CAConv1x1?图6FCA-MbConv结构Fig.6FCA-MbConv structure活函数造成梯度消失现象，本研究将FCA-MbConv模块内的所有激活函数换为gelu激活函数。FCA-MbConv模块的设计如图6 所示。当小切片图像输人FCA-MbConv模块时，首先进行33的卷积操作，通过卷积操作对特征矩阵进行升维和特征提取，并且通道数变为原来的4倍。将升维后的数据输人到坐标注意力模块，提取精确位置信息与建立长距离依赖关系，再通过1x1的卷积层降低模型的通道数，使输出的特征矩阵与输人保持一致，最后将卷积层的输出与输人相加作为FCA-MbConv模块的输出。1.2.6多头注意力机制自注意力机制2 3 最早被NLP领域提出，用来解决循环神经网络等模型长距离序列的遗忘与并行化问题，后因在视觉领域有效缓解卷积神经网络中卷积核感受野有限的问题，被人们广泛应用于计算机视觉方向。ViT24首先是Google团队在2 0 2 0年提出的应用于图像分类的模型，不像自然语言处理中将文字序列输入，ViT会先将每张图像通过嵌入层，把图像分为多个长宽为P的小切片，切分后将小切片类似一个序列，并行输人至线性映射层，之后将所有小切片转化为向量，并在前面加上一个表示类别的向量，此时得到的结果可以输入至ViT中。以病理图像为例，图像块嵌人视觉自注意力机制如图7 所示,R为病理切片图像分辨率，N为小切片数量。N-RPatchEmbedding+class token个Position Enbedding个Linear Projection图7图像块嵌入自注意力机制Fig.7Patch embedding of self-attention mechanism自注意力机制使用带缩放的点积注意力（s c a l e d d o t-p r o d u c t a t t e n t i o n），通过3个可学习的共享特征矩阵W,WK,W分别将输入X投影至查询（Q u e r y，Q），键（Key,K），值（Value,V）这3个向量中，dk为向量K的行维度，缩放点积注意力计算方法为Q=XW,K=XWK,V=XWv(7)QKTAttention(Q,K,V)=softmax(8)多头注意力是通过多个自注意力模块分别对不同通道上特征进行学习的方式，进而丰富注意力学习特征的多样性，使用可学习的特征融合矩阵W进行拼接得到最终输出，n为多头注意力的层数，并且每层各自都有可学习的权重矩阵W、W K 和W，多头注意力的计算方法为Multi(Q,K,V)=Concat(head,.,head,)W(9)head,=Attention(Xw,Xwk,Xwy),i=1,2,.,n(10)自注意力机制不能通过隐式的方式学习到长序列位置信息，所以需要使用位置编码方式来嵌人位置信息。多头注意力机制如图8 所示，FCA-Former使用Python开发，深度学习框架选择PyTorch，学习率设置为0.0 0 0 1,学习率衰减率为0.05，每一批输人到模型的小切片图像为6 4张，随704中生国医程学物42卷报学Multi-HeadConcatSelf AttenionSoftMax：Kii=1,2,nW,QWKWPositionalEncoding图8多头注意力机制Fig.8Multi-head self-attention mechanism机失活率设置为0.2，使用交叉熵损失作为损失函数，优化器选择AdamW25,训练过程共迭代2 0 次。所有训练与测试实验的模型均运行在两张RTX2080Ti,11GB显卡、操作系统为Ubuntu16.04、处理器为IntelXeonW-2150B、运行内存为32 GB的服务器上。AdamW优化算法是Adam算法的改良版本。传统的Adam优化器在实现过程中，对于梯度权重惩罚方法为L2正则化，这会导致较大的权重获得较小的梯度惩罚，并与初始的学习率产生耦合，导致正则化的效果会被减弱，最终使泛化能力变差。而AdamW优化器改进梯度权重惩罚方法，引人梯度衰减（weightdecay）方法，该算法对所有的参数都有相同的惩罚力度，实现与初始学习率解耦，从而降低模型对初始学习率的敏感程度。相比于Adam算法，此算法有更好的稳定性和泛化性，因此本研究选择AdamW作为优化器1.2.7评价方法本研究采用精确率（precision）、召回率（r e c a l l）、F1分数（fl-score）以及ROC曲线下面积（a r e a u n d e r t h e RO C c u r v e，A U C）指标对 FCA-Former进行评价。模型分类结果的混淆矩阵如表2所示。TP表示标签为阳性并且模型预测为阳性的样例数,FP表示标签为阴性但模型预测为阳性的样例数，即模型误报的情况，TN表示标签为阴性并且模表2混淆矩阵Tab.2Confusion matrix预测结果真实情况TrueFalsePositiveTPFNNegativeFPTN型预测为阴性的样例数,FN表示标签为阳性但模型预测为阴性的样例数，精确率反映的是模型不将负样本标记为正样本的能力，精确率越高，表示模型找出负样本的能力越强，计算方法如下：TPprecision(11)TP+FP召回率反映的是模型找出正样本的能力，召回率越高，表示模型区分正样本的能力越强，计算方法如下：TPrecall(12)TP+FNF1-score同时兼顾分类模型的精确率与召回率，是两者的加权平均值，计算方法如下所示：2TPF1-score(13)2TP+FP+FN受试者工作特征曲线（receiveroperatingcharacteristiccurve，RO C）的横坐标为伪阳率（falsepositive rate，FPR），纵坐标为真阳率（true positiverate，T PR），通过多组阈值计算得出的FPR与TPR进行连线得到ROC曲线。TPR与FPR的计算方法如下所示：TPTPR=(14)TP+FNFPFPR=(15)FP+TNAUC是一种机器学习中常用的对二分类以及类别不均衡等问题提出的评价指标，原理为ROC曲线与坐标轴所围成的面积。AUC的值介于0.5到1之间，值越大代表模型越可能把标签为正的数据放在标签为负的数据前面，也就是做出正确预测的能力越强。1.2.8模型验证为了验证本研究模型的有效性，共进行3个实验。实验一：在2 2 42 2 4的小切片图像数据集上使用FCA-Former与深度学习中典型网络进行对比测试。所有对比模型均使用贝叶斯搜索方法2 6 2 7 查找超参数，而优化器和损失函数与本研究训练的FCA-Former模型保持一致。此外，本研究还与最相关模型CAIM和RcaNet进行对比，以验证本研究提出模型的优越性。实验二：在2 2 42 2 4的数据集中对引人模型的每个模块分别进行实验，引人坐标注意力机制替代7056期孟祥福，等：基于病理组织切片的肺腺癌肿瘤突变负荷预测模型原本的SE模块，同时与CBAM注意力进行比较。通过与ViT和CoAtNet进行比较，验证模型的高效性、便捷性以及准确性。实验三：对数据图像增强策略的有效性进行验证，设置使用数据增强策略与未使用数据增强策略两个对照组。通过设置不同的超参数对比不同超参数下模型的各项性能指标。2结果2.1对比实验为了给每个模型寻找最优的超参数，使用了贝叶斯搜索方法，以证明FCA-Former模型对TMB预测效果的优越性。本研究选用AlexNet28VGC2、In c e p t i o n V3、Re s Ne t、D e n s e Ne t 30 EfficientNet网络等作为消融实验的对比模型，这些网络模型在ImageNet分类任务中都取得了良好的结果，并在计算机视觉领域得到了广泛应用。图9给出了上述不同模型在不用epoch下的AUC变化情况。在实验过程中，先通过贝叶斯搜索方法为除了CAIM和RcaNet的每个模型寻找最优超参数，其中包括学习率、丢失率以及批处理大小，以更好的评估不同模型之间的性能差异。从图9可以看出，FCA-Former具有最高的AUC值，特别是epoch高于5时，优势更明显。因为随着训练的进行，模型逐渐学习到更复杂、更抽象的特征表示。在初期，模型只能捕捉到部分简单的特征模式，随着epoch的增加，模型逐渐优化并学习到更多有用的特征，从而使预测更加准确。表3给出了不同模型在AUC、F1-s c o r e、precision和recall方面的比较结果。可以看出，FCA-Former模型具有最高的AUC值,与目前效果10090%/OnV80FCA-FormerAlexNet70VGGInceptionV3ResNet60DenseNetEfficientNetCAIMRcaNet50051015202530epochs图9不同模型在不同epochs下的AUC值对比图Fig.9Comparison on AUC for different epochs ofvarious deep learning models表3切片大小为2 2 42 2 4的实验结果Tab.3The experimental results for tile size of 224224模型AUC/%F1-score/%precision/%recall/%AlexNet80.877.575.679.6VGG83.272.974.071.8InceptionV383.779.982.178.0ResNet86.187.688.686.7DenseNet86.085.875.086.8EfficientNet82.482.686.579.2CAIM82一一一RcaNet88.3一一一FCA-Former98.197.997.798.1最好的RcaNet模型相比，本研究所提出的模型将AUC提高了9.8%，明显优于RcaNet。从F1-score的结果可以看出,FCA-Former判别正负样本的能力也明显优于其他分类模型。2.2模块消融实验1）坐标注意力模块表4给出了融合倒残差结构采用不同注意力模块的模型效果。在实验中模型对通道数的放缩倍率均设置为0.2 5,即在输入注意力模块后，原图像的通道数目变为原来的4倍。结果表明，当模型加入坐标注意力模块后，模型最终效果达到最优，相比SE、CBA M 分别有2.3%和1.5%的提升，这也表明坐标注意力模块能够有效提取全局特征。图10 给出了使用3种不同注意力模块的融合倒残差结构在数字病理图像进行类