基于3D卷积神经网络对局部...期NSCLC患者的生存预测_马亚楠.pdf

2023 年 2 月 25 日第 7 卷第 4 期现代信息科技Modern Information Technology Feb.2023 Vol.7 No.41091092023.022023.02收稿日期：2022-09-30基于 3D 卷积神经网络对局部晚期 NSCLC 患者的生存预测马亚楠，宋玥，郝天宇（兰州财经大学，甘肃 兰州 730020）摘 要：目前关于非小细胞肺癌（NSCLC）患者生存分析的研究已经有很多，但是大多数都是在医生勾画出肿瘤的基础上进行影像组学特征提取，其次结合临床以及治疗前患者的肿瘤 PET/CT 图像特征进行生存分析的研究。在无医生勾画肿瘤的基础上，采用深度学习的方法，基于患者治疗前后 FDG-PET 是否可以对局部晚期 NSCLC 患者进行生存分析。在采用治疗前和治疗后 FDG-PET 时，基于 3D 卷积神经网络（3D CNN）的深度生存模型的一致性指数（C-index）为 0.67。研究表明，同时使用治疗前后 PDG-PET 进行阅片可以预测出患者的风险概率。关键词：非小细胞肺癌；治疗前后 PDG-PET；3D 卷积神经网络；生存分析中图分类号：TP391 文献标识码：A 文章编号：2096-4706（2023）04-0109-05Survival Prediction of Patients with Locally Advanced NSCLC Based on 3D CNNMA Yanan,SONG Yue,HAO Tianyu(Lanzhou University of Finance and Economics,Lanzhou 730020,China)Abstract:There have been many studies on the survival analysis of patients with non-small cell lung cancer(NSCLC).However,most of the studies are based on the extraction of tumor radiomics features based on the tumour label outlined by the physician,followed by a combination of clinical and pre-treatment PET/CT image features of the patient for survival analysis.Survival analysis of patients with locally advanced NSCLC based on whether pre-treatment and post-treatment FDG-PET can be performed by using a deep learning approach without the basis of tumors label of the physician.The consistency index(C-index)of the deep survival model based on 3D CNN is 0.67 when using pre-treatment and post-treatment FDG-PET.The study shows that simultaneous reading with pre-treatment and post-treatment PDG-PET can predict the risk probability of patient.Keywords:non-small cell lung cancer;pre-treatment and post-treatment PDG-PET;3D CNN;survival analysis0 引 言癌症是世界范围内的主要公共卫生问题。肺癌是世界范围内最常见的癌症类型，也是导致癌症死亡的主要原因1。肺癌可以大致分为小细胞肺癌（Small Cell Lung Cancer,SCLC,15%）和非小细胞肺癌（Non-small cell lung cancer,NSCLC,85%）。其中 NSCLC 患者中超过三分之一（33%50%）的患者表现为局部晚期疾病2。局部晚期 NSCLC 通常是指期的 NSCLC3。PET 对 NSCLC 分期有效，与常规分期相比，对局部或远端转移疾病的敏感性和特异性更高4；并且已经有研究证明，放化疗后相对较快获得的 18-氟脱氧葡萄糖（FDG）PET 可以预测长期预后。但是由于 PET/CT 检查非常昂贵，极少有病人会在治疗后再次进行 PET/CT 筛查，导致治疗后图像数据非常稀缺。并且肿瘤金标准勾画非常昂贵和耗时，如果可以在不勾画肿瘤金标准的基础上，对 PET 图像进行阅片来对患者进行生存分析可以节省极大的人力和时间。Cox 比例风险模型可以对比与事件和事件发生时间相关DOI:10.19850/ki.2096-4706.2023.04.028的变量，是医学研究5中常用的分析方法。该方法不仅提供了结果（即是否死亡），还提供了事件发生的时间，这对临床实践更有模型帮助。Cox比例风险模型表现出较高的性能，但也有局限性。它假设是线性分析，而不是进行非线性分析。非线性分析可以更好地反映实际的特征与患者预后之间的相关性5。在过去的几年里，深度学习已经成为一个跨越广泛的成像领域的强大工具，如分类、预测、检测、分割、诊断、解释、重建等。虽然深度神经网络最初在计算机视觉社区中发现，但它们很快传播到医学成像应用。深度学习在诊断疾病方面的加速力量将使医生在临床环境中加快决策。近年来，现代医疗器械的应用和医疗保健的数字化产生了大量的医学图像。在这个大数据领域，用于高效数据处理、分析和生成数据建模的新深度学习方法和计算模型对于临床应用和理解潜在的生物过程至关重要。近年来，深度学习在医学领域引起了关注6，7。通过深度学习，有可能提取出特征与个体预后之间复杂的线性和非线性关系。将深度学习集成到 Cox 比例风险模型中，导致了深度学习生存神经网络（DeepSurv）的发展8。在具有线性和非线性协变量的生存数据上，这已被证明与其他生存分析1101102023.022023.02第 4 期现代信息科技方法一样好或更好。死亡时间估计的优点是它比传统的二值分类任务能提供更多的信息。传统的二元分类并不估计患者在死亡风险增加之前的多少天。另一方面，死亡时间模型可以从一个固定时间点（在该模型中的入院时）的数据中估计随时间变化的死亡风险。假设可以通过使用 FDG-PET 建立一个可以直接从医学影像中提取图像特征的预后模型。由于 DeepSurv 没有处理图像的机制，整合了卷积神经网络（CNN），这是DeepSurv 的深度学习领域之一。可以用端到端的形式直接使用和处理图像，以评估预后。本文的研究重点是基于患者治疗前和治疗后的 FDG-PET 图像，并采用深度学习的卷积神经网络模型对 NSCLC患者进行生存分析。1 相关知识1.1 生存分析生存数据由三个要素组成：患者的基线数据 x、事件发生的时间间隔 T 和事件指示器 E。如果观察到事件（例如死亡），时间间隔 T 对应于收集基线数据的时间和事件发生的时间之间的时间，并且事件指示器为 E=1。如果没有观察到一个事件，时间间隔 T 对应于收集基线数据到与患者最后一次接触（如研究结束）之间经过的时间，事件指标为 E=0。在这种情况下，病人被认为是正确审查的。如果选择使用标准回归方法，右截尾数据被认为是一种缺失数据。这通常会被丢弃，这可能会在模型中引入偏差。因此，对右截尾数据进行建模需要特别考虑或使用生存模型。生存和风险函数是生存分析中的两个基本功能。生存函数用S(t)=Pr(Tt)表示，它表示一个个体在时间t后“存活”的概率。风险函数(t)的定义为：风险函数是一个人不能存活额外的时间 的概率，假设他们已经存活到时间t。因此，危险越大，死亡的风险就越大。生存分析模型包括两个部分，包括线性分析模型以及非线性分析模型。常用的线性生存分析模型指的是 Cox 比例风险回归模型，用来处理特征与生存时间以及生存状态之间的线性关系。但是通常得到的特征，其与患者生存状态以及时间之间的关系并非是线性关系，因此会采用深度学习生存神经网络来处理特征进行生存分析，并且深度学习可以直接用来处理图像，为使用深度学习进行生存分析提供了一种端到端的方式。1.2 CNN在深度学习和医学图像处理领域，CNN 是最常用的神经网络。CNN 结构由三层类型组成：（a）卷积，（b）池化层和（c）全连接层，分层有序，堆叠在多层中。除了这些层之外，还有一个输入层和一个输出层。每一层的功能都是学习图像9的具体特征。CNN 模型的性能会在很大程度上受到数据的影响。此外，它可能对结果产生误导，以及模糊图像特征从而影响到CNN 最终的预测结果，因为已知放射图像有噪声、人工制品和其他因素，可能影响医疗和计算机应用程序的感知10。因此，医学图像分析的第一步通常是图像预处理，以改善图像的质量、对比度、噪声去除等特征11。2 实验数据2.1 数据来源本文所采用的数据为公开数据集，患者数据来自美国放射影像网络（ACRIN）6668/放射治疗肿瘤组（RTOG）/0235。该数据集总共有 250 名患者，共有 242 名非小细胞肺癌患者的影像数据。其中239名患者有PDG-PET图像数据，180 名患者有治疗前和治疗后的 FDG-PET 图像，156 名患者有治疗前和治疗后的 FDG-PET/CT 图像。2.2 数据预处理所采用的数据中每名患者都有治疗前和治疗后的 FDG-PET/CT 图 像，首 先，将 患 者 的 FDG-PET/CT 图 像 经 过3DSlicer 医学图像处理软件得到其 PET 图像对应的 SUV 图像；然后，去除处理异常和 SUV 图像异常的数据以及临床分期非B、A、B的患者，然后将所有的患者切片进行重采样到相同的层厚，最后手动挑选出所有病人肩膀以下、膀胱以上的部分，最终纳入 144 名患者。并将图像进行了归一化，剔除图像中可能存在的一些噪声以及干扰信息。从中随机选取 80%的数据作为训练集，其余 20%的数据为测试集。本实验采用的数据情况如表 1 所示。表 1 数据情况Demorgraphic or ClinicalCharacteristicAll Patients Registered(N=250)Accepted Patients(N=144)No.PCT（%）No.PCT（%）Clinical stageIIB93.653.5IIIA12349.28256.9IIIB11445.65739.6Other41.600.0SexMale16264.89566.0Female8835.24934.0Age（years）Median65.565Range36 8537 823 实验方法3.1 模型结构本文采用的生存分析模型如图 1 所示。将同一名患者治疗前后的 FDG-PET 同时输入到由 3D 卷积神经网络组成的特征提取器中，用来进行图像特征提取；然后将提取到的特征通过通道数叠加到一起，最后经过全连接层预测患者的风险概率。pre_imgpost_imgfeatureextractionfeatureextractionriskpre_img featurepost_img featurefc3D CNN3D CNN图 1 生存分析模型1111112023.022023.02第 4 期具体来说就是将一个 CNN 合并到 DeepSurv8中：将CNN 的输出连接到 DeepSurv 的全连接层，以创建一个端到端深度学习模型。该模型同时由 CNN 和 MLP 结构组成。在正向传播过程中，将从影像中提取到的 CNN 的特征传递给MLP。损失根据 MLP 的输出值计算。然后，CNN 和 MLP中的权重将同时进行更新。在每个训练过程中，模型将图像和临床数据作为输入，预测结果（死亡或出院），然后通过反向传播对 DeepSurv 和 CNN 进行训练。3.2 特征提取模块所采用的特征提取模块如图 2 所示。特征提取模块的基本框架是 3D-VGG16，与 VGG16 不同的是，只采用的VGG16 网络的前三个卷积块来进行图像特征提取，并分别在第一和最后一个卷积块后加入了卷积注意力（Convolutional Block Attention Module,CBAM）12模块，如图 3 所示。3D convblock3D convblock3D convblockCBAMmodelCBAMmodelGAPGlobal Average Pooling图 2 特征提取模块 convolutionShared MLP Channel attention Global average pooling Spatial attention part SoftmaxSoftmaxChannel attention part S SGlobal max pooling max and average pooling Spatial attention 图 3 CBAM 模块本实验采用的三个卷积块中，前两个卷积块由两个333 的卷积组成，最后一个卷积块由三个 333 的卷积组成。每个 333 的卷积后都跟了一个批量归一化（即BatchNorm）和 Relu 激活层。在每个卷积块的最后都有一个最大池化层用来进行下采样，核大小为 222，步幅为 2。CBAM 模块由两个部分组成，分别是通道注意力模块和空间注意力模块。通道注意力模块是将从卷积块得到的特征先分别经过全局平均池化和全局最大池化层，然后分别通过共享参数的 MLP 层后相加，最后经过 Softmax 激活后和最初的特征相乘得到通道注意力特征。通道注意力模块中的MLP 层是由两个 111 的卷积组成，两个卷积层中间加了一个 Relu 激活层。空间注意力模块是将从经过通道注意力模块得到的特征分别经过最大和平均池化层后，得到两个不同的特征图，然后经过通道数堆叠，通过一个 111 的卷积层以及 Softmax 激活层，将得到的概率图和通道注意力特征相乘得到最后的卷积注意力特征。最后在特征提取器后面加了一个全局平均池化层，将卷积神经网络提取到的三维特征映射到一维层面，并进行患者的生存预测。4 实验与结果4.1 损失函数卷积神经网络的输出是具有线性激活的单个节点，估计的是 Cox 模型中的对数风险函数8，因此本文采用的损失函数是平均负对数似然损失函数：其中，NE=1 为患有可观察事件的患者数量。模型训练过程中的损失如图 4 所示，训练过程中训练集的损失随着 epoch 的增加，是成波动变化的，但整体上呈下降趋势。13579111315171921232527293133357339414345470.90.80.70.60.50.40.30.20.10epochloss图 4 模型训练过程中的损失4.2 实验参数设置由于实验设备的局限，为了保证实验的顺利进行，本实验的特征提取模块中的卷积块通道数分别为 16、32、32。用于治疗前和治疗后 FDG-PET 的特征提取器的参数是共享的。优化器选择的是 Adam 优化器与权重衰减为 0.000 5，学习率设置为0.001，并选择使损失函数最小的权重用于测试。4.3 评价指标C-index，C 指数，即一致性指数（index of concordance），用来评价模型的预测能力。它估计了预测结果与实际观察到的结果相一致的概率，取值范围在 0,1，计算方法为：马亚楠，等：基于 3D 卷积神经网络对局部晚期 NSCLC 患者的生存预测1121122023.022023.02第 4 期现代信息科技（a）治疗前的图像经过第一个卷积块后的特征图（b）治疗前的图像经过第二个卷积块后的特征图（c）治疗前的图像经过第三个卷积块后的特征图（d）图像 c 经过 CBAM 后得到的最终的图像特征（e）治疗后的图像经过第一个卷积块后的特征图（f）治疗后的图像经过第二个卷积块后的特征图（g）治疗后的图像经过第三个卷积块后的特征图（h）图像 g 经过 CBAM 后得到的最终的图像特征图 5 特征提取模块提取到的特征图其中，n 是可比较对的数量，是指示函数，t 是实际的时间观测值，f 表示预测的风险概率。C-index 数值越大，模型的预测结果就越好13。4.4 特征提取可视化在特征提取模块，卷积神经网络提取到的特征图可视化如图 5 所示，图 5（a）至图 5（d）为治疗前患者的 FDG-PET 所提取到的特征图，图 5（e）至图 5（f）为治疗后患者的 FDG-PET 所提取到的特征图。图中第一行图片是特征提取模块提取的患者治疗前 FDG-PET 的图像特征，第二行图片是特征提取模块提取的患者治疗后FDG-PET的图像特征。第一列图像是输入的图像经过特征提取模块的第一个卷积块时候所提取到的浅层图像特征，第二列图像是图像经过特征提取模块的第二个卷积块后所提取到的图像特征，第三列是图像经过特征提取模块的第三个卷积块后所提取到的深层图像特征，最后一列是第三列图像经过 CBAM 后得到的最终的图像特征。图像在经过每个卷积块后，图像的大小以及像素值都会发生改变，为了观察方便，手动把它调整为同样大小，特征图的像素值也经过了归一化扩展到了 0,255。4.5 实验结果与分析为了验证仅使用治疗前或治疗后的 FDG-PET 图像对生存分析是否有帮助，进行了对比实验。实验结果如表 2 所示。实验结果表明在单独使用治疗前或治疗后患者的 PDG-PET 图像进行生存分析时，是可以提取到与患者生存分析有关的一些图像特征的，虽然生存分析结果的 C-index 偏低，但是还是对患者生存分析有一定的帮助。模型在同时使用治疗前和治疗后患者的FDG-PET图像时，生存分析效果最好，这表明网络同时学到了治疗前和治疗后患者的 FDG-PET 的一些特征，并可能学到了它们之中的不同之处用来进行最后的生存分析，才会使在同时使用治疗前和治疗后的图像时，生存分析结果有所提升。其中 3D CNN with CBAM 表示本文所采用的模型，3D CNN without CBAM 表示的是在本文所采用模型的基础上去掉 CBAM 模块，实验结果的目的是为了验证网络加入 CBAM 模块后效果是否有提升，验证CBAM 模块的有效性。最终实验结果表明，在加入 CBAM模块后，模型的效果得到了提升，这表明卷积神经网络在加入注意力模块时，模型学到了一些与生存分析有关的特征，尤其是在同时使用治疗前和治疗后的 FDG-PET 时，生存分析的效果最好，C-index 达到了 0.67。表 2 实验结果InputC-index3D CNNwith CBAM3D CNNwithout CBAMpre-treatment image0.570.55post-treatment image0.540.52Pre-and post-treatment image0.670.585 结 论本文的实验表明，在没有医生勾画肿瘤金标准的情况下，采用阅片的形式对患者进行生存分析是可行的，并且在同时使用治疗前和治疗后的 FDG-PET 时效果最好，C-index 达到了 0.67。（下转116页）1161162023.022023.02第 4 期现代信息科技了 GRU 神经网络对时序数据长期历史信息的记忆能力，并在沪深 300 的股票数据上进行实证分析。通过模型预测结果发现，与其他模型相比，该模型在评价指标上的效果较好，预测值与实际值的吻合度较高。这证实了残差神经网络的引入提高了模型对股价的预测性能。表 1 沪深 300 数据集结果对比modelRMSEMAER2（%）串联CNN-LSTM72.3777.44299.189CNN-GRU80.4798.00999.056ResNet-LSTM75.3087.52099.163ResNet-GRU72.6647.29699.194并联CNN-LSTM67.3277.13199.379CNN-GRU67.9207.00699.300ResNet-LSTM66.1517.03699.395ResNet-GRU60.9616.71499.472参考文献：1 李俊豪.基于改进多元线性回归的股票价格预测模型 J.科技经济市场，2019（8）：61-62+64.2 刘松，张帅.运用ARIMA模型对股价预测的实证研究 J.经济研究导刊，2021（25）：76-78.3 齐天铧.基于灰色模型与 ARIMA 模型的股票价格预测 J.计算机时代，2021（10）：83-85+89.4 徐浩然，许波，徐可文.机器学习在股票预测中的应用综述 J.计算机工程与应用，2020，56（12）：19-24.5 张青.基于 ARIMA-SVM 组合模型的创业板股票价格预测分析 J.广西质量监督导报，2019（12）：131-132.6 黄超斌，程希明.基于 LSTM 神经网络的股票价格预测研究 J.北京信息科技大学学报：自然科学版，2021，36（1）：79-83.7 罗鑫，张金林.基于多时间尺度复合深度神经网络的股票价格预测 J.武汉金融，2020（9）：32-40.8 张倩玉，严冬梅，韩佳彤.结合深度学习和分解算法的股票价格预测研究 J.计算机工程与应用，2021，57（5）：56-64.9 赵红蕊，薛雷.基于 LSTM-CNN-CBAM 模型的股票预测研究 J.计算机工程与应用，2021，57（3）：203-207.10 HE K M，ZHANG X Y，REN S Q，et al.Deep Residual Learning for Image Recognition C/Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.作者简介：赵萌（1997），男，汉族，河北邯郸人，硕士研究生在读，研究方向：调查与大数据分析；王倩影（1984），女，汉族，河北保定人，副教授，博士研究生，研究方向：深度学习。参考文献：1 SIEGEL R L，MILLER K D，FUCHS H E，et al.Cancer Statistics J.CA：A Cancer Journal for Clinicians.2022，72（1）：733.2 中华医学会肿瘤学分会，中华医学会杂志社.中华医学会肿瘤学分会肺癌临床诊疗指南：2021 版 J.中华肿瘤杂志，2021，43（6）：591-621.3 SHIARLI A-M，PATEL P，MCDONALD F.Management of Locally Advanced Non-Small Cell Lung Cancer M/JANES S M.Encyclopedia of Respiratory Medicine：Second Edition.Pittsburgh：Academic Press，2022：810-824.4 TRUONG M T，VISWANATHAN C，ERASMUS J J.Positron Emission Tomography/Computed Tomography in Lung Cancer Staging，Prognosis，and Assessment of Therapeutic Response J.Journal of Thoracic Imaging，2011，26（2）：132-46.5 COX D R.Regression Models and Life-Tables M/KOTZ S，JOHNSON N L.Breakthroughs in Statistics Volume II Methodology and Diitribution.Berlin：Springer，1992：527-541.6 HINTON G.Deep Learninga Technology with the Potential to Transform Health Care J.JAMA，2018，320（11）：1101-1102.7 LECUN Y，BENGIO Y，HINTON G.Deep learning J.Nature，2015，521（28）：436-444.8 KATZMAN J L，SHAHAM U，CLONINGER A，et al.Deepsurv：Personalized Treatment Recommender System Using a Cox Proportional Hazards Deep Neural Network J/OL.arXiv:1606.00931 stat.ML.2022-08-03.https:/arxiv.org/abs/1606.00931.9 VIZCARRA J，PLACE R，TONG L，et al.Fusion in Breast Cancer Histology Classification C/the 10th ACM International Conference on Bioinformatics，Computational Biology and Health Informatics.Niagara Falls：ACM，2019：485-493.10 NISHIKAWA R M，GIGER M L，DOI K，et al.Effect of Case Selection on the Performance of Computer-Aided Detection Schemes J.Medical physics，1994，21（2）：265-269.11 RODRIGUEZ-RUIZ A，TEUWEN J，CHUNG K，et al.Pectoral Muscle Segmentation in Breast Tomosynthesis with Deep Learning C/Medical Imaging 2018：Computer-Aided Diagnosis.Houston：SPIE，2018：10575.12 WOO S，PARK J，LEE J-Y，et al.CBAM：Convolutional Block Attention Module J/OL.arXiv:1807.06521 cs.CV.2022-08-06.https:/arxiv.org/abs/1807.06521v2.13 YAO J W，ZHU X L，JONNAGADDALA J，et al.Whole Slide Images Based Cancer Survival Prediction Using Attention Guided Deep Multiple Instance Learning Networks J/OL.arXiv:2009.11169 eess.IV.2022-08-09.https:/arxiv.org/abs/2009.11169.作者简介：马亚楠（1996），女，汉族，河南郑州人，硕士在读，研究方向：信息管理与信息系统；宋玥（1997），女，汉族，山西吕梁人，硕士在读，研究方向：信息管理与信息系统；郝天宇（2001），男，汉族，湖北荆门人，本科在读，研究方向：信息管理与信息系统。（上接112页）