基于空间转换网络的肺结节分类方法.pdf

信息技术XINXIJISHU2023年第10 期基于空间转换网络的肺结节分类方法赵赫威，王华军*，卡华军（成都理工大学计算机与网络安全学院，成都6 10 0 0 0）摘要：为了降低肺结节分类问题中因样本的形变、扭曲、偏移等对分类结果的影响，提出一种基于空间转换网络的特征提取网络模型。在该模型中，利用空间转换网络的自适应仿射变换能力，赋予分类网络以自主矫正样本的能力，提升分类模型的鲁棒性。经过实验证明，该方法能够有效提高分类任务的准确率。关键词：肺结节；良恶性分类；空间转换网络；深度神经网络中图分类号：TP391.4D0I:10.13274/ki.hdzj.2023.10.002Classification of pulmonary nodules based on spatial transformation networkZHAO He-wei,WANG Hua-jun,BIAN Hua-jun(School of Computer and Network Security,Chengdu University of Technology,Chengdu 610000,China)Abstract:In order to reduce the influence of sample deformation,distortion and offset on the classificationresults in the classification of pulmonary nodules,a feature extraction network model based on spatial trans-formation network is proposed.In this model,the adaptive affine transformation ability of spatial transforma-tion network is used to endow the classification network with the ability of self-correcting samples,whichimproves the robustness of the classification model.A large number of experiments show that this methodcan effectively improve the accuracy of classification tasks.Key words:pulmonary nodules;classification of benign and malignant;spatial conversion network;deepneural network0引 言肺结节是一种多系统多器官的肉芽肿性疾病，常侵犯肺、双侧肺门等。肺结节分为良性肺结节与恶性肺结节，恶性肺结节往往会给患者带来更大的危害，譬如肺癌。因此,诊断肺结节性状在诊断流程中至关重要。传统的诊断方法首先使用肺部CT成像,然后经由医师对CT影像进行观基金项目：四川省教育厅自然科学基金项目（2 0 2 0 RYJ02，M SSB-2020-10)作者简介：赵赫威（1997），男，硕士研究生，研究方法向深度学习、图像处理。*通讯作者：王华军（196 4），男，博士后，博士生导师，研究方向为深度学习。一6 一文献标识码：A文章编号：10 0 9-2 552(2 0 2 3)10-0 0 0 6-0 6察，进而给出是否存在肺结节以及肺结节性状的结论。然而CT影像数据量大，容易误判、漏判。随着深度学习的快速发展，将深度神经网络应用于肺结节检测以及良、恶性诊断,逐渐成为众多研究者的研究方向。肺结节诊断通常包括区域检测 和区域分类2 两个步骤。其中,区域分类的结果往往直接影响到最终的判别结果,同时,由于CT样本中候选区域可能存在的形变、扭曲、偏移等,会进一步影响到分类模型的分类结果。在近些年的研究中,研究者们提出了一种可内嵌于其他网络模型的空间转换模块3,该模块通过可学习参数的方式，根据输入的样本集自适应地调整输人数据的基于空间转换网络的肺结节分类方法仿射变换参数，从而自主地对输入数据进行调整，大量的人力和物力，尽管传统的最大池化操作能提高神经网络模型的性能。够在保持空间不变性的情况下对特征进行提取，本文提出了一种基于空间转换网络的特征提但是由于池化核大小的限制（例如：2 2 的尺取网络模型，在给出肺结节候选区域3D数据的寸），如果要对特征值进行有效提取，往往需要更情况下，能够呈现较现有模型更好的效果。深的网络结构,这无异于增大了网络的训练难度，1相关工作提高了网络的训练成本，且在传统的卷积神经网1.1肺结节分类络中，下一层的特征值严重依赖于上一层的局部肺结节分类问题通常建立在肺结节候选区域特征值,这就弱化了网络的特征提取能力。为了已经给定的前提下。目前,肺结节候选区域有多解决这个问题，人们提出了注意力机制，在保证卷种方法。Setio 等4 提出了一种利用多视角的卷积神经网络提取局部特征的同时，也能获取来自积神经网络，用来检测肺结节候选区域；艾琦非局部的特征，但是这种方法往往不够灵活,且需等5 提出了一种将自适应候选检测策略与尺寸要额外的性能开销。STN模块使用一个单独的定自适应假阳性抑制策略结合的深度神经网络，提位网络对输入特征值进行矩阵变换，该矩阵变换高了检测系统的准确性和鲁棒性。由于肺部 CT对应的参数通过反向传播自发地进行优化，这一数据集是三维数据，所以传统的卷积神经网络难方面可以视做更加灵活且更加轻量的注意力机以有效作用于该数据集,Q.Dou 等 提出了一种制,另一方面也能使得网络可以自主地选择最有3D全卷积网络，将卷积神经网络作用于肺部CT价值的特征值作为下一层的输人，从而使网络以数据集进而得到候选区域。空间不变性为指导进行优化。在选定肺结节候选区域后，需要进一步使用空间转换网络由定位网络模块、网格生成模分类算法得到最终的分类结果。一种早期的方案块和采样模块三个部分组成。如图1所示,首先是,将肺结节数据映射到先验3D模型表面,通过将输入特征输入到定位网络中，根据定位网络获构建一种新的肺结节表示方式来对其进行分类。取到空间转换操作的参数，然后使用这些参数生随着神经网络的加人，出现了越来越多基于神经成网格映射,最后使用采样计算得到经过空间转网络的肺结节良、恶性分类模型。W.Shen等6 换后的特征值，其中可以根据变换类型来设计定提出了一种多尺度的卷积神经网络，旨在同一位位网络的输出值个数，通常使用带有6 个参数的置不同尺度的数据中获取更加充分的特征用于完仿射变换，即使用定位网络生成6 个变换参数。成分类；匡健等7 将连续两个可学习的注意力机假设空间转换网络作用于二维的输人数据，则可制模块加人到ResNet中来构建特征提取网络的以由公式(1)概括表示,其中U代表输人空间转基本注意力机制单元，但是这种设计方式将给网化网络的特征值；V代表经过空间转换操作得到络带来很多额外的参数开销，且对于三维的连续的特征值;H和W分别代表输人特征值在两个维CT数据而言，不需要从很远的地方获取非局部特度方向上的长度;k为采样核函数；代表空间转换征，从当前位置的附近即可获取特征。操作类型;代表核函数k中的参数值。1.2空间转换网络(STN)HW空间转换网络作为可学习的空间转换模块，Vi=ZZUmk(xi-m;0)k(yi-n;0,)V;旨在提供较局部最大池化操作更加高效的、可以E 1.HW V。.C 保持特征值空间不变性的功能，同时赋予网络不1.3三维双路径网络(3D DPN)再受限于局部特征值的能力。神经网络数据预处3D Dual Path Net8 为 Dual Path Net9 的三维理工作的目的是保证数据的特征总是处于图像中扩展形式,用来适应在肺结节诊断任务中的三维的主要区域，以便于卷积神经网络能够更好地提CT数据,在3D DPN中,每一层的输人数据和输取特征。而这些数据的预处理工作往往需要耗费出数据都是三维数据，且对特征值的连接、分割等一7 一一赵赫威等(1)基于空间转换网络的肺结节分类方法定位网络模块快、网格生成器模块T,(G)U网格采样模块图1空间转换网络操作都是在第四维进行。Dual Path Nets 则是一种结合了ResNet 与DenseNet的网络结构。其中,ResNet 网络结构包含了多个残差块，通过直接将上层特征值连接到下层特征值上，使得网络获取到更多的梯度，从而加速网络利用梯度下降的优化过程。因为梯度信息的直接传递，使得网络可以拥有更深的结构而不受制于梯度消失的影响,ResNet 的网络结构可以以公式(2)来表示,其中x,代表第l层网络的输出特征值,H,代表在第1层网络上的非线性变换操作。X,=h;(xi-1)+Xi-1而DenseNet从另一角度出发来对网络的参数量以及特征的传递规则进行优化，在DenseNet中,每一层的特征值都来自于网络中前k层的输出特征值在通道方向上的连接，密集地利用每一层特征值,使得神经网络中每一层可以使用更少的参数而获得更为复杂的神经网络的能力。同时,由于DenseNet 更加轻量的网络结构,也在一定程度上减少了过拟合的风险,DenseNet的网络模型可以使用公式(3）表示，其中x,代表第1层网络的输出特征值,H,代表在第l层网络上的非线性变换操作。X)=H,(xo,xX1,xI-1)2基于空间转换网络的分类模型设计本文结合使用了3DDPN和STN来构建特征提取神经网络,该神经网络用来生成构建函数分类器的特征向量，使用训练良好的分类器来预测输入的肺结节候选区域数据，主要由3D DPN、STN，Co n v o l u t i o n、A v e r a g e Po o l i n g 部分组成。2.1特征提取神经网络架构设计区别于传统的卷积神经网络，该网络用于一8 一赵赫威等(2)(3)处理三维的CT候选区域数据，因此，扩展卷积层为三维卷积层，即使用三维的卷积核作为卷积层的可学习参数，用来初步对输人数据进行特征提取，同时减小特征数据量。在网络的浅层部分添加空间转换模块，用来给网络提供自学习的空间变换能力，降低样本质量对判别结果带来的影响。3DDPN作为网络模型中的基本特征学习模块，能够使网络获取到不同粒度的特征,从而提高模型的判别效果。在特征提取神经网络中,接收的数据为程序自动根据标记的肺结节候选位置为中心剪切得到的候选区域。首先以这些候选位置为中心在数据的三个维度上进行切割,得到候选区域数据,然后将候选区域数据输人到卷积神经网络中。如图2所示，首先经过一个三维卷积层初步提取特征，然后经过一系列带空间转换的DPN模块学习自适应仿射变换，逐渐抽取更加细粒度的层次特征。在网络的最后，是一个Average Pooling层,经过该池化层,得到长度为n的一维特征向量V。最后，连接向量V、输入肺结节候选区域的原始数据、肺结节的大小值为总特征向量G,通过使用GBM算法10 1迭代优化，得到最终的分类器模型。由于肺结节良、恶性诊断任务属于二分类问题，为了实现凸函数优化，使用交叉熵损失函数来优化网络，由公式（4)表示，网络模型得到的结果为当前输人肺结节候选区域为恶性肺结节的概率,取值范围为0 1。Cost(h,(x),y)=-y log(h,(x)2.2空间转换模块的应用空间转换网络能够提供对输人特征的自适应仿射变换，直观上来看，将空间转换网络添加到网络首部，能够提供对原始输人数据更加直观的变换。因此，本文结合3DDPN与空间转换模块，提出一种带有空间转换能力的3D DPN,如图3所示。输入到网络模块的特征值分别进入两条路径进行计算，一条路径用于Dense connection，一条路径用于 Residual connection。其中,Dense con-nection路径直接将输入特征值连接到该网络模-(1-y)log(1-h。(x)(4)基于空间转换网络的肺结节分类方法一赵赫威等Average卷积XSTN+DPNSTN+DPNPooling图2 特征提取神经网络结构设计块的输出部分;Residual connection路径则先将输人特征值经过几层卷积层之后，再经过空间转换模块，空间转换模块使用6 个参数的仿射变换，以获取到经过自适应仿射变换后的特征图，接下来使用空间转换完成的特征值再次分为两个路径进行计算，一条路径用来与原始输入特征值直接连接完成Residual connection，另外一条路径用来直接连接到输出特征矩阵,完成Dense connection。F(X);:d)图3带空间转换的双路径网络模块带空间转换的双路径网络模块可以使用公式(5)表示,其中F（x)代表经过特征提取后的输人特征矩阵,包括卷积操作和空间转换操作；d:代表在特征值的最后一个维度进行切割，然后取前d列的操作,d 作为超参数,用来控制 Residualconnectinon与 Dense connection 的组合比例;G代表非线性函数,在本文实验中选择使用 ReLU 函数；C代表卷积操作；S代表空间转换操作。在带空间转换的双路径网络模块中,Dense connection的使用使得网络可以学习到更多的新特征,Re-sidual connection的使用使得网络可以直接通过浅层的特征值进行反向传播，避免了梯度消失的问题。最后,经过对特征值的自适应空间转换,赋予网络更强大的鲁棒性。本文使用带空间转换的双路径网络模块作为构建特征提取网络的基本单元，使得特征提取网络具备对特征矩阵的自适应空间转换能力。y=G(x:d,F():d,F(x)d:+xd:J),F(x)=S(C(x)X由于肺结节实验数据为三维数据,所以空间转换网络也应当扩展为三维的形式，通过生成三卷积层维的采样网格,完成对三维数据的空间转换。立3实验空间转换模块3.1数据集F(X):d)本实验采用LUNA16数据集作为实验数据集。LUNA16是最大公用肺部CT数据集LIDC-IDRIL!I的一个公开子集,LIDC-IDRI中包含了深度方向连接1018个低剂量的肺部CT影像，每个影像包含一系列胸腔的轴向切片,因此,CT影像数据为三维数据，其大小为96 96 96。LUNA16 作为LIDC-IDRI的精简数据集，删除了切片厚度大于3mm以及肺结节小于3mm的CT影像数据,包含888个低剂量肺部CT影像数据。该数据对应的标注包括肺结节的大小值、中心位置、良、恶性诊断结果、表面质地信息、边界宽度等详细信息，标注信息总共118 7 条。其中，良、恶性诊断信息为四个数值,分别代表来自四个经验丰富的医师的诊断结果。在本文实验中，首先计算四位医师诊断结果的平均值,对于缺失的诊断信息，则设置为空，然后设置恶性阈值为3，即诊断平均值大于3时,将该节点位置计为恶性肺结节。经过处理后的标注数据如表1所示。一9 一(5)基于空间转换网络的肺结节分类方法编号1233.2实验过程设备配置：CPU为Intel i78700,内存大小为32CB，显卡为NVIDAGTX1080，操作系统为Ubuntu18.04。模型的构建以及训练使用Py-torchl.4框架的GPU版本来完成。考虑到实验中设备的硬件条件以及训练效率问题，首先以标注的肺结节位置为中心点,半径为6,分别在x,y，z三个方向进行切割，得到大小为12 12 12 的待判定区域数据作为特征提取网络的输入数据。由于输人数据在每个维度上存在少量的量级差异,所以首先对输人数据进行均值归一化和方差归一化操作。在网络的超参数设置上，使用mini-batch的方式进行迭代优化,每次取16 条数据为一个min-i-batch,总共执行8 0 0 个epoch；模型的学习率初始设置值为0.0 1,采用学习率递减的策略进行训练,完成前40 0 个epoch之后,将学习率减少为0.001,在完成前6 0 0 个epoch之后,将学习率减少为0.0 0 0 1,直至完成所有epoch的训练。3.3结果分析本文实验采用查准率（Precision）与查全率(Recall)为基本量化标准,查准率与查全率可由公式(6)和公式（7)表示,其中,查准率表示模型对于正例样本的预测正确比率；查全率表示在所有预测结果为正例的样本中,正确的比率。对于这两个指标,期望模型能够同时获得较高的得分。TPPrecision=TP+FNTPRecall=;TP+FP查准率与查全率基于分类混淆矩阵得来，分类混淆矩阵如表（2）所示，在分类混淆矩阵中，通过列出真正例、假正例、真反例、假反例四个指标一10 一赵赫威等表1训练样本标注数据节点位置节点半径(mm)-128.6994,-175.3193,-298.38755.651470635103.7837,-211.925,-227.1214.22470848169.6390,-140.945,876.37455.786347814来量化分类模型的表现表2 分类混淆矩阵示例预测结果真实情况正例正例TP(真正例)反例FP(假正例)根据上述分类混淆矩阵可得，如果模型输出正例预判,那么查准率将会很高，而查全率很低，反之亦然，且训练样本分布不均衡，即正例样本远小于反例样本，因此，仅仅使用查准率与查全率进行评判并不合理。为了进一步量化模型性能指标,在查准率与查全率的基础上，引人F1值作为模型的评价指标，通过结合查准率与查全率，得到一个综合评价值,F1值可由公式(8)表示,其中P代表查准率，R代表查全率。由于肺结节良、恶性分类问题为二分类问题，网络模型预测结果为0 1范围内的数值，则需要定义一个阈值k，当输出值小于等于k值时,判定为良性肺结节,反之则判定为恶性肺结节,k值的取值影响了模型的准确率。本文实验中，使用F1值作为量化指标，通过多次对比实验确定阈值k的最佳选择。PRF1=2P+R图4为在选择不同阈值k时模型的查准率与(6)查全率，根据图像可得，当k的取值为0.7 42 时，得到F1值的极值为0.9 46。(7)本文实验采用五次10 折交叉验证的方式来计算损失优化模型，从而选定最佳模型。在测试阶段，五次选定测试数据并训练模型计算各自的准确率,最后使用这些准确率的平均值作为衡量诊断结果(0/1)001反例FN(假反例)TN(真反例)(8)基于空间转换网络的肺结节分类方法表5不同模型的正确率比较结果1.0网络模型0.8Multi-scale CNN0.6Nodule-level 2D CNNDeep 3D DPN+GBM0.4ResNet+GBM+Attention0.2STN+3D DPN+GBM0.00.0模型的性能标准。如表3所示，五次模型训练的准确率均在92%左右,根据这些测试结果可以得出该模型最终的平均准确率为91.7 9%。表3多次训练的准确率测试编号1准确率91.70选择五次训练后表现最佳的模型作为基准模型,统计测试结果，如表4。分类结果混淆矩阵，其中总测试样例个数为110 2 13条，包含正例2 7 0条，反例10 9943条。根据该矩阵可知，模型对于假反例(FNC)较为敏感,符合对于肺结节良、恶性分类问题的期望。表4测试数据分类结果混淆矩阵预测结果真实情况正例正例264反例42对于模型的效果评估，本文采用对比实验的方式，通过比较几种现有模型以及本文提出模型的表现,分析实验结果。其中,参与对比实验的现有模型包括 Multi-scale CNN、No d u le-le v e l 2 DCNN12 Deep 3D DPN+CBM,ResNet+GBM+At-tention。如表5所示，实验结果表明本文提出的基于空间转换网络的肺结节特征提取网络,在结合GMB算法的情况下,准确率在现有的网络架构上有所提升,从而证明了该网络模型的有效性。一赵赫威等(%)准确率86.8487.3090.4491.3091.790.20.4Recall图4查准率与查全率2392.0292.140.692.74反例61009010.841.0(%)590.354结束语本文提出了一种针对肺结节数据的基于空间转换网络的良、恶性分类网络模型，该模型结合空间转换模块与3DDualPathNets，将空间转换模块的自适应调整能力赋予网络模型，使得网络对输入的肺结节数据具备更高的鲁棒性，从而提升了肺结节分类任务的准确性。通过实验证明,该模型对于肺结节诊断问题，分类准确率达到了91.79%,超过了现有的 Deep3D DPN+GBM方法和ResNet+GBM+Attention方法。但是，在该分类模型的训练过程中,经常受最优局部解、梯度消失等问题的影响，导致网络模型难以顺利完成训练，需要花费更多的精力去进行超参数的调整。下一阶段的研究目标，计划在本文提出的分类模型基础上,对分类网络模型的稳定性进行改进与提升，提高该分类模型的可应用性。参考文献：1 Dou Q,Chen H,Jin Y,et al.Automated pulmonary nod-ule detection via 3d convnets with online sample filteringand hybrid-loss residual learning CJ.International Con-ference on Medical Image Computing and Computer-as-sisted Intervention.Springer,Cham,2017:630-638.2 Shen W,Zhou M,Yang F,et al.Learning from experts:developing transferable deep features for patient-levellung cancer prediction C.International Conference onMedical Image Computing and Computer-assisted Inter-vention.Springer,Cham,2016:124-131.3 Jaderberg M,Simonyan K,Zisserman A.Spatial trans-former networks C.Advances in Neural InformationProcessing Systems.2015:2017-2025.4 Setio A A A,Ciompi F,Litjens G,et al.Pulmonary nod-ule detection in CT images:false positive reduction usingmulti-view convolutional networks J.IEEE Transac-tions on Medical Imaging,2016,35(5):1160-1169.(下转第16 页)一11一基于相似度加强Louvain方法的复杂网络社区检测-OLM算法还有一些缺陷可以去改善。另外可以去创建一个能够运用此类算法的平台，让所有想得到引荐功能或数据挖掘功能的用户可以简单地自定义数据集，来实际地应用算法，有效地解决生活问题,所以还需要进一步的实验和探讨。参考文献：1郭拴岐.大数据分析技术的海量网络流量建模与预测分析J.信息技术,2 0 2 1,45（4):10 2-10 6,112.2 Fortunato S.Community detection in graphs J.PhysicsReports,2010,486:75-174.3杨博,刘大有,金弟，等.复杂网络聚类方法J.软件学报,2 0 0 9,2 0(1):54-6 6.4 Newman M E J,Girvan M.Finding and evaluating com-munity structure in networks J.Physical Review E,2004,69(2):2-6.5 Blondel V D,Guillaume J L,Lambiotte R,et al.Fast un-folding of communities in large networks J.Journal ofStatistical Mechanics:Theory and Experiment,2008(10):一付立东等52 60.6张宇镭，党,贺平安.利用Pearson相关系数定量分析生物亲缘关系J.计算机工程与应用,2 0 0 5（33）：79 82.7夏玮,杨鹤标.改进的Louvain算法及其在推荐领域的研究J.信息技术,2 0 17,41(11）：12 5-12 8.8 Lei L I,Yan G,Yang S,et al.Improved Louvain methodwith strategy of se-parating isolated nodes J.Journal ofComputer Applications,2017,33(2):27-33.9徐杨，蒙祖强.基于GN算法的微博社区识别方法J.广西大学学报：自然科学版，2 0 13,38（6）：1413-1417.10杨立文.基于改进的GN算法的社区发现技术D.长春：吉林大学,2 0 13.11许国艳，王诗玉,孙洁.一种基于局部模块度的层次重叠社区发现方法：CN201811024092.1P.2 0 19-02 15.（责任编辑：杨静）(上接第 11 页)5艾琦，王军,任福全，等.基于尺寸自适应深度神经网络的胸部CT图像肺结节检测J.中国生物医学工程学报,2 0 2 1,40(6):6 91-7 0 0.6 Shen W,Zhou M,Yang F,et al.Multi-scale convolutionalneural networks for lung nodule classification C.Inter-national Conference on Information Processing in Medi-cal Imaging.Springer,Cham,2015:588-599.7匡健,洪敏杰,刘星辰，等.基于注意力机制的肺结节分类研究J.计算机应用与软件,2 0 2 2,39（1）：16 3-167.8 Zhu W,Liu C,Fan W,et al.Deeplung:deep 3d dualpath nets for automated pulmonary nodule detection andclassification C.2018 IEEE Winter Conference on Ap-plications of Computer Vision(WACV).IEEE,2018:673-681.9 Chen Y,Li J,Xiao H,et al.Dual path networks EB/OL.(2017-08-01)2017-10-01.https:/arx-iv.0rg/abs/1707.01629.10 Friedman J H.Greedy function approximation:a gradi-ent boostingmachine J.Annals of statistics,2001,29(5):1189-1232.11 Setio A A A,Traverso A,De Bel T,et al.Validation,comparison,and combination of algorithms for automaticdetection of pulmonary nodules in computed tomographyimages:the LUNA16 challengeJ.Medical Image A-nalysis,2017,42:1-13.12 Yan X,Pang J,Qi H,et al.Classification of lung nodulemalignancy risk on computed tomography images usingconvolutional neural network:A comparison between 2dand 3d strategies C.Asian Conference on ComputerVision.Springer,Cham,2016:91-101.（责任编辑：丁晓清）一16 一