基于生成对抗网络的肺炎CT图像生成.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第7期总第335期文章编号：1006-2475（2023）07-0020-05收稿日期：2022-09-02；修回日期：2023-04-28基金项目：江苏省六大高峰人才项目（XYDXX-117）；国家自然科学基金资助项目（51008143）作者简介：王家晨（1998），女，山东潍坊人，硕士研究生，研究方向：图像处理与计算机视觉，E-mail：；张鸿鑫（1998），男，山东聊城人，硕士研究生，研究方向：图像处理与计算机视觉；通信作者：刘庆华（1977），男，内蒙古赤峰人，教授，硕士生导师，研究方向：智能交通，人工智能，E-mail：。0引 言新冠肺炎遍及全球，国外疫情确诊病例居高不下，给人民日常生活带来极大影响。爆发的疫情使许多国家医疗系统崩溃，物资短缺，严重威胁到各国人民的生命财产安全。虽然我国的疫情状况已基本稳定，但在流感多发季节仍然病例频出1。为了缓解我国医疗系统的压力，部分研究人员利用深度学习在医学图像方面的优势建立辅助医生诊断新冠肺炎的网络系统。深度学习的神经网络训练需要大量数据集，由于医疗图像的私密性，新冠肺炎公开的CT数据集少之又少，因此需要在现有数据的基础上，对肺炎CT图像进行有效扩充2。传统的翻转、裁剪、旋转等扩充方法并没有改变图像的特征细节，这使得神经网络模型极易过拟合，网络训练效果不佳3。后来出现的基于马尔可夫链、最大似然及近似推理的 RBM（Restricted BoltzmannMachines）及其衍生模型等4，这些方法计算量繁重、方法复杂，并且生成效果非常有限。近年来深度学习方法在图像分析领域表现强劲，提高了医学影像研究的工作效率，如特征金字塔融合、生成式对抗网络等5。生成对抗网络（Generative Adversarial Networks，GAN）的发展从根本上改变了依靠硬件来生成医疗图像数据的传统模式，大大提高了生成图像的质量和效率，其仅仅使用特征分布相同的图像数据集摘要：针对以随机噪声为输入的生成对抗网络生成图像模糊、训练不易收敛，以及传统物理数据扩充方法无法融合数据特征的相似性与多样性的问题，提出一种基于特征金字塔和注意力机制CBAM的生成对抗网络UG-DCGAN。首先以经过遮掩去噪的CT图像作为输入，增强网络的鲁棒性；然后利用特征融合金字塔与注意力机制联合建立生成网络提取和重构CT图像，其中特征融合金字塔仅保留最大尺度融合，并在下采样过程中加入残差结构以提高特征提取能力；最后增加判别器网络的卷积层，提高其监督判断能力。经过实验验证，与最新的StyleGAN2模型生成的CT图像相比，本文算法所生成的CT图像的IS值提高了12.44%，FID值降低了21.98%，表明本文算法对提升CT图像生成的清晰度、特征的相似性和多样性都有较明显的效果。关键词：深度学习；特征金字塔；GAN；图像生成；CT中图分类号：TP391文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.07.004CT Image Generation of Pneumonia Based on Generative Adversarial NetworkWANG Jia-chen1，ZHANG Hong-xin2，LIU Qing-hua1，2（1.Ocean College，Jiangsu University of Science and Technology，Zhenjiang 212100，China；2.Computer College，Jiangsu University of Science and Technology，Zhenjiang 212100，China）Abstract：Aiming at the problem of fuzzy image generated by generative adversarial networks with random noise as input，difficult convergence in training，and the similarity and diversity of data features cannot be fused by traditional physical data expansion methods，this paper proposes a generative adversarial network-UG-DCGAN based on feature pyramid and attention mechanism CBAM.The method first takes the masked and denoised CT image as input to enhance the robustness of the network.Thenuse the feature fusion pyramid and attention mechanism to jointly establish a generative network to extract and reconstruct CT images，in which the feature fusion pyramid only retains the maximum scale fusion，and the residual structure is added in thedown-sampling process to improve the feature extraction ability.Finally，the convolution layer of the discriminator network isadded to improve its supervised judgment ability.After experimental verification，the results compared with the StyleGAN2model，the FID value of the CT image generated by the algorithm is reduced by 21.98%，and the IS value is increased by 12.44%.Itshows that the algorithm has obvious effects on improving the clarity of CT image generation，the similarity and diversity of features.Key words：deep learning；feature pyramid；GAN；image generation；CT基于生成对抗网络的肺炎CT图像生成王家晨1，张鸿鑫2，刘庆华1，2（1.江苏科技大学海洋学院，江苏 镇江 212100；2.江苏科技大学计算机学院，江苏 镇江 212100）2023年第7期合，采用特征提取和目标生成的技术进行图像的生成，给生物医学图像合成带来了全新的思想和可能6。但是，生成对抗网络还面临着模型训练不收敛、训练阶段模型坍塌，以及产生图像中深层特征细节模糊等的技术困难。初代 GAN 的网络架构都使用了全连接（FullyConnected，FC）神经网络，利用公共数据集CIFAR-10等来生成假图像。Chen等人7提出了一个根据FC层而构造的GAN架构，该架构只在几组数据分布上显示出了高性能。Arjovsky等人8通过引入Wasserstein距离来改进GAN模型，从而解决了原始网络训练困难、生成的图像多样性较差、损失函数无法工作等问题，提升了图像生成效果。Shaban等人9提出了一种基于生成对抗网络的新模型 StainGAN，不仅消除了原始生成对抗网络对样本图像的依赖，而且实现了与目标域的高度相似性。针对以上问题，本文提出一种基于特征金字塔融合 和 DCGAN 的 CT 图 像 生 成 对 抗 模 型UG-DCGAN。该方法是在意大利放射协会和加州大学圣地亚哥分校开源数据集上，综合利用特征金字塔融合的特征提取能力和 GAN 的图像合成能力来解决CT图像数据生成问题。1GAN的基本模型及工作原理生成式对抗网络的出现源于GoodFellow等人受到博弈中的纳什平衡启发10，其结构主要分为生成器（generator，G）和判别器（discriminator，D）这 2个部分。GAN基本模型如图1所示。图1生成对抗网络基本模型生成对抗网络以随机变量z作为输入，输入到生成器G，然后将生成器G生成的样本x与真实样本x一起输入到判别器D进行监督判别，判别器D判断输入的数据为真实数据还是生成数据，并通过判断的结果输出相应概率11。其目标函数如下：minGmaxDV(D,G)=EzPdatalogD(x)+EzPz(z)log(1-D(G(z)（1）其中，公式左侧V（D，G）表示真实样本x和生成样本x的差异程度；公式右侧Pdata代表真实样本的分布，D（x）为输入数据x的概率分布，Pz（z）为噪声的分布。在网络训练时，生成器G努力生成让判别器无法区分真假的样本，而判别器D输出生成数据是否为真的概率。如果判断为真实图像，则输出概率结果为1；如果判断为直接生成图像，则概率输出为012。然后通过损失函数进行梯度反馈，生成器和判别器的网络参数不断迭代更新，直至判别器的输出概率达到0.5，模型此时趋于稳定达到最优13。2UG-DCGAN：CT图像合成方法2.1UG-DCGAN总体框架CT图像的病灶特征往往纹理结构复杂，特征多样丰富。现有的GAN图像生成处理算法存在深层特征缺失、特征提取不足、小目标信息丢失等问题，生成器鲁棒性较弱。为了解决以上问题，本文首先对训练数据进行遮掩去噪14处理，遮掩去噪是对图像的像素点随机置零，使其成为黑色像素点。此过程有利于增强网络对图像多种特征的敏感性，提高生成器鲁棒性。其次利用特征金字塔单一融合编解码结构、残差网络以及注意力机制重构特征多样的CT图像数据。最后将生成器生成的图像与真实图像作为判别器的输入进行判别，并将得到的结果反馈给生成器更新网络参数，通过训练达到图像生成的目的。整个改进后的特征金字塔融合作为生成对抗网络的生成器，然后经过判别器的监督学习，训练生成器能够生成图像清晰、相似性多样性并存的肺炎 CT图像。本文改进后的 UG-DCGAN网络结构如图2所示。图2UG-DCGAN网络结构图2.2特征金字塔单一融合生成器与判别器由图3可以看出，特征金字塔单一融合生成器由改进的特征金字塔和残差结构组成。图3UG-DCGAN生成器网络参数示意图特征金字塔首先对输入的图像进行不同程度的下采样，提取真实数据特征，将这些带有病灶特征的数据作为解码器的输入，以解决随机噪声作为输入造真实样本x随机变量z生成器G生成样本x判别器D判别器损失函数概率数据生成器损失函数输出概率改进后的判别器D梯度反馈改进后的U型生成器GCBAM真实样本x生成样本G（x）去噪的真实样本xupsamplescale=2conv1 k=3 s=2 p=1conv2 k=3 s=2 p=1Resual backResual backResual backupbackupbackupbackupbackinputoutputABLReLUn_s=0.2BN m=0.833 convs=1 p=1upback 结构maxpool11 conv11 conv33 conv11 convresual back结构王家晨，等：基于生成对抗网络的肺炎CT图像生成21计算机与现代化2023年第7期成的模型不易收敛、病灶特征不明显的问题。为了避免像卷积块那样不断卷积导致信息丢失过于严重的状况，一方面将下采样过程的部分卷积层替换为残差块，残差块在将CNN网络中的特征图继续向下传递的同时，将当前位置的特征图映射到后面的特征图中，这会让网络后面的特征图具有更加丰富的信息；另一方面实施首尾特征图单一融合，即去除特征金字塔原有的高语义特征之间的横向连接，仅保留输入之后第一层特征与输出之前最后一层特征之间的横向连接，如图3中特征A与特征B融合的过程。此操作将高分辨率的清晰底层特征映射到生成的图像中，保证了生成器的相似性，同时也可以解决多融合过程造成的时间延长、生成图像多样性较差的问题。分别对UG-DCGAN的生成网络和判别网络进行建模。1）UG-DCGAN 生成器网络参数示意图如图 3所示。本文建立的生成器网络总共有9层，前5层为卷积编码器的下采样结构，由2层普通卷积层后接3层残差结构，此残差块是在一个33卷积核的两侧各添加一个11大小的卷积核的基础上，在输入端和输出端连接一个最大池化层和11的卷积核；后4层为恢复数据特征的上采样结构，上采样由4个upback块组成，upback块中依次设置upsample、33卷积层、批量归一化层以及LeakyReLU函数。并利用公式（2）对特征层A和特征层B进行加和操作。Z=i=1mxi ki+i=1myi ki（2）其中，xi和yi分别表示进行加和操作的双方的通道，ki表示第i个通道卷积核。最后接入一个Tanh函数，得到生成器输出的肺炎CT图像。2）UG-DCGAN判别器网络结构，其网络示意图如图4所示。相比原始的DCGAN，本文需要增强判别器对数据特征的识别检测能力。根据每层特征图的尺寸，本文采用的判别器总共有8层，其中卷积层为6层，全连接为1层，最后接入sigmoid函数，输出概率数值。图4UG-DCGAN判别器网络参数示意图2.3注意力机制由于卷积操作的本质是通过卷积核对局部感受野邻域内的所有信息加以处理的工作流程，因此无法形成对全局信息的关联，但通过CBAM双重注意力机制可以捕获这种全局关联15。所以，通过把 CBAM注意力机制整合在GAN中，就解决了特征提取能力不足和信息效率低下的问题。其结构如图5所示。图5中的通道注意力部分（Channel Attention）经过挤压、激励和特征标定等3步操作对输入的特征图进行处理，具体公式如下：1）挤压操作。zc=1H Wi=1Hj=1Wuc(i，j)（3）2）激励操作。s=Fex(z，W)=(g(z，W)=(W2(W1z)（4）3）特征重标定。Xc=Fscale(uc，sc)=scuc（5）公式（3）中，W、H、c分别是输入的特征图的宽、高和通道数，uc（i，j）为特征图第c层通道坐标（i，j）的元素，zc表示第c层通道挤压操作后的输出特征。公式（4）中，W1和W2为权重，为ReLU函数，为sigmoid函数。公式（5）中，Xc为输出结果中第c层通道特征，sc为第c层通道权重，uc为输入特征图的第c层通道特征16。空间注意力部分（Spatial Attention），用特征在空间上进行建模。计算公式如下：Ms(F)=(f7 7(AvgPool(F)；MaxPool(F)（6）式（6）中，F为输入的特征图，Ms（F）为经过空间注意力输出的特征图，77 为卷积核大小，为 sigmoid函数17。2.4生成CT图像评价标准GAN 网络图像生成通常使用 Frechet 初始距离（FID）、初始得分（IS）这2个指标进行评估18。利用测试样本100个CT图像对各模型进行实验评估。FID 利用生成图像和真实图像之间的 Wasserstein-2距离来进行判定。它首先对真实图片与生成图片提取特征，然后通过计算两者特征向量的均值和协方差的距离来进行评估。当均值之差的平方越小，协方差就越小，则之和（FID）也越小，生成图片和真实图片特征越相近，生成图像越逼真19。其具体的数学表达式如式（7）所示：FID(Pr，Pg)=|r-g|2+Tr(Cr+Cg-2(CrCg)1 2)（7）其中，r、g为特征均值，Cr、Cg为特征的协方差矩阵。IS主要用来测量生成图片的质量和多样性，Inception Score评价指标数学表达式如式（8）所示：IS(Pg)=exp(ExpgKL(PM(y|x)|PM(y)（8）训练完成的 GAN 模型，PM（y|x）趋近于脉冲分布，PM（y）趋近于均匀分布。KL散度（KL散度也称相对熵，表示2个概率分布PM（y|x）和PM（y）差别的非对称性的度量）越大，Inception Score 得分也就越高。IS值越高，则合成CT图像越真实20。3实验及结果分析3.1数据集本文所用的数据集来源于加州大学圣地亚哥分生成样本x真实样本x概率值Conv2dLeakyReLUDropout6Linearsigmoid图5CBAM模型结构图ChannelattentionSpatialattentionFFFResBlock+CBAMconv222023年第7期校开源数据集、意大利放射协会网站等，并由专家帮助进行图像标注。其中，在意大利放射协会官网爬取了 109 位新冠患者的 294 张肺部 CT 图像；在加州大学圣地亚哥分校21的开源新冠 CT 数据集中，选取了1006张新冠患者的肺部CT图像，2组数据共同组成本文所用的数据集。从构建的数据集中，本文随机选取 1200 张肺炎 CT 图像作为训练样本，剩余100张图像作为测试样本。图6显示了部分新冠患者的肺部 CT 图像。所有数据经过解压得到5125123、PNG编码格式的图像。图6肺炎CT图像数据集样本3.2实验结果与分析本文实验采用的操作系统为Windows10，硬件处理器为 Intel（R）Core（TM）i5-1035G1 CPU 1.00GHz 1.19 GHz，NVIDIA GeForce MX350-2G，机 带RAM 为 16 GB，软件操作环境为 Pycharm，编程语言为Python3.7，采用Pytorch框架。所用数据为 1300 幅病人的肺炎 CT 图，将其中1200张图像作为训练样本，其余 100幅作为测试样本，分 别 在 DCGAN22、UNet-GAN23、SAGAN24、StyleGAN225和 UG-DCGAN 网络模型上进行实验。网络使用Adam优化器，训练模型3000轮次（epoch），利用反馈的损失函数进行权值更新，初始学习率为0.0002，批量大小为64。本文网络训练一次的时间为38 h，超参数设置见表1。表1UG-DCGAN网络模型参数设置参数Learning rateBatch sizeTraining epochsOptimizerBeta1Input image sizeOutput image size参数值0.0002643000Adam0.5128128128128图7所示为UG-DCGAN 网络模型分别在 100、1500、3000个 epoch 产生的 CT图像以及真实的 CT图像。通过对图中生成的肺炎CT图像效果图分析可以看到：图 7（a）为模型在 100个迭代次数时生成的CT图像，发现此时生成的CT图像非常模糊、严重失真；图7（b）为模型在1500个迭代次数时生成的CT图像，从图上可以看出，颗粒感已经得到很好的改善，病灶轮廓开始显现，但整体还不够清晰；图7（c）为模型在3000次迭代时生成的CT图像，图像已经达到了该模型的最好生成效果，与真实图像图7（d）的效果非常接近。图7UG-DCGAN生成的肺炎CT图像为了进一步验证各模块改进的有效性，对本网络的各个模块进行消融实验，实验结果如表2所示。实验结果显示，DCGAN生成的图像IS值为1.74，FID为218.45。加入单融合特征金字塔后，生成图像的 IS 为 2.11，FID 为 178.48，虽然网络参数量有所增加，但生成图像的质量大幅提高。继续加入CBAM模块后，IS提升为2.19，FID降低为152.67，图像质量提升效果依然明显。随后继续对判别器进行改进，改进之后生成图像的IS为2.26，FID为140.95。综上所述，本文网络的3处改进对图像生成的质量均有所提高。表2消融实验改进名称DCGAN改进1改进2改进3单融合特征金字塔CBAM模块判别器改进IS1.742.112.192.26FID218.45178.48152.67140.95Params（106）0.413.153.343.57图8各模型生成的肺炎CT图像对比图 8 为 DCGAN、UNet-GAN、SAGAN、StyleGAN2和UG-DCGAN网络模型在3000个epoch 产生的CT图像以及真实的CT图像。对以上 5 个模型的生成结果和真实图像做 IS、FID指标检验，并记录各网络模型参数量Params，结果如表3所示。（a）100 epoch（b）1500 epoch（c）3000 epoch（d）real image（a）DCGAN（b）UNet-GAN（c）SAGAN（d）StyleGAN2（e）UG-DCGAN（f）real image王家晨，等：基于生成对抗网络的肺炎CT图像生成23计算机与现代化2023年第7期表3各模型合成CT图像的定量比较结果图像合成方法DCGANUNet-GANSAGANStyleGAN2UG-DCGANIS1.742.171.892.012.26FID218.45144.38202.76180.67140.95Params（106）0.417.762.384.163.57对不同的 CT 图像合成方法进行比较，分别用DCGAN、UNet-GAN、SAGAN、StyleGAN2 和 UG-DCGAN 网络模型训练生成CT图像并计算FID、IS指标，同时对5种模型的参数量进行比较，进一步验证该方法的有效性。从表3中数据可以看到，虽然UG-DCGAN与DCGAN相比，模型参数量有所增加，但图像生成质量得到较大的改善，IS 值提高了 29.89%，FID 值减少了 35.48%；UG-DCGAN 与 UNet-GAN 相比，图像生成质量相差不大，IS值提高了4.15%，FID值减小了2.38%，但模型参数量减少4.19106。此外，IS和FID结果显示，本文算法与SAGAN和StyleGAN2相比，生成图像的质量依然存在优势。其中，相比最新的StyleGAN2的生成图像，本文算法生成的图像IS提高了 12.44%，FID 降低了 21.98%。相比原来的DCGAN、UNet-GAN、SAGAN、StyleGAN2，UG-DCGAN是解决医学数据不足的更可行的替代方法。4结束语本文提出的UG-DCGAN方法使用GAN、特征金字塔融合和注意力机制等，来解决CT图像用于神经网络训练时数据缺少的问题。实验结果表明，当使用CT影像进行恢复生成时，UG-DCGAN技术在实验中优于其他技术，注意力机制与特征融合方法也促进了图像质量的提高。不过，由于在处理高分辨率CT图像、跨区域生成等26技术方面还没有开展过更广泛的实验研究，在提高最终结果的图像品质以及具体临床应用上尚有待进一步提高，因此上述方面在今后的科学研究上将作为主要研究对象。参考文献：1 吴云峰.基于深度学习的肺炎医学CT图像分类算法研究 D.福州：福建中医药大学，2021.2MOTAMED S，ROGALLA P，KHALVATI F.Data augmentation using Generative Adversarial Networks（GANs）for GAN-based detection of pneumonia and COVID-19 inchest X-ray imagesJ.Informatics in Medicine Unlocked，2021，27（3）.DOI：10.1016/j.imu.2021.100779.3 高海军，曾祥银，潘大志，等.基于U-Net改进模型的 直肠肿瘤分割方法 J.计算机应用，2020，40（8）：2392-2397.4 富强，古兰拜尔 吐尔洪，买日旦 吾守尔.生成对抗网络及其应用研究综述 J.计算机工程与应用，2021，57（19）：18-31.5 扈晓君，杨宝栋.基于深度学习的医学图像分析综述J.电子技术与软件工程，2021（18）：137-138.6 胡紫琪，谢凯，文畅，等.生成对抗网络下的低剂量CT图像增强 J.计算机应用，2023，43（1）：280-288.7 CHEN Z H，JIANG C Y.Building occupancy modeling using generative adversarial networkJ.Energy and Buildings，2018，174：372-379.8ARJOVSKY M，CHINTALA S，BOTTOU L.Wassersteingenerative adversarial networksC/Proceedings of the34th International Conference on Machine Learning.2017：214-223.9SHABAN M T，BAUR C，NAVAB N，et al.Staingan：Stain style transfer for digital histological imagesC/2019 IEEE 16th International Symposium on BiomedicalImaging（ISBI 2019）.2019：953-956.10 王晟全，陈济颖，王奕翔，等.无监督网络对抗生成模型的研究 J.计算机技术与发展，2020，30（4）：89-93.11 邵保泰，汤心溢，金璐，等.基于生成对抗网络的单帧红外图像超分辨算法 J.红外与毫米波学报，2018，37（4）：427-432.12黄玄曦，张健毅，杨涛.生成对抗网络在医学图像生成中的应用 J.北京电子科技学院报，2020，28（4）：36-48.13 WU Q F，CHEN Y P，MENG J.DCGAN based data augmentation for tomato leaf disease identificationJ.IEEEAccess，2020，8：98716-98728.14 王富平，陈鹏博，刘卫华，等.采用非线性方向导数的混合噪声鲁棒角点检测算法 J.西安交通大学学报，2021，55（11）：115-124.15 WANG S H，FERNANDES S L，ZHU Z Q，et al.AVNC：Attention-based VGG-style network for COVID-19 diagnosis by CBAM J.IEEE Sensors Journal，2021，22（18）：17431-17438.16 邱天衡，王玲，王鹏，等.基于改进YOLOv5的目标检测算法研究 J.计算机工程与用，2022，58（13）：63-73.17WANG J J，YU Z S，LUAN Z Y，et al.RDAU-Net：Basedon a residual convolutional neural network with DFP andCBAM for brain tumor segmentation J.Frontiers in Oncology，2022，12.DOI：10.3389/fonc.2022.805263.18张恩琪，顾广华，赵晨，等.生成对抗网络GAN的研究进展 J.计算机应用研究，2021，38（4）：968-974.19 姚成思.基于生成对抗网络的图像生产算法研究 D.北京：北京印刷学院，2021.20 SZEGEDY C，LIU W，JIA Y Q，et al.Going deeper withconvolutions C/2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.2015：1-9.21 YANG X Y，HE X H，ZHAO J Y，et al.COVID-CT-dataset：A CT scan dataset about COVID-19J.arXivpreprint arXiv：2003.13865，2020.22ADFORD A，METZ L，CHINTALA S.Unsupervised representation learning with deep convolutional generative adversarial networksJ.arXiv preprint arXiv：1511.06434，2015.23常佳，王玉德，吉燕妮.基于改进的U-Net生成对抗网络的图像翻译算法 J.通信技术，2020，53（2）：327-334.24 ZHANG H，GOODFELLOW I，METAXAS D，et al.Self-attention generative adversarial networksJ.arXiv preprint arXiv：1805.08318，2018.25 KARRAS T，LAINE S，AITTALA M，et al.Analyzing andImproving the image quality of StyleGANJ.arXiv preprint arXiv：1912.04958，2019.26孙静.基于生成式对抗网络的路面裂缝图像虚拟增广法研究 D.西安：长安大学，2020.24