基于大核注意力循环网络的医学图像超分辨率重建.pdf

Computer Era No.12 20230 引言在现代医学的诊断中，医学成像扮演着不可或缺的角色，是一种在医疗行业中广泛实践和推广的医疗诊断工具。超声成像对身体无长期副作用，无其他辐射影响，可以实时生成图像且使用成本低，便携性好等特点，在整个医疗行业的应用极其广泛。但在实际应用中，由于成像原理有着声波衍射的限制，在一些情况下很难产生高质量的超声图像1。CT图像的临床诊断则应用于新冠肺炎，肺肿瘤，纵隔内原发性肿瘤等疾病的确诊和筛查2，所以这些医学图像的分辨率和细节的准确性至关重要。医学图像超分辨率需要考虑以下两个问题：由于辐射和其他对身体的影响，成对的超声或者CT图像的数量都是极为有限，所以要求患者进行额外辐射剂量的CT扫描是不切实际的；在超分辨率任务中，由于退化空间具有不确定性，同一个LR图像可能对应着多个HR图像，从而导致可能恢复出现实中并不存在的细节，这种潜在的风险使得医生在临床的诊断DOI:10.16644/33-1094/tp.2023.12.012基于大核注意力循环网络的医学图像超分辨率重建*孙乐贤，端木春江(浙江师范大学物理与电子信息工程学院，浙江 金华 321004)摘要：医学影像在医生的临床诊断中发挥着重要的作用。由于成像原理和设备的限制，很多时候获得的图片成像效果都不理想。将超分辨率技术引入医学图像领域，在超分辨率任务中使用大核分解和注意力机制，可以使卷积神经网络取得类似于基于Transformer方法的效果。于是提出一种基于循环生成对抗网络的医学图像超分辨率方法，使用大核注意力机制来提升成像质量，使用循环生成对抗网络来提升图片的细节恢复的质量和准确性。关键词：大核分解；循环生成对抗网络；医学图像；超分辨率重建；注意力机制中图分类号：TP391文献标识码：A文章编号：1006-8228(2023)12-55-05Medical image super-resolution reconstruction based on largekernel attention cycle networkSun Lexian,Duanmu Chunjiang（School of Physics and Electronic Information Engineering,Zhejiang Normal University,Jinhua,Zhejiang 321004,China）Abstract：Medical imaging plays an important role in the clinical diagnosis of doctors.Due to the limitation of imaging principleand equipment,many times the images obtained are not ideal.Introducing super-resolution technology into the field of medicalimages and using large kernel decomposition and attention mechanism in super-resolution tasks can make convolutional neuralnetwork not inferior to the method based on Transformer.In this paper,a super-resolution method for medical images based oncycle generative adversarial networks is proposed.The large kernel attention mechanism is used to improve the image quality,andthe cycle generative adversarial network is used to improve the quality and accuracy of image detail recovery.Keywords：largekerneldecomposition;cyclegenerativeadversarialnetwork;medicalimages;super-resolutionreconstruction;attention mechanism收稿日期：2023-08-23*基金项目：浙江省自然科学基金项目（LY15F010007，Y1110510）作者简介：孙乐贤（1996-），男，安徽淮北人，硕士研究生，主要研究方向：图像超分辨率。通讯作者：端木春江（1974-），男，江苏南京人，博士，副教授，主要研究方向：图像处理，视频通信。55计算机时代 2023年 第12期中出现误判的可能性增加。为了解决这些问题，我们在以下几个方面做了努力：使用自监督的CycleGan框架，从而保证恢复图片和原始图片的一致性；引入了大核注意力，基于此提出了全新的大核残差注意力结构，并针对不同的医学图像的特点进行了改进。1 大核注意力循环网络1.1 所提出的网络模型结构在基于深度学习的图像超分辨率任务中，使用CNN前馈网络来进行超分辨率任务的映射可以写为：y=G()X其中，X表示低分辨率图像，y则为通过生成器G得到的高分辨率图像，我们的任务目标是得到足够好的y，那么就要通过引入损失函数来不断更新G从而得到理想的y，从而可以这样描述：=argminil(yi(),yi)其中，yi，yi分别是生成的高分辨率图像和真实的高分辨率图像，为参数。通过损失函数去优化参数，从而更新生成器。在文献3-4的启发下，我们使用CycleGan结构，并引入Cycleloss来保证生成图片与原图的循环一致。与传统CNN模型不同的是，我们使用生成器G和生成器L去生成高分辨率图像和低分辨率图像，包括两个映射G:G(x)y和F:F(y)x。由于使用的是生成对抗网络，使用两个鉴别器分别对生成器生成的图片进行鉴别，生成器的目的就是为了愚弄欺骗鉴别器从而可以生成高质量的重建图片，可以用以下公式概括：minG,LmaxDlGan()G,D+lGan()L,D其中，lGan为完整的网络结构，G，L，D分别为生成器,退化器和鉴别器。我们提出的模型如图1所示，使用对抗损失Advenersarial Loss和内容损失Perceptual Loss来训练鉴别器D，组成生成对抗网络。图1大核循环网络框架1.2 生成器网络在我们的结构中，我们提出了基于卷积组成的混合注意力模块MAB（Mix Attention Block），每一个MAB 由三个注意力融合模块 AFM（Attention FusionModular）组成，其结构如图2所示。在我们的结构中，我们用3 3的卷积来提取图像的特征，使用可以自适应地学习矫正线性单元的参数的PReLU函数去提升模型的拟合能力和防止过拟合的发生。图2生成器G1.2.1 引用注意力机制与文献5等人的工作相似，我们采用大核注意力机制来提取特征。我们的大核注意力包括深度卷积（DW-Conv）、深度膨胀卷积（DW-D-Conv）和点卷积（1 1Conv）三部分。例如一个7 7的卷积可以分解为一个5 5的深度卷积，3 3的深度膨胀卷积和一个1 1的点卷积。依次通过上述卷积可以用较小的计算成本数量较少的参数去获取图像不同块之间的联系，我们的LKA可以用公式表示为：LKA()X=fPW()fDWD()fDW()X其中，fDW为深度卷积，fDWD为深度膨胀卷积，fPW为点卷积。我们的注意力融合模块AFM如图3所示。首先56Computer Era No.12 2023使用通道注意力来关注通道上的特征并处理提取到的特征，给予不同通道的特征不同权重，使用全局池化层来将上下文的全局信息重新编码和Sigmoid激活函数去重新缩放特征。图3融合注意力模块为了弥补大核注意力在空间相关性上的不足，在大核注意力的基础上添加另一个空间注意力分支来矫正输入的特征图，使用全局平均池化和最大池化操作去处理特征，通过卷积操作和Sigmoid激活函数获得空间注意力的映射。在重构部分，使用6提出的亚像素卷积去重构图像从而提高图像的分辨率。CT图像是一种高分辨率、高对比度的三维图像，其数据量较大，特别是对于大量的层面数据，2D卷积只能处理单个层面，需要通过堆叠多个2D卷积的结果来进行三维处理，而这样会导致计算量和存储量的大幅增加。传统的空间注意力机制需要计算每个位置的注意力权重，这需要大量的计算资源。受到7的启发，对于 CT图像的处理我们引入3D注意力模块来替代AFM模块中的空间注意力模块。我们的3D注意力模块如图4所示，首先通过定义一个三维卷积层，将输入的特征图x沿着通道维度进行卷积，生成通道维度上的特征映射。为了提高模型的泛化能力和收敛速度，还加入了一层三维的批归一化层。将通道维度上的特征映射输入到Sigmoid函数中进行非线性变换，生成通道维度上的注意力权重。最后，将注意力权重乘上原始输入特征图，加权合并得到增强后的特征图。具体可以用以下公式表示：F3D()x=()fBN()f3D()xFx+Fx其中，是激活函数Sigmiod，为元素的乘积，为尺度因子，其会在训练迭代中逐渐更新。fBN和f3D分别为批归一化层和3D卷积，Fx为输入的特征图。我们的3D注意力模块可以同时关注尺度维度和通道维度的信息，可以同时处理所有位置的特征信息，从而减少计算量和模型复杂度。处理数据时不考虑局部的注意力权重，可以更好地捕捉空间信息，减少特征重复，从而提高模型的准确性和效果。图43D注意力模块1.3 判别器网络为了获得生成的高分辨率图像更多的全局信息和更多的局部纹理，如图5所示，我们使用基于U-Net的鉴别器D对生成器G生成的图片进行判别，从而优化生成器进一步生成更高质量的图片。其中，鉴别器D通过使用谱归一正则化来帮助训练和防止过度锐化和伪影，从而使得生成器生成质量更高的图像。图5鉴别器D1.4 损失函数我们使用对抗损失函数和内容损失联合训练的ltotal如公式所示：ltotal=1ladv+2lp其中，1,2,分别是在不同损失函数中调节平衡的权重系数。ladv和lp是对抗损失和内容损失。损失ladv可以表示为：ladv=1Ni=1Nln()D()G()xi内容损失可以表示为：lp=1Ni=1N|()G()xi-yi|2其中，映射表示在VGG19网络中第12个卷积层的最大池化层之前的输出映射。2 实验结果2.1 数据集我们使用CCA-US,US-CASE和CT_COVID三种医学数据集，包含109张超声图像和349张CT图像，分别与不同的超分算法进行对比。表1是三种数据集四倍放大下不同算法的PSNR，各算法的峰值信噪比（PSNR）和结构相似性（SSIM）的结果。57计算机时代 2023年 第12期2.2 实验比较和分析我们使用客观指标评价不同方法在相同数据集上的表现。从表1可以看到与SSSR，SRCNN，SRGAN等相比，我们的方法（Massrgan 和 Macsrgan-3D）在CCA-US，US-CASE 和 CT_COVID 三个数据集上的指标要优于上述方法。表1三种数据集四倍放大下不同算法的PSNR（dB）和SSIMDataSetsBicubicSRCNNSRGANESRGANSSSRMacsrganMacsrgan-3DCCA-USPSNRSSIM29.210.80130.580.83729.010.81529.610.79931.510.86632.390.87932.280.878Us-imagePSNRSSIM30.880.84030.990.86229.790.77431.260.83733.470.89233.760.90033.590.894CT_COVIDPSNRSSIM22.970.58924.380.64429.020.81523.030.58723.530.69525.790.70226.070.714图6不同算法4倍放大在US-CASE数据集的比较图7不同算法4倍放大在CT-COVID数据集的比较如图6，图7所示，在客观的PSNR/SSIM指标上，我们的效果领先于其他超分辨率算法。在图片的纹理细节和与原片的一致性上，我们的算法也更具优势。我们的方法在感官上的伪影明显降低，对于纹理细节的恢复更加清晰，也更加接近于HR，同时PSNR/SSIM的数值也优于其他方法。应用不同数据集进行测试也表明了我们的模型在不同类型医学图像上应用的可行性。我们的方法在参数量和浮点数运算次数上也占据优势，轻量化模型可以在保证一定的精度的情况下，减少计算和存储资源的消耗，在计算资源有限的情况下，仍然能够提供高效的超分辨率处理能力。表 2 是在 Us-image 数据集上不同方法的参数（Parameters），浮点数（FLOPs）和峰值信噪比（PSNR）的结果。我们的模型由于使用了大核注意力机制，故依靠更小的参数和更小的FLOPs实现了比其他超分方法更好的性能，这足以证明它的轻量化和高效率。表2Us-image数据集上不同方法的MethodSRGANESRGANMacsrganMacsrgan-3DParameters734.2K16697.9K734.2K676.3KFLOPs16.5G170.3G19.1G29.1GPSNR(dB)29.79731.26033.76033.5942.3 消融研究为了分析我们方法中各个部分对于超分辨率性能的影响，我们提出了模型的一些变体：只有GAN，没有循环损失和融合注意力模块；GAN+MA，包括GAN部分和融合注意力模块部分，不包含循环结构和循环损失；GAN+Cycle,去掉了融合注意力模块，包含 GAN 和循环一致结构和循环损失；GAN+MA+Cycle。在GAN的基础上既包括循环损失又包括融合注意力模块；GAN+3D+Cycle,是将融合注意力模块中的空间注意力替换成3D注意力模块。表3是这些变体与原始模型在相同的条件下峰值信噪比（PSNR）和结构相似性（SSIM）的结果。表3消融实验DataSetsGAN aloneGAN+MAGAN+CycleGAN+MA+CycleGAN+3D+CycleCCA-USPSNR SSIM29.01 0.81532.12 0.87632.29 0.87532.37 0.87932.28 0.878Us-imagePSNR SSIM29.79 0.77433.43 0.88233.44 0.88234.01 0.89233.59 0.894CT_COVIDPSNR SSIM25.75 0.70125.73 0.70025.79 0.69526.01 0.71026.07 0.714(下转第63页)58Computer Era No.12 2023图2是三种模型下的ROC曲线图。ROC曲线越接近左上角，曲线下面积（AUC）越接近1，表明模型的分类效果越好。在商业实战中，AUC值能达到0.75以上就已经可以接受11，因此，以上三种方法的结果都是可以接受的。6 结论现实的财务报表舞弊识别问题中，由于舞弊样本的稀有性，面对的是极不平衡数据集下少数类样本识别问题，已有文献基本未能解决此问题12。本文在极不平衡平衡数据集下，基于过采样及欠采样方法及XGBoost模型进行财务舞弊识别研究。研究结果表明，引入SMOTE过采样算法能够提升非平衡数据集下的舞弊识别效果，模型的整体准确率达到95.4%，但模型的召回率仅为44.1%，对舞弊样本的识别效果不够理想。由于财务舞弊的稀有性、多变性、隐蔽性与复杂性，在实际中的非平衡数据集情况下，如何利用机器学习算法快速有效地识别出舞弊样本，尚需要进一步研究。参考文献(References):1 黄世忠,叶钦华,徐珊,等.20102019年中国上市公司财务舞弊分析J.财会月刊,2020,No.882(14):153-160.2 张曾莲,高雅.财务舞弊识别模型构建及实证检验J.统计与决策,2017,No.477(9):172-175.3 王珮伊.基于机器学习的批发零售业上市公司财务舞弊识别D.重庆:西南大学,2022(2).4 梁功枭.企业财务造假识别预警研究D.成都:四川大学,2021(8).5DuMengshuang.Corporategovernance:five-factortheory-based financial fraud identificationZ.Journal ofChinese Governance,2021.6 Cuizhu Meng,Li Zhou,Bisong Liu.A Case Study in CreditFraudDetectionWithSMOTEandXGBoostZ.Proceedings of 2020 4th International Conference onElectrical,MechanicalandComputerEngineering(ICEMCE 2020)(VOL.4),2020.7 濮双羽,赵洪进.上市公司财务报表舞弊识别的实证研究基于Logistic回归模型J.农场经济管理,2021,No.299(2):47-50.8 吴贞如.基于XGBoost算法的上市公司财务报表舞弊识别研究J.计算机时代,2022,No.362(8):29-33.9 曾曙莲,王涛,段亚穷.基于XGBoost模型的上市公司财务风险预警应用J.商业会计,2023,No.746(2):62-66.10 Tianqi Chen,Carlos Guestrin.XGBoost:A Scalable TreeBoosting System.Z.CoRR,2016.11 王宇韬,钱妍竹.Python大数据分析与机器学习商业案例实战M.北京:机械工业出版社,2020:223.12 刘云菁,伍彬,张敏.上市公司财务舞弊识别模型设计及其应用研究基于新兴机器学习算法J.数量经济技术经济研究,2022,39(7):152-175.消融实验证明了循环结构和融合注意力模块分别对于超分辨率性能的提升是有贡献的，将循环结构和融合注意力模块加在一起可以达到更好的效果。3 结论本文是应用在医学图像上的循环生成对抗网络模型。我们提出先用通道注意力提取特征，再使用空间注意力加大核注意力融合的模块去进一步细化的处理特征，使用循环结构去保证生成图片与原始图片的一致性，针对不同医学图像的特点来改进，从而在超分辨率任务中达到更好的效果。我们在三个不同的数据集上评估，结果表明我们的方法在客观数据和视觉感官效果上取得了优异的性能，而在运行速度和训练稳定性方面未来还可以进行深入研究。参考文献(References):1 Hayit,G.,Super-Resolution in Medical Imaging.TheComputer Journal,2009(1):43-63.2 Brenner,D.,Estimated risks of radiation-induced fatalcancer from pediatric CT,2001:289-296.3 You,C.,et al.CT Super-resolution GAN Constrained bythe Identical,Residual,and Cycle Learning Ensemble(GAN-CIRCLE),2019.6(14):188-203.4 Liu,H.,et al.Perception Consistency Ultrasound ImageSuper-resolution via Self-supervised CycleGAN,2021:833-1844.5 Guo,M.-H.,et al.Visual Attention Network,2022:286-295.6 Ledig,C.,et al.Photo-Realistic Single Image Super-ResolutionUsingaGenerativeAdversarialNetwork,2017:105-114.7 Niu,B.,et al.Single Image Super-Resolution via a HolisticAttention Network,2020:191-207.(上接第58页)CECE63