功能解耦和谱特征融合的雪霾消除模型_鲍先富.pdf

2023，59（13）单幅图像去雾（dehaze，DH）和去雪（desnow，DS）主要为修复图像被雪花和雾霾遮挡的区域，增强背景清晰度，以便图像算法对图像的高效利用。以往的DH和DS算法将天气特征移除任务作为单任务进行处理，未考虑雪花和雾霾同时存在的场景，导致问题研究难以满足实际场景需求，如雪霾同时存在的情形。针对当前算法对雪花遮挡区域的修复存在过度平滑、边缘纹理缺失问题，本文提出将图像边缘和图像色彩进行分离修复的方法，由于过于复杂的网络结构在传递反馈梯度时存在梯度消失，而且单一网络对雪花和雾霾的数据分布学习存在难度，常导致网络学习不足问题。因此本文对雪霾的图像修复问题，提出模型解耦、协同训练的雪霾消除网功能解耦和谱特征融合的雪霾消除模型鲍先富，强赞霞，杨关中原工学院 计算机学院（系），郑州 450007摘要：针对车载相机受雪花、雾霾影响，导致采集图像出现雪花遮挡和雾霾面纱效应问题，基于图像边缘纹理和图像色彩分离重建的思想，提出功能解耦、双重监督的雪霾消除网络。所提算法通过对图像边缘纹理和色彩信息进行分离重建，将雪霾消除任务解耦为背景纹理修复与色彩重建两个子任务，并用双生成对抗网络分别进行边缘纹理和色彩特征的协同重建。算法在SRRS-6000数据集上进行消融测试，验证了双重监督对网络加速收敛的有效性和噪声消除的显著效果，模型在 Snow100K-S、Snow100K-M、Snow100K-L、I&O-Haze数据集上进行测试，峰值信噪比（peak signal to noise ratio，PSNR）和结构相似性（structural similarity，SSIM）分别达到33.29 dB和0.94、32.8 dB和0.931 6、30.13 dB和0.93、25.88 dB和0.82。实验结果表明，通过对图像去噪任务进行解耦和双重监督，取得了高效的雪花、雾霾消除效果，增强了无人驾驶辅助系统在复杂天气条件下的适应性。关键词：生成对抗网络；去雪；去雾；噪声消除；图像去噪文献标志码：A中图分类号：TP309doi：10.3778/j.issn.1002-8331.2203-0566Snow and Haze Elimination Model Based on Function Decoupling and Edge Feature FusionBAO Xianfu,QIANG Zanxia,YANG GuanSchool of Computer Science,Zhongyuan University of Technology,Zhengzhou 450007,ChinaAbstract：Aiming at the problem of snowflake occlusion and haze veil effect in the collected images by the vehicle-mounted camera for the influence of snowflakes and haze,this paper proposes a decoupling and double-supervised snowhaze elimination network based on the idea of image edge texture and image color separation and reconstruction.The pro-posed algorithm separates and reconstructs image edge texture and color information,decouples the snow haze removaltask into two sub-tasks,background texture inpainting and color reconstruction,and uses dual generative adversarial net-works to reconstruct edge texture and color features separately.The algorithm has tested on the SRRS-6000 dataset,whichverifies the effectiveness of dual supervision on network acceleration convergence and the significant effect for noiseremoval.The peak signal to noise ratio（PSNR）and structural similarity（SSIM）has reached 33.29 dB and 0.94,32.8 dBand 0.931 6,30.13 dB and 0.93,25.88 dB and 0.82 on Snow100K-S,Snow100K-M,Snow100K-L and I&O-Haze datasets,respectively.Experimental results show that by method of decoupling and double supervision in image denoising task,efficient snowflake and haze removal performance have achieved,and the adaptability of unmanned assistance systemunder complex weather conditions have been enhanced.Key words：generative adversarial network;desnow;dehaze;noise removal;image denoising基金项目：国家自然科学基金（61772576）；河南省科技厅科技攻关项目（182102210126）。作者简介：鲍先富（1996），男，硕士研究生，研究方向为机器学习与图像处理，E-mail：；强赞霞（1973），女，博士，副教授，研究方向为模式识别与智能系统、机器学习与图像处理；杨关（1973），男，博士，副教授，研究方向为机器学习与图像处理、医学图像处理。收稿日期：2022-03-29修回日期：2022-06-15文章编号：1002-8331（2023）13-0211-09Computer Engineering and Applications计算机工程与应用211Computer Engineering and Applications计算机工程与应用2023，59（13）络，并使用梯度截断训练技术加速网络收敛。在DS的研究中，Zheng等1对比雪花与背景的频率分布差异，使用多尺度滤波方法消除雪花高频成分，但该方法通过相邻像素扩散无法有效重建背景的纹理细节像素。Wang等2通过分解图像，然后用图像字典对背景和噪声进行分层，实现对雪花的高频筛选和不同通道内特征敏感性分析，但因分解过程未考虑尺度适应性问题，无法完全消除不同大小的雪花粒子。Li等3使用生成对抗网络（generative adversarial network，GAN）去雪，通过生成雪花掩码，并借助计算真实背景与雪花掩码合成图像，与真实雪图的损失进行雪花移除，由于掩码合成与真实雪花成像模型原理不同且GAN的训练存在波动，模型无法对雪花消除不够彻底。Liu等4使用基于 Inception-v4 的两阶段除雪结构 DesnowNet，并构建了雪花数据集Snow100K。通过使用雪花的半透明属性和分析，并使用多尺度设计对雪花的多样性进行学习，达到了比较理想的去雪效果。Chen等5提出多尺度的JSTASR去雪网络。通过结合雪花成像的物理模型和雪花透明度、多尺度属性，JSTASR配合可微分的暗通道先验6分支网络消除雪花的遮蔽效应，同时提出SRRS的雪花数据集。SRRS数据集充分考虑了遮蔽效应和雪花的尺度问题，对雪花移除研究有很大帮助。Lizuka等7为了解决大块雪花对背景的遮挡问题，使用了全局和局部上下文鉴别器学习真实图像与补缺图像的数据分布，有效保证了重建图像整体的一致性和局部修复纹理、色彩的真实性。修复图像在整体和局部修复细节上都保持了较好的统一，但对于雪花消除问题，还存在首先要对雪花进行位置定位难题，然后进行图像背景修复。但是，该网络无法对雪花粒子进行有效定位。Yang等8通过使用图像语义和纹理特征约束的联合多尺度网络，首先生成背景图像缺失区域的高频细节，以此重建缺失区域的背景图像。该方法对低分辨率和高分辨率图像均有很好的应用效果，具有很好的应用前景，但该方法同样需手动定位待修复的雪花遮挡区域，无法做到对天气噪声进行自适应定位。Li等9提出了一种基于条件归一化流的单图像去雾网络DehazeFlow。DehazeFlow通过学习无雾图的条件分布，使模型可以采样多个去雾结果。并提出基于注意力的耦合层将自然图像转化为潜在空间，融合成对数据的特征，获得优秀的实验效果。Arjovsky等10通过使用Wasserstein GAN限制Lipschitz约束11，同时使用最大值约束，通过消减大参数以保证矩阵中元素绝对值不超过给定值，但是该操作也破坏了权重参数之间的数值比例关系。虽然延缓了生成网络的收敛，但也不利于网络性能提升。Dolhansky等12借助典型信息对图像结构重要性的论证，使其模型达到逼真效果，其中背景注意力机制采用两步法来解决图像修复问题，首先对遮挡区域进行粗略估计，然后通过搜索与粗估计相似度最高的背景块集合，利用注意力机制，细化网络并对结果进行锐化处理。该方法收到了较好的遮挡雪花修复效果，但对均匀分布的雾霾天气却不适用。Liang等13提出的EDCNN通过使用边缘残差增强图像边缘，以此达到背景图像修复目的，使用残差结构仅能增强边缘特征，对雾霾造成的图像色彩失真问题仍无法处理，且在噪声遮挡区域的颜色重建处还留有人工痕迹。Song等14通过对“补丁交换”层的引用，利用相似边缘生成缺失区域内的补丁，收到较好的修复结果，但该方法有两个局限性：无法判定网络假设的粗估计是否合理准确；同时不能处理任意形状遮挡的区域。虽然国内外学者在去雪任务中做了很多工作，但仍存在如下不足：冬季天气常存在雾霾，除了雪花遮挡还存在雾霾产生的面纱效应；大尺度的雪粒子遮挡区域的背景缺失严重，恢复背景常存在人工伪影。本文总结目前研究的不足，提出基于双重监督、协同训练的雪霾消除网络模型，通过采用细节纹理和色彩信息分离重建的方式，分两步增强图像背景，并重建雪花遮挡区域。该算法提出功能模块解耦、双重监督的方式对生成对抗网络进行训练，同时对去雪和去雾任务进行综合，提出更适合冬季使用的图像增强算法。该模型修复后的图像有效克服边缘纹理模糊和遮挡区域存在伪影的问题。1 协同训练与双重监督的GAN网络1.1 网络结构针对单幅图片DH和DS任务，本文算法提出基于协同训练与双重监督的雪霾消除网络（snow and hazeelimination network，SHEN），结构如图 1 所示。SHEN主要由边缘纹理网络（edge context network，ECN）和色彩修正网络（color restoration network，CRN）两部分，ECN和CRN主要由两个子生成对抗网络组成。ECN由谱卷积编码器、谱卷积残差结构、谱卷积解码器结构组成；CRN由编码器、残差结构、解码器结构组成。ECN图1网络流程图Fig.1Network flow chart天气噪声图Label背景图色彩修复图解码器谱卷积编码器G1G2编码器谱卷积残差处理*8Label图边缘谱卷积解码器残差处理*8纹理特征图D1D2判别器1判别器2ECN损失函数CRN损失函数2122023，59（13）首先处理天气特征图片，对其使用谱归一化卷积，编码到高维空间后，使用谱卷积残差结构进行高频筛选后，然后通过解码降维得到噪声图的边缘纹理特征。ECN将得到的边缘纹理特征与噪声图融合，送入CRN编码至高维空间，然后依次进行残差处理和解码降维，最终得到修正后的背景图像。在此过程中，ECN主要进行图像背景边缘纹理的筛选重建，CRN主要进行色彩填充和局部修正。在整个协同训练过程中，模型分别使用ECN判别器D1、CRN判别器D2对ECN和CRN训练进行监督，以此提升ECN的G1和CRN的G2的修复效果和加速网络收敛。1.2双重监督和协同训练图像边缘作为低级语义特征，根据已有边缘可推断边缘趋势走向，具有易学习和推理的特点，对图像细节修复具有很大帮助。SHEN以生成对抗网络为基础，对图像边缘和图像色彩任务进行分离，将雪花和雾霾修复任务解耦为细节纹理提取和色彩修复两个阶段。在SHEN中，ECN通过提取天气噪声在单通道上的先验表征，即边缘纹理特征；在色彩修复阶段，CRN将生成的边缘纹理特征与噪声图进行张量拼接融合，通过噪声图像中的背景色彩先验信息，对学习到的边缘纹理特征进行颜色生成和局部修正，最终得到雪霾消除的背景图像。ECN和CRN通过模块解耦、协同训练的方式进行图像修复和背景特征增强。基于雪花和雾霾的数据分布不同，使用单一网络对其学习存在难度，而且深层网络反馈梯度仅通过残差难以有效传递回浅层网络，造成网络学习困难和收敛速度慢，SHEN采用两个子网络进行边缘和色彩解耦学习的方式，使用双判别器分别监督两个子网络学习效果，并对网络结构直接采用梯度截断，以此加速网络收敛和协同训练效果。SHEN的生成器结构如图2所示。由于输入噪声图像包含大量高低频信息，生成模型对高频和低频成分的筛选难度较大。ECN先对图像的细节高频信息进行增强和感知，然后CRN再对图像色彩进行重建，这样可大大降低网络学习难度，加速模型收敛。设G1和D1分别为ECN的生成器和鉴别器，G2和D2分别为CRN的生成器和鉴别器。1.3边缘纹理提取网络ECN接收噪声图InoiseRHW3输入后，首先计算噪声图Canny边缘特征CedgeRHW1，将噪声图Inoise与Ccdgc张量拼接融合得到Iinput。ECN首先对Iinput进行边缘反射填充，如公式（1）所示得到ECN的计算结果x0R(H+2n)(W+2n)4：x0=FReflection()Inoise,Cedge,n（1）其中，H、W、C分别表示特征图的长、宽和通道数，n表示特征图边缘填充的像素数，且n=3。FReflection表示特征边缘反射填充函数。得到填充的特征图后，ECN将其编码到高维特征空间，在高维特征空间放大背景与天气特征噪声的区别。ECN对输入特征x0的计算如公式（2）所示：|x1=FSpectral()x0,k0,c0,s0 x2=FInstance()x1,c0 x3=FReLU()x2（2）其中，k表示卷积核大小，c表示卷积输出的通道数，s表示卷积步长。公式（2）在ECN编码模块计算3次，且公式将特征图编码为通道数为256的高维特征，3次迭代的k0分别为7、4、4；c0分别为64、128、256；s0分别表示1、2、2。当特征编码到高维空间后，背景与噪声的区别得到放大，ECN通过使用3组残差结构对天气高频噪声进行剔除，计算如公式（3）所示：|x4=FInstance()FSpectral()x3,k1,c1,s1,c2x5=FInstance()FSpectral()x4,k2,c3,s2,c4x6=x4+x5（3）其中，k1=k3=3，c1=c2=c3=c4=256，s1=s3=3。ECN通过使用8次不同权重的迭代残差，对高维空间中的噪声边缘进行消除和重建得到特征x6，然后ECN将x6解码降维为单通道特征x9，以消除色彩特征对边缘纹理的影响，解码计算如公式（4）所示。之后，再对x9进行对称填充和卷积计算，如公式（5）所示：图2SHEN模型结构图Fig.2SHEN model structure diagramReflection PaddingReflection PaddingResnetBlock*8(256,2)ResnetBlock*8(256,2,use_spectral_norm)Weather Image+Weather Image EdgeWeather Image+Spectral FeatureReflection PaddingConv2d+Sigmoid(64,1,kernel=7,padding=0)Reflection PaddingConv2d+Tanh(64,1,kernel=7,padding=0)Repairing ImageDeConv2D(256,128,kernel=4,stride=2,padding=1)Instance Norm+ReLUDeConv2D(128,64,kernel=4,stride=2,padding=1)Instance Norm+ReLUConv2D(4,64,kernel=7,padding=0)Instance Norm+ReLUConv2D(64,128,kernel=4,stride=2,padding=1)Instance Norm+ReLUConv2D(128,256,kernel=4,stride=2,padding=1)Instance Norm+ReLUSpectralNorm(Conv2D)(4,64,kernel=7,padding=0)Instance Norm+ReLUSpectralNorm(Conv2D)(64,128,kernel=4,stride=2,padding=1)Instance Norm+ReLUSpectralNorm(Conv2D)(128,256,kernel=4,stride=2,padding=1)Instance Norm+ReLUSpectralNorm(Conv2D)(4,64,kernel=7,padding=0)Instance Norm+ReLUSpectralNorm(Conv2D)(256,128,kernel=4,stride=2,padding=1)Instance Norm+ReLUSpectralNorm(Conv2D)(128,64,kernel=4,stride=2,padding=1)Instance Norm+ReLU鲍先富，等：功能解耦和谱特征融合的雪霾消除模型213Computer Engineering and Applications计算机工程与应用2023，59（13）|x7=FSpectral()x6,k3,c4,s3x8=FInstance()x7,c5x9=FReLU()x8（4）x10=FReflection()x9,nCECN=FConv()x10,k4,c6,s4（5）其中，在解码过程中，ECN使用不同权重迭代计算公式（4）2次，解码得到的特征x9，参数设置分别为：k3=4、4，c4=128、64，c5=128、64，s3=2、2，n=3，k4=3，c6=1，s4=1。解码器通过将高维空间中的特征进行维度压缩，得到单通道纹理语义特征CECN。ECN通过对噪声图x0的纹理特征进行重构和 ECN 网络尾部进行梯度截断，将CRN的网络误差和梯度反馈截断于CECN。ECN通过使用D1生成属于ECN的梯度反馈，实现网络的结构解耦和协同训练。由于生成模型对噪声信息敏感，当输入特征信息量较大，且包含噪声方差大于背景信息方差时，易造成图像质量下降。为使 ECN 训练平稳并先于 CRN 收敛，SHEN在ECN中使用残差迭代过滤高频噪声信息，并对ECN编码和解码结构使用谱范数归一化，以防止卷积权重剧烈波动。最后将特征降维为单通道，以过滤色彩信息，使得局部边缘纹理在单波段特征图中具有统计独立性，即假设色彩波段与边缘波段的数据互不相关。对于生成模型而言，生成器性能波动主要由于网络权重参数波动和输入特征图的多样性，为稳定生成模型性能，本文在ECN中使用谱归一化卷积，谱范数归一化使用方式如图2所示，ECN对输入特征的卷积权重进行谱范数归一化，通过对卷积权重矩阵进行奇异值分解和最大奇异值筛选出重要纹理特征权重。1.4色彩修正网络在获得 ECN 生成的纹理特征CECN后，CRN 通过与 噪 声 图Inoise拼 接 融 合 得 到 CRN 网 络 输 入 特 征Inoise,CECNRHW4。CRN 首先对输入Inoise,CECN进行像素反射填充和编码至高维空间，并使用三次相同操作的卷积编码，计算如公式（6）、（7）所示：x11=FReflection()Inoise,CECN,n（6）|x12=FConv()x11,k5,c7,s5x13=Finstance()x12,c7x14=FReLU()x13（7）其中，CRN需要对公式（7）进行3次相同操作的计算，参数分别为n=3，k5=7、4、4，c7=64、128、256，s5=2、2、1。然后，CRN通过8块残差结构在高维空间对x14进行频率筛选，通过残差迭代过滤高频天气特征，其残差计算如公式（8）所示：|x15=FInstance()FConv()x14,k6,c8,s6,c8x16=FInstance()FConv()x15,k7,c9,s7,c8x17=x15+x16（8）其中，k6=k7=3，c1=c2=c3=c4=256，s1=s3=1。CRN通过8次残差迭代计算，将雪花遮挡的背景区域像素进行修正后，再将x17进行解码降维重建和边缘像素填充，如公式（9）、（10）所示：|x18=FConv()x17,k7,c9,s8x19=FInstance()x18,c9x20=FReLU()x19（9）x21=FReflection()x20,nCECN=FConv()x21,k8,c10,s9（10）其中，n为3，k7=4、4、7，c9=128、64，c3=3，s3=1，经过公式（9）两次降维和公式（10）边缘填充、卷积计算后，得到雪花和雾霾消除后的背景图像CCRNRHW3。CRN通过将特征Inoise,CECN编码至高维空间，使用残差迭代修复雪花遮挡，并对背景信息进行增强，再通过解码处理将特征降维至Inoise相同大小。1.5损失函数ECN使用噪声图Inoise作为输入，对Inoise预处理生成 Canny边缘特征Iedge，并借助 ECN生成谱归一化特征CECN，其中ECN交叉熵损失L1和特征匹配损失L2如公式（11）、（12）所示，ECN损失函数如公式（13）所示：L1=-i=1NwnNi(lb()D1()ILabelEdge,ILabel+lb()1-D1()CECN,CCRN+lb()D1()Ilabel+)lb()1-D1()CECN（11）L2=i=1N1ND(i)1ClabelEdge,Ilabel-D(i)1CECN,Ipred1（12）LECN=1L1+2L2（13）其中，wn表示每层卷积的权重矩阵，N表示卷积层数，Ni表示每i层卷积权重的参数个数，ILabelEdgeRHW1表示标签背景图Ilabel生成的 Canny边缘特征，CECNRHW1表示ECN生成的边缘纹理特征，CCRNRHW3表示CRN生成的噪声修复图。1、2表示权重系数，分别设为 10和 1，L是鉴别器网络D1的最后卷积层，Di1为鉴别器D1在第i层的激活特征图。在ECN的损失函数包含交叉熵损失L1和特征匹配损失L2两部分。其中，交叉熵损失L1包含图像边缘的交叉熵、图像边缘与色彩的交叉熵两部分。虽然ECN与CRN两子网络之间进行了梯度截断，但CECN生成的质量与CCRN重建质量密切相关，通过信息交叉熵将CRN生成结果引入ECN损失，可有效得到CRN对ECN边缘纹理重建的反馈，加快ECN卷积权重参数调整。特征匹配损失L2主要反馈ECN边缘纹理重建质量。CRN 将CECN与Inoise相 结 合 构 建 复 合 频 谱 图CECN,Inoise，通过 CRN 学习天气特征遮挡区域的色彩2142023，59（13）信息，得到背景图CCRN。CRN损失包含纹理特征损失L2，生成对抗损失L3，感知损失L4和风格损失L5，其损失具体定义如公式（14）、（15）、（16）所示：L3=-i=1NwnN|12lb()D2()Ilabel+12lb()1-D2()CCRN（14）L4=i=0i=5j=1NwijNiji()Iilabel-i()CiCRN1（15）L5=i=1NwnNGi()Iilabel-Gi()CiCRN1（16）其中，L4通过计算预训练网络VGG的激活特征图与标签背景图之间的距离度量，衡量网络对天气噪声的去除效果。Iilabel为标签图片在预训练网络的第i层的激活函数映射的特征图，i对应预训练的vgg19网络的初始i层推理所得的ReLU激活特征向量。该激活映射还用于计算风格损失，以此度量激活映射的特征之间的协方差差值。Gi是计算第i层卷积激活特征图的Gram矩阵。模型选择使用风格损失是为了防止对抗特征的转置卷积层造成的伪影问题。由此，模型的整体损失函数如公式（17）所示：LCRN=ECNL2+CRNL3+PL4+sL5（17）通过进行多次测试，模型参数设置为ECN=1，CRN=2，P=0.5，s=240。CRN的损失主要根据CECN的边缘纹理信息，进行色彩内容的重建，因此引入ECN的特征匹配损失L2以便于对CECN纹理信息进行适应。因此对判别器D2的卷积结果进行开方处理，增加CECN与Ilabel特征匹配损失的计算和，并增加Gram矩阵对二者特征损失的计算的权重系数，以增加CRN对色彩信息学习。2实验设计与分析2.1数据集和参数设置本文实验基于 Ubuntu 21.04 系统进行测试，其中CUDA版本为11.2，CUDNN版本为8.2，Pytorch版本为1.6.0，GPU 版本为 RTX-5000，主机内存为 128 GB。网络模型训练图片尺寸为512512，批大小设置2。ECN和CRN均采用采用Adam优化器，初始学习率为0.02，分别设为0.02，二者学习率采用指数衰减，学习率衰减率设为 0.90，每 1 000轮更新一次，网络训练迭代 2 500次。训练集由公开数据集SRRS15、Snow-100K16的随机筛选合成得到，如表 1 所示15-18。数据集包含训练图66 000幅、测试图16 560幅及对应标签图片。2.2消融实验消融实验分别对使用判别器数量、是否对ECN自编码器使用谱范数归一化、ECN与CRN之间是否进行梯度截断的SHEN模型进行消融对比，并以此得到5个消融模型，网络结构如表2所示，消融实验结果如图3、4所示。实验效果说明，模型解耦和协同训练的训练方式，可根据边缘先验信息对背景细节进行优先学习，产生更细腻的重建效果。图4对比说明ECN生成的边缘纹理对图像修复具有重要的指导意义，双判别监督能明显加速模型收敛和网络权重参数的调优速度。单判别器模型1（original GAN）中的密集模型参数和特征通道维度存在冗余性，通过对边缘纹理和色彩进行解耦修复，可降低特征图中存在的空间冗余。特征图中每个像素应存储独立的特征描述，但模型1（original GAN）相邻位置存储大量色彩和边缘混合语义信息，造成特征语义冗余、参数学习困难。通过对输入图像不同成分的空间频率进行分离筛选，在ECN着重学习高分率细节纹理，以此重建图像高频表征，并利用生成的边缘纹理指导CRN学习色彩低频信息。SHEN在不同网络部分学习高频和低频语义特征，实现降低特征图的空间冗余度和对图像不同成分的解耦学习思想。表1去雪和去霾数据集组成Table 1Composition of desnow and dehaze datasets数据集SRRS-600015Snow100K-S16Snow100K-M16Snow100K-L16I-Haze17O-Haze18合计训练集数16 10016 60016 60016 70066 000测试集数4 0004 1604 1604 160354516 560图3消融实验中的PSNR变化Fig.3PSNR changes of ablation experimentsOriginal GANDual GANDual GAN+Spectral NormDual GAN+Gradient truncationDual GAN+Spectral Norm+Gradient truncationPSNR值302520151005001 0001 5002 0002 5003 000迭代次数表2消融对比模型的网络结构Table 2Network structure of ablation contrast models模型模型1模型2模型3模型4模型5ECN编码器是否谱归一化判别器1梯度截断CRN编码器是否谱归一化判别器2鲍先富，等：功能解耦和谱特征融合的雪霾消除模型215Computer Engineering and Applications计算机工程与应用2023，59（13）2.3模型对比为测试模型雪霾消除的性能，对比实验使用 Der-ainNet19、GAN-Dehaze20、DehazeNet6、DesnowNet4、DuRN-S-P21、MSBDN22、KDDN23模型在表1所组成的综合测试数据集上进行测试，测试结果如表3和图5、6所示。结果可知本文模型SHEN在Snow100K、I-Haze、（a）雪霾混合图（b）模型1（c）模型2（d）模型3（e）模型4（f）模型5（g）背景图图4消融实验效果Fig.4Effects of ablation experiments图5本文模型与其他模型的视觉效果对比Fig.5Comparison of visual effects between proposed model and other models（a）雪花噪声图（b）DesnowNet（c）JORDER（d）DuRN-S-P（e）Our（g）真实背景图表3与SOTA模型的对比数据Table 3Comparison data with SOTA models数据集Snow100K-SSnow100K-MSnow100K-LSRRSO+I-Haze推理时间/s参数量/MB对比指标PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMDerainNet1925.7400.86023.3600.85019.1800.75020.1300.74015.4900.5100.91212.080DehazeNet624.9600.88024.1600.87026.6100.77020.6400.80019.6200.5901.25021.170GAN-Dehaze2025.9400.88024.3600.86021.2900.77022.3100.81022.3100.7401.31511.690DesnowNet432.3300.95030.8600.94027.1700.90030.1400.87016.7300.5201.49026.150DuRN-S-P2132.2700.95030.9200.94027.2100.89032.6800.96018.3200.6101.11910.180MSBDN2231.1700.93029.1800.92026.1700.86033.7900.98021.2300.7100.94528.710KDDN2331.1500.94031.1700.93028.3200.89034.7200.98019.3900.5901.10010.400SHEN33.2900.94032.8400.93031.1300.92036.4200.98025.8800.8201.12821.5402162023，59（13）SRRS数据集上取得的PSNR、SSIM指标优于对比模型，推理时间相对于对比模型速度较快，但是SHEN参数量对于其他库存较高。本文模型SHEN与对比模型的去雪效果如图5所示，对O-haze测试集19的去雾效果如图6所示，在真实场景下的去雾效果如图7所示，从视觉效果上来看，SHEN对雪花和雾霾的遮挡区域取得了更好的修复，伪影和人工痕迹得到很好的消除。通过谱范数对ECN卷积权重的参数矩阵进行归一化，使其子生成对抗网络满足Lipschitz约束，改进的GAN网络的提升了模型的训练稳定性，提高网络的性能。2.4实验可视化实验对训练初始阶段生成的ECN纹理先验特征和CRN色彩绘制效果进行可视化，如图8、9所示，并对迭代过程中的综合测试集的图片进行了部分实验效果可（a）雾图（b）MSBDN（c）DuRN-S-P（d）GAN-Dehaze（e）DehazeNet（f）SHEN（g）标签图图6O-Haze测试集去雾测试Fig.6O-Haze testset dehaze testing（f）背景图（a）雪花特征图（b）噪声图边缘（c）背景图边缘（d）ECN纹理特征（e）CRN修复图图8网络初始训练的特征图可视化Fig.8Feature map visualization of network initial training图7SHEN在真实场景下雪霾消除测试Fig.7SHEN snow and haze elimination testing in real scenes鲍先富，等：功能解耦和谱特征融合的雪霾消除模型217Computer Engineering and Applications计算机工程与应用2023，59（13）视化。图8测试采用Snow100K-L数据集的图片，其中ECN生成的纹理特征图形成对细节密集区域的初始感知，CRN在学习的边缘密集区域进行色彩绘制优先学习，表明边缘特征对网络色彩绘制有明显的指导作用。在傅里叶频谱可视化展示中，可见CRN边缘纹理频谱的高低频分配位置与ECN生成的纹理特征频谱大致相同，但学习的特征量的多少不同，说明ECN对噪声频率有更好的识别作用，能快速指导模型对天气噪声的学习，图像上色区域均在图像边缘密集区域。图9中测试集图片所示可视化效果，展示了本文SHEN模型雪花和雾霾噪声的渐进学习过程，说明ECN生成的边缘纹理对 CRN图像色彩重建具有指导作用，也说明 SHEN序列模型对GAN训练波动的稳定收敛效果。3结束语针对雪花和雾霾消除算法存在伪影遗留和边缘模糊问题，同时为更好适应冬季天气雪霾同时存在的复合天气场景，本文提出使用双重监督和协同训练的生成对抗网络，对单幅图片中存在的雪花粒子和雾霾噪声进行消除。本文模型采用模型解耦和协同训练方式消除雪霾噪声，SHEN网络模型通过梯度截断和双判别器协同监督训练实现功能解耦，并取得领先于当前去雪和去雾的实验效果。该算法对图像去噪、图像生成、图像修复等任务具有很强的实用性。目前，关于混合天气下的图像修复任务研究较少，而现实生活中往往经常出现雪霾混合、雨雪混合等复合天气，本文所提出的模型结构和训练方法可推广至其他复合天气，对复杂天气下的图像修复和图像增强具有很强的推广性。参考文献：1 ZHENG X，LIAO Y，GUO W，et al.Single-image-basedrain and snow removal using multi-guided filterC/Pro-ceedings of International Conference on Neural Informa-tion Processing，2013：258-265.2 WANG Y，LIU S，CHEN C，et al.A hierarchical approachfor rain or snow removing in a single color imageJ.IEEE Transactions on Image Processing，2017，26（8）：3936-3950.3 LI Z，ZHANG J，FANG