潜在低秩表示下的双判别器生成对抗网络的图像融合_袁代玉.pdf

第 31 卷 第 7 期2023 年 4 月Vol.31 No.7Apr.2023光学 精密工程 Optics and Precision Engineering潜在低秩表示下的双判别器生成对抗网络的图像融合袁代玉1，袁丽华1*，习腾彦1，李喆2（1.南昌航空大学 无损检测教育部重点实验室，江西 南昌 330063；2.中国航发沈阳黎明航空发动机有限责任公司，辽宁 沈阳 110043）摘要：为了改善红外与可见光图像融合的视觉效果，通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量，采用 KL 变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计，借助 VGG16网络提取两种源的低秩分量特征作为该网络的输入，通过生成器和判别器的博弈来生成融合低秩图。最后，将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明，在 TNO 数据集上，与所列的 5种先进方法相比，本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度 5种指标上均获得最优结果，相比于次优值，5种指标分别提高了 2.43%，4.68%，2.29%，2.24%，1.74%。在 RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优，另外 3种指标仅次于 GTF（gradient transfer and total variation minimization）方法，但图像视觉效果明显优于 GTF 方法。综合主观评价和客观评价分析，本文所提方法确实能获得高质量的融合图像，与多种方法相比具有明显的优势。关键词：红外图像；可见光图像；潜在低秩表示；改进双判别器生成对抗网络；图像评价中图分类号：TN219 文献标识码：A doi：10.37188/OPE.20233107.1085Image fusion of dual-discriminator generative adversarial network and latent low-rank representationYUAN Daiyu1，YUAN Lihua1*，XI Tengyan1，LI Zhe2（1.Key Laboratory of Nondestructive Testing（Ministry of Education），Nanchang Hangkong University，Nanchang 330063，China；2.AECC Shenyang Liming Aero-Engine Co.，LTD.，Shenyang 110043，China）*Corresponding author，E-mail：Abstract：To improve the visual effect of infrared and visible image fusion，images from two different sources were decomposed into low-rank images and sparse images with noise removed by latent low-rank representation.Moreover，to obtain the fusion sparse plot，the KL transformation was used to determine the weights and weighted fusion of the sparse components.The generation adversarial network of the double discriminator was redesigned，and the low-rank component characteristics of the two sources were extracted as the inputs of the network through the VGG16 network.The fusion low-rank diagram was gener文章编号 1004-924X（2023）07-1085-11收稿日期：2022-08-09；修订日期：2022-09-26.基金项目：国 家 自 然 科 学 基 金 资 助 项 目（No.51865038）；南 昌 航 空 大 学 研 究 生 创 新 专 项 基 金 资 助 项 目（No.YC2021-085）第 31 卷光学 精密工程ated using the game of generator and discriminator.Finally，the fusion sparse image and the fusion low-rank image were superimposed to obtain the final fusion result.Experimental results showed that on the TNO dataset，compared with the five listed advanced methods，the five indicators of entropy，standard deviation，mutual information，sum of difference correlation，and multi-scale structural similarity increased by 2.43%，4.68%，2.29%，2.24%，and 1.74%，respectively，when using the proposed method.For the RoadScene dataset，only two metrics，namely，the sum of the difference correlation and multi-scale structural similarity，were optimal.The other three metrics were second only to the GTF method.However，the image visualization effect was significantly better than the GTF method.Based on subjective evaluation and objective evaluation analysis，the proposed method can obtain high-quality fusion images，which has obvious advantages compared with the comparison method.Key words：infrared image；visible image；latent low-rank representation；modified double-discriminator conditional generative adversarial network；image evaluation1 引 言图像融合主要包含 3 个关键步骤，即特征提取、融合策略和图像重建。目前的融合方法分为传统方法和深度学习方法。传统方法包括多尺度变换、稀疏表示、子空间和显著性表示等1。Ma 等2提出的 WLS（weighted least square optimization）方法，通过高斯滤波及引导滤波将源图像分解为基础层和细节层，基础层通过视觉显著图来获得融合权重，细节层通过最小二乘法的优化来融合。该方法避免了传统多尺度分解方法中出现的边缘模糊情况，但是融合结果对比度不高。Ma等3提出的 GTF（gradient transfer and total variation minimization）方法将融合看作是一个全变分最小化问题，能够很好地保留可见光的梯度信息，但像素强度会有所减小。随着神经网络和深度学习技术的快速发展，为了提高图像融合效率，更好地实现实时图像融合，基于卷积神经网络的方法被应用于图像融合任务中。Li 等4提出的 DenseFuse，其结构与自编码器一致，由编码器和解码器组成，在编码器特征提取过程中采用密集块的操作将浅层特征与高层特征进行级联从而避免浅层特征的丢失，然而需要人工选择融合策略后才能通过解码器重构图像。为了让融合图像中能同时保留红外和可见光图像中的重要特征信息，Li等5考虑从多尺度的角度保留图像特征，提出了 NestFuse，与 DenseFuse 结构一致，也是由编码器、融合策略和解码器组成，不同的是该方法的融合特征分别由每层卷积层提取的特征进行融合后提供，但是该方法也需要人工进行融合策略的选择。为设计一种可学习的融合策略，Li 等6提出 RFN-Nest，该方法在 NestFuse的基础上对融合策略进行改进，将红外图像特征图与可见光图像特征图分为级联后卷积与卷积一次后级联的两路通道，最后对这两路通道的特征图进行叠加，然而这种方法生成的图像对比度低，目标不明显。由于生成 对 抗 网 络（Generative Adversarial Network，GAN）7在各领域应用中都取得了不错的效果，Ma 等8将 GAN 应用到图像融合任务中，提出了一种端到端的 FusionGAN 融合方法，该模型由生成器和判别器组成，通过两者的对抗学习来生成融合图像。然而，由于缺乏真实图像，在判别器中分类对象只有融合图像和可见光图像，在不断判别的过程中融合图像得以保留可见光的细节信息，但却忽略了存在于红外图像的部分细节信息。为了弥补 FusionGAN 中缺失的红外细节信息，Ma等9提出 DDcGAN 方法，该方法通过设计双判别器使得生成器在生成图像时同时考虑两种源图像的重要特征。为了在融合结果中保留清晰的目标和丰富细节信息的同时减少边缘模糊和“晕”现象，本文提出一种基于潜在低秩表示框架下的改进双鉴别器对抗网络融合方法，采用潜在低秩表示将两种不同源的图像分解为带有全局信息的低秩分量和带有局部信息的稀疏分量，根据这两个分量的特征信息差异，设计特定的融合规则。本文算法结合潜在低秩表示的优势对源图像进行分解，1086第 7 期袁代玉，等：潜在低秩表示下的双判别器生成对抗网络的图像融合根据不同分量特征信息的区别实现针对性融合，改进双判别器生成对抗网络的网络结构；在特征提取过程中采用预训练的 VGG16 网络提取，设计一个特征融合模块，对每个层次的源图像特征进行融合，由融合特征生成金字塔以实现多层级的特征融合来增强目标。2 相关理论2.1潜在低秩表示低秩表示（Low-rank Representation，LRR）10是从数据矩阵中恢复低秩矩阵，可以描述为优化问题：min|A|*+|E|1，（1）式中：A 表示低秩矩阵；E 表示噪声矩阵；表示平衡系数；|*表示核范数；|1表示 l1范数。为解决这一优化问题，以原图像数据矩阵作为字典来探索数据的多个子空间结构从而找到最小秩矩阵，即：min|Z|*+|E|1，（2）s.t.X=XZ+E式中：X 表示原图像矩阵；Z 表示低秩系数矩阵；XZ表示低秩矩阵。当原图像矩阵不够丰富即字典不够完备或数据受损时，恢复低秩矩阵的质量会受到影响。Liu 等11提 出 潜 在 低 秩 表 示（Latent Low-rank representation，LatLRR），通过在字典中增加隐藏项来解决字典不完备的问题，即：min|Z|*+|E|1，（3）s.t.XO=XO+XHZ+E式中：XO表示已知图像矩阵，XH表示隐藏数据矩阵。式（3）可以简化为：min|Z|*+|L|*+|E|1，（4）s.t.X=XZ+LX+E 式中 L 表示显著系数矩阵。采用增广拉格朗日乘数法 12对式（4）求解获得系数矩阵 Z和 L，从而获得图像的低秩分量 XZ和稀疏分量 LX。2.2生成对抗网络GAN 是一个基于最小最大博弈游戏来简单有效地评估目标分布并生成新样本的方法。生成器（Generator，G）和判别器（Discriminator，D）是 GAN 模型的组成部分，生成器通过学习训练数据的规律生成新的样本，判别器用于区分真实数据和生成的新样本。GAN 的实质是判别器和生成器间的对抗，模型训练过程中生成器的任务就是生成足以以假乱真的数据分布来“欺骗”鉴别器，判别器则需要不断判别出新样本，直至达到纳什均衡。生成器和判别器对抗博弈的目标函数为：minGminDVGAN(D，G)=Epdata()xlogD()x+Ep(z)log(1-D()G()z)，（5）式中：E表示期望计算（下标pdata()x表示训练数据；p()z表 示 噪 声 数 据）；G(z)表 示 生 成 数 据；D(x)，D(G(z)分别表示判别器将真实数据和新样本判别为真实数据的概率。3 原 理为了更好地保留红外的热辐射信息以及可见光的背景细节信息，考虑到目标区域与背景区域的信息不同，本文提出了一种基于潜在低秩表示及改进双判别器 GAN 的红外与可见光图像融合方法。具体过程如下：步骤 1：通过潜在低秩表示将红外图像 I与可见光图像 V 分别处理获得红外图像的低秩分量IL和去除噪声的稀疏分量 IS以及可见光图像的低秩分量 VL和稀疏分量 VS；步骤 2：将红外图像的稀疏分量 IS与可见光图像的稀疏分量 VS通过加权融合得到融合图像 FS；步骤 3：将红外图像的低秩分量 IL与可见光图像的低秩分量 VL通过改进的 DDcGAN 进行融合得到融合图像 FL；步骤 4：将 FL和 FS进行叠加得到最终的融合图像 F。3.1图层分解为了提取源图像的全局特征和局部特征，并消除或降低噪声干扰，采用 LatLRR 的方法分解红外图像 I，得到红外低秩分量 IL、红外稀疏分量IS和红外噪声图 IE（参见图 1（a）。同样对可见光图像 V 做类似处理，可获得可见光低秩图 VL、可见光稀疏图 VS以及可见光噪声图 VE，如图 1（b）1087第 31 卷光学 精密工程所示。可以看到，低秩分量包含着源图像的全局信息，结构信息较少，例如边缘和轮廓信息等；稀疏分量包含着源图像中的局部特征信息，例如目标信息等。此外，在后续融合过程中剔除噪声图层，减小对融合结果的干扰。因此，通过 LatLRR对图像进行分解能将两种源图像的优势在不同图层显示出来，帮助后续制定融合策略。3.2低秩分量融合通过潜在低秩表示对源图像分解获得的低秩分量包含图像的全局信息，其信息量非常丰富。为了使融合图像中结合可见光的反射信息和红外图像的热辐射信息，目前应用较为广泛的是加权平均的融合策略，但是这种融合策略会丢失大量的原图像信息，如亮度、对比度等。受 FusionGAN 以及 DDcGAN 的启发，本文提出一种改进的 DDcGAN 对低秩分量进行融合，通过对生成器结构的改进以及损失函数的重设计来达到更好的融合效果。优化目标函数为：minGmaxDi，DvV(G，Di，Dv)=ElogDi(IL)+ElogDv(VL)+E log(1-Di(G(FL)+E log(1-Dv(G(FL)，（6）式中：G 表示对抗网络中的生成器；Di，Dv分别表示 红 外 判 别 器 和 可 见 光 判 别 器；FL表 示 融 合图像。3.2.1生成器的网络架构鉴于 FusionGAN 中生成器结构过于简单，在特征提取中容易丢失浅层特征，导致融合图像边 缘 模 糊，纹 理 细 节 不 清 晰，而 DDcGAN 中densenet 虽能结合浅层特征与高层语义特征，但网络模型复杂。为了保证源图像浅层的纹理及边缘信息以及高层语义信息都能得到很好保留，结合预训练好的 VGG1613，17提取低秩分量特征，设计融合模块 FFM（Features Fusion Module）对每层特征图进行融合，对融合后的特征图进行金字塔重构，保留多尺度特征，尽量避免信息的丢失，最后对融合特征图解码来获得融合图像。生成器网络结构如图 2所示。考虑到 VGG16 每层提取的特征图个数不同，因此在设计 FFM 时需要考量每一层卷积核的个数。图 3中，iIL和iVL分别表示由 VGG16提取的红外低秩分量和可见光低秩分量的第 i层特征图。conv1 和 conv2 的卷积核个数设置为输入特征图数量的一半；conv3 的输入由前两层的输出级联而成，卷积核个数设置为输入特征图数量的两倍；conv4 的卷积核个数与输入特征图个数相等；conv5输出特征图因为要与 conv4的输出进行叠加，因此其输出特征图数量要与第四个卷积层相等。图 3 的 FFM 网络结构设计能同时保留图像的细节和显著性特征。图 1源图像分解Fig.1Decomposition of source images图 2生成器网络结构Fig.2Structure of generator network1088第 7 期袁代玉，等：潜在低秩表示下的双判别器生成对抗网络的图像融合3.2.2鉴别器的网络结构由于红外和可见光两种源图像的特征不同，因此需要设计两个网络结构一致的判别器来引导生成器对源图像特征的提取。如图 4 所示，判别器是一个 3层卷积神经网络。神经网络的前三层采用3 3的卷积核，步长设置为 2，激活函数为 ReLU，最后将卷积层提取的特征通过全连接层进行整合，最后通过 tanh 激活函数生成标量，估计输入图像属于源图像的概率。3.2.3损失函数设计改进的 DDcGAN 损失函数由 3部分组成，分别是生成器G的损失，鉴别器Di的损失和鉴别器Dv的损失。生成器损失由对抗损失和内容损失组成，即有：LG=Ladv+Lcontent，（7）式中：Ladv表示生成器与鉴别器之间的对抗损失；Lcontent表示图像的内容损失；Ladv是鉴别器对融合图像的真实判别与生成器预期鉴别器对融合图像判别结果之间的偏差，表达式如下：Ladv=1Nn=1N(Di(FL)-d)2+1Nn=1N(Dv(FL)-d)2，（8）式中：N表示融合图像数量；d表示生成器预期的判别结果。红外图像强调目标，主要由像素强度信息表示；可见光图像强调背景纹理，主要由梯度信息表示。内容损失函数为：Lcontent=1HW(|FL-IL|2F+|FL-VL|2F)，（9）式中：H和W表示图像大小；|F表示 Frobenius范数；表示平衡参数；表示梯度算子。鉴别器Di的损失定义为：LDi=1Nn=1N(Di(IL)-b)2+1Nn=1N()Di()FL-a2，（10）式中：b表示红外低秩分量的标签；a表示融合低秩分量的标签。鉴别器Dv的损失定义为：LDv=1Nn=1N(Dv(VL)-c)2+1Nn=1N()Dv()FL-a2，（11）式中：c表示可见光低秩分量的标签。3.2.4网络训练本文模型的训练数据选择 TNO 数据集中不同场景下的 41 组红外图像和可见光图像，TNO数据集包含多种军事环境下的多光谱夜间图像，波段涵盖可见光、近红外和长波红外。为了提高模型的泛化能力，本文通过滑动模块将源图像裁剪成大小为 224224 的 42 342 组图像块用作训练。训练集中共包含随机选择的m对红外与可见光图像，将这些经过处理后的图像块对作为生图 3FFM 网络结构Fig.3Structure of FFM network图 4鉴别器网络结构Fig.4Structure of discriminator network1089第 31 卷光学 精密工程成器的输入，输出尺寸为 224224 的融合图像。选择m对图像块作为鉴别器输入，训练鉴别器 k次，并使用 RMSProp 优化器来更新参数。训练生成器，直至达到最大迭代次数。算法伪代码如表 1所示。训 练 参 数 设 置 如 下：训 练 集 样 本 数 量m=32；训练迭代次数设置为 10；鉴别器训练次数k=2；=100；=8；学习速率设置为10-4，衰减 指 数 设 置 为 0.98；融 合 图 像 标 签a设 置 为00.3 中的一个随机数；红外低秩分量标签b设置为 0.71.2中的一个随机数；可见光低秩分量标签c设置为 0.71.2 中的一个随机数；生成器预期的判别结果d设置为 0.71.2 中的一个随机数。3.3稀疏分量融合图像的稀疏分量表征图像的局部结构信息和显著特征，如红外图像中的目标和可见光图像中的部分细节，以增强融合图像的细节特征，减少冗余信息的影响。本文借助 K-L 变换14对稀疏分量进行融合。K-L 变换采用线性投影的方法将数据投影到新的坐标空间中，新的成分按信息量分布，是一种基于信息量的正交线性变换。变换后的主分量互不相关，其中包含最大信息量的是第一主成分。K-L变换的具体过程如下：步骤 1：将红外稀疏分量 IS和可见光稀疏分量 VS矩阵按列展开并作为矩阵 X的列向量；步骤 2：以矩阵 X 的行向量作为观测量，列作为变量求得矩阵 X的协方差矩阵 CXX；步骤 3：计算 CXX的特征值1，2及对应的特征向量 1(1)1(2)T和 2(1)2(2)T；步骤 4：最后计算最大特征值的不相关分量KL1和KL2。KL1=max(1)imax(i)，（12）KL2=max(2)imax(i).（13）根据 K-L 变换获得融合权重KL1和KL2，得到融合稀疏分量：FS=KL1IS+KL2VS.（14）3.4图像重建为了得到既包含全局信息又包含局部信息的目标图像，最终的融合图像由前面计算的稀疏分量的融合结果和低秩分量的融合结果线性叠加而成，即有：F=FL+FS.（15）4 实 验实验验证由对融合图像的主观评价和客观评价相结合。主观评价是从符合人眼视觉系统的角度对融合图像的质量进行评价，通过肉眼观察，判断融合图像所包含的信息是否满足需求。但在很大程度上受个人意志影响，为了避免主观意志直接决定图像质量的评价，本文还采用客观性能评价佐以验证。客观性能评价是通过数学模型的性能指标评价，不受人眼视觉系统和人的主观意志决定。4.1TNO 数据集实验验证为了评估本文融合方法的性能，对 TNO 数据集进行实验验证。选取其中 6组红外与可见光图像的主观评价作为对比。如图 5 所示（彩图见表 1改进 DDcGAN算法伪代码Tab.1Algorithm pseudo code of modified DDcGANInput：IL，VLOutput：FL1：for number of training iterations do2：for k steps do3：Select m fusion patches F(1)L，F(m)L from G；4：Select m visible patches V(1)L，V(m)L，m infrared patches I(1)L，I(m)L5：Update Di，Dv by RMSPropOptimizer：Di(1Nn=1N(Di(IL)-b)2+1Nn=1N(Di(FL)-a)2)Dv(1Nn=1N(Dv(VL)-c)2+1Nn=1N(Dv(FL)-b)2)6：end7：Select m visible patches V(1)L，V(m)L，m infrared patches I(1)L，I(m)L from training data；8：Update G by RMSPropOptimizer：GLG9：end1090第 7 期袁代玉，等：潜在低秩表示下的双判别器生成对抗网络的图像融合期刊电子版），图像从上至下分别是红外图像、可见光图像、WLS 方法、GTF 方法、FusionGAN 方法、DDcGAN 方法、Rfn-nest 方法及本文方法。红色框表示图像中典型目标，黄色框表示图像的纹理细节，用于更加直观地观察各个方法的融合效果。从图 5中可以看到，WLS方法中引用高斯滤波分解图像导致图像的整体亮度信息减小，对比度低，如第二组和第四组图像红色框内目标不如本文方法突出；GTF方法采用全变分模型导致图像过于光滑而丢失细节，如第三组图像中黄色框内模糊的云层纹理；FusionGAN 使用单判别器导致融合图像的像素分布偏向红外图像，背景细节信息保留不足，如第六组图像黄色框内消失的部分云朵；DDcGAN 的生成器采用密集网络的结构，无法提取到高层特征空间的语义信息，导致边缘信息严重丢失，如第五组图像中红色框内的伞，边缘轮廓模糊，甚至出现“伪影”；Rfn-nest 在解码器中采用 nest网络，高层特征在逐层上采样过程引入噪声并模糊了目标，如第一组图像中红色框内模糊的人体目标；而本文方法通过改进特征提取和融合方式，获得了目标清晰，背景信息清晰且自然的融合图像。为了更充分地反映融合图像的质量，本文采用了 5 种典型的评价指标，分别是熵（Entropy，EN）、标准差（Standard Deviation，SD）、互信息（Mutual information，MI）15、差 异 相 关 性 总 和（Sum of the correlations of differences，SCD）、多1091第 31 卷光学 精密工程尺度结构相似度（Multi-Scale Structural similarity index measure，MS-SSIM）16。TNO 数据集上不同融合方法评价指标对比结果如表 2所示。本文方法在所有指标上都取得了最优值，EN，SD，MI，SCD 和 MS-SSIM 分别提高了 2.43%，4.68%，2.29%，2.24%，1.74%。综合来说，本文方法在 TNO 数据集上能够很好地保留源图像的互补信息，融合图像中目标明显，边缘清晰，且不会出现“伪影”现象。4.2RoadScene数据集实验验证为了进一步对本文方法进行验证，在 RoadScene数据集上进行第二组实验。为了更加充分地对比不同算法的实验结果，选取 4 组典型的红外与可见光图像，图像中主要包含道路、路灯、车辆和行人等信息，如图 6 所示。第一组图像中可以看到，只有 GTF方法，DDcGAN 方法以及本文的方法保留了路灯信息，但 GTF 方法中背景模糊，DDcGAN 方法中背景边缘模糊，并伴有“伪影”存在；第二组图像中，GTF 方法，FusionGAN方法和 DDcGAN 方法中红色框中的云彩信息几乎全部丢失，虽然亮度信息不如 WLS 方法丰富，但对比度要比 WLS方法和 Rfn-nest方法高；第三组图像中，除 Rfn-nest方法和本文方法，其他 3种方法都存在不同程度的边缘模糊情况；第四组图图 5TNO数据集上不同融合方法的主观评价对比结果Fig.5Comparison results of subjective evaluation of different fusion methods on TNO dataset表 2TNO 数据集上不同融合方法评价指标对比结果Tab.2Comparison results of evaluation indicators of different fusion methods on TNO datasetMethodWLSGTFFusionGANDDcGANRfn-nestOursEN6.640 76.635 35.684 37.230 06.893 57.405 4SD70.588 967.626 150.731 592.140 474.87996.455 5MI13.281 413.270 711.368 714.461 813.787 014.792 3SCD1.796 11.013 41.204 91.593 91.816 31.857 0MS-SSIM0.917 50.814 70.681 40.784 40.887 70.933 5注：粗体表示最优值。1092第 7 期袁代玉，等：潜在低秩表示下的双判别器生成对抗网络的图像融合像中，GTF 方法，FusionGAN 方法和 DDcGAN方法也存在着边缘模糊和“伪影”，WLS 方法的对比度相对较弱，Rfn-nest 方法中背景的树枝纹理不够自然。1093第 31 卷光学 精密工程Roadscene数据集上不同融合方法的评价指标如表 3所示。本文方法在 SCD 和 MS-SSIM 两个指标上取得最优值，EN，SD 和 MI 3 个信息论指标仅次于 GTF方法。与其他 4种方法相比，本文方法占据明显优势，但从图像效果看，GTF 方法由于亮度信息过于丰富导致图像出现了明显的边缘模糊。综合来说，本文所提方法在 Roadscene数据集上也能够很好地保留源图像的互补信息和关键信息，融合图像中目标明显，边缘清晰，且不会出现“伪影”现象。5 结 论本 文 提 出 一 种 结 合 LatLRR 和 改 进 DDcGAN 的图像融合方法，通过 LatLRR 将已配准的源图像分解为包含全局信息的低秩分量和包含局部信息的稀疏分量，根据两个分量的特性不同，采取不同的融合策略来获得信息丰富的融合图像。实验表明，在 TNO 数据集上所提 5 种评价指标都取得了最优值，相比于次优值，这 5种指标分别提高了 2.43%，4.68%，2.29%，2.24%，1.74%；在 RoadScene 数据集上 EN，SD，MI 3 种评价指标略低于 GTF，但 SCD 和 MS-SSIM 两种指标相对于次优值分别提高 3.31%，3.53%。综合图像视觉效果及客观评价指标来看，本文方法的融合结果更佳，它不仅保留了目标信息还保留了丰富的细节信息，同时还减少了伪影的出现，展现出较为可靠的融合性能。但本文提取图像特征的网络参数较多，计算量大，下一阶段将研究端到端的轻量化模型，进而投入到便携式设备的使用中。参考文献：1 沈英，黄春红，黄峰，等.红外与可见光图像融合技术的研究进展 J.红外与激光工程，2021，50（9）：152-169.SHEN Y，HUANG CH H，HUANG F，et al.Research progress of infrared and visible image fusion technologyJ.Infrared and Laser Engineering，2021，50（9）：152-169.（in Chinese）2 MA J L.Infrared and visible image fusion based on visual saliency map and weighted least square optimizationJ.Infrared Physics&Technology，图 6Roadscene数据集上不同融合方法的主观评价对比结果Fig.6Comparison results of subjective evaluation of different fusion methods on Roadscene dataset表 3Roadscene数据集不同融合方法的评价指标对比结果Tab.3Comparison results of evaluation indicators of different fusion methods on RoadScene datasetMethodWLSGTFFusionGANDDcGANRfn-nestOursEN7.161 47.650 06.498 27.515 07.332 67.574 5SD61.289 991.344 669.303 982.581 072.962 786.667 5MI14.322 815.300 012.996 415.030 014.665 315.248 9SCD1.717 61.130 71.439 81.656 21.826 81.887 3MS-SSIM0.881 70.743 80.679 40.696 10.821 60.912 8注：粗体表示最优值。1094第 7 期袁代玉，等：潜在低秩表示下的双判别器生成对抗网络的图像融合2017，82：8-17.3 MA J Y.Infrared and visible image fusion via gradient transfer and total variation minimizationJ.Information Fusion，2016，31：100-109.4 LI H，WU X J.DenseFuse：a fusion approach to infrared and visible images J.IEEE Transactions on Image Processing，2019，28（5）：2614-2623.5 LI H，WU X J，DURRANI T.NestFuse：an infrared and visible image fusion architecture based on nest connection and spatial/channel attention modelsJ.IEEE Transactions on Instrumentation and Measurement，2020，69（12）：9645-9656.6 LI H.RFN-Nest：an end-to-end residual fusion network for infrared and visible images J.Information Fusion，2021，73：72-86.7 GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，et al.Generative Adversarial NetworksEB/OL.2014：arXiv：1406.2661.https：/arxiv.org/abs/1406.26618 MA J Y.FusionGAN：a generative adversarial network for infrared and visible image fusion J.Information Fusion，2019，48：11-26.9 MA J Y，XU H，JIANG J J，et al.DDcGAN：a dual-discriminator conditional generative adversarial network for multi-resolution image fusion J.IEEE Transactions on Image Processing，2020，29：4980-4995.10 CHEN J H，YANG J.Robust subspace segmentation via low-rank representation C.Icml，2014.11 LIU G C，YAN S C.Latent Low-Rank Representation for subspace segmentation and feature extractionC.2011 International Conference on Computer Vision.November 6-13，2011，Barcelona，Spain.IEEE，2012：1615-1622.12 LEE J，CHOE Y.Low rank matrix recovery via augmented Lagrange multiplier with nonconvex minimization C.2016 IEEE 12th Image，Video，and Multidimensional Signal Processing Workshop（IVMSP）.July 11-12，2016，Bordeaux，France.IEEE，2016：1-5.13 XU H，MA J Y，JIANG J J，et al.U2Fusion：a unified unsupervised image fusion networkJ.IEEE Transacti