基于自编码器的红外与可见光图像融合算法_张冬冬.pdf

第2卷 第2期V o l.2 N o.2 2 0 2 3年4月 J o u r n a l o f A r m y E n g i n e e r i n g U n i v e r s i t y o f P L A A p r.2 0 2 3基于自编码器的红外与可见光图像融合算法张冬冬,王春平,付 强(陆军工程大学 石家庄校区,河北 石家庄 0 5 0 0 0 3)摘要:基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于T NO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。关键词:深度学习;图像融合;红外图像;可见光图像;自编码器 中图分类号:T P 7 5 1D O I:1 0.1 2 0 1 8/j.i s s n.2 0 9 7-0 7 3 0.2 0 2 2 0 2 2 2 0 0 1I n f r a r e d a n d V i s i b l e I m a g e F u s i o n A l g o r i t h m B a s e d o n A u t o-e n c o d e r Z HANG D o n g d o n g,WANG C h u n p i n g,F U Q i a n g(S h i j i a z h u a n g C a m p u s,A r m y E n g i n e e r i n g U n i v e r s i t y o f P L A,S h i j i a z h u a n g 0 5 0 0 0 3,C h i n a)A b s t r a c t:F u s i o n o f i n f r a r e d a n d v i s i b l e i m a g e s b a s e d o n d e e p l e a r n i n g i s o n e o f t h e r e s e a r c h f o c u s e s i n t h e f i e l d o f i m a g e p r o c e s s i n g.T o e n r i c h t h e d e t a i l i n f o r m a t i o n o f f u s e d i m a g e s a n d h i g h l i g h t t h e i n f r a r e d t a r g e t s,t h i s p a p e r p r o p o s e s a f u s i o n a l g o r i t h m t h a t c a n b e t r a i n e d e n d-t o-e n d b a s e d o n a s e l f-e n c o d e r n e t-w o r k.F i r s t l y,t h e e n c o d e r i s d e s i g n e d a s a t w o-b r a n c h s t r u c t u r e,a n d d i f f e r e n t f e a t u r e e x t r a c t i o n m e t h o d s a r e s e t a c c o r d i n g t o t h e c h a r a c t e r i s t i c s o f i n f r a r e d a n d v i s i b l e i m a g e s.S e c o n d l y,i n o r d e r t o e f f e c t i v e l y f u s e t h e c o m p l e m e n t a r y i n f o r m a t i o n o f i n f r a r e d a n d v i s i b l e i m a g e s,a l e a r n a b l e f u s i o n s t r a t e g y i s d e s i g n e d t o m a k e s u r e t h e w h o l e f r a m e w o r k c a n b e l e a r n e d e n d-t o-e n d.F i n a l l y,b a s e d o n t h e f e a t u r e m a p s c o n s t r u c t e d b y t h e f u s i o n s t r a t e g y,t h e d e c o d e r i s r e c o n s t r u c t e d t o o b t a i n t h e f u s e d i m a g e s.T h e q u a l i t a t i v e a n d q u a n t i-t a t i v e r e s u l t s o f t h e v e r i f i c a t i o n e x p e r i m e n t s b a s e d o n t h e T NO d a t a s e t s h o w t h a t t h e p r o p o s e d a l g o r i t h m i s a b l e t o g e n e r a t e f u s e d i m a g e s w i t h p r o m i n e n t i n f r a r e d t a r g e t s a n d r i c h t e x t u r e d e t a i l i n f o r m a t i o n,a n d t h e f u s i o n p e r f o r m a n c e i s s u p e r i o r t o t h a t o f o t h e r a l g o r i t h m s.K e y w o r d s:d e e p l e a r n i n g;i m a g e f u s i o n;i n f r a r e d i m a g e s;v i s i b l e i m a g e s;a u t o-e n c o d e r 收稿日期:2 0 2 2-0 2-2 2基金项目:军内科研项目(L J 2 0 1 9 1 A 0 4 0 1 5 5)。第一作者:张冬冬,硕士研究生,主要研究光电侦察情报处理、人工智能,1 0 4 2 9 1 1 8 4 9q q.c o m。通信作者:付 强,博士,讲师,主要研究智能视觉与目标检测,1 4 1 8 7 4 8 4 9 5q q.c o m。红外图像的热辐射信息丰富、目标轮廓清晰、受天气影响小、抗干扰能力强,但存在对比度和分辨率低、细节信息少、视觉效果差等缺点。可见光图像的清晰度和对比度较高,包含丰富的细节信息,视觉效果较好,但易受天气、光照条件、距离等因素的影响,抗干扰能力差1。红外与可见光图像融合的目的是获取具有两种传感器特性的图像,一般的融合步骤为:首先提取源图像中的显著特征,其次利用适当的融合策略将这些特征集成到单个图像中2。融合后的图像包含丰富的细节信息,并且目标热辐射信息显著,因而融合图像在军事和民用领域拥有广泛的应用前景3-5。图像融合的关键问题主要有两个,一是提取显著特征,二是选择融合策略。现有的融合方法可以分为两大类:传统算法和基于深度学习的算法。基于多尺度变换的方法6和基于稀疏表示的方法7是传统算法中的典型代表。基于多尺度变换的方法,首先利用多尺度变换从源图像中提取多尺度特征,然后通过适当的融合策略组合特征,最后通过多尺度逆变换生成融合图像。基于稀疏表示的方法先通过构建字典获取表示系数,然后利用融合策略得到融合系数,最后利用字典和融合系数重构融合图像5。传统的融合算法虽然取得了较好的融合效果,但特征提取的能力有限,会丢失大量的有用信息。随着深度学习技术的发展成熟,其已被广泛应用于图像融合领域,并使融合图像的质量得到了进一步提高。基于深度学习的图像融合算法可分为3类:多尺度变换扩展、生成对抗网络(g e n e r a t i v e a d-v e r s a r i a l n e t w o r k,GAN)、自编码器。多尺度变换扩展通过滤波器或其他优化方法将图像从空间域转换到背景域和细节域。背景部分被简单平均;细节部分包含大量的细节信息,利用预训练网络(例如,VG G8)从中提取细节特征,最后,通过融合背景部分和细节部分构建融合图像。基于GAN的融合算法主要是利用生成器强大的生成能力获取融合图像。2 0 1 9年,M a等9首次将GAN用于红外与可见光图像融合,生成的融合图像细节信息丰富,避免了人工设计融合策略存在的弊端。M a等1 0通过构建两个判别器,并在生成器和判别器之间建立了一个极大极小的对抗博弈,使融合图像可以保留更多的纹理细节和热辐射信息。基于自编码器的红外与可见光图像融合算法首先利用编码器对源图像特征进行提取,然后根据融合策略对特征进行融合,最后通过解码器重构融合图像。P r a b h a k a r等1 1首次提出一种 基 于 无 监 督 的 深 度 学 习 融 合 框 架(D e e p-F u s e),该框架包括两个编码网络层和3个解码网络层。虽然在融合性能上有所提高,但网络结构过于简单,难以提取源图像中的显著特征,中间层提取的有用信息也可能会丢失。L i等1 2将密集块(D e n s e b l o c k)1 3融入编码器,提出了一种新的融合框架(D e n s e F u s e)。与D e e p F u s e相比,D e n s e F u s e能有效地提取源图像的特征,保留更多的有用信息。虽然基于自编码器的融合算法取得了较好的性能,但仍存在两个缺点:(1)网络缺少下采样操作,难以提取热辐射语义信息,融合图像中的目标不突出;(2)融合策略需要针对不同的特征进行设计,不能进行端到端的学习。针对以上问题,提出一种基于自编码器的红外与可见光融合框架,其中编码器由两个不同的分支构成。一个分支是细节分支,它利用D e n s e b l o c k提取细节和边缘信息。另一个分支是语义分支,它利用快速下采样和空间注意力机制1 4提取并增强热辐射目标的 语 义 和 结 构 信 息。基 于 残 差 块(r e s i d u a l b l o c k)1 5,设计了一种新的融合策略,该融合策略是一个可学习的结构,使整个融合框架可进行端到端的学习。将本文算法与其他融合算法进行对比,实验结果表明,所提算法能更加全面地保留源图像的细节和纹理信息,更有效地突出热辐射目标。1 理论基础1.1 自编码器自编码器1 5是一种无监督机器学习方法,具有很好的数据特征表示能力,广泛地应用于图像重构、降维、特征学习等任务,其结构如图1所示,编码器和解码器分别负责数据的编码和解码工作。自编码器通过训练让隐藏层进行参数学习,其目的是减少误差,即尽可能使解码器的输入与编码器的输入保持一致。将图像作为输入,自编码器的作用相当于将输入图像复制成输出图像。借鉴自编码器的思想,利用具有双分支的编码器对两类源图像进行特征提取,然后利用融合策略对两类特征进行融合,最后编码器利用融合特征重建融合图像。图1 自编码器结构1.2 密集块密集块1 3是一种紧密连接的卷积神经网络,该网络各层间均有关联,其结构如图2所示。这种架构可以改善网络中的信息流和梯度,使网络易于训练,密集连接的结构可以保留丰富的信息。与红外图像相比,可见光图像的细节表达能力更强,为提高融合图像的可视性,在融合过程中需要尽可能保留可见光图像的细节信息。为此,将密集块嵌入到编码器的细节分支中,使网络可以提取并保留大量的细节信息,提高中间层特征的利用率。68 第2卷图2 密集块结构1.3 空间注意力机制空间注意力机制1 4通过为图片中每个位置生成不同的权重系数,使网络的注意力更加集中于重点区域。在红外图像中,目标与背景差异性较大,目标区域的显著性更强。若要融合图像保留目标的显著性,就需要在融合过程中尽可能保留目标的热辐射信息,并忽略无关区域。因此,将空间注意力机制嵌入到语义分支中,使网络将更多的注意力集中在目标区域,提高目标的显著性。2 算法2.1 网络结构基于自编码器设计的融合框架主要由编码器、融合策略和解码器三部分组成,其结构如图3所示。在训练阶段,红外图像和可见光图像I(I1,I2,I3,Ik)首先被调整到固定大小,然后被送入网络。输入的图像先由编码器进行特征提取并对特征进行编码,然后根据融合策略将特征进行融合,最后由解码器进行解码重建图像。在测试阶段,将一对红外和可见光图像同时输入到编码器的不同分支中,可以得到两组不同的特征,融合策略将不同的特征进行融合,融合后的特征被送入解码器,最终由解码器重建融合图像,整个过程如图4所示。未特别说明时网络中所使用的卷积核大小为33。图3 融合框架图4 测试阶段的网络2.1.1 编码器和解码器编码器由细节分支和语义分支组成。细节分支主要目的是从源图像中提取丰富的细节和纹理信息,因此,将细节分支设计成密集块结构,如图3中编码器的上分支所示。每一层的输入都会与先前层的输出相连,这种密集连接的网络使细节分支更易于提取源图像的细节特征。为提取特征的全局信息,提高热辐射目标的显著性,利用快速下采样网络和空间注意机制设计了语义分支,如图3中编码器的下分支所示。快速对特征进行3次下采样操作,可以提取高层语义特征。将空间注意力融入高层语义特征,使语义分支输出的特征能够根据全局信息提高红外目标的显著性。编码器和解码器的参数设置如表1所示。78第2期 张冬冬,等:基于自编码器的红外与可见光图像融合算法表1 网络参数模块卷积层通道数(输入)通道数(输出)大小(输入)大小(输出)编码器细节分支语义分支第一步密集块稳固特征残差第一步下采样上采样注意力稳固特征残差C o n v13 21 2 81 2 8 1 2 81 2 8C o n v_d 13 21 61 2 81 2 8 1 2 81 2 8C o n v_d 21 61 61 2 81 2 8 1 2 81 2 8C o n v_d 33 21 61 2 81 2 8 1 2 81 2 8C o n v_d 44 81 61 2 81 2 8 1 2 81 2 8C o n v_d 56 46 41 2 81 2 8 1 2 81 2 8C o n v_c3 26 41 2 81 2 8 1 2 81 2 8C o n v13 21 2 81 2 8 1 2 81 2 8C o n v_s 13 26 41 2 81 2 86 46 4C o n v_s 26 41 2 86 46 43 23 2C o n v_s 31 2 86 43 23 21 61 6C o n v_s 46 46 41 61 61 2 81 2 8C o n v_a 13 26 41 2 81 2 8 1 2 81 2 8M a x P o o l6 411 2 81 2 8 1 2 81 2 8A v g P o o l6 411 2 81 2 8 1 2 81 2 8C o n v_a 2211 2 81 2 8 1 2 81 2 8C o n v_s 56 46 41 2 81 2 8 1 2 81 2 8C o n v_c3 26 41 2 81 2 8 1 2 81 2 8解码器C o n v_11 2 86 41 2 81 2 8 1 2 81 2 8C o n v_26 43 21 2 81 2 8 1 2 81 2 8C o n v_33 21 61 2 81 2 8 1 2 81 2 8C o n v_41 611 2 81 2 8 1 2 81 2 8 输入的图像大小先被调整到1 2 81 2 8,然后送到编码器的不同分支中进行特征提取。在细节分支中,先对图像进行卷积,得到3 2个通道的特征,然后进行4次卷积和密集连接操作。特征图的大小保持不变,通道数进行累加,数量变为1 6、3 2、4 8、6 4。为避免信息的丢失,将原3 2通道的特征图进行卷积变为6 4通道,然后与密集块的最后一层特征图按元素相加的方式进行融合。细节分支最终输出的特征图尺度为1 2 81 2 86 4。在语义分支中,同样先将原图转换成3 2通道的特征图,然后将特征图分别送入下采样和空间注意力支路。下采样支路中,先将特征图进行3次下采样步长为2的卷积操作,特征图大小减小到6 4、3 2、1 6,通道数先从3 2增加到1 2 8,再减少到6 4。最后对特征图进行上采样操作,将大小恢复为1 2 81 2 8。空间注意力支路中,先将特征图的通道数调整为6 4,然后将特征图分别进行平均池化和最大池化,得到两个1 2 81 2 81的特征图,将这两个特征图进行通道拼接。使用77的卷积核与该特征图进行卷积,并将通道数降为1,后经S i g-m o i d生成空间权重图。将空间权重图与上采样得到的特征图相乘,得到突出全局目标的特征图。为避免目标边缘信息的丢失,将突出全局目标的特征图与原始特征图进行相融,最终得到语义分支的输出特征图,其大小和通道数量与细节分支的输出相同。将从编码器输出的特征根据融合策略进行相融,而后送入解码器进行解码。解码器由4个卷积层组成,特征图经过4次卷积后,通道数逐步减少到一个,进而得到重建后的图像,即融合图像。2.1.2 融合策略融合策略是基于残差块的思想进行设计的,其结构如图5所示。Fv i、Fi r和Ff分别表示细节分支输出特征、语义分支输出特征和融合后特征。图5 融合策略结构C o n v_1C o n v_5的参数设置如表2所示。通过这种设计,可以避免在融合过程中特征的丢失,融合策略能够与整个网络一起进行训练,使整个框架可以进行端到端的学习。表2 融合策略各层参数卷积层通道数(输入)通道数(输出)大小(输入)大小(输出)C o n v_16 46 41 2 81 2 81 2 81 2 8C o n v_26 46 41 2 81 2 81 2 81 2 8C o n v_31 2 86 41 2 81 2 81 2 81 2 8C o n v_46 41 2 81 2 81 2 81 2 81 2 8C o n v_51 2 81 2 81 2 81 2 81 2 81 2 82.2 损失函数为了更好地提取细节和语义信息,更有效地融合特征和重建图像,通过最小化损失函数L来训练整个网络。L由像素损失、梯度损失和结构相似性损失组成L=Lp i x e l+Lg r a d+Ls s i m(1)式中:Lp i x e l为像素损失;Lg r a d为梯度损失;Ls s i m为结构相似性损失;、为超参数,用于平衡3个损失的权重。Lp i x e l通过计算重建图像和输入图像之间的像素误差,确保重建图像具有良好的一致性1 6Lp i x e l=1NNn=1(Yn-Xy)2(2)式中:N代表样本数量;Y、X分别代表输出和输入图像。Lg r a d函数可以计算重建图像和输入图像之间的88 第2卷边缘损失,通过降低其值的大小来优化图像的边缘1Lg r a d=1NNn=1G(Yn)-G(Xn)2(3)式中:G(x)是使用拉普拉斯算子计算的图像梯度。它的定义和近似离散表达式为2f(x,y)=2f(x,y)x2+2f(x,y)y2 f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)(4)Ls s i m用于评估图像之间的结构相似度,其表达式为Ls s i m=1-S S I M(Y,X)(5)式中:S S I M()为两幅图像结构相似性的度量1 7。输入和输出图像的结构相似性受Ls s i m的约束。3 实验结果及分析3.1 实验设置对于损失函数中超参数的设置,原则是保证3个损失尽可能地处于同一数量级,通过交叉验证,将和分别设置成1和1 0 0。训练集和测试集的构建如下:训练集由T NO1 8 中的4 0组图像和M S-C O C O1 9数据集中的4 0 0 0 0张灰度图构成;测试集由T NO数据集中另外的8组图像构成。使用P y-t o r c h搭建实验环境,并在G T X 1 0 8 0 T i G P U上进行训练,选择A d a m2 0作为优化器,初始学习率为1 e-3,B a t c h S i z e设置成8,E p o c h为2 0。为验证本文算法的有效性,将算法梯度转移与 总 变 异 最 小 法(G T F)2 1、深 度 学 习 框 架(D L F)2 2、残 差 网 络 和 零 相 位 分 量 分 析 法(R Z P)2 3、融 合 对 抗 生 成 网 络(F u s i o n G AN)9、D e n s e F u s e1 2和R F N-N e s t2 46种融合算法进行比较。6种算法的代码均来源于原文,且参数设置与原文保持一致。分别从定性和定量两个方面对实验结果进行对比分析。3.2 主观评价8组图像的实验结果如图6所示。图6 不同方法的融合结果98第2期 张冬冬,等:基于自编码器的红外与可见光图像融合算法 从图6可以看出,D L F和R Z P的融合图像中,细节信息保留较好,但红外图像的信息保留较少;R F N-N e s t较前两种算法保留的红外信息相对较多,但存在部分细节信息丢失的问题;G T F和F u-s i o n G AN的融合图像中,红外目标突出,但在保留纹理信息方面存在不足,导致红外区域边缘出现了模糊的现象;D e n s e F u s e的融合效果相对较好。与R F N-N e s t、G T F和F u s i o n G AN算法相比,本文算法保留的细节信息明显增多,原因在于细节分支中使用密集块提取特征可以避免特征的丢失,并且通过引入像素损失和梯度损失可以使网络保留 纹 理 和 细 节 信 息 的 能 力 得 到 增 强。与D e n s e F u s e、D L F和R Z P算法相比,本文算法使红外目标更加突出,因为在语义分支中利用快速下采样和空间注意力提高全局红外目标的显著性,在损失函数中使用结构相似性进一步确保目标结构的完整性。3.3 客观评价为进 一 步 验 证 本 文 算 法 的 有 效 性,利 用S D2 5、M I2 6、A G2 7、S F2 8、QA B/F2 9和S S I M1 76种指标对实验结果进行定量分析。各评价指标的效用如表3所示,表中“+”表示数值越大融合图像的质量越好,“-”则相反。7种算法融合结果的平均指标如表4所示,各项指标的可视化结果如图7所示。表3 客观评价指标评价指标作用+/-S D衡量像素强度的变化+M I衡量保留的信息量+A G衡量纹理和细节的表征能力+S F衡量图像在空间中的活跃程度+QA B/F衡量保留的边缘信息量+S S I M衡量损失和失真程度+表4 融合图像的平均指标算法S DM IAGS FQA B/FS S I MGT F3 5.7 5 7 4 1.4 6 1 2 3.7 5 9 5 9.8 7 8 7 0.4 2 4 2 1.3 3 2 6D L F2 6.2 5 5 5 1.3 6 6 0 2.6 7 8 9 6.0 3 0 3 0.3 3 8 3 1.5 0 2 8R Z P2 9.1 6 0 0 1.4 4 6 3 2.5 8 7 1 6.7 5 0 0 0.3 1 9 8 1.4 5 9 2D e n s e F u s e3 3.5 7 3 2 1.4 2 4 6 3.3 5 4 4 8.1 5 9 6 0.4 0 4 3 1.4 5 4 7F u s i o n GAN 3 1.6 0 5 1 1.3 7 2 2 2.0 9 5 4 5.2 8 2 8 0.1 8 9 9 1.3 4 5 6R F N-N e s t3 5.9 1 3 0 1.2 5 9 2 2.7 2 9 2 5.8 5 9 5 0.3 3 3 7 1.3 7 4 9P r o p o s e d3 7.3 7 7 0 1.6 6 6 5 3.5 2 6 1 8.9 2 5 4 0.4 3 0 0 1.4 5 8 6 从表4可以看出,在S D、M I和QA B F三项指标上,所提算法优势明显,这表明该算法可以保留较多的细节信息,融合图像的对比度较高,图像也更加清晰自然。09 第2卷图7 融合图像的客观评价结果本文算法在AG和S F两项指标上也具有较大的优势,虽然G T F在这两项指标上优于本文方法,但从融合图像上可以看出,G T F方法的融合图像存在细节丢失和部分区域模糊化的现象,而本文算法能够避免细节信息的丢失,可以将保留的细节和纹理信息充分地表达。本文算法在S S I M指标上低于D L F和R Z P,但在主观评价上,D L F和R Z P的热辐射信息保留较少,红外目标不突出,而本文算法在一定程度上提高了红外目标的显著性,更易于观察。实验结果表明,与其他算法相比,本文算法性能更强、效果更佳。4 结论针对红外与可见光图像融合中红外目标不明显、纹理细节信息丢失的问题,基于自编码器网络的优势,提出了一种基于自编码器网络的红外与可见光图像融合算法。算法先将源图像输入编码器,通过细节分支和语义分支提取细节和红外信息;然后将得到的特征图根据所提出的融合策略进行融合,将其整合为一个包含源图像丰富细节信息及显著红外目标信息的特征图;最后利用解码器重构融合图像。实验结果表明,算法所得到的融合图像包含丰富的细节信息及显著的目标信息,并能清晰直观地进行表达。将本文算法与6种典型的方法进行对比,利用主观评价与客观评价相结合的方式对实验结果进行评价,结果表明本文算法无论在视觉效果还是性能指标上均具有明显优势,是一种有效的融合算法。参考文献:1 陈潮起,孟祥超,邵枫,等.一种基于多尺度低秩分解的红外 与 可 见 光 图 像 融 合 方 法 J.光 学 学 报,2 0 2 0,4 0(1 1):7 2-8 0.CHE N C h a o q i,ME NG X i a n g c h a o,S HAO F e n g,e t a l.I n f r a r e d a n d v i s i b l e i m a g e f u s i o n m e t h o d b a s e d o n m u l t i s c a l e l o w-r a n k d e c o m p o s i t i o nJ.A c t a O p t i c a S i n i c a,2 0 2 0,4 0(1 1):7 2-8 0.2 杨勇,刘家祥,黄淑英,等.卷积自编码融合网络的红外可见 光 图 像 融 合 J.小 型 微 型 计 算 机 系 统,2 0 1 9,4 0(1 2):2 6 7 3-2 6 8 0.YAN G Y o n g,L I U J i a x i a n g,HUANG S h u y i n g,e t a l.C o n v o l u t i o n a l a u t o-e n c o d i n g f u s i o n n e t w o r k f o r i n f r a-r e d a n d v i s i b l e i m a g e f u s i o nJ.J o u r n a l o f C h i n e s e C o m p u t e r S y s t e m s,2 0 1 9,4 0(1 2):2 6 7 3-2 6 8 0.3 L AHOU D F,S U S S T R UNK S.A r i n V R:S i m u l a t i n g i n f r a r e d a u g m e n t e d v i s i o nC/2 0 1 8 2 5 t h I E E E I n t e r-n a t i o n a l C o n f e r e n c e o n I m a g e P r o c e s s i n g.A t h e n s:I E E E,2 0 1 8:3 8 9 3-3 8 9 7.4 MA J Y,CHE N C,L I C,e t a l.I n f r a r e d a n d v i s i b l e i m a g e f u s i o n v i a g r a d i e n t t r a n s f e r a n d t o t a l v a r i a t i o n m i n i m i z a t i o nJ.I n f o r m a t i o n F u s i o n,2 0 1 6,3 1:1 0 0-1 0 9.5 江泽涛,何玉婷.基于卷积自编码器和残差块的红外与可见光图像融合方法J.光学学报,2 0 1 9,3 9(1 0):2 1 8-2 2 6.J I AN G Z e t a o,HE Y u t i n g.I n f r a r e d a n d v i s i b l e i m a g e f u s i o n m e t h o d b a s e d o n c o n v o l u t i o n a l a u t o-e n c o d e r a n d r e s i d u a l b l o c kJ.A c t a O p t i c a S i n i c a,2 0 1 9,3 9(1 0):2 1 8-2 2 6.6 L I S T,YAN G B,HU J W.P e r f o r m a n c e c o m p a r i s o n o f d i f f e r e n t m u l t i-r e s o l u t i o n t r a n s f o r m s f o r i m a g e f u-s i o nJ.I n f o r m a t i o n F u s i o n,2 0 1 1,1 2(2):7 4-8 4.7 Z ONG J J,Q I U T S.M e d i c a l i m a g e f u s i o n b a s e d o n s p a r s e r e p r e s e n t a t i o n o f c l a s s i f i e d i m a g e p a t c h e sJ.B i o m e d i c a l S i g n a l P r o c e s s i n g a n d C o n t r o l,2 0 1 7,3 4:1 9 5-2 0 5.8 S I MO N Y A N K,Z I S S E RMA N A.V e r y d e e p c o n v o l u-19第2期 张冬冬,等:基于自编码器的红外与可见光图像融合算法t i o n a l n e t w o r k s f o r l a r g e-s c a l e i m a g e r e c o g n i t i o nJ/O L.a r X i v:1 4 0 9.1 5 5 6.2 0 1 4.h t t p:/d o i.o r g/1 0.4 8 5 5 0/a r X i v.1 4 0 9.1 5 5 6.9 MA J Y,YU W,L I ANG P W,e t a l.F u s i o n GAN:A g e n e r a t i v e a d v e r s a r i a l n e t w o r k f o r i n f r a r e d a n d v i s i b l e i m a g e f u s i o nJ.I n f o r m a t i o n F u s i o n,2 0 1 9,4 8:1 1-2 6.1 0MA J Y,XU H,J I ANG J J,e t a l.D D c GAN:A d u a l-d i s c r i m i n a t o r c o n d i t i o n a l g e n e r a t i v e a d v e r s a r i a l n e t-w o r k f o r m u l t i-r e s o l u t i o n i m a g e f u s i o nJ.I E E E T r a n s a c t i o n s o n I m a g e P r o c e s s i n g,2 0 2 0,2 9:4 9 8 0-4 9 9 5.1 1P R A B HAKA R K R,S R I KA R V S,B A B U R V.D e e p F u s e:A d e e p u n s u p e r v i s e d a p p r o a c h f o r e x p o s u r e f u s i o n w i t h e x t r e m e e x p o s u r e i m a g e p a i r sC/2 0 1 7 I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n.V e n i c e:I E E E,2 0 1 7:4 7 2 4-4 7 3 2.1 2L i H,W u X J.D e n s e F u s e:A f u s i o n a p p r o a c h t o i n-f r a r e d a n d v i s i b l e i m a g e sJ.I E E E T r a n s a c t i o n s o n I m a g e P r o c e s s i n g,2 0 1 8,2 8(5):2 6 1 4-2 6 2 3.1 3HUAN G G,L I U Z,L AUR E N S V D M,e t a l.D e n s e l y c o n n e c t e d c o n v o l u t i o n a l n e t w o r k sC/2 0 1 7 I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i-t i o n.H o n o l u l u:I E E E,2 0 1 7:2 2 6 1-2 2 6 9.1 4WOO S,P A R K J,L E E J Y,e t a l.C B AM:C o n v o l u-t i o n a l b l o c k a t t e n t i o n m o d u l eC/C o m p u t e r V i s i o n-E C C V 2 0 1 8.S.l.:s.n.,2 0 1 8:3-1 9.1 5H I N TON G E,S A L AKHUT D I NOV R R.R e d