基于改进模糊C均值聚类的图像融合算法.pdf

第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 849 图像处理与仿真 基于改进模糊 C 均值聚类的图像融合算法 巩稼民，吴艺杰，刘 芳，张运生，雷舒陶，朱泽昊（西安邮电大学 通信与信息工程学院，陕西 西安 710061）摘要：为了更好地突出红外与可见光融合图像中的目标信息，保留更多的纹理细节信息，提出了一种基于非下采样剪切波变换（non-subsample shearlet transform，NSST）域结合脉冲发放皮层模型（spiking cortical model，SCM）与改进的模糊 C 均值聚类（fuzzy C-means clustering，FCM）的红外与可见光图像融合算法。首先，用改进的 FCM 提取源红外图像中的红外目标信息；然后，将得到的红外图像与可见光图像的目标区域和背景区域进行 NSST 分解，得到各自的高低频子带图像；接着，对得到的不同区域采用不同的融合策略，其中，对于高频背景区域采用 SCM 模型与改进赋时矩阵进行融合；最后，使用 NSST 逆变换，得到最终的融合图像。仿真实验证明，与其他方法相比，本文算法得到的融合图像在主观视觉上红外目标信息突出，纹理细节信息丰富，在客观评价上，其信息熵和边缘保留因子达到最优。关键词：图像融合；非下采样剪切波变换；脉冲发放皮层模型；模糊 C 均值聚类；赋时矩阵 中图分类号：TP391 文献标志码：A 文章编号：1001-8891(2023)08-0849-09 Image Fusion Algorithm Based on Improved Fuzzy C-means Clustering GONG Jiamin，WU Yijie，LIU Fang，ZHANG Yunsheng，LEI Shutao，ZHU Zehao(Xi an University of Posts and Telecommunications School of Communication and Information Engineering,Xi an 710061,China)Abstract:To obtain more prominent target information and retain more textural details in infrared and visible light fusion images,an infrared and visible light image fusion algorithm based on the non-subsample shearlet transform(NSST)domain combined with a spiking cortical model(SCM)and improved fuzzy C-means clustering model(FCM)is proposed.First,the infrared target information in the source infrared image is extracted by the FCM.Subsequently,the NSST is used to decompose the target and background areas of the infrared and visible images to obtain their own high-and low-frequency sub-band images.Subsequently,different fusion strategies are adopted for different regions,and the SCM and improved time matrix are adopted for high-frequency background regions.The final fused image is obtained by using the NSST inverse transform.Simulation experiments show that,compared with other methods,the fusion image obtained by this algorithm has a prominent infrared target and intricate texture details in subjective vision,and its information entropy and edge retention factor are optimal for objective evaluation.Key words:image fusion,non-subsampled shearlet transform,spiking cortical model,fuzzy C-means clustering,time matrix 0 引言 红外与可见光图像融合可以将红外图像的目标信息与可见光图像的纹理细节信息有效结合1，得到信息更加丰富的融合图像，实现对场景更加全面准确的表达，这在医学成像、军事侦察、安全监测、人脸识别、森林消防等领域广泛应用2。而目前的红外与可见光图像融合算法中，仍存在以下问题：红外目收稿日期：2021-06-13；修订日期：2021-08-18.作者简介：巩稼民（1962-），男，博士，教授，硕士生导师，主要从事光通信与光信息技术方面的研究。E-mail：。基金项目：国家自然科学基金（61775180），国际科技合作计划项目陕西省重点研发计划（2020KWZ-017）。第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 850 标信息不够突出，且目标人物周围易出现光晕；边缘细节信息不够丰富，容易丢失。像素级融合因图像失真率最小而被广泛应用于红外与可见光图像融合中。像素级的图像融合方法主要分为两大类：空间域和变换域3。而多尺度几何变换中的非下采样剪切波变换（non-subsample shearlet transform，NSST），由于具有计算复杂度小，且耗时较少等优点，被广泛应用在图像分割及图像融合领域。符合人眼视觉特征的脉冲发放皮层神经元网络（spiking cortical model，SCM），也被广泛应用于图像融合领域，将 NSST 与 SCM 结合的图像融合算法更是近些年的研究热门。如江泽涛4等提出了一种结合NSST 和双通道 SCM 模型的图像融合算法，使用双通道的 SCM 模型对高频分量进行融合，得到了效果较好的融合图像，但融合图像的标准差较低，红外目标信息不够突出且周围容易出现光晕。为了使目标信息更加突出，基于模糊聚类的图像融合方法被广泛提出，使用模糊聚类的方法可对图像进行目标提取，使图像的目标区域与背景区域分离，进而针对其各自特点进行融合。如李玉峰5等提出了一种采用非下采样轮廓波变换和 FCM 相结合的图像融合算法，采用 FCM 提取 SAR 图像的目标区域，取得了不错的融合效果，但非下采样轮廓波变换计算复杂度较大，对于时间的消耗较大，影响了融合效率。巩稼民6等提出了一种基于 NSST 与 FCM 的红外与可见光图像融合方法，获得了目标突出、背景清晰的融合图像，但仅使用 FCM 对于红外高频图像进行分解，忽视了红外低频图像的目标信息。因此，本文在此基础上进行了改进。与传统方法先用 NSST 对图像进行分解，然后只在高频图像中提取红外目标信息的方法不同，本文提出的算法先使用改进的 FCM 对红外图像进行分割，提取红外目标后再使用 NSST 分解，使得源红外图像中的目标信息得到更完整的保留，然后针对不同的区域的不同特点，采用不同的融合规则，从而改善融合图像中目标信息不够突出，纹理细节信息不够丰富的问题。1 基本原理 1.1 非下采样剪切波变换 非下采样剪切波变换7（NSST）是对剪切波变换的改进，在继承剪切波变换优点的同时，避免了伪吉布斯现象的出现。使用 NSST 将红外与可见光图像分解成各自的高低频子带图像，可避免其分解和重构过程中产生的频率混叠现象8，消耗的时间相对来说较少。图像具体的 NSST 分解步骤如图 1 所示。第一步：源图像经非下采样拉普拉斯金字塔变换（non-subsampled laplacian pyramid，NLP）分解（设分解层数为 k）得到一个低频子带图像和 k 个高频子带图像。分解所得到的图像大小与源图像大小相同。第二步：构造时域中的剪切波滤波器（shearlet filter，SF）。利用 Meyer 小波基来构造伪极化格上的频域窗函数 W，然后将其映射到笛卡尔坐标中，通过逆离散傅里叶变换得到最终的 SF9。第三步：对每个层的高频图像都构造一个相应的SF，通过卷积，得到在该尺度下所包含的各个方向的高频子带图像。imageNLPSFNLPSF1Hf1Lf2Lf2Hf1,Hlf2,Hlf图 1 NSST 分解流程 Fig.1 NSST decomposition flow chart 图中 NLP 表示非下采样拉普拉斯金字塔变换；SF 表示剪切波滤波器；f 表示子带图像系数；上标中的 1，2 表示第一层和第二层分解，l 表示 l 个不同的方向。1.2 脉冲发放皮层模型与赋时矩阵 脉冲发放皮层模型10SCM 是从脉冲耦合神经元网络（pulse coupled neural network，PCNN）模型为切入点衍生出的简化模型。SCM 不仅继承了 PCNN适于人眼观察的优点，而且参数较少，计算复杂度较低，时间消耗较少，融合效率得以提高。SCM 模型的数学表达式如公式(1)所示：()(1)()(1)(1)()(1)(1)1,if()()()0,otherwisexylxyklklxyklxyxyxyxyklklxyklxyxyxyxyxyxyLnVYnSUnfUnSYnSEngEnhYnUnEnYnWW(1)式中：(x,y)为图像中像素点位置；n 为迭代次数；Vl为增益幅度；W 为连接权系数矩阵；Ykl为邻域神经元的第45卷 第8期 Vol.45 No.8 2023 年 8 月 巩稼民等：基于改进模糊 C 均值聚类的图像融合算法 Aug.2023 851 输出；Uxy(n)是神经元的内部行为；f 为控制 Uxy(n)的衰减的系数；Sxy为神经元的外部激励；Exy(n)为动态阈值；g 和 h 分别为阈值的衰减和放大系数。Yxy(n)表示第n次迭代时，神经元的点火状态，当Yxy(n)1时，称神经元点火11。迭代次数n的选择对于图像处理的结果起着重要作用，取值过大会增加计算量，耗费更多的时间，选择过小则会导致融合图像的视觉效果差12。为了得到合适的迭代次数，通常在 SCM 输出端加入一个赋时矩阵13来输出 SCM 第一次输出脉冲的时间，赋时矩阵的值即为迭代次数 n 的值，但当外部输入激励 Sxy取值为 0 时，会导致 SCM 无法产生脉冲，从而使得添加赋时矩阵后进入无限迭代的过程。因此，对 SCM的赋时矩阵进行了改进，添加一个判定条件：如果外部激励 Sxy为 0，则直接输出赋时矩阵在对应位置处元素的值为无穷大。改进赋时矩阵 Txy(n)如下：,=0,if 1(),0(1),elsexyxyxyxyxySnYnSn（1）TT (2)1.3 改进模糊 C 均值聚类 FRFCM 由于模糊 C 均值聚类算法对噪声敏感，而传统方法常在目标函数中引入局部空间信息，但会导致计算复杂度变高，使得图像融合过程中目标提取的时间变长。因此引入雷涛提出的改进的模糊 C 均值聚类算法（fast and robust fuzzy C-means clustering，FRFCM）14进行目标提取，减少噪声对于图像的影响，增强算法的鲁棒性，同时提高目标提取的效率。模糊 C 均值聚类通过得到每个样本点对所有类中心的隶属度来决定样本点的类属，从而达到分类的目的15。如果要通过 FRFCM 将样本数据划分为 c 类，则可采用求解数学规划的方法来实现：2FRFCM111()1,1s.t 0,1,1qcmlkllkklckliklJuvulqukclq (3)式中：c 表示聚类的数量；m 是每个模糊隶属度的加权指数，它决定了最终分类的模糊程度；ukl表示灰度值 l 相对于聚类 k 的模糊隶属度；vk表示聚类中心；q表示经形态重建后的图像中包含的灰度级的数量；q远远小于 n。l表示图像中第 l 个灰度级，1lq；l用来统计有效灰度级的级数，且其和为 N：1qllN (4)经形态重建后的图像定义如下：RC(f)(5)式中：RC表示将图像进行形态闭合重建；f 表示原始图像。上述已将 FCM 转化为求解数学规划的问题，要得到最终的聚类结果则需要求解这个数学规划，可利用拉格朗日乘子技术，将优化问题转换成使以下目标函数最小化的无约束优化问题：2FRFCM111()(1)qccmlkllkklklkLuvu (6)式中：是拉格朗日乘数。因此，目标函数的最小化问题被转化为求上述拉格朗日函数的鞍点，该鞍点取LFRFCM关于参数 ukl和 vk的导数。方程组的具体表达式如下：000klkLuLvL (7)联立两个方程，可解得：2/(1)12/(1)11()()cmlkjkjmljqmlkllikqmlklivuvuvu (8)根据上式，得到一个隶属度划分矩阵 Uuklcq。为了获得稳定的 U，可以通过不断更新 ukl和 vk的方法进行迭代，直到 maxU(t)U(t1)，其中是最小误差阈值，t 为迭代次数。因为 ukl(t)是灰度值 l 相对于聚类 k 的模糊隶属度，故可获得对应于原始图像f的新隶属度划分矩阵 UuklcN，即：ukiukl(t),if xil (9)为了获得更好的隶属度划分矩阵和加快算法的收敛速度，使用隶属度滤波来修改 ukl。考虑到隶属度滤波的性能和算法速度之间的权衡，使用中值滤波器U：UmedU (10)式中：med 表示中值滤波。基于上述分析，引用的算法 FRFCM 可以总结如下：设定参数，包括聚类原型值 c、模糊化参数 m、第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 852 滤波窗口 w 的大小与结束时满足的阈值。使用公式(5)计算经形态重建后形成的新图像，然后计算的直方图。随机初始化隶属度划分矩阵。设置迭代次数 t0。使用公式(8)更新聚类中心 vk和隶属度划分矩阵 U(t1)。判断是否达到结束的条件，即是否满足maxU(t)U(t1)，若满足，则停止迭代，否则，设置 tt1 并跳回步骤。使用公式(10)对隶属度划分矩阵 U进行中值滤波。2 提出的融合方法 提出的融合方法如图 2 所示。使用 FRFCM 提取红外图像 R 的红外目标信息，得到红外图像的目标区域和背景区域，将红外图像的目标区域融合到可见光图像V的目标区域上，得到可见光图像的目标区域和背景区域。使用 NSST 分别对得到的红外图像与可见光图像的目标和背景区域进行分解，得到红外图像的目标区域高频系数、目标区域低频系数、背景区域高频系数、背景区域低频系数，以及可见光图像的目标区域高频系数、目标区域低频系数、背景区域高频系数、背景区域低频系数。对于不同的区域选用不同的融合规则，获得融合后的系数。其中，对于高频背景区域采用 SCM 模型进行融合；对得到的融合系数进行 NSST 逆变换，得到最终的融合图像。infrared imagevisible imagetarget areabackground areatarget areabackground arealow_infrared targethigh_infrared backgroundhigh_infrared targetlow_infrared backgroundlow_visible targethigh_visible backgroundhigh_visible targetlow_visible backgroundFRFCMNSSTNSSTNSSTNSSTfused_high targetfused_low targetfused_high backgroundfused_low backgroundfused imageinverse NSSTSCM 图 2 本文的图像融合方法流程 Fig.2 Flow chart of image fusion method in this paper 2.1 使用 FRFCM 提取目标区域 以源红外图像 R 系数的值为数据集，对其进行模糊 C 均值聚类，设置聚类数为 2，将聚类结果中子带系数较大的那一类记为 C1。计算源红外图像R中每个子带系数所在邻域的空间频率 S(x,y)：11122211(,)1(,1)(,)(1,)(,)9yxm xn yS x yR x yR x yR xyR x y (11)以 S 中的各个元素为数据集，对其进行模糊 C第45卷 第8期 Vol.45 No.8 2023 年 8 月 巩稼民等：基于改进模糊 C 均值聚类的图像融合算法 Aug.2023 853 均值聚类，设置聚类数为 2，将聚类结果中空间频率较大的那类子带系数用 C2表示。对于源红外图像 R 中的系数，如果其满足12(,)R x yCC，则认为其属于表示红外图像中目标区域的系数 Ro。使用 FCM 提取源红外图像 R 的目标区域 Ro，则剩下的为背景区域 Rb：bo(,)(,)(,)R x yR xRyx y (12)然后将提取的红外目标区域融合到可见光图像 V中，得到可见光图像目标区域 Vo，融合规则为：ooo(,)(,),(,)(,)V x yR x yx yR x y (13)则可见光图像的背景区域 Vb为：bo(,)(,)(,)V x yV xVyx y (14)2.2 低频部分融合规则 图像中低频分量携带源图像的大部分信息。目标区域的像素值较高，因而能量值高于其他区域，为了保证红外图像的目标信息最大限度地保留，选取红外图像目标区域的低频子带系数 Rol作为目标区域的低频融合系数16Fol：ooll(,)(,)F x yR x y (15)可见光图像低频系数中包含了大量的背景细节信息，其包含的背景信息在通常情况下比红外图像所包含的背景信息更丰富，因此传统方法中往往选取可见光图像的背景信息作为背景区域的融合系数，但红外图像中包含的背景信息也不可忽略，因此为使最终融合的图像保留更多源图像的有效信息，可采用比较低频子带图像系数与源图像信息熵 IE 的方法，让最终的融合结果偏向于信息熵较大的那类图像，从而得到背景区域的低频子带融合系数 Fbl：blolVRololol(,)(,),IEIE or (,)(,)(,),elseFx yVx yVx yRx yRx y(16)式中：IEV和 IER分别是指可见光图像的信息熵和红外图像的信息熵，信息熵 IE 的表达式为：2550IElogiiipp (17)式中：pi为图像第 i 级灰度值出现的概率。2.3 高频部分融合规则 图像中的高频分量包含源图像中大量的边缘信息和细节信息，同时也包含噪声信息。高频子带系数的大小反映了源图像相邻区域之间灰度值变化的剧烈程度，其绝对值越大则说明这一点的边缘细节越突出。为保留更多的目标信息，选取红外图像目标区域的高频子带系数 Roh作为目标区域的高频子带融合系数 Foh，则有：Foh(x,y)Roh(x,y)(18)为了保留尽可能多的有效边缘信息，并且减少噪声的影响，将背景区域高频子带系数所在的邻域的能量作为衡量边缘突出程度的指标，此外，考虑到源图像对应位置处的清晰度，用改进拉普拉斯能量和 SML作为另一指标。将这两个指标结合起来，通过相乘的方法来构造出最终 SCM 模型的外部激励，从而得到背景区域的高频子带融合系数 Fbl。首先，计算每个背景高频子带系数所在邻域的能量 E（以可见光图像背景区域的高频子带为例）：(1)/2(1)/22Vbh(1)/2(1)/2(,)(,)MNmMnNEx yVxm yn (19)接着计算每个背景区域高频子带系数在源图像对应位置处的改进拉普拉斯能量和 SML：(1)/2(1)/2VhVh(1)/2(1)/2SML(,)ML(,)MNrMcNx yxr yc(20)其中M和N取值均为3，改进拉普拉斯算子MLVh的计算方法为：VhbhbhbhbhbhbhML(,)2(,)(1,)(1,)2(,)(,1)(,1)x yVx yVxyVxyVx yVx yVx y(21)接下来，计算 SCM 数学模型的外部激励 I，即计算区域能量 E 与改进拉普拉斯能量和 SML 的乘积，输入 SCM 的外部激励 I，求得输出的赋时矩阵 T。VhVh),S()()(ML,I x yEx yx y (22)最后，采用比较信息熵的方法得到背景区域高频子带的融合系数 Fbl，具体的方法如下：当 SCM 输出的赋时矩阵 TV(x,y)TR(x,y)时：bhbhbhbhbhVRbhbhVR(,),(,)(,)(,)(,),(,)(,)Vx yTx yTx yFx yRx yTx yTx y (23)当 TV(x,y)TR(x,y)时：bhEVERbhbhEVER(,),(,)(,),Vx yIIFx yRx yII (24)最后将得到的融合系数 Foh，Fol，Fbh和 Fbl进行NSST 逆变换，得到最后的融合图像。第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 854 3 实验结果与分析 为了保证实验数据的真实性、公平性，使用 Intel 酷睿 i5 6200U，2.3 GHz CPU，4 G 内存，Windows10操作系统，MATLAB 2020a 软件进行实验，选择 TNO数据集中的 3 组红外与可见光图像进行测试。并将本文算法与其他 3 种算法进行比较，根据文章所述及文章名称，将这 3 种算法分别命名为：MST17（multiscale transform）、IFE-VIP18（infrared feature extraction and visual information preservation）和 VSM-WLS19（visual saliency map and weighted least square）。在本文提出的算法中，设定 NSST 的分解层数为 4 层，shearlet 滤波器的大小和方向分别设定为8,8,8,8和2,2,4,4。SCM 模型的阈值衰减系数 g 设置为 1；阈值放大系数h设置为0.5，控制神经元内部衰减的系数f设置为1。3.1 实验结果主观评价 在图 3 中，图 3(a)和图 3(b)分别为源红外图像与源可见光图像。从图中可以看到，图 3(c)显示了树木的纹理信息，以及道路和目标人物信息，但目标人物信息不够突出，图像整体的对比度较低。图 3(d)中，可得到较为清晰的红外目标，但背景信息比较模糊，且左下角的树木纹理细节信息缺失较多，对比度较低。图 3(e)中虽然可以看到清晰的目标人物信息及树木的边缘纹理信息，但与图 3(f)相比，其目标人物周围存在光晕，且左下角和右下角的树木纹理没有图3(f)的清晰，对比度也没有图 3(f)高。与其他方法相比，本文中所提到的算法，不仅能很好地突出红外目标，而且很好地保留了背景信息中山丘、树木等的边缘信息及纹理信息，对比度较高，融合效果更优。在图 4 中，图 4(c)的目标人物及车辆等信息比较清晰，但图像上方的广告牌比较暗，广告牌上的字体与广告牌灰度接近，字体不够明显，对比度较低。图4(d)中，得到了清晰的目标信息及背景信息，广告牌上的字体也较为清晰，但与图 4(e)相比，图 4(d)的广告牌上的字体不够清晰，对比度也没有图 4(e)高。图4(e)和图 4(f)均可得到清晰的背景信息和目标信息，且对比度更高，但进行比较，可以看到虽然图 4(e)足够清晰，但其背景与目标人物间的对比度较低，目标人物和车辆信息不够突出，整体图像较暗且缺乏层次感，而图 4(f)的对比度更高一些，且目标人物信息突出，背景清晰，整体更有层次感。在图 5 中，图 5(c)的目标人物信息比较清晰，但背景中的树木信息模糊，缺乏层次感，很难分辨出树木和道路。图 5(d)可以看到清晰的树木信息，层次感较高，但目标人物比较模糊，与树木间的对比度较低，目标人物不易被发现。图 5(e)和图 5(f)均可得到清晰的树木和目标人物信息，对比度也比较高。但将图 5(e)和图 5(f)进行比较，会发现图 5(f)的目标人物信息更加突出，树木信息也更加丰富，对比度更高。与其他几种方法相比，本文提出算法得到的融合图像视觉效果更好。(a)(b)(d)(e)(f)(c)(e)(c)(f)(e)(f)图 3 第一组图像融合结果：(a)红外图像；(b)可见光图像；(c)MST 融合图像；(d)IFE-VIP 融合图像；(e)VSM-WLS 融合 图像；(f)本文提出算法的融合图像 Fig.3 Fused results of the first set of images:(a)Infrared image;(b)Visible image;(c)Fused image of MST;(d)Fused image of IFE-VIP(e)Fused image of VSM-WLS;(f)Fused image of the proposed algorithm 第45卷 第8期 Vol.45 No.8 2023 年 8 月 巩稼民等：基于改进模糊 C 均值聚类的图像融合算法 Aug.2023 855(a)(b)(c)(d)(e)(f)(e)(f)图 4 第二组图像融合结果：(a)红外图像；(b)可见光图像；(c)MST 融合图像；(d)IFE-VIP 融合图像；(e)VSM-WLS 融合图像；(f)本文提出算法的融合图像 Fig.4 Fused results of the second set of images:(a)Infrared image;(b)Visible image;(c)Fused image of MST;(d)Fused image of IFE-VIP;(e)Fused image of VSM-WLS;(f)Fused image of the proposed algorithm (a)(d)(c)(b)(e)(f)图 5 第三组图像融合结果：(a)红外图像；(b)可见光图像；(c)MST 融合图像；(d)IFE-VIP 融合图像；(e)VSM-WLS 融合图像；(f)本文提出算法的融合图像 Fig.5 Fused results of the third set of images:(a)Infrared image;(b)Visible image;(c)Fused image of MST;(d)Fused image of IFE-VIP(e)Fused image of VSM-WLS;(f)Fused image of the proposed algorithm3.2 实验结果客观评价 本文选用平均梯度（average gradient，AG）、标准差（standard deviation，STD）、信息熵（EN）、互信息（mutual information，MI）、结构相似度（structural similarity，SSIM）、边缘保留因子20（edge gradient operator，QAB/F）和时间（time，T1）作为客观评价标准。其中，AG 越大，说明图像的纹理越明显，边缘细节越突出，清晰度越好；STD 越大，表明图像的识别度越高；EN 越大，说明融合图像所含的信息越丰富；MI 越大，表明融合图像包含越多源图像中的信息；SSIM 越大，说明融合图像的结构与源图像的结构越相似；QAB/F越大，说明能够保留更多的源图像边缘细节信息；T1越大，说明时间损耗越大。4 种方法所得到的融合图像客观评价指标结果如表 1 所示。在表 1 的第一组融合图像中，本文所提方法得到的融合图像的信息熵没有 MST 方法的高，结构相似度没有 IFE-VIP 方法的高，但其平均梯度、标准差、信息熵和边缘保留因子的值均比其他 3 种方法高。说明本文所提方法的纹理细节信息更加丰富，对比度更高，得到的融合图像效果更好。在第 2 组融合图像中，所提方法得到的融合图像的标准差和结构相似度没有 IFE-VIP 方法的高，但其平均梯度、信息熵和边缘保留因子均比其他 3 种方法高，说明本文所提方法得到的融合图像能保留更多源图像中的纹理细节信息，融合效果更好。在第 3 组融合图像中，本文所提算法的平均梯度第45卷 第8期 红 外 技 术 Vol.45 No.8 2023 年 8 月 Infrared Technology Aug.2023 856 没有 MST 方法的高，结构相似度没有 IFE-VIP 方法的高，但其标准差、信息熵、互信息和边缘保留因子为几种方法中最优的，说明本文所提方法得到的融合图像更加清晰，对比度高，包含更多的源图像中的边缘细节信息，融合效果更好。如表 1 所示，MST 方法得到的融合图像的互信息在 3 种方法中较高，IFE-VIP 方法得到的融合图像的结构相似度是 4 种方法中最高的，本文所提算法得到的融合图像的信息熵和边缘保留因子为4种方法中最高的，平均梯度、标准差、互信息、结构相似度的值也较高。相比其他算法，本文所提算法得到的融合图像在客观评价指标上表现较好。表 1 融合图像客观评价指标 Table 1 Objective evaluation indexes of the fused images Image Algorithm AG STD EN MI QAB/F SSIM T1/s The first set of fused images MST 5.5076 33.1331 6.6562 2.8316 0.4402 0.5592 3.7271 IFE-VIP 5.2957 32.1404 6.7657 0.2136 0.4447 0.7306 1.0202 VSM-WLS 4.9839 24.0986 6.3472 1.5205 0.4298 0.5692 7.4942 Proposed 5.7894 38.8918 7.1518 2.7529 0.4723 0.5669 26.4432 The second set of fused images MST 4.3685 33.7594 6.7108 4.0484 0.5882 0.5087 6.2221 IFE-VIP 4.1800 38.2701 6.6984 0.2657 0.6072 0.6742 2.3860 VSM-WLS 3.8976 22.8682 6.0044 2.1233 0.5210 0.4611 11.0457 Proposed 4.5238 36.8611 6.7757 3.9432 0.6653 0.5137 105.4437 The third set of fused images MST 6.0380 31.6025 6.8755 3.4927 0.5070 0.5862 3.5608 IFE-VIP 5.5335 25.4211 6.5629 0.2331 0.4493 0.7476 3.1338 VSM-WLS 5.3866 20.8658 6.3938 1.9215 0.4588 0.5905 7.1582 Proposed 5.8611 33.2125 7.0147 3.8182 0.5895 0.5988 26.2595 4 总结 本文针对红外与可见光图像的成像特点，使用鲁棒性更强的 FRFCM 算法提取红外图像的红外目标信息，并通过融合的方法，得到可见光图像的目标区域。接着使用 NSST 对得到的目标和背景区域进行分解，得到各自的高低频子带系数，然后针对不同区域的不同特点，采用不同的策略进行融合，从而使融合图像中目标信息更加突出，纹理细节信息更加丰富。与其他几种融合方法相比，文中所提出的方法在主观视觉及客观评价上都表现良好，红外目标突出，纹理细节特征清晰，对比度高，融合效果较好。但本文所提方法的时间损耗未达到最低，这也是今后研究的一个方向。参考文献：1 王文卿,高钰迪,刘涵,等.基于低秩稀疏表示的红外与可见光图像序列融合方法J.西安理工大学学报,2019,35(3):276-283.WANG W Q,GAO Y D,LIU H,et al.Infrared and visible image sequence fusion via low-rank and sparse representationJ.Journal of Xi an University of Technology,2019,35(3):276-283.2 白玉,侯志强,刘晓义,等.基于可见光图像和红外图像决策级融合的目标检测算法J.空军工程大学学报(自然科学版),2020,21(6):53-59,100.BAI Y,HOU Z Q,LIU X Y,et al.An object detection algorithm based on decision-level fusion of visible light image and infrared imagesJ.Journal of Air Force Engineering University,2020,21(6):53-59,100.3 张林发,张榆锋,王琨,等.基于直觉模糊集和亮度增强的医学图像融合J/OL.计算机应用,2021,41(7):2082-2091.ZHANG L F,ZHANG Y F,WANG K,et al.Medical image fusion with intuitionistic fuzzy set and intensity enhancementJ.Computer Application,2021,41(7):2082-2091.4 江泽涛,吴辉,周哓玲.基于改进引导滤波和2021,41(07):2082-2091.双通道脉冲发放皮层模型的红外与可见光图像融合算法J.光学学报,2018,38(2):0210002.JIANG Z T,WU H,ZHOU Q L,et al.Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical modelJ.Acta Optica Sinica,2018,38(2):0210002.5 李玉峰,尹婷婷.采用 NSCT 与 FCM 相结合的 SAR 和多光谱图像融合算法J.信号处理,2017,33(11):1523-1529.LI Y F,YIN T T.The SAR and multispectral image fusion algorithm based on NSCT and FCMJ.Signal Processing,2017,33(11):1523-1529.6 GONG J M,XUE M L,REN F,et al.Infrared and visible image fusion based on nonsubsampled shearlet transform and fuzzy C-means 第45卷 第8期 Vol.45 No.8 202