结合IHS与自适应滤波的SFIM影像融合方法.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第9期总第337期文章编号：1006-2475（2023）09-0070-07收稿日期：2022-08-17；修回日期：2022-11-25基金项目：湖南省自然科学基金资助项目（14JJ7039）作者简介：唐育林（1998），男，湖南怀化人，硕士研究生，研究方向：空间数据处理与分析，E-mail：；通信作者：黄登山（1975），男，甘肃景泰人，讲师，硕士生导师，博士，研究方向：GIS应用，E-mail：；陈抒录（1989），男，工程师，硕士，研究方向：摄影测量与遥感，地理信息系统，E-mail：；陈朋明（1998），男，硕士研究生，研究方向：摄影测量与遥感，E-mail：。0引言随着我国不同高分辨率的遥感卫星陆续投入使用，遥感数据也变得日益丰富1-2。由于受到卫星存储空间与卫星-地面观测数据传输速度的限制，遥感卫星一般采用互补的观测方式，即全色影像和多光谱影像共存3-6。相同场景下的多光谱影像比全色单波段影像的空间分辨率低。为了同时获得这2种影像特征，研究者在光谱信息和空间分辨率之间进行权衡，提出了各种全色-多光谱影像融合方法。根据融合方法作用域的不同，可以分为空间域和频率域7-8这2类，空间域方法又可细分为系数增强与成分变换8-10。SFIM（Smoothing Filter-based Intensity Modulation）属于系数增强方法，利用全色影像与低分辨率全色影像的比值作为多光谱影像的调制系数以获得融合影像，其空间信息融入质量不高。Brovey11变换属于系数增强方法，与SFIM不同的是，调制系数是全色影像与I（Intensity）分量的比值，存在较为严重的光谱失真。而 IHS9，12（Intensity HueSaturation）属于成分替换类型，将RGB色彩空间转换为IHS空间，用全色影像替换原I分量作逆变换得到融合影像，由于只是简单的像素值替换7，同样存在结合IHS与自适应滤波的SFIM影像融合方法唐育林1，黄登山1，陈抒录2，陈朋明1（1.湘潭大学土木工程学院，湖南 湘潭 411105；2.湘潭市勘测设计院，湖南 湘潭 411100）摘要：SFIM是一种常用的全色-多光谱融合算法，具有较好的光谱注入能力，但空间信息融入质量较差，其原因在于理想的低分辨率全色影像不易获取。针对SFIM的不足，提出一种结合IHS和高斯滤波的SFIM模型。该方法使用自适应性线性组合获取多光谱影像的I分量，以调整后最佳I分量的平均梯度为标准，对下采样后全色影像做高斯滤波处理，确定理想的低分辨率全色影像，最后将多光谱影像和低分辨率全色影像上采样至与全色影像同样大小，进行SFIM变换得到融合结果。在高分二号（GF-2）和资源三号01（ZY3-1）数据上开展试验，与已有的5种融合算法进行对比分析，实验结果表明该算法较好地克服了IHS和SFIM的缺陷，在定性和定量分析方面均表现较优，具有更好的光谱保持度，注入的空间细节信息更为详细，有效提高了融合影像细节信息质量。本文方法为全色-多光谱影像融合研究提供了有用的参考。关键词：影像融合；SFIM；ISH；高斯滤波；平均梯度中图分类号：TP391文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.09.011SFIM Image Fusion Method Combining IHS and Adaptive FilteringTANG Yu-lin1，HUANG Deng-shan1，CHEN Shu-lu2，CHEN Peng-ming1（1.College of Civil Engineering，Xiangtan University，Xiangtan 411105，China；2.Survey and Design Institute of Xiangtan City，Xiangtan 411100，China）Abstract：SFIM is a commonly used panchromatic-multispectral fusion algorithm with good spectral injection capability，butthe poor quality of spatial information incorporation is due to the poor acquisition of ideal low-resolution panchromatic images.Aiming at the shortcomings of SFIM，a SFIM model combining IHS and Gaussian filtering is proposed.The method uses an adaptive linear combination to obtain the I-Component of the multispectral image.Then，with the average gradient of the best adjusted I-component as the standard，the ideal low-resolution panchromatic image is determined by Gaussian filtering of thedownsampled panchromatic image.Finally，the multispectral image and the low-resolution panchromatic image are upsampled tothe same size as the panchromatic image，and the SFIM transform is performed to obtain the fusion results.The experiments arecarried out on the data of GF-2 and ZY3-1.The experimental results show that the algorithm better overcomes the shortcomingsof IHS and SFIM and better performs in both qualitative and quantitative analysis.It has better spectral retention and injects moredetailed spatial detail information，which effectively improves the quality of fused image detail information.This experiment canprovide a useful value reference for the study of panchromatic-multispectral image fusion.Key words：image fusion；SFIM；IHS；Gaussian filter；average gradient2023年第9期光谱失真问题，并且受波段数量的限制，只能处理3个波段。小波变换13-16属于频率域方法，存在小基波难以选择和计算复杂的问题。随着神经网络的流行，许多研究者将深度神经网络（Deep Neural Networks，DNN）应用到影像融合中6，17-19，目的是寻找原始全色图像与其重采样全色影像之间的关系，训练并优化网络参数，将重采样的多光谱图像输入网络模型中，经一系列运算输出得到融合影像。此方法存在数据集制作繁琐20、设备要求高及结果不普适等问题，不适于日常生产工作。全色-多光谱影像融合的目的在于尽可能地保持较多的光谱特征和最大限度地注入空间细节信息。针对以上问题，本文提出一种结合IHS和高斯滤波的SFIM 影 像 融 合 方 法，并 与 Brovey、SFIM21、AIHS（Adaptive Intensity Hue Saturation）22、WT（WaveletTransform）和 AGSFIM（Adaptive Gaussian Filter andSFIM Model）23进行比较。本文不做特殊说明外，P为全色影像，MS为多光谱影像，Pds为下采样全色影像，Pdsh为Pds经高斯滤波后的影像，Mi表示多光谱第i波段影像。1本文方法IHS以强度（Intensity，I）、色调（Hue，H）和饱和度（Saturation，S）来感知图像颜色。为提高 IHS 的融合效率，Tu 等24研究了传统 HIS 原理，对计算过程进行了改进，将矩阵的乘积运算转换到了加法运算，大大节约了计算时间，但是 P和 I之间的差异并没有发生改变，依旧存在光谱扭曲和波段数量受限的问题。紧接着Choi12就IHS波段数量受限的问题，提出了多于3个波段的多光谱影像I分量的提取方法。它以每个波段乘以波段权重1/N（N为波段数）做累和处理，由此获得I分量。他们没有考虑到不同波段影像的光谱反射曲线不同，融合过程中会存在不同程度的光谱信息丢失，将每个波段的权重均等化所求得的I分量代表性不强。针对该问题，Rahmani等22提出了优化方案，用自适应线性组合来表示强度分量，如式（1）所示，以全色影像与加权多光谱各波段影像的最小二范数差值为拟合条件，求在不同数据集上不同波段的权重，进而获得I分量。该方法是通过求取矩阵二范数的最小值来获得系数，存在计算量大和效率不高等缺点。mini 0 P-i=1niMi2（1）与 IHS模型相比，SFIM 模型具有较高的光谱保真度21。SFIM是以全色影像与低分辨率全色影像的比值来添加空间细节信息的。以统一的比值给整幅图像注入同比例的细节，会忽略不同区域的空间细节，导致空间融入度不高。简单来说，SFIM在多光谱图像中添加全色影像的空间细节信息过程中，忽略了全色图像的光谱特征。理想下的低分辨率全色影像应同时具备与多光谱影像相似的空间特征和与全色影像相似的光谱特征。目前对于理想的低分辨率全色影像求取没有统一的标准，并且已有的研究方法存在不同差异。王密等23提出了一种结合自适应高斯滤波与SFIM模型的全色-多光谱影像融合方法AGSFIM。考虑到AGSFIM采用平均波段的平均梯度值代表性较差可能会影响融合结果，这里结合IHS模型和光谱相关系数提取多光谱影像的I分量，使用其平均梯度作为低分辨率全色影像评判的指标，以得到更理想的影像。同时，增加真实影像（参考影像）进行对比分析，更好地比较出各方法的差异性。故此，本文提出一种结合IHS和高斯滤波的SFIM影像融合方法，使其同时具备IHS的空间细节注入能力和SFIM的光谱保真能力，具体原理如下：1）考虑时间效率和光谱覆盖范围，这里采用光谱相关系数25来获取权重i，如式（2）式（4）所示，将对应系数与波段相乘得到I分量，计算得到I分量的平均梯度AGI。因为单独计算出平均梯度只是相对量，为了使其变成绝对可比量，用全色影像均值与I分量均值的比值（调整参数）乘以AGI，得到绝对可比量，作为后面的参考标准值。i=i/i=1ni，i=corr()Mi，P（2）I=ini Mi（3）AGI=AGI，=P/I（4）其中，P、I分别表示全色影像P和I分量的均值。2）对全色影像P进行均值滤波得到低分辨率全色影像P，因为直接使用均值滤波窗口做的是全局模糊处理，所以还存在部分区域的细节信息过剩。这里继续使用傅里叶变换将其转换到频域，使用距离取舍法再次去掉部分高频信息得到Pds，使其更接近多光谱影像相似的空间信息结构。算法流程如算法1所示，fft2为二维傅里叶变换，fftshift将低频信息集中到图像中心，ifft2为二维傅里叶逆变换，ifftshift将处理后的图像恢复到原始的分布位置，保留范围d用最小距离除以0.9（经验值）。算法1傅里叶变换去除部分高频算法输入：均值滤波处理后全色影像P输出：二次去除部分高频信息的全色影像Pds1：转换全色影像P到频域，得到频域图像S2：计算图像中心到上、左2边的距离a0、b0，计算保留范围距离d3：创建一个与频域图像S相同大小的零矩阵Pl，将范围d内的数据存储在Pl对应位置4：对Pl进行逆傅里叶变换，保留实数部分，得到最终处理后的全色影像Pds5：S=fftshift（fft2（P）6：a，b=size（S）7：a0=round（a/2），b0=round（b/2）8：d=（min（a0，b0）/0.9）29：Pl=zeros（a，b）唐育林，等：结合IHS与自适应滤波的SFIM影像融合方法71计算机与现代化2023年第9期10：for i=1：athen11：for j=1：bthen12：distance=（i-a0）2+（j-b0）213：if distance WTAGSFIMSFIMBrovey；D平均值最小的是本文方法，为 16.259，其次是 AGSFIM，相差 9.611；PSNR最大的是本文方法，为 21.649，第二为 AGSFIM（18.065），相差接近3.6，SAM也是本文方法最小，这4个评价指标相互印证了所提方法具有更高的光谱质量。虽然AG在所有方法中处于中间水平，但是SSIM值达到了最优，说明该方法即使图像层次达不到最丰富，但其亮度、对比度和结构最接近参考影像。对 于 ZY3-1 实 验 组，本 文 算 法 的 ERGAS 为10.444，其次为AGSFIM，相差2.89说明该影像整体质量最好，与第二方法相比，有较大的优势。CC值最优的 是 AGSFIM，为 0.925，但 本 文 方 法 与 其 仅 相 差0.001，说明二者的光谱保留能力相同。D平均值最小的是 AGSFIM，为 8.375，后面依次是本文方法SFIMBroveyAIHSWT，后4种算法D值均大于15。AGSFIM方法的PSNR最大，为26.205，本文方法排第二，相差不大（0.53）。本文方法与 AGSFIM 算法的SAM一样，这4个评价指标相互印证了虽然AGSFIM为最优方法，但所提方法的光谱质量与其接近。虽然AG在所有方法中处于最低，但是SSIM为最优，表明该方法的图像层次虽然不丰富，但亮度、对比度和结构表现最好。对于验证组，本文所提方法在GF-2和ZY3-1上ERGAS、SAM指标上均表现最优，第四波段的AG值最大，其他波段的AG值相比AGSFIM均有提高，进一步验证了实验组结果的可靠性。退化前后图像 (a)MS (b)退化 MS (c)Pan (d)退化 Pan 仿真数据 真实数据 (e)Brovey(f)SFIM(g)AIHS(h)WT(i)AGSFIM(j)本文方法 仿真数据 真实数据 (a)Brovey(b)SFIM(c)AIHS(d)WT(e)AGSFIM(f)本文方法 退化前后图像 (a)MS (b)退化 MS (c)Pan (d)退化 Pan 仿真数据 真实数据 (e)Brovey(f)SFIM(g)AIHS(h)WT(i)AGSFIM(j)本文方法 图7ZY3-1仿真数据和真实数据的融合结果图8ZY3-1不同数据集的融合结果细节对比仿真数据 真实数据 (a)Brovey(b)SFIM(c)AIHS(d)WT(e)AGSFIM(f)本文方法 742023年第9期表1GF-2实验组不同融合影像的质量评价指标结果影像波段BroveySFIMAIHSWTAGSFIM本文方法B1B2B3平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值AG6.9718.9358.8808.2622.7632.7082.5684.1423.0457.7217.9487.5638.5417.9436.5496.6866.6366.6366.6272.9413.2583.3845.4693.7634.5825.1175.4887.7355.731SSIM0.4100.2940.2880.3310.4190.3920.3360.2460.3490.3130.3520.3630.5820.4020.4030.4450.4280.4080.4210.4420.4460.4100.3270.4060.5970.5720.5390.5020.552ERGAS26.28820.31421.81720.02118.25312.041SAM0.5490.4310.3800.5130.4070.358CC0.8560.7080.7260.7630.8430.7980.7820.8110.8080.8650.8160.8130.8910.8460.8970.8690.8610.6980.8310.8480.8050.7890.8170.8150.9010.8670.8520.8770.874D35.55135.03321.39030.65819.36221.09323.29355.76329.87832.43530.16929.33024.30229.05927.48826.26127.93531.92328.40218.52618.46719.34547.14025.87011.81411.10211.74830.37216.259PSNR19.64215.51215.50116.88518.60819.06918.45012.12917.06416.86917.34117.55418.88617.66218.17318.44717.98715.93517.63618.96320.03819.79113.46918.06522.79923.50423.27617.01621.649表2ZY3-1实验组不同融合影像的质量评价指标结果影像波段BroveySFIMAIHSWTAGSFIM本文方法B1B2B3平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值AG4.3015.1685.8375.1021.9802.4932.7494.0632.8214.9314.8354.8305.2744.9674.4194.3454.4204.4204.4012.9113.3903.8766.0264.0502.9633.3133.7905.9974.015SSIM0.4940.4840.5670.5150.5340.5830.5550.4400.5280.3720.5250.5700.6690.5340.4220.5870.6170.4510.5190.7150.7250.7220.6460.7020.7110.7330.7280.6530.706ERGAS24.15517.19335.27225.28213.33410.444SAM0.4010.2900.2910.6270.2170.217CC0.8460.8030.8720.8410.8750.8630.8900.8760.8760.8710.8890.9260.9350.9050.8450.9000.8550.6470.8120.9280.9220.9390.9140.9250.9260.9210.9380.9090.924D14.27124.36527.23221.95616.26010.27512.82928.42016.94633.03125.62825.71221.35526.43131.74921.03315.78439.93027.1248.8726.9227.37610.3298.3759.6926.6817.57412.5259.118PSNR17.99018.91623.17620.02720.60623.86022.39817.76021.15617.07318.98218.96120.18918.80117.01920.66822.60014.34118.65725.11227.61027.13224.96626.20524.67227.55326.84223.85825.732唐育林，等：结合IHS与自适应滤波的SFIM影像融合方法75计算机与现代化2023年第9期表3GF-2和ZY3-1验证组不同融合影像的质量评价指标结果影像波段BroveySFIMAIHSWTAGSFIM本文方法B1B2B3平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值B1B2B3B4平均值GF-2AG4.7116.1825.7885.5612.8862.9603.4034.5863.4594.3234.3174.6855.2914.6544.5484.5724.7274.7274.6432.0232.7282.9433.6222.8293.1883.3733.5885.3583.877ERGAS33.04331.78831.75131.82631.79931.781SAM0.5600.1820.2600.5040.2250.170ZY3-1AG5.5477.0077.3696.6413.1783.6293.6314.8563.8244.1164.4205.0385.4034.7444.8214.5944.9894.9894.8482.7932.6862.8794.9173.3193.1483.4123.8946.6324.272ERGAS36.45011.04037.72326.63316.71910.893SAM0.3980.2300.4940.5710.2190.1794结束语本文提出了一种结合IHS和高斯滤波的SFIM算法，在 GF-2和 ZY3-1影像数据上进行了实验，与已有的5种方法进行比较，对结果进行定性分析，并结合3种类型的影像评价指标做定量分析。实验结果表明：在这2种影像数据中，Brovey影像所存在的过饱和情况在本文算法中得到了改善；在 GF-2 中，SFIM和AGSFIM影像的异常光亮点问题在本文算法中得到了解决，具备了 WT 和 AIHS 算法的优点；在ZY3-1中，虽然本文算法只有部分指标达到了最优，但与第一的算法的评价指标相差很小。总的来说，本文所提出算法能在保证融合影像光谱性能质量的同时，尽可能注入较为完整的空间信息，使其清晰度与全色影像接近。本次研究只在GF-2和ZY3-1上开展了实验，后面可以针对其他数据集和波段光谱不是包含关系的情况展开详细讨论。参考文献：1 王丽丽，刘辉，郭肇禄.图像融合在域内的算法研究进展J.计算机技术与发展，2021，31（11）：8-14.2 杨军，王筱宇.GF-2和Sentinel-2全色多光谱影像融合方法比较研究 J.测绘科学，2022，47（1）：112-120.3 黄登山，杨敏华，姚学恒，等.基于a trous小波与广义HIS变换的SAR与多光谱影像融合 J .遥感信息，2011（1）：9-13.4 刘春鹏，张伟.基于IHSNSCT多光谱图像融合算法的研究 J.农机化研究，2023，45（2）：50-55.5 阮理念，董燕.基于松鼠搜索算法与IHS变换的遥感图像融合 J.贵州大学学报（自然科学版），2022，39（2）：89-96.6 高红霞，魏涛.改进PCNN与平均能量对比度的图像融合算法 J.红外与激光工程，2022，51（4）：421-428.7HUANG D S，TANG Y L，WANG Q S.An image fusionmethod of SAR and multispectral images based on non-subsampled shearlet transform and activity measureJ.Sensors，2022，22（18）：7055-7074.8 杨彬，黄润才，王从澳.基于改进的NSCT红外可见光图像融合算法 J.计算机与现代化，2021（6）：48-53.9 余楚恒，任明武.一种基于IHS和NSST的多光谱图像融合方法 J.计算机与数字工程，2021，49（10）：2028-2032.10王海荣，郭擎，李安.波段自适应细节注入的高分五号与Sentinel-2遥感影像空谱融合 J.中国图象图形学报，2021，26（8）：1896-1909.11 林志垒，张贵成.基于改进Brovey变换的ALI影像融合算法研究 J.遥感技术与应用，2020，35（4）：893-900.12 CHOI M.A new intensity-hue-saturation fusion approach toimage fusion with a tradeoff parameter J .IEEE TransactionsonGeoscience&RemoteSensing，2006，44（6）：1672-1682.13 段延超.基于SIFT和小波变换的遥感影像配准融合算法研究 D.开封：河南大学，2019.14樊文定，李彬华，李俊武.基于小波变换与深度残差融合的图像增强算法 J.光电子 激光，2022，33（7）：715-722.15 王坤，靳晶，张庆雷，等.基于简化自适应脉冲耦合神经网络模型和非下采样剪切波变换的多模态图像融合算法研究 J.中国医学装备，2021，18（9）：1-5.16 韩阳，杨华.基于非下采样剪切波变换与显著信息加权的图像融合算法 J.科学技术与工程，2021，21（17）：7224-7229.17 ZHU X X，MONTAZERI S，ALI M，et al.Deep learningmeets SAR：Concepts，models，pitfalls，and perspectivesJ.IEEE Geoscience and Remote Sensing Magazine，2021，9（4）：143-172.18 ZHANG X C.Benchmarking and comparing multi-exposure image fusion algorithmsJ.Information Fusion，2021，74：111-131.19 LI X，LEI L，SUN Y L，et al.Multimodal bilinear fusionnetwork with second-order attention-based channel selection for land cover classificationJ.IEEE Journal of Selected Topics in Applied Earth Observations and RemoteSensing，2020，13（2）：1011-1026.20成飞飞，付志涛，黄亮，等.深度学习在光学和SAR影像融合研究进展 J.遥感学报，2022，26（9）：1744-1756.21 LIU J G.Smoothing filter-based intensity modulation：Aspectral preserve image fusion technique for improving spatial detailsJ.International Journal of Remote Sensing，2000，21（18）：3461-3472.22 RAHMANI S，STRAIT M，MERKURJEV D，et al.Anadaptive IHS pan-sharpening methodJ.Geoscience andRemote Sensing Letters，2010，7（4）：746-750.23王密，何鲁晓，程宇峰，等.自适应高斯滤波与SFIM模型相结合的全色多光谱影像融合方法 J.测绘学报，2018，47（1）：82-90.24 TU T M，SU S C，SHYU H C，et al.A new look at IHS-like image fusion methods J.Information Fusion，2001，2（3）：177-186.25 黄登山，杨敏华，姚学恒，等.顾及光谱特性的多光谱与全色影像HIS融合方法 J .测绘科学，2011，36（2）：97-100.26 黄菲.基于深度学习的遥感影像超分辨率重构研究D.湘潭：湘潭大学，2021.27 KLONUS S，EHLERS M.Image fusion using the ehlersspectral characteristics preservation algorithm J .GIScienceand Remote Sensing，2007，44（2）：93-116.28 黄登山，杨敏华，玲赵.基于DCT变换的多光谱与全色影像融合方法 J.地理与地理信息科学，2011，27（3）：17-20.76