复杂海面背景下船舶红外偏振图像融合方法_张哲卿.pdf

引用格式:张哲卿，朱志宇，魏莱，等 复杂海面背景下船舶红外偏振图像融合方法J 电光与控制，2023，30(7):68-72 ZHANG Z Q,ZHU ZY,WEI L,et al An infrared polarization image fusion method for ships in complex sea surface background J Electronics Optics Control,2023,30(7):68-72复杂海面背景下船舶红外偏振图像融合方法张哲卿1，朱志宇1，魏莱2，古静1，顾健1，臧旭1(1 江苏科技大学，江苏 镇江212000;2 中国船舶工业集团第 708 研究所，上海200000)摘要:针对海上船舶目标不清晰导致检测准确率低的问题，提出一种基于深度学习框架的船舶红外与红外偏振图像的融合方法来增强海面船舶弱目标，提高检测准确率。将源图像分为船舶轮廓部分和特征部分，轮廓部分通过加权平均策略进行融合，采用非局部均值对船舶偏振图像进行去噪;特征部分采用 VGG 网络提取，进而重建融合图像。与传统图像融合方法相比，所提方法能够保留更多的船舶红外与偏振特征，使融合后的图像信息得到增强，并在对比度和信噪比上均有较好提高，为复杂海面背景下的船舶目标检测提供新的方法。关键词:船舶红外偏振图像;VGG 网络;图像融合中图分类号:TN219文献标志码:Adoi:10 3969/j issn 1671 637X 2023 07 012An Infrared Polarization Image Fusion Method for Shipsin Complex Sea Surface BackgroundZHANG Zheqing1,ZHU Zhiyu1,WEI Lai2,GU Jing1,GU Jian1,ZANG Xu1(1 Jiangsu University of Science and Technology,Zhenjiang 212000,China;2 The 708th esearch Institute of China Shipbuilding Industry Corporation,Shanghai 200000,China)Abstract:Aiming at the problem of low detection accuracy due to unclear targets of ships at sea,this paperproposes a fusion method of ship infrared and infrared polarization images based on a deep learningframework to enhance the weak targets of ships at sea and improve the detection accuracy Firstly,the sourceimage is divided into ship contour part and feature part,and the contour part is fused by weighted averagestrategy,and the ship polarization image is denoised by using non-local mean The feature part is extractedusing VGG network,and then the fused image is reconstructed Compared with the traditional image fusionmethods,the proposed method can retain more infrared and polarization features of the ship,so that the fusedimage information is enhanced and has better contrast and signal-to-noise ratio,which provides a new methodfor ship target detection in complex sea surface backgroundKey words:ship infrared polarization images;VGG network;image fusion0引言海面船舶目标检测一直都是红外探测领域面临的难点问题，当船舶目标受到海面背景或天气影响时，目标容易淹没在背景杂波中，传统的红外探测方法具有较大的局限性。红外偏振探测作为一种新型的目标检测技术，能够获得目标的材质、结构等信息，而红外强度图像主要表现的是目标的热辐射强度信息。当船舶弱目标成像时，红外图像中目标在背景中不容易被识收稿日期:2022-05-24修回日期:2022-07-20基金项目:国家自然科学基金(61671222)作者简介:张哲卿(1997)，男，江苏无锡人，硕士生。别，但是噪声带来的影响较小，目标的轮廓比较清晰。偏振图像能根据目标与背景的偏振差异，提高目标背景对比度，但是受噪声影响较大，导致细节部分受到影响。因此，两类图像之间存在明显的相似性与互补性，利用各自的优势特点，将原始船舶红外和偏振图像进行融合，可以增强海上船舶弱目标，有利于对海面船舶目标进行分析、检测和识别1。红外偏振成像作为一种新型探测技术，不仅可以获得目标的红外辐射强度，还可以获得偏振特征信息。文献 2 将红外偏振图像通过小波包变换的方式进行灰度级融合的方法，实现了红外强度、偏振度、偏振角等信息的融合，增强图像的边缘信息，得到更多的细节特征;文献 3 针对全色遥感强度和偏振度图，将小波Vol 30No 7July 2023第 30 卷第 7 期2023 年 7 月电光与控制Electronics Optics Control张哲卿等:复杂海面背景下船舶红外偏振图像融合方法变换替换成文献 4提出的 Contourlet 变换来分解图像，根据该变换各向异性的特点，使得图像的边缘纹理特征有较好的体现;WANG 等5 在偏振角图像的预处理上，采用了引导滤波和脉冲耦合神经网络技术，结合偏振度图像得到偏振特征，并引入多尺度分析方式，综合高频部分的特征信息，从而获得丰富的图像细节。综上所述，针对海面场景中背景和船舶目标之间不同的偏振特性，利用偏振技术抑制海面背景中天气、海浪等造成的噪声影响，提高船舶目标与海面背景之间的对比度。然而，传统的偏振图像融合方法复杂度高，效果有待改善。目前常见的算法在针对轮廓信息和偏振特征信息上，均对图像采用同样的分割方法，忽略了图像本身的特点。本文通过对海面船舶红外和红外偏振图像的特征分析，采用深度学习网络进行多层特征提取，并通过多层融合策略6 进行融合，对船舶弱目标进行增强。1船舶图像融合方法首先，将源图像定义为 Ik，采集到的船舶红外和红外偏振源图像表示为 I1和 I2，使用加权平均策略来获得融合船舶图像的基础轮廓部分。由于偏振图像中受高频成分的噪声干扰比较严重，图像细节特征融合策略中需要在保证噪声干扰去除的同时不破坏图像的细节特征。传统的去噪方法无法有效去除海面船舶偏振图像中的噪声点，本文提出一种基于非局部均值的红外偏振图像去噪方法7，该方法在去噪的同时不影响图像的边缘特征。为了提取船舶图像细节，使用深度学习网络来获得图像中的深层特征，尽可能地保留船舶目标的特征信息。对于在每一层中得到的特征，采用 Softmax 算子获得权重图，利用多层融合策略生成最终的细节图像。最后将基础部分与细节内容结合得到融合图像。对于源图像 I1和 I2，船舶的基础轮廓部分 Ibk和特征部分 Idk通过图像分割8 得到，图像基础轮廓部分为Ibk=arg minIbkIkIbk2+gx*Ibk2+gy*Ibk()2(1)图像的细节特征部分为Idk=Ik Ibk(2)其中:gx=(11)，gy=(11)T，分别是水平和垂直梯度算子;经过实验对比，参数 设为 5 效果最佳。图1 所示为船舶图像融合方法，其中，船舶红外强度图像与船舶红外偏振图像表示为 I1和 I2，首先，通过求解式(1)和式(2)获得每个源图像的船舶轮廓部分 Ibk和细节特征部分 Idk，k 1，2，针对船舶轮廓部分通过加权平均策略加以融合，细节特征部分采用深度学习框架进行提取，利用多层融合策略。最后通过添加融合的船舶轮廓部分 Fb和细节特征内容 Fd来重建融合后的图像 F。图 1船舶图像融合方法Fig 1Ship image fusion method1 1基于加权平均策略的船舶源图像基础轮廓部分的融合方法从船舶红外图像和红外偏振图像中提取的基础轮廓部分包括公共特征和边缘轮廓等信息。本文选择加权平均策略进行融合，即Fb(x，y)=1Ib1(x，y)+2Ib2(x，y)(3)式中:(x，y)为图像强度在 Ib1，Ib2和 Fb中的对应位置;1和 2分别为红外图像和红外偏振图像中像素的权重值，为了保留共同特征，减少多余信息，本文对 1和2的取值均为 05。1 2基于非局部均值的船舶红外偏振图像去噪方法在以海面为背景采集的船舶红外偏振度图像中，船舶目标与海面背景的像素值差异较大，且图像中的目标易受到噪声的干扰，所以船舶图像细节特征内容的融合策略中，既要对噪声干扰进行抑制，同时还要保留住目标的细节信息。针对偏振图像的噪声问题，本文提出一种基于非局部均值的船舶红外偏振图像去噪方法。首先，判断并计算船舶红外偏振图像像素点间的相似度，在整幅图像中以块状图像搜索相似区域，再对这些区域求平均，能够去除掉船舶偏振图像中的高斯噪声和椒盐噪声。该方法的执行过程如下。设船舶红外偏振图像为 v，去噪后的偏振图像为u，u中像素点 x 处的灰度值算式为u(x)=yIw(x，y)*v(y)(4)式中:权值 w(x，y)为像素点 x 和 y 之间的相似度，通过计算以 x，y 为中心的矩形领域 V(x)，V(y)间的距离V(x)V(y)2决定。其中w(x，y)=1Z(x)(expV(x)V(y)2h)2(5)V(x)V(y)2=1d21zdsv(x+z)v(y+z)2(6)Z(x)=y(expV(x)V(y)2h)2(7)96第 7 期式中:Z(x)为归一化系数;d1为领域窗口大小;h 为平滑参数，h 越大，去噪程度越强，但会造成图像模糊，h越小，原图像边缘细节得到较好的保留，但会导致噪声点去除效果较差。在本文中通过多次去噪实验，h 的设定值为 10，既能保留船舶偏振图像的边缘细节，又能较好地完成去噪。1 3基于 VGG19 和多层融合策略的船舶图像细节内容融合对于船舶目标细节部分 Id1和 Id2，本文提出一种新的融合策略，采用 VGG 网络提取深度特征，再通过多层融合策略对图像进行重构，此过程如图 2 所示。图 2细节内容融合流程Fig 2Fusion process of detailed content图3 所示为本文使用 VGG199 网络提取的深层特征。然后通过 Softmax 算子获得权重图，最后利用这些权重图通过多层融合策略重建融合后的细节特征内容。图 3VGG19 网络提取深层特征Fig 3Extracting deep features by VGG19 network在 VGG19 网络中，池运营的步幅为 2，因此，在不同的图层中，特征图像的大小是细节图像内容的1/2i 1，其中，i 1，2，3，4，表示 4 个 eLU 层，通过上采样操作符将初始权重图大小调整为输入的细节特征内容大小，得到最终的权重映射图。将得到的 4 组权重映射图通过加权和最大选择策略得到最好的细节特征部分的融合结果 Fd。一旦获得融合的细节内容 Fd，与融合的基础轮廓部分 Fb一起来重建最终的融合图像，即F(x，y)=Fb(x，y)+Fd(x，y)。(8)2船舶红外图像和红外偏振图像融合算法流程本文以最大限度保留船舶红外图像与红外偏振图像中的细节特征内容为目的，将二者进行融合，进而增强船舶目标。基于深度学习的船舶红外与红外偏振图像的融合算法流程如下。1)图像分解:将源图像进行分解，获得基础轮廓部分 Ibk和细节特征内容 Idk。2)船舶基础轮廓部分融合:通过加权平均策略对船舶轮廓部分进行融合，权重值设置为 0 5。3)偏振图像去噪:通过非局部均值的方法对船舶红外偏振图像进行整体去噪。4)船舶细节特征部分融合:通过 VGG 网络深度提取船舶特征和偏振特征，采用多层融合策略获得融合后的细节内容。5)重建融合图像:结合已获得的船舶基础轮廓融合部分 Fb和细节特征融合部分 Fd，得到最后的融合图像 F。3仿真实验本文所有融合算法均在 Matlab 2018b 中，230 GHzIntelCoreTMi7-10875H CPU 和16 GiB AM 上实现。本实验采用图 4 中两种海面场景下的船舶目标图像。图 4(a)场景 1 的对象是单一小型船舶目标，图 4(a)中，与船舶目标距离较近，所以获得的图像轮廓明显且细节特征丰富;图 4(b)场景 2 的对象是海面多个船舶目标，图 4(b)中包含多个船舶目标，更加多样化，可以验证本文算法的通用性。图 4目标红外强度图像Fig 4Target infrared intensity image由于偏振角图像对海面上船舶目标的朝向有一定的敏感性，因此选择更有效可靠的偏振度图像进行融合，增强船舶弱目标，提高海面船舶目标识别和检测的准确率。为了使融合后的图像对船舶目标具有更好的增强效果，融合之前先对偏振度图像进行逆运算处理，即Ps=1 P min(P)max(P)min(P)(9)式中:P 为偏振度图像;Ps为求逆运算后的偏振度图像。采用 VGG19 网络及多层融合策略对获得的图像进行融合，融合结果如图 5 所示。融合结果显示:重建融合后的图像，在各方面都有07第 30 卷电光与控制张哲卿等:复杂海面背景下船舶红外偏振图像融合方法提高，船舶目标很容易从场景中分离出来，并且图像中的噪声干扰较小。图 5融合结果图Fig 5Fusion result本文采用对比度和信噪比评价指标对所有图像质量进行定量评价，如表 1 所示，对比度 C 反映图像中目标画质的清晰程度，信噪比 S，N通过将融合后的图像和原图像进行误差统计，得到融合后图像的质量评价。C=T BT+B(10)S，N=T BB(11)g=L1g=0(g )2 p(g)(12)式中:为图像的均值;下标 B 表示海面背景;下标 T表示船舶目标;g 代表图像中每个像素的灰度值;p(g)表示灰度等级为 g 的像素数与图像总像素数之比;L为 0 255的灰度等级。表 1图像评价指标比较Table 1Comparison of image evaluation indexes不同场景评价指标 红外强度图像 偏振度图像融合图像小型船舶目标C009520 327104462S，N/dB595056 503485278船舶多目标C011750 289705465S，N/dB15113317 2181236532评价结果显示，融合后的图像与原始红外强度图像和偏振度图像对比，在对比度和信噪比上均有明显提升，从而验证了本文算法针对复杂海面背景下船舶目标增强的有效性。4与其他融合算法的比较分析为了验证本文融合算法对图像的增强效果，将该算法与目前常见的拉普拉斯金字塔变换(LP)10 方法、离散小波变换(DWT)11 方法、非下采样轮廓波变换(NS-CT)12 算法、基于主成分分析的轮廓变换(CT-PCA)13 算法和基于模糊判据的支持度变换算法(SVT-F)14 进行对比。将获得的船舶红外和偏振图像通过以上算法进行融合，融合结果如图 6 所示。实验结果表明，对于海面背景下船舶红外目标场景，LP，DWT，NSCT 算法的融合图像在背景与目标之间的对比度没有得到有效提高，而且船舶特征不明显。图 6不同算法融合结果对比Fig 6Comparison of fusion results ofdifferent methodsCT-PCA 和 SVT-F 在图像融合后的视觉效果和图像质量上有了一定的提高。然而，CT-PCA 和 SVT-F 算法在红外图像与可见光图像的融合上表现出较好的效果，但是并不适用于海面船舶红外和偏振图像的融合。对比结果表明，CT-PCA 算法能有效提高图像中船舶目标的对比度，但是融合后的图像仍存在一定的噪声干扰;SVT-F 算法能将两种图像较好地进行融合，但是图像中的目标并不能在背景中有明显的凸显效果。本文提出的融合算法在海面背景下的船舶红外与偏振图像的融合上有着更好的效果。这是因为，本文采用的算法针对源图像的基础部分保留了基本语义信息，通过非局部均值的算法对船舶红外偏振图像进行去噪，使用 VGG 网络进行特征提取并融合，将这两部分结合得到最终的融合图像。实验结果表明，该算法在针对复杂海面背景下的船舶红外和偏振图像的融合有着较好的效果，使融合的两类图像各自的特点得以保留，并且在算法运行速度上也有一定的优势。不同融合算法下融合图像评价指标比较如表 2 所示。17第 7 期表 2不同融合算法下融合图像评价指标比较Table 2Comparison of evaluation indexes of fusedimages under different fusion methods场景 评价指标LPDWTNSCT CT-PCA SVT-F本文算法场景1C02103 02137 02124 03537 03448 04462S，N/dB63004 62994 62972 72714 73081 85278时间/s02503 02405 02332 06804 05624 02164场景2C02056 02241 02331 03038 03019 05465S，N/dB 162781 163513 167842 192181 195023 236532时间/s02885 02847 02965 14926 07426 026515结论本文针对海面背景下船舶弱目标增强提出一种基于 VGG 网络的船舶红外和红外偏振图像融合方法。利用船舶目标与背景之间偏振特征的差异性，将获得的红外图像和偏振图像融合，可以增强海上船舶弱目标。该方法针对海面背景下的船舶红外和红外偏振图像的融合具有先进的性能，与传统算法相比有较大的提升，既保留了源图像中的细节部分，同时又能融入偏振特征，图像的对比度和信噪比均得到了增强，为解决海面背景下的船舶目标检测提供了新思路。参 考 文 献 1 张景华 基于红外偏振信息的海面杂波抑制及舰船目标识别技术 D 长沙:国防科技大学，2018 2 陈伟力，王霞，金伟其，等 基于小波包变换的中波红外偏振图像融合研究J 北京理工大学学报，2011，31(5):578-582 3 付奎 基于非下采样 Contourlet 变换的遥感图像融合算法研究 D 合肥:安徽大学，2015 4PO D D Y,DO M N Directional multiscale modeling ofimages using the contourlet transform J IEEE Transac-tions on Image Processing,2006,15(6):1610-1620 5 WANG S F,MENG J,ZHOU Y,et al Polarization image fu-sion algorithm using NSCT and CNN J Journal of us-sian Laser esearch,2021,42:443-452 6 LI H,WU X J,KITTLE J Infrared and visible image fu-sion using a deep learning frameworkC/The 24th In-ternational Conference on Pattern ecognition(ICP)Beijing:IEEE,2018:2705-2710 7 李方舟，赵耀宏，向伟，等 基于改进非局部均值的红外图像混合噪声去除方法 J 红外与激光工程，2019，48(增刊1):169-179 8 LI S T,KANG X D,HU J W Image fusion with guided filter-ingJ IEEE Transactions on Image Processing,2013,22(7):2864-2875 9AJANGAM V,SANGEETHA N,KATHIK,et al Per-formance analysis of VGG19 deep learning network basedbrain image fusion M/ALEX N J,VIJAYALAKSHMIG V M,UBAN N Handbook of research on deep learn-ing-based image analysis under constrained and uncon-strained environments Hershey:IGI Global,2021:145-166 10 汪玉美，陈代梅，赵根保 基于目标提取与拉普拉斯变换的红外和可见光图像融合算法 J 激光与光电子学进展，2017，54(1):104-112 11 杨风暴，董安冉，张雷，等 DWT、NSCT 和改进 PCA 协同组合红外偏振图像融合J 红外技术，2017，39(3):201-208 12 段琳锋，侯新国，胡致远 NSCT 轮廓与主方向一致性红外与可见光图像配准J 电光与控制，2022，29(6):1-5 13 李贺，刘磊，岳超，等 一种改进的基于多尺度变换的红外和可见光图像融合算法J 半导体光电，2016，37(4):573-579 14YANG F,WEI H Fusion of infrared polarization and in-tensity images using support value transform and fuzzycombination rulesJ Infrared Physics Technology,2013,60:235-24327第 30 卷电光与控制