基于频域残差及局部协方差的红外弱小目标检测.pdf

第4 5卷第2 3期2023年12 月舰船科学技术SHIP SCIENCEAND TECHNOLOGYVol.45,No.23Dec.,2023基于频域残差及局部协方差的红外弱小目标检测李栋(江苏自动化研究所，江苏连云港2 2 2 0 6 1)摘要：在复杂背景及强噪声干扰的场景中，红外小目标因其尺寸小、信号弱、缺乏文理特征等特点，极易没在背景和噪声中，导致检测虚警率高、算法复杂、计算量大等问题。为此，本文提出一种基于频域残差及局部协方差的红外弱小目标检测方法。首先，通过频域残差计算红外图像的显著图，以获得目标可能存在的区域。然后，在此区域内利用局部协方差检测方法做识别。最后，通过自适应阈值分割得到真实目标。对不同复杂背景的红外图像进行小目标检测实验，结果表明，与传统检测算法相比，该算法在不同场景下都能有效抑制背景和噪声，准确检测目标，且满足实时性要求。关键词：目标检测；频域残差；局部协方差检测；显著性检测；自适应阈值中图分类号：TP391.4文章编号：16 7 2-7 6 4 9(2 0 2 3)2 3-0 139-0 6Infrared dim small target detection based on spectral residuals and local covarianceAbstract:In complex scenes,the infrared small target can be lost in the background and noise easily,due to features ofsmall size,weak signal,lack of texture,resulting in high false alarm detection rate,complex algorithm,large amount of cal-culation and other problems.We present an infrared dim small target detection method based on spectral residuals and localcovariance.Firstly,the saliency map can be obtained by calculating the spectral residuals of the original infrared images,which can obtain the possible region of the target.Secondly,the local covariance detection method can be used for identifica-tion in this area.Finally,the small target can be detected by adaptive threshold segmentation method.Experimental results in-dicate that compared with traditional detection algorithms,the proposed algorithm can effectively suppress background andnoise in different scenes,accurately detect targets,and meet the real-time requirements.Key words:target detection;spectral residual;local covariance detection;detection of significance;adaptivethreshold0引言随着红外探测技术的快速发展，红外目标检测逐渐成为预警、侦察、精确制导等军事领域的核心技术之一。由于成像距离远、大气辐射干扰等因素的影响，红外目标通常呈现成像面积小、形态信息低、纹理特征不明显等小目标的特性，且信噪比较低，极易被复杂的背景、噪声及杂波等淹没。因此，在复杂环境下实现红外弱小目标检测，且保证识别低虚警率、算法低复杂度，仍是具有挑战性的课题之一。近年来，国内外学者陆续提出了多种红外弱小目标检测算法。Chen等I受到人类视觉系统（HumanVisual System,HVS）的启发，提出一种经典的局部对收稿日期：2 0 2 2-12-0 2作者简介：李栋（198 8），男，硕士，高级工程师，从事目标识别、综合指控研究。文献标识码：ALI Dong(Jiangsu Automation Research Institute,Lianyungang 222061,China)比度量测方法（Local Contrast Measure,LCM），通过计算目标区域和局部邻域在不同尺度下的对比度以获得显著图，从而增强目标的信噪比。但是该算法容易出现“膨胀效应”，且对背景和噪声的抑制效果有限，特别容易受到高亮噪声影响，且不同尺度的重复计算也大大增加了检测时间。Wu等2 提出一种双邻域梯度算法（Double Neighborhood Gradient Method,DNGM),通过采用固定大小的3层窗口对整幅图像进行遍历，实现对不同尺寸的目标进行检测。该算法能够改善“膨胀效应”，且避免多尺度重复计算导致计算复杂，但是该算法在复杂的背景下仍然具有较高的虚警率。Wang等3 首先采用高斯差分（DifferenceofGaussi-an,DOG）滤波来提高目标的对比度，然后将红外图像doi:10.3404/j.issn.1672-7649.2023.23.024140划分为多个子块，并在子块中寻找疑似目标的区域再进行识别。该算法可以有效缩短识别的时间，但是对于背景亮度高于目标区域的情况下，难以检测出目标，导致虚警率高。本文为解决在复杂背景下虚警率高、实时性差等问题，提出一种基于频域残差及局部协方差的红外弱小目标检测方法，利用目标区域的灰度分布和相邻背景的差异，通过频域残差的方法计算红外图像的显著图，获得目标可能存在的显著区域。然后，利用小目标近似于二维高斯分布的特点，基于目标边缘像素与中心像素的距离和灰度差的负相关关系，在显著区域内采用局部协方差检测方法做识别。最后，通过自适应阈值分割得到真实目标。本文通过对不同场景的红外图像进行弱小目标检测实验，结果表明，本文算法能够有效抑制背景、噪声、杂波等干扰，快速、精确检测出目标，且运行简单，实时性好。1算法原理在远距离成像的红外图像中，红外弱小目标在图像中成像面积小、信噪比低，缺乏颜色和纹理等特征。另外，小目标与其相邻的背景区域是不连续的，而背景与其相邻的区域一致。同时，鉴于红外弱小目标一般呈中心灰度值高、四周低的特点，而背景区域灰度一般呈均匀分布。因此，本文依据目标区域与相邻背景的灰度分布差异以及目标本身的分布特点，采用频域残差的方法计算出红外图像的显著图，以获得含有小目标及部分噪声的显著区域；然后通过局部协方差检测方法得到协方差显著图。最后采用自适应阈值分割方法获得小目标区域，并输出小目标位置信息。基于频域残差及局部协方差的红外弱小目标检测流程如图1所示。原始图像傅里叶变换振幅谱相位谱高斯滤波频域残差计算每个子块距离和灰度差的协防差，获得协方差显著图包含目标及部分噪声的显著区域划分为若干子块图1红外弱小目标检测流程原理图Fig.1 Schematic of infrared small target detection process1.1基于频域残差的显著区域提取视觉显著性主要依据人类视觉系统（HumanVisu-al System,HVS）的对比度机制，能够抑制视觉中的穴舰船科学技术余信息，而对奇异部分异常敏感，即抑制全局中重复、多次出现的背景等特征，突出局部个别较显著的目标、噪声等特征。在红外图像中，红外弱小目标、背景、噪声和杂波等分布符合上述特征，即小目标较其领域是显著的，且显著区域还包括噪声、杂波等突出部分。频域残差法4 是众多显著性检测方法中较为简单有效的方法，主要采用红外图像的对数幅度谱代表红外图像的信息，对数幅度谱经过均值滤波的部分代表红外图像的余信息，将红外图像的信息与穴余信息做差即得到显著区域。若给定红外图像为I(x,y)，则显著图S(x,y)为：A(u,vV)=FFT(I(x,y)l,P(u,v)=Pha(FFT(I(x,y),R(u,v)=log(A(u,v)-h(u,v)*log(A(u,v),S(x,)=G(x,y)*IFFT(exp(R(u,v)+iP(u,v)2。(4)其中：A(u,vV)和P(u,v)分别为红外图像的幅度谱和相位谱；R(u,v)和S(x,y)分别为频域残差和显著性图像；G(x,y)和h(u,v)分别为高斯滤波器和均值。频域残差法仅对红外图像进行高斯滤波、傅里叶变换及逆变换等运算，其计算量较小，实时性较好。但是，对于背景复杂、噪声强烈的红外图像，经过频域残差处理后，难以较好抑制背景和噪声等干扰，仍需做进一步识别处理，以精确检测出目标。本文将原始红外图像和相应显著图相结合，以提取含有目标的显著区域。具体步骤为：在显著图中，从做到右、从上到下逐个扫描每个像素，然后将相应的潜在目标点映射到原始红外图像中，并在原始红外使用nxn滑窗在图像中以此点为中心构建一个nxn大小的窗口，即可每个子块中滑动提取显著区域（疑似目标区域）。图2 为包含红外弱计算每个子块每个像素到中心像素距离均值及灰度差均值自适应阅值分割检测小目标第4 5卷(1)(2)(3)小目标的图像及相应的显著区域提取结果。其中，图2（al）和图2（a2）的背景较简单，噪声、杂波等也比较弱，从而背景等干扰抑制较好，提取的显著区域较为精确。而图2（a3）的背景较为复杂，云层边缘比较较强烈，提取的显著区域含有较多背景残留和噪声等干扰。因此，针对背景复杂、干扰强烈等的图像，需要经过进一步的识别，才能准确检测出红外弱小目标。1.2基于局部协方差的目标检测频域残差法虽然能够抑制大部分背景，但是提取的显著区域除了包含目标，还可能含有强噪声点、强起伏背景等干扰。鉴于红外弱小目标通常是各向均匀第4 5卷李栋：基于频域残差及局部协方差的红外弱小目标检测:1410.90.80.70.60.50.40.30.21501005000(al)原始图像(b1)原始灰度响应图1.0目标90.80.70.60.50.41501005000(a2)原始图像(b2)原始灰度响应图1.0目标0.80.60.40.201501005000(a3)原始图像(b3)原始灰度响应图图2 红外图像及相应的显著区域提取结果Fig.2 Infrared images and corresponding salient regions extraction results扩散的，呈现灰度值中心高、周围低的近似二维高斯分布，目标的边缘与中心像素之间的距离和灰度差具有负相关关系。相对于目标，背景在局部区域灰度值一般呈均匀的近似均值分布，其距离和灰度差的相关性不强。因此，利用红外小目标和背景的自身特点，通过计算红外弱小目标的边缘与中心像素之间的距离和灰度差，然后再计算上述距离和灰度差的协方差，以获得协方差显著图。在提取的显著区域内，构建大小为55的局部滑动窗口，自左向右，自上向下分别在显著区域内滑动，在疑似目标区域内计算滑动窗口内每个边缘像素到中心像素之间的距离和灰度差的协方差，得到滑动窗口的协方差系数作为滑动窗口中心像素的值。最后，将每个滑动窗口的协方差系数经过归一化处理后，即可得到协方差显著图。具体方法如下：(22m-mg+0-m)/5Dis=(m=1 n=1D=(m=1n=1目标150501001505010050100/50200(N-1),(5)55(cl)显著图(c2)显著图(c3)显著图Cov(Dis,GD)=-(I-m-GD)Cov_w(Dis,GD)=GDCov(Dis,GD),Cov(Dis,GD)O,Dis0,其中：m，n 分别为滑动窗口内像素的坐标；m和n分别为滑动窗口像素坐标的均值；Imn为在坐标(m,n)处对应像素的灰度值；I为滑动窗口内的中心像素点的灰度值；N为滑动窗口内的像素个数；Dis和GD分别为滑动窗口内边缘像素到中心像素之间的距离均值和灰度差均值；Cov(Dis,GD)和Cov_w(Dis,GD)分别为滑动窗口中心点的协方差及其协方差系数；Dis和GD分别为滑动窗口中心点与边缘像素点的距离和灰度差；GD/Dis为协方差的权重系数，滑动窗口灰度分布越接近高斯分布，越可能是真实目标，权重越大。如图3所示，由协方差显著图及其三维图能够看(N-1),(6)(d1)显著区域(d2)显著区域(d3)显著区域m=1/(N-1),otherwise。出，红外弱小目标区域得到了增强且背景、噪声等得到较好抑制。(7)(8):142舰船科学技术目标0.7第4 5卷1005000(a)图像(d1)的协方差显著图(b)灰度三维图标1.00.80.60.40.2101005000(c)图像(d2)的协方差显著图(d)灰度三维图1.0标0.80.60.40.21501005000(e)图像(d3)的协方差显著图()灰度三维图图3协方差显著图及其三维图Fig.3Covariance Salient maps and gray response maps1.3红外弱小目标提取由得到的协方差显著图可知，协方差显著图中亮度越高，则此处为目标的可能性越大。因此，借鉴统计学中的3c准则5，采用自适应阈值分割算法对协方差显著图进行阈值分割，以提取红外弱小目标。分割阅值采的计算公式如下：Th=s+kxOso其中：Th为协方差显著图的分割值；,和s分别为协方差显著图的均值和标准差，k为分割系数，一般取值范围为7,12 。图4 经过本文算法处理过得到的阈值分割结果。可以看出，本文算法能够有效凸显目标，抑制背景、噪声及杂波，精确提取红外弱小目标。2实验及分析2.1实实验数据与评估标准为了验证本文提出的红外弱小目标检测算法的有效性，选取4 幅不同场景的真实红外图像进行实验，如图5所示。其中，测试图像1为包含大面积山体干扰的陆地背景；测试图像2 为包含有大量杂波的海面背景；测试图像3为包含有较多云层的天空背景，目标只占极少像素点；测试图像4 为包含有大量云层的150100501501005050(9)(a)图像(al)检测结果Fig.4 Detection results of image(a)Scene 1(b)Scene 3(c)Scene5(d)Scene6图5四种测试场景的真实图像Fig.5 Real images under four scenes天空背景，且信噪比较低。为了进一步衡量本文红外弱小目标检测算法的有效性，采用信杂比增益（Signal to Clutters Ratio Gain，SCRG）和背景抑制系数（Background SuppressionFactor,BSF）来评估算法的性能6-7 。其中，信杂比增益SCRG用来评价在算法处理后目标增强的程度，背景抑制系数BSF用来评价在算法处理后抑制背景的能力。信杂比增益SCRG和背景抑制系数BSF的值越大，则说明目标增强程度和背景抑制效果越好。信杂比增益为处理后的输出图像信杂比与输入图像信杂比的比值，其表达式如下：SCRoutSCRG=SCRin式中：SCRin为原始输入图像的信杂比；SCRout为经过算法处理后输出图像的信杂比。信杂比的表达式如下：SCR=式中：T为目标的灰度值；B为整幅图像的灰度平均值；为图像的平均方差。背景抑制系数反映算法对背景的抑制程度，其表达式如下：(b)图像(a2)检测结果(c)图像(a3)检测结果图4 图像检测结果T-B(10)(11)第4 5卷式中：Qin和out分别代表原始输人图像和经过算法处理后输出图像的标准差。2.2实实验结果与对比分析在实验中，将本文所提算法与局部对比度（LCM）算法、形态学（TopHat）算法8 、双边滤波（BF）算目标目标15811005000Scene1李栋：基于频域残差及局部协方差的红外弱小目标检测inBSF=out20010015050:143(12)法9 和基于小波变换识别算法10 1进行对比。图6 为4种不同场景下各种算法计算的显著图，采用三维方式显示，并采用箭头标识检测结果。图6（a）为本位算法得到的检测结果，很容易可以看出，背景和噪声得到有效抑制，目标显著突出；图6（b）为LCM算法得到的检测结果，在背景杂波较大的海面背景（测试图像2）下的目标和云层较多的天空背景（测自标1.0元0.80.60.40.20400150,10050005010/50200250Scene2(a)Results of the proposed algorithm0.250.200.150.100.05500150300100200元500050Scene3Scene4目标1001501.00.80.60.40.21581005000Scenel1.00.80.60.40.201501005000日标50100150标0.80.60.40.2158150100501001.00.80.60.40.2200150100500050100/50200250Scene2(b)Results of LCM1.0标500050100150目标1.00.80.60.40.2200150100.5000.50 1001500250158Scene3标1.00.80.60.40.20400300200,日标1.00.80.60.40.2100500050Scene41.00.80.60.40.20150100500050100150150100自标Scene1目标1.00.80.60.40.2150100500050Scene11.00.80.60.40.201501005000Scene1Scene2(c)Results of TopHat目标1.00.80.60.40.22001001501.0日标0.80.60.40.2020015010015050100Scene31.00.80.60.40.202504000300200,01501000.001000000Scene2Scene3(d)Results of BF目标1.00.80.60.40.204003000200000000000-00Scene2Scene3(e)Results of wavelet transform图6 四种测试场景下不同算法的检测结果Fig.6 The results of different algorithms under four scenesScene41.0自标0.80.60.40.2150100500050Scene4自标1.00.80.60.40.2150100500050Scene4150100目标150100144试图像3）下，难以检测出小目标，且其他检测出的目标比真实目标面积偏大。图6（c）为TopHat算法得到的检测结果，对于背景复杂、噪声较大、低信杂比的场景，对背景抑制、目标增强的效果较差。图6（d）和图6（e）分别为BF算法和基于小波变换识别算法得到的检测结果，目标得到增强，但是增强效果不明显，且背景抑制效果较差。可以看出，与其他算法相比，本文算法对多种复杂场景下的红外弱小目标图像均能够有效抑制背景、杂波等干扰，且准确检测出目标。表1和表2 分别为本文算法与对比算法的信杂比增益SCRG和背景抑制系数BSF。可以清楚看出，本文算法在复杂、强干扰、低信杂比等场景下，目标增强和背景抑制均为最优的。表1不同算法的信杂比增益SCRGTab.1 SCRG of different algorithmsAlgorithmLCMTopHatProposedScene137.595Scene225.795Scene3687.054Scene 448.150表2 不同算法的背景抑制系数BSFTab.2BSF of different algorithmsAlgorithmProposedLCMTopHatScene134.761Scene 218.099Scene3181.974Scene 433.5993结语本文针对在复杂背景下红外弱小目标检测存在虚警率高、实时性差等问题，提出了一种基于频域残差及局部协方差的红外弱小目标检测方法，综合利用目标区域的灰度分布和相邻背景的差异以及基于目标边缘像素与中心像素的距离、灰度差的负相关关系等特点，先通过频域残差方法计算红外图像的显著图，以舰船科学技术获得目标可能存在的区域，然后在此区域内利用局部协方差检测方法进行目标识别与提取。实验结果表明，本文算法具有较大的信杂比增益SCRG和背景抑制系数BSF，能够有效抑制背景、噪声、杂波等干扰，快速、精确检测出目标，且运行简单，实时性好。参考文献：1 CHEN C P,LI H,WEI Y T,et al.A local contrast method forsmall infrared target detectionJ.IEEE Transactions on Geo-science and Remote Sensing,2014,52(1):574-581,2 WU L,MA Y,FAN F,et al.A double neighborhood gradientmethod for infrared small target detectionJ.IEEE Geoscuenceand Remote Sensing Letters,2021,18(8):1476-1480.3 WANG X,LV G E,XU L Z.Infrared dim target detectionbased on visual attentionJ.Infrared Physics&Technology,2012,55(6):513512.4 HOU X D,ZHANG L Q.Saliency detection:a spectral residu-al approachJ.IEEE Conference on Computer Vision and Pat-BFwavelet transform1.2974.0771.0414.6931.27027.2541.5819.38412.8331.0412.9380.8533.3161.05910.7084.9013.244第4 5卷tern Recognition,2007,800:1-8.1.4990.8681.3341.2991.6371.6071.448BFwavelet transform1.4640.9341.1041.0971.2051.3090.8550.6895黄敏,鲍苏苏，邱文超.基于可见光下双目视觉的手术导航研究与仿真J.机器人,2 0 14,36(4):4 6 1-4 6 8,4 7 6.HUANG M,BAO S S,QIU W C.Study and simulation of sur-gical navigation based on binocular vision under visiblelightJ.Robot,2014,36(4):461-468,476.6 NIE J Y,QU S C,WEI Y T,et al.An infrared small target de-tection method based on multiscale local homogeneity mea-sureJJ.Infrared Physics&Technology,2018,90:186-194.7 GUY F,WANG C,LIU B X,et al.A kernel-based nonpara-metric regression method for clutter removal in infrared small-target detection applicationsJ.IEEE Geoscuence and RemoteSensing Letters,2010,7(3):469-473.8 TOM V T,PELI T,LEUNG M,et al.Morphology based algo-rithm for point target detection in infrared backgroundsJ.Pro-ceeding.SPIE,1993,1954:25-32.【9】李凡，刘上乾，秦翰林.自适应双边滤波红外弱小目标检测方法.光子学报,2 0 10,39(6):112 9-1131.LI F,LIU S Q,QING H L.Dim infrared targets detectionbased on adaptive bilateral filteringJ.Acta Photonica Sinica,2010,39(6):1129-1131.10张晓露，李玲，辛云宏.基于小波变换的自适应多模红外小目标检测.激光与红外,2 0 17,4 7(5)：6 4 7-6 52.ZHANG X L,LI L,XIN Y H.Adaptive multi-mode infraredsmall target detection based on wavelet transformJj.Laser&Infrared,2017,47(5):647-652.