红外影像奇偶元条纹噪声自适应去除算法.pdf

第 44 卷 第 3 期航天返回与遥感 2023 年 6 月 SPACECRAFT RECOVERY&REMOTE SENSING 79 收稿日期：2022-05-24 引用格式：李岩.红外影像奇偶元条纹噪声自适应去除算法J.航天返回与遥感,2023,44(3):79-84.LI Yan.An Adaptive Algorithm for Eliminating Odd-Even Stripe Noise in Infrared ImageJ.Spacecraft Recovery&Remote Sensing,2023,44(3):79-84.(in Chinese)红外影像奇偶元条纹噪声自适应去除算法 李岩（北京空间机电研究所，北京 100094）摘 要 由于工艺原因，TDI 型红外探测器的光敏元均为交错分布，奇偶元响应输出均是基于不同的通道，这样导致某些 TDI 红外探测器图像上一些位置仍残留有奇偶元条纹噪声，该噪声不仅影响目视效果，也影响后续的定量应用。文章针对该奇偶元条纹噪声提出一种自适应的条纹噪声去除算法，此方法不仅可以自适应地检测出奇偶元条纹噪声并进行去除，也可以对闪元噪声进行有效检测及去除；最后，基于在轨图像进行了算法的验证，试验结果表明该算法可以有效的去除奇偶元条纹噪声。关键词 红外探测器 自适应 奇偶元 条纹噪声去除 中图分类号:X87 文献标志码:A 文章编号:1009-8518(2023)03-0079-06 DOI:10.3969/j.issn.1009-8518.2023.03.009 An Adaptive Algorithm for Eliminating Odd-Even Stripe Noise in Infrared Image LI Yan（Beijing Institute of Space Mechanics&Electricity,Beijing 100094,China）Abstract The elements of the TDI array infrared detector are staggered distribution because of the technical reason.The output of odd and even elements is from different channels.Odd-even stripe noise was found in some images because of the odd-even output from different channels.The odd-even stripe noise not only affects the visual effect,but also affects the quantitative application.A new adaptive algorithm was proposed to eliminate the odd-even stripe noise.This algorithm could detect and remove the odd-even stripe noise adaptively.It also could detect and remove the flash noise effectively.Finally,the algorithm is verified based on the on-orbit image,and the experimental results show that the algorithm can effectively remove the odd-even stripe noise.Keywords infrared detector;adaptive algorithm;odd and even elements;stripe noise removal 0 引言 时间延迟积分（TDI）型红外探测器作为第二代红外探测器，具有更高的空间分辨率和温度灵敏度。目前 TDI 型红外探测器大多采用光伏型碲镉汞扫描焦平面阵列，阵列类型主要有 2884、4806、5126、1 0246 等1-5。图 1 所示即为典型的 1 0246 阵列的 TDI 型红外器件的奇偶元分布，该器件的光敏元是交错排列，所有的像元分成奇偶像元两部分，上半部分为奇数像元（1,3,5,1 021,1 023），下半部分为偶数像元（2,4,6,1 022,1 024），无论奇数元还是偶数元都由 6 个光敏元组成，可完成 6 级 TDI 输出6-7。80 航 天 返 回 与 遥 感 2023 年第 44 卷 由于 TDI 型长波红外探测器的光敏元为交错排列，奇数像元和偶数像元对地面同一目标的成像时间是不同的，一般情况下奇数像元先成像，偶数像元后成像，这就会导致图像上奇数列和偶数列的图像交错分布，即同一目标的图像其奇偶像元不在一条直线，需要对探测器输出的图像数据进行空间校正，使奇偶像元在同一条直线上8-9。但是奇、偶元由两个不同的通道输出，由于输出电路设计等原因，对奇偶元的图像进行空间校正后在某些位置仍有明显的奇偶元条纹噪声。以往所提的奇偶元条纹噪声指的是出现在图像所有行的奇偶元条纹噪声，经典的奇偶元条纹噪声去除方法也是针对该类贯穿所有行的条纹噪声。本文所提的奇偶元条纹噪声并非出现在图像所有的位置，而是主要集中在图像灰度变化较大的地方，这就导致经典的奇偶元条纹去除方法不再适用于该类噪声的去除10-11。针对这一情况，本文针对提出一种自适应的噪声检测去除方法，并基于在轨图像对算法进行验证。1 奇偶元条纹噪声分析 在对奇偶元条纹噪声进行去除前，需要先对该类噪声的特性进行分析，统计该奇偶元噪声的特性并总结其规律，为后续的检测和去除奠定基础。对多次成像的奇偶元条纹进行统计分析发现，奇偶元条纹噪声有如下特点：1）奇偶元条纹噪声主要集中在沿着卫星飞行方向灰度有亮暗变化的位置，在地物平坦的区域无奇偶元条纹噪声。如图 2 所示，左侧为海岸带及低温云周围的奇偶元条纹噪声，右侧为山区的奇偶元条纹噪声，在响应比较均匀的地区无奇偶元噪声。2）奇偶元条纹的长度大约固定为 12 个像元，如图3 所示。3）奇偶像元条纹噪声在不同地区的表现不同，有的为亮条纹噪声，有的为暗条纹噪声，并且亮暗条纹噪声是交替的，即亮条纹噪声和暗条纹噪声出现在相邻的像元上面。如图 3 所示，虚线框内为暗条纹噪声，真实响应为其中响应较高的部分；实线框内为亮条纹噪声，真实响应为其中响应较低的部分。在处理过程中发现除了存在奇偶元条纹噪声，偶尔还会出现闪元噪声，如图 4 所示。出现该类噪声的像元有时响应正常，有时响应异常，如果按照固定位置的盲元噪声去除则会损失地物信息，所以有必要对该类噪声也进行实时检测并加以去除。图 2 不同场景的奇偶元条纹示意 Fig.2 The different images of odd-even stripes 图 1 奇偶元分布示意 Fig.1 The distribution of odd and even elements 第 3 期 李岩:红外影像奇偶元条纹噪声自适应去除算法 81 图 3 亮暗奇偶元条纹噪声示意 图 4 闪元噪声示意 Fig.3 The images of bright and dark odd-even stripesFig.4 The images with flash noise 2 奇偶元条纹噪声自适应去除算法 基于上述分析，本文提出一种自适应的奇偶元条纹去除算法，该算法的具体流程如下：1）奇偶元差异检测。奇偶元条纹主要集中分布在地物有亮暗变化的位置，在地物响应比较平坦的地区并无奇偶元条纹。因此，若要去除这些奇偶元条纹，首先需要检测出存在奇偶元条纹的区域。由于地物的连续性，相邻像元的响应有一定的相关性，一般的盲元补偿也采用相邻两个像元响应的均值替换12-16，本文的奇偶元条纹检测也基于相邻像元响应特性进行。利用式（1）和式（2）计算偶数元均值响应 G1和奇数元均值响应 G2，再基于式（3）和式（4）计算偶数元差值响应 C1和奇数元差值响应 C2。1(,1)(,1)/2(,)(,)F i jF i jG i jF i j 2,4,6,21,3,5,1jNjN（1）2(,)(,)(,1)(,1)/2F i jG i jF i jF i j 2,4,6,1,3,5,1jNjN（2）11(,)(,)(,)C i jG i jF i j（3）22(,)(,)(,)C i jG i jF i j（4）其中，(,)F i j为原始图像F第i行第j列的DN值，i=1,2,3,M，j=1,2,3,N，其中M为图像行数，N为图像列数；1(,)G i j、2(,)G i j为偶数元和奇数元均值响应第i行第j列的DN值；1(,)C i j、2(,)C i j为偶数元和奇数元差值响应第i行第j列的DN值。2）计算奇偶元自适应检测阈值S16。基于计算出的奇偶元差异值来进一步计算奇偶元条纹噪声的自适应检测阈值S，该阈值会随着场景有所变化；根据上一步得到的偶数元差值响应 C1和奇数元差值响应C2，按式（5）计算奇偶元条纹噪声检测阈值S。12max()SSS，（5）式 中 S1为偶数 元 差 值 响 应 的 均 值，11111(,)MNijSC i jMN；S2为 奇 数 元 差 值 响 应 的 均值，22111(,)MNijSC i jMN。3）提取奇偶元差异大于阈值S的位置(,)R i j17-18。1(,)0R i j 12(,),(,)C i jSC i jS或者其他情况（6）4）筛选出闪元位置。通过对闪元噪声进行分析，发现闪元与相邻像元的差异较大，也可通过奇偶元噪声检测的方法进行提取。具体提取方法如式（7）所示，如果该元在一景图像的所有采样中有超过一定占比的像元存在奇偶元差异，那么这一元可以被认定为闪元19-20。82 航 天 返 回 与 遥 感 2023 年第 44 卷 ()1(,)0Z jXW i jM况其他情（7）式中 W(i，j)表示第i行第j列的奇偶元噪声的分布情况，1表示该位置存在奇偶元噪声，0表示该位置无奇偶元噪声；()Z j代表该景图像第j个像元奇偶元差异较大的总数，1()(,)MiZ jR i j；X为闪元检测阈值，0X1，当第j列中奇偶元差异较大的数量占比超过阈值X时，则认为该位置存在奇偶元噪声。5）综合确定奇偶元条纹噪声的位置21-22。根据式（8）筛选出存在连续奇偶元差异的位置作为最后的奇偶元条纹位置。1(,)0W i j (,)1,55R r jiri其中 其他情况（8）式中 55iri 表示第j列连续11个像元都存在奇偶元差异。6）对奇偶元条纹进行去除23-25。针对检测出来有奇偶元条纹的点位，按照式（9）对奇偶元条纹噪声进行去除。(1,)(1,)/2(,)(,)F ijF ijF i jF i j (,)1(,)0W i jW i j（9）式中 F(i,j)为噪声去除后图像第i行第j列的DN值。3 试验验证 利用本文算法对TDI红外探测器图像进行条纹噪声去除验证试验，其中，TDI为6级，图像量化位数为12位，对不同场景的图像进行处理，处理效果如表1所示。从表1可以看出，经过本文算法处理后，不同场景的奇偶元噪声都可以得到有效的去除，并且空间噪声也都得到明显抑制。表 1 奇偶元条纹噪声去除效果 Tab.1 The result of removing odd-even stripes 条纹噪声去除前 条纹噪声去除后 图像 噪声/DN图像 噪声/DN 5.56 3.58 6.01 4.12 6.58 4.17 7.64 5.36 第 3 期 李岩:红外影像奇偶元条纹噪声自适应去除算法 83 4 结束语 本文针对某项目TDI型长波红外图像由于工艺和电路等原因引起的奇偶元条纹噪声，对其特性进行了分析，研究发现奇偶元噪声主要出现在亮暗突变的位置，噪声的长度固定，表现形式会有所不同。基于该噪声特性本文提出一种自适应的奇偶元条纹噪声去除方法，并基于在轨图像验证了算法的有效性，试验表明使用该算法可有效去除此类奇偶元条纹噪声，噪声去除后目视效果得到有效改善，并且非均匀性提升约30%。参考文献(References)1 张智杰,洪普.2884 红外传感器像元空间位置同步及空间匹配技术的研究C.2003 年十一省(市)光学学术会议论文集,2003:173-174.ZHANG Zhijie,HONG Pu.The Research of 2884 IR Sensors Pixel Space Matching and SynchronizationC/2003 Proceedings of the 11th Provincial(City)Conference on Optics,2003:173-174.(in Chinese)2 SOFRADIR.PLUTON LW K508 2884 LWIRCMOS Integrated Detector Dewar Cooler Assembly(IDDCA)with Microcooler Type K508 Technical SpecificationZ.France:Sofradir,2005.3 宋立国,陈凌军,王哲.TDI 型红外探测器空间校正方法的设计与实现J.半导体光电,2015,36(3):500-508.SONG Liguo,CHEN Lingjun,WANG Zhe.Design and Implementation of Spatial Correction Method for TDI InfraredJ.Semiconductor Optoelectronics,2015,36(3):500-508.(in Chinese)4 王华,魏志勇,张文昱,等.4806 红外探测器信号处理电路设计J.红外技术,2009,31(9):504-512.WANG Hua,WEI Zhiyong,ZHANG Wenyu.Design of 4806 Infrared Focal Plane Array Signal Processing CircuitJ.Infred Technology,2009,31(9):504-512.(in Chinese)5 倪云芝,丁瑞军,唐红兰,等.具有时间延迟积分功能的2884元CMOS红外焦平面读出电路C/全国红外科学交流会议论文集,2003:22-25.NI Yunzhi,DING Ruijun,TANG Honglan.A CMOS ROIC for 2884 IRFPA with TDIC/Proceedings of the National Infrared Science Exchange Conference,2003:22-25.(in Chinese)6 SUI Xiubao,CHEN Qian,GU Guohua.Algorithm for Eliminating Stripe Noise in Infrared ImageJ.Journal of Infrared and Millimeter Waves,2012,31(2):107-110.7 VERGARA L,BEMABEU P.Automatic Signal Detection Applied to Fire Control by Infrared Digital Signal ProcessingJ.Signal Processing,2000,80(4):659-669.8 HARDIE R C,BARLEY F,BRYS B,et a1.Scene-Based Nonuniformity Correction with Reduced Ghosting Using a Gated LMS AlgorithmJ.Optics Express,2009,17(17):14918-14933.9 WANG B J,LIU S Q,BAI L P.An Enhanced Non-uniformity Correction Algorithm for IRFPA Based on Neural NetworkJ.Optics Communications,2008,281(8):2040-2045.10 WANG B J,LIU S Q,LAI R.Adaptive Non-Uniformity Correction Algorithm for IRFPA Based on Neural NetworkJ.Infrared Milim Waves,2006,25(6):405-407.11 HARRIS J G,CHIANG Y M.Nonuniformity Correction of Infrared Image Sequences Using the Constant-Statistics ConstraintJ.IEEE Transactions on Image Processing,1999,8(8):1148-1151.12 BOUALI M,SATO O,POLTIO P.An Algorithm to Improve the Detection of Ocean Fronts from Whiskbroom Scanner ImagesJ.Remote Sensing Letters,2015,6(12):942-951.13 VALENZUELA W E,FIGUEROA M,PEZOA J E,et al.A Digital Architecture for Striping Noise Compensation in Push-Broom Hyperspectral CamerasC/Applications of Digital Image Processing XXXVIII.S.l.:International Society for Optics and Photonics,2015,9599:95992H.14 CHEN J,SHAO Y,GUO H,et al.Destriping CMODIS Data Bypower FilteringJ.IEEE Transactions on Geoscience and Remote Sensing,2003,41(9):2119-2124.15 李凯,李文力,韩昌佩.基于 L1 范数优化模型的遥感图像条纹去除方法J.红外与毫米波学报,2021,40(2):273-279.LI Kai,LI Wenli,HAN Changpei.The Method Based on L1 Norm Optimization Model for Stripe Noise Removal of Remote Sensing ImageJ.Journal of Infrared and Millimeter Waves,2021,40(2):273-279.(in Chinese)84 航 天 返 回 与 遥 感 2023 年第 44 卷 16 DOU H X,HUANG T Z,DENG L J,et al.Directional Sparse Modeling for Image Stripe Noise RemovalJ.Remote Sensing,2018,10(3):361.17 MA L,ZENG T.Image Deblurring Via Total Variation Based Structured Sparse Model SelectionJ.Journal of Scientific Computing,2016,67(1):1-19.18 SHAHDOOSTI H R,KHAYAT O.Image Denoising Using Sparse Representation Classification and Non-Subsampled Shearlet TransformJ.Signal,Image and Video Processing,2016,10(6):1081-1087.19 ZHANG Yan,SHAO Yuyi,SHEN Jinyue,et al.Infrared Image Impulse Noise Suppression Using Tensor Robust Principal Component Analysis and Truncated Total VariationJ.Applied Optics,2021,60(16):4916-4929.20 WANG Ende,PING Jiang,LI Xuepeng,et al.Infrared Stripe Correction Algorithm Based on Wavelet Decomposition and Total Variation-Guided FilteringJ/OL.Journal of the European Optical Society-Rapid Publications,2020(16):1.https:/doi.org/10.1186/s41476-019-0123-2.21 NASSIM A M,OTMAN C.Millimeter-Wave Channel Estimation Using Alternating Direction Method of MultipliersJ.International Journal of Innovative Technology and Exploring Engineering(IJITEE),2021,10(4):239-242 22 HE K,SUN J,TANG X.Guided Image FilteringJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,35(6):1397-1409.23 DONOHO D L.De-Noising by Soft-ThresholdingJ.IEEE Transactions on Information Theory,1995,41(3):613-627.24 CARFANTAN H,IDIER J.Statistical Linear Destriping of Satellite-Based Pushbroom-Type ImagesJ.IEEE Transactionson Geoscience and Remote Sensing,2009,48(4):1860-1871.25 CHEN B,FENG X,WU R,et al.Adaptive Wavelet Filter with Edge Compensation for Remote Sensing Image DenoisingJ.IEEE Access,2019(7):91966-91979.作者简介 李岩，女，1986年生，2011年获中国空间技术研究院光学工程专业硕士学位，高级工程师。主要研究方向为星载红外遥感数据的处理、定标及应用。E-mail：。（编辑：夏淑密）