红外无损检测图像处理方法的对比.pdf

无损检测2023年第45卷第9 期61小述4DOI:10.11973/wsjc202309012红外无损检测图像处理方法的对比江海军，盛涛，郑金华？，向向苹（1.南京诺威尔光电系统有限公司，南京2 10 0 14；2.上海复合材料科技有限公司，上海2 0 1112）摘要：介绍和总结了红外无损检测图像处理中的单帧图像处理方法、序列图像处理方法。单顿图像处理方法包括畸变校正、图像垂直条纹去除、图像滤波、图像增强；序列图像处理方法包括热波信号重建技术、主成分分析、独立成分分析、脉冲相位法、二阶导峰值法。同时采用上述方法对红外图像进行了处理并对结果进行了对比，最后总结了红外无损检测图像处理方法的发展趋势。关键词：红外无损检测；热激励；单顿图像处理；序列图像处理中图分类号：TG115.28文献标志码：A文章编号：10 0 0-6 6 56（2 0 2 3)0 9-0 0 6 1-0 7Comparison of image processing for infrared thermographyJIANG Haijun,SHENG Tao,ZHENG Jinhua”,XIANG Ping(1.Novelteq Ltd.,Nanjing 210014,China;2.Shanghai Composite Material Science&Technology Co.,Ltd,Shanghai 201112,China)Abstract:This paper introduced and summarized the single-frame image processing method and sequence imageprocessing method in image processing for infrared thermography.Single-frame image processing methods includeddistortion correction,image vertical fringe removal,image filtering,and image enhancement;Sequence imageprocessing methods included heat wave signal reconstruction technology,principal component analysis,independentcomponent analysis,pulse phase method,and peak value of second-order derivative.The infrared image wasprocessed with the above method and the results were compared.Finally,the development trend of infraredthermography image processing methods was summarized.Key words:infrared thermography;thermal excitation;single-frame image processing method;sequence imageprocessing method红外无损检测是一种实用型无损检测技术，目前被应用在航空、航天、机械、油气、新能源、新材料等多个领域。红外无损检测技术采用主动式热激励源对试件进行热激励，主动式热激励源包括闪光灯、激光、LED、卤素灯、超声、电磁激励等1-4。主动式热激励源用于打破试件表面原有的温度平衡，在试件表面形成新的温度场分布。在传播过程中，试件表面的温度场分布受试件内部缺陷影响，若要使试件表面产生异常的温度分布，需要使用红外热像仪采集激励前后的红外图像序列，并对采集的红外图收稿日期：2 0 2 2-12-0 9作者简介：江海军（198 8 一），男，硕士，高级工程师，主要从事红外无损检测技术及图像处理的研究工作通信作者：江海军，像进行处理。红外图像处理对试件的缺陷检测至关重要。红外图像处理方法包括单顿图像处理和序列图像处理方法。文章主要对红外图像处理方法的现状和发展趋势进行介绍和总结。1单顿图像处理单帧红外图像处理主要包括畸变校正、图像增强、图像垂直条纹去除、图像滤波等，原始红外图像经过处理后可以变得清晰，同时噪声会变小。采集红外图像之前，一般都会进行红外热像仪非均匀性校正，文章不考虑红外热像仪两点校正及单点校正图像处理方法。1.1畸变校正红外热像仪成像过程中需要使用红外镜头，红外镜头为满足成像系统大视场的需求，一般设无损检测2023年第45卷第9 期62红外无损检测图像处理方法的对比江海军计为大口径系统，不可避免地造成了红外图像的几何畸变（一般为桶形畸变）。大视场光学系统中，一般采用多组镜片组合模式，但受限于工艺水平，其在加工时会产生误差而加重畸变。畸变虽然不影响图像的清晰度，但是会影响成像几何位置的精度，给后续检测结果分析和判断带来不利影响5。另一方面，在红外无损检测应用中，检测距离一般小于50 0 mm，通常采用短焦距镜头（10 15m m），镜头焦距越短，检测距离越小，畸变越严重。国内外学者针对图像畸变进行研究并提出了不同的解决方案6-7。主要有两种修正方法，一种是试验法，借助试验仪器对畸变量进行测量并修正，但是由于试验装置复杂、成本高，故不容易实现；另外一种方法就是采用图像畸变算法进行重建，通过几何变换校正失真图像中各像素点原来的空间关系。图像畸变校正算法前后效果对比如图1所示，可以看到，离中心越远，畸变越严重，畸变校正后，试件中弯曲的边缘变成了直线。(a)畸变图像(b)畸变校正后图像图1图像畸变算法校正前后效果对比1.2图像增强红外无损检测技术中采用主动热激励源对试件进行热激励，热激励结束后，热波（变化的温度场)会进行三维扩散，导致红外图像对比度低、图像边缘模糊，且随着热波的不断传播，三维热扩散持续进行，检测到的红外图像就越来越模糊，直到看不见缺陷信息。同时，红外图像采用14位/16位输出，常规显示设备或者人眼只有8 位数据显示宽度，因此红外图像显示需把大动态范围数据压缩到8 位数据。研究人员发现红外图像增强主要有3类算法：基于统计的直方图增强、基于频率变化进行增强、数字细节增强8-9。前两类算法容易造成部分区域过亮或者过暗，导致图像细节丢失。数字细节增强算法是一种高级的非线性图像增强算法，也是目前红外图像增强的最佳算法，通过引导滤波或者其他滤波算法把高动态范围原始图像分成背景图像和细节图像，再分别对背景图像进行压缩和对细节图像进行增强处理，最后将背景图像和细节图像进行融合，得到增强图像，增强后的图像不仅保留了细节信息，并且不会出现部分图像区域过亮或者过暗的现象。不同图像增强算法的效果对比如图2 所示。由图2 可以看出，统计直方图算法容易造成部分图像区域过亮或者过暗；数字细节增强算法处理的图像不仅使缺陷区域明显，也未出现过亮或者过暗区域，背景区域的黑点区域边缘也非常明显。(a)原始图像(b)统计直方图算法(c）数字细节增强算法图2图像的不同增强算法效果对比1.3垂直条纹去除一般制冷红外热像仪很少看得到垂直条纹，除非是红外原始图像过度增强或者数字细节增强后才能勉强看到。垂直条纹常出现在非制冷红外热像仪中，非制冷热像仪采用的是焦平面探测器，焦平面探测器每一列共用一个放大器，每个列放大器具有不同的噪声特性，从而造成了列和列之间的差异，在图像上整体表现为明显的垂直条纹10-11。红外热像仪中的垂直条纹用非均匀性校正很难去掉，因为其是热像仪受到芯片周围电路无损检测2023年第45卷第9 期63红外无损检测图像处理方法的对比江海军，等温度影响而产生的，采用非均匀性校正处理时仅能校正与挡板温度接近的垂直条纹，当真实温度与挡板温度差超过2 时，垂直条纹依然会存在。在实际使用中，热像仪长时间工作更容易产生垂直条纹，垂直条纹比较影响缺陷特别是与垂直条纹平行的裂纹的判断。TENDERO等12 1采用列方向中值直方图均衡化方法对垂直条纹进行去除，但该方法需要进行直方图均衡以及逆变换，算法复杂度高、计算量大；WANG等13 提出了一种利用迭代计算获取条纹噪声的校正算法，该算法迭代次数多，不易实时处理。张盛伟等14提出了基于引导滤波提取垂直条纹噪声校正项，再对噪声进行校正的方法，该方法具有算法复杂度低、可实时等优点。不同红外热像仪采集图像中的垂直条纹去除前后对比如图3所示。图3（a）为制冷红外热像仪采集的图像，并且经过数字细节增强，图中可以看到微弱的垂直条纹，条纹去除后图像如图3（b）所示；图3（c）为非制冷红外热像仪采集的图像，图像中垂直条纹明显，条纹去除后如图3（d)所示，可见垂直条纹去除干净，试件表面的水平弧形纹理和试件边缘都没有变模糊，故垂直条纹去除算法不会影响图像的清晰度，不会模糊图像的细节信息。（a）制冷红外热像仪采集（b）制冷红外热像仪采集(c）非制冷红外热像仪采集（d）非制冷红外热像仪采集图像垂直条纹去除前图像垂直条纹去除后图像垂直条纹去除前图像垂直条纹去除后图3不同红外热像仪采集图像中的垂直条纹去除前后对比1.4图像滤波红外热像仪噪声主要包括热噪声、散粒噪声、固定图案噪声、1/f噪声等。通常，非制冷红外热像仪噪声比制冷红外热像仪噪声严重得多15。但制冷红外热像仪采集图像增强后或者采集均匀的黑体图像中也会出现噪声，非制冷红外热像仪采集图像增强后噪声更加明显。传统红外图像去噪方法主要有空域和频域两种方法，空域方法除了常规的中值滤波、均值滤波外，还可以采用引导滤波进行噪声去除，噪声去除效果最好的为三维块匹配(BM3D)的图像滤波算法16-18 。不同红外热像仪采集图像的引导滤波和BM3D滤波的效果对比如图4所示，其噪声图像分别为图3中条纹去除后的图像。由图4可以看出，经过垂直条纹去除以及图像滤波后，图像噪声变小，已经很难分辨是什么类型红外热像仪采集的图像。从图像滤波效果上看，BM3D滤波图像比引导滤波图像更加光滑，细节更为清晰。（a）制冷红外热像仪(b）制冷红外热像仪（c）非制冷红外热像仪(d）非制冷红外热像仪引导滤波图像BM3D滤波图像引导滤波图像BM3D滤波图像图4不同红外热像仪采集图像的引导滤波和BM3D滤波的效果对比2序列图像处理方法红外序列图像处理方法主要包括热波信号重建技术、主成分分析技术、独立成分分析技术、脉冲相位法。文章除介绍该技术研究状况以外，同时会采用该技术对序列图像进行处理。处理的图像来自于同一套闪光灯激励红外无损检测系统，闪光灯能量为12 0 0 0 J,闪光灯脉冲宽度为3ms，红外热像仪为制冷热像仪FLIRX6530SC，分辨率为6 40 像素512 像素，等效噪声温差小于20mK。试件为塑料平底孔，共含15个平底孔缺陷，缺陷直径为2 0 mm，缺陷深度从0.2 5mm至3.75mm不等，采集时间为7 0 s，采集频率为100Hz。无损检测2023年第45卷第9 期64红外无损检测图像处理方法的对比江海军等2.1热波信号重建技术热波信号重建技术（TSR）主要用于对脉冲激励的红外序列图像进行增强。对采集的热激励后的红外图像序列减去背景后，对每一个像素点的温差数据进行取双对数操作，并进行多项式拟合，再对拟合数据求一阶导、二阶导，获得1-D、2-D 图像。导数图像不仅可以消除表面加热不匀的影响，也可以对图像细节信息进行增强，提早发现缺陷信息，同时可以利用导数图像对缺陷深度进行测量19-2 0 李艳红2 1 对热波信号重建技术进行了O详细分析和研究，梁涛2 2 采用热波信号重建技术对复合材料冲击损伤后的缺陷特征进行研究，试验结果表明，采用热波信号重建技术和主成分分析技术在缺陷特征提取方面效果更好。热波信号重建图像序列如图5所示。图5（a)为不同时刻的原始图像，0.1s时看不见缺陷信息，可以清楚看到试件表面的纹理信息，也可看出由于缺陷深度不同，缺陷是逐渐显现的。从图5（b）、（c)可以看出，导数图像比原始图像更清晰，图像边缘更锐利。0.1s3.89.2s22.0s68.0s(a)原始图像序列(b)1-D图像序列(c)2-D图像序列图5热波信号重建的图像序列2.2主成分分析技术主成分分析（PCA)技术是利用数学原理，找出一组最优的基向量来表征红外图像序列之间的关系。其用最少的特征来表述更多的图像信息，是一种具有图像降维特性的图像序列处理方法。从本质上说,PCA可以把复杂数据关系降低为简单数据关系。采用PCA可以提取红外图像序列中较高的主成分，同时可以对红外序列图像进行压缩。董毅旺等2 3 探究了玻璃钢平底孔试件融合区间对PCA算法处理结果的影响，提出了可依据温差峰值选择融合区间。WANG等2 4 对玻璃钢纤维复合材料脱黏缺陷采用TSR、PCA、FFT 等方法进行研究发现，PCA算法的缺陷识别率最高。同时，研究人员对复合材料分层、冲击损伤图像序列进行处理时发现，采用PCA算法可以有效提高图像信噪比和缺陷识别能力。图像的主成分分析结果如图6 所示，第一主成分包含全部的缺陷信息，其余主成分更多地包含了试件表面的纹理信息(a)第一主成分(b)第二主成分(c)第三主成分(d)第四主成分图6 图图像的主成分分析法处理结果无损检测2023年第45卷第9 期65红外无损检测图像处理方法的对比江海军，等2.3独立成分分析技术独立成分分析（ICA)技术是从获得的多种观测信号中提取出独立信号。观测信号是一个线性组合，该组合由多个独立的分量构成，ICA就是一个解混过程，最终获得的图像具有非高斯特征。对红外图像序列进行盲源分离，目的是把隐含的独立信号分离开2-6 。WANG等2 7 对包覆层高硅氧酚醛树脂板材缺陷进行了检测，研究对比了主成分分析、独立成分分析、脉冲相位法算法对红外序列图像的处理效果，结果表明独立成分分析算法能显著提高信噪比。LIU等2 8 采用涡流脉冲热成像技术检测复合材料人工分层缺陷，用主成分分析、独立成分分析、脉冲相位法3种算法对红外序列图像进行处理，结果表明独立成分分析算法在处理深度缺陷时表现更好。袁丽华等2 9 对复合材料冲击损伤进行了提取，由重构矩阵得到独立成分特征图像，从而获得最大损伤长径和损伤短径的缺陷表征量。图像的独立成分分析结果如图7 所示，可见，相对于主成分分析结果图像，其显示的试件表面纹理信息更少，更多的是试件的内部信息(a)第一独立成分(b)第二独立成分(c)第三独立成分(d)第四独立成分图7图像的独立成分分析法处理结果2.4脉冲相位法脉冲相位法（PPT）从红外图像序列中提取相位，通过相位差来判定缺陷信息，结合了脉冲激励技术和脉冲锁相技术的优点。其核心是对红外图像序列进行傅里叶变换，可以消除表面加热不匀、表面发射率的影响。该方法对空域内噪声有一定的抑制作用，可以提高图像的对比度30 。刘颖韬等31 采用脉冲相位法对复合材料进行了研究分析，试验结果表明脉冲相位法用于复合材料检测是可行的。陶胜杰等32 研究了脉冲相位法，结合热扩散深度提出了最佳采样长度估算公式，提高了相位计算速度。图像的脉冲相位法结果如图8 所示，可见其能得到不同频率下的振幅和相位信息，以及缺陷的深度信息。(a)0.329 Hz相位(b)0.329 Hz振幅(c)0.014 Hz相位(d)0.014 Hz振幅图8图像的脉冲相位法处理结果2.5二阶导峰值法二阶导峰值法（PSDT）以热波信号重建技术为基础，将双对数曲线（对数温差-对数时间)的二阶峰值时间作为特征时间，不需要选择非缺陷区域作为参考区域。PSDT用于深度测量时，不会因为参考信号引人误差。线性拟合二阶导峰值时间与试件深度的平方，再将二阶导峰值时间代人拟合参数便可计算出缺陷深度信息。王中华等33 采用PSDT对不锈钢平底孔缺陷进行了测量，获得了缺陷深度信息。李美华等341通过ANSYS软件模拟分析和试验验证了PSDT对平底孔缺陷的检测可行性，结果表明PSDT对缺陷深度的测量精度为0.36%2 0%，测量误差主要受三维热扩散的影响。ZENG等35 采用PSDT对铝和不锈钢平底孔缺陷进行了深度测量，得到了可靠性较高的测量结果。上述研究主要对单个像素点的单条曲线进行研究，文章重塑了PSDT算法并获取了整幅图像的深度信息，如图9（a)所示，对应的是图像中5个点的二阶导曲线，求出该曲线的二阶导峰值，二阶导峰值对应时间构成的峰值时间图像如图9（b）所示；二阶导峰值构成了峰值图像，如图9（c)所示；二阶导峰值和二阶导峰值时间图像边无损检测2023年第45卷第9 期66红外无损检测图像处理方法的对比江海军，等缘都比较清晰，包含了所有的缺陷信息，由峰值图像和峰值时间图像可以得出缺陷深度图像，缺陷深度图像能更为直观地展示不同深度的缺陷信息，如图9（d）所示。0.5(LV)up0.00.5-1.0-1.500000-2024n(t)(a)二阶导曲线(b)峰值时间图像(c）峰值图像（d）缺陷深度图像图9图像的二阶导峰值法处理结果3未来发展趋势文章对单顿红外图像处理方法和红外序列图像处理方法进行了介绍，同时采用红外图像对各个算法进行了验证，试验结果表明，TSR、PCA、ICA、PPT、PSDT都有各自的适用范围，要判断哪种方法效果好，需对各方法的图像处理效果进行对比才能得出结论。TSR和PSDT需要面激励源激励试件表面且红外序列图像仅采集降温段数据，适用于闪光灯激励、激光激励、卤素灯短脉冲激励，不适用于超声激励、涡流激励方式PCA和ICA对激励方式基本没有限制，适用于各种激励方式。红外图像处理的目的不仅是获取缺陷的位置信息，还要获取缺陷的深度信息，对序列图像处理是未来图像处理的发展方向。另一方面，现有的缺陷需要人工判断，准确度非常依赖于检测人员的经验。随着深度学习方法研究的深人，其在目标检测、语义分割、图像去模糊等领域的表现获得了认可。深度学习的算法较传统神经网络算法神经层深度增加，具有更好的特征信息感知能力，并且解决了容易收敛到局部最优解的问题，更容易实现缺陷的自动识别。采用深度学习方法的图像处理效果如图10 所示，可见，图像去模糊处理后，缺陷边缘清晰、锐利；采用深度学习语义分割模型，可以获得缺陷信息，自动过滤背景信息，很适合缺陷的自动分割和自动判断，欲获取缺陷的深度信息，可以采用更加复杂或者特殊定制的深度学习模型(a)原始图像(b)图像去模糊(c)语义分割图10深度学习方法的图像处理效果模型4结语热波是一种衰减波，会导致红外图像边缘模糊，对比度降低，采用原始的红外图像往往达不到理想的效果，因此需要采用合适的红外图像处理方法。文章介绍和总结了单帧红外图像处理方法和红外序列图像处理方法，并用红外图像对各种处理方法进行了验证。通过文章综述可以得知，不同的缺陷适合于不同的图像处理方法。如文章试验采用的是塑料平底孔缺陷，该缺陷的二阶导峰值法处理效果更佳，不仅可以过滤掉背景信息，更可以获取缺陷深度信息。随着人工智能深度学习的发展，通过算法创新、优化与改进获取红外图像中的语义信息，有望实现红外图像的图像去模糊、超分辨率重建、目标检测、语义分割和场景理解，推动红外无损检测技术在人工智能领域的应用和发展，实现红外无损检测缺陷判定由人工识别向智能自动化识别方向发展。参考文献：1董丽虹，郭伟，王海斗，等.热障涂层界面脱粘缺陷的脉冲红外热成像检测J.航空学报，2 0 19，40（8)：1-10.2江海军，陈力.脉冲红外无损检测技术研究现状与发展趋势J.红外技术，2 0 18，40（10）：946-951，96 5.3刘颖韬，郭广平，曾智，等。红外热像无损检测技术无损检测67红外无损检测图像处理方法的对比江海军，等：的发展历程、现状和趋势J.无损检测，2 0 17，39(8):63-70.4郭伟，董丽虹，徐滨士，等主动红外热像无损检测技术的研究现状与进展J.无损检测，2 0 16，38(4):58-66.5郭永刚.红外热波图像的畸变校正与拼接技术研究D.北京：首都师范大学，2 0 0 6.6王欣刚，宋建中，顾海军，等.红外观察仪图像畸变的校正J光学精密工程，2 0 0 1，9（1）：39-42.7范心田.非制冷红外焦平面成像系统畸变校正及盲元补偿D.长春：中国科学院研究生院（长春光学精密机械与物理研究所），2 0 0 5.8王洋，潘志斌红外图像降噪与增强技术综述J.无线电工程，2 0 16，46（10）：1-7,2 8.9于天河，郝富春，康为民，等。红外图像增强技术综述J红外与激光工程，2 0 0 7，36（增2)：335-338.10邵晓鹏，靳振华，王阳.去除红外图像条带噪声改进算法研究J电子科技，2 0 13，2 6（10）：8 3-8 7.11侯婷，顾国华，陈钱基于FPGA的红外焦平面成像条纹噪声逐抑制算法的研究.光学与光电技术，2012,10(6):77-81.12TENDERO Y,LANDEAU S,GILLES J.Non-uniformity correction of infrared images by midwayequalizationJ.Image Processing on Line,2012,2(2):134-146.13WANG S P.Stripe noise removal for infrared image byminimizing difference between columns JJ.InfraredPhysics&Technology,2016,77:58-64.14张盛伟，向伟，赵耀宏基于引导滤波的红外图像条纹噪声去除方法J.计算机辅助设计与图形学学报,2 0 17,2 9(8)：1434-1443.15代少升，袁祥辉。红外图像非均匀性实时校正的新技术J.光学精密工程，2 0 0 4，12（2）：2 0 1-2 0 4.16张瑾，陈向东.一种基于小波变换的红外图像去噪方法JI.传感器与微系统，2 0 0 6，2 5（8）：7-9.17杨恢先，王绪四，谢鹏鹤，等.改进阈值与尺度间相关的小波红外图像去噪J.自动化学报，2 0 11，37(10):1167-1174.18黄牧，黄文清，李俊柏，等.基于BM3D图像去噪算法的参数研究J.工业控制计算机，2 0 14，2 7（10）：99-101.19蔺翠热波成像检测及其热层析重建D.南京：南京航空航天大学，2 0 10.20ALMOND D P,PICKERING S G.An analytical studyof the pulsed thermography defect detection limit J.Journal of Applied Physics,2012,111(9):1-8.21李艳红.被检物表面条件对红外热波无损检测结果影响的研究D.北京：首都师范大学，2 0 0 6.22梁涛.复合材料脱粘缺陷红外热成像无损检测定量分析研究D.成都：电子科技大学，2 0 17.23董毅旺，朱笑，洪康，等红外序列图像的主成分分析算法研究J.激光与红外，2 0 2 2，52（5）：7 14-7 2 0.24WANG Q,HU Q P,QIU J X,et al.Usingdifferential spread laser infrared thermography todetect delamination and impact damage in CFRPJJ.Infrared Physics&Technology,2020,10(6)1-10.25梁胜杰，张志华，崔立林，等。基于主成分分析与核独立成分分析的降维方法J系统工程与电子技术，2 0 11，33(9)：2 144-2 148.26张建明，林亚平，吴宏斌，等独立成分分析的研究进展J系统仿真学报，2 0 0 6，18（4）：992-997，1001.27WANG F,WANG Y H,PENG W,et al.Independent component analysis enhanced pulsethermography for high silicon oxygen phenolic resin(HSOPR)sheet with subsurface defectsJ.InfraredPhysics&.Technology,2018,92:345-349.28LIU Y,WU J Y,LIU K X,et al.Independentcomponent thermography for non-destructive testingof defects in polymer composites J.MeasurementScience and Technology,2019,30(4):44-49.29袁丽华，洪康，朱言，等基于红外序列独立成分分析的复合材料冲击损伤缺陷表征J.航空制造技术，2 0 2 2，6 5(2 0)：8 3-91.30郭兴旺，刘颖韬，郭广平，等脉冲相位法及其在复合材料无损检测中的应用门北京航空航天大学学报，2 0 0 5，31(10）：10 49-10 53.31刘颖韬，郭广平，杨党纲脉冲相位法用于复合材料层析检测的研究J激光与红外，2 0 0 9，39（4）：390-392.32陶胜杰，杨正伟，田干，等.红外脉冲相位热像检测效率提高方法J.红外与激光工程，2 0 16，45（5）：39-45.33王中华，曾智，张存林，等基于对数二阶微分峰值法的缺陷深度测量研究J.红外，2 0 13，34（3）：2 1-31.34李美华，曾智，沈京玲，等脉冲红外无损检测缺陷深度定量测量的数值模拟J红外与激光工程，2013,42(4):875-879.35ZENG Z,LI C G,TAO N,et al.Depth prediction ofnon-air interface defect using pulsed thermographyJJ.NDT&E International,2012,48(6):39-45.2023年第45卷第9 期