基于图像形态学的焊缝区域提取与对比度提升技术.pdf

第 43 卷 第 2 期2024 年 2 月中国材料进展MATERIALS CHINAVol.43 No.2Feb.2024收稿日期:2021-08-21 修回日期:2022-03-08基金项目:上海市浦江人才计划项目(20PJ1405000)第一作者:刘 欢,男,1991 年生,工程师,Email:lhhit1220 通讯作者:刘骁佳,男,1990 年生,工程师,Email:lxj9039 DOI:10.7502/j.issn.1674-3962.202108021基于图像形态学的焊缝区域提取与对比度提升技术刘 欢,刘骁佳,赵耀邦,王 宁,罗志强,危 荃(上海航天精密机械研究所,上海 201600)摘 要:铝板焊接后可使用 X 射线进行焊缝内部缺陷检测,由于 X 射线成像存在噪声多、对比度低、焊缝区域边缘模糊、焊缝区域与背景区域灰度分布较为相似等问题,使用传统边缘检测方法效果欠佳。提出了一种自动提取焊缝区域并提高其对比度的方法,通过去噪处理、边缘检测、形态学操作等步骤,最终确定焊缝区域位置,并对焊缝区域内像素值进行线性变换,提高了焊缝区域的对比度。实验结果表明,该方法针对大批量的铝板 X 射线图片,都能够自动提高焊缝区域的对比度,具有良好的鲁棒性和准确性。关键词:图像处理;X 射线;焊缝区域;梯度;对比度中图分类号:TG441.7;TP751.1 文献标识码:A 文章编号:1674-3962(2024)02-0175-06引用格式:刘欢,刘骁佳,赵耀邦,等.基于图像形态学的焊缝区域提取与对比度提升技术J.中国材料进展,2024,43(2):175-180.LIU H,LIU X J,ZHAO Y B,et al.Research on Weld Region Extraction and Contrast Enhancement Based on Image MorphologyJ.Ma-terials China,2024,43(2):175-180.Research on Weld Region Extraction and ContrastEnhancement Based on Image MorphologyLIU Huan,LIU Xiaojia,ZHAO Yaobang,WANG Ning,LUO Zhiqiang,WEI Quan(Shanghai Aerospace Precision Machinery Research Institute,Shanghai 201600,China)Abstract:After aluminum plate is welded,X-ray can be used to detect the internal defects of weld.Due to the problems of noise,low contrast,fuzzy edge of weld area and uneven brightness distribution in X-ray image,the effect of traditional edge detection method is not good.Therefore,this paper proposes a method to automatically extract weld area and improve its contrast.Through the steps of denoising,edge detection and morphology operation,the weld area position is finally deter-mined,and the pixel value in the weld area is linearly transformed to improve the contrast of the weld area.The experimental results show that this method can automatically improve the contrast of weld area for a large number of aluminum plate X-ray images,and has good robustness and accuracy.Key words:image processing;X-ray;weld area;gradient;contrast ratio1 前 言铝板焊接后焊缝内存在裂纹、气孔等缺陷,使用 X射线成像方法进行缺陷检测是一种重要检测手段。由于X 射线的成像方式、焊接材质、焊接方法等客观因素的影响,图像中焊缝区域与背景区域的像素值分布相似,焊缝区域对比度较低,不利于观察焊缝区域的缺陷,因此,提升焊缝区域的对比度成为有效检测焊缝缺陷的前提1-3。X 射线成像中焊缝区域在整副图像中占比较低,若对整副图像进行对比度提升处理则数据量冗余且含有大量噪声,对比度提升效果较差,因此可先确定焊缝区域后再进行对比度提升处理。确定焊缝位置后,主要在焊缝区域中进行缺陷检测和识别,忽略图像中大多数无关区域,这将极大减少系统处理时间,为焊缝缺陷智能化和快速化检测实际应用提供基础。但由于 X 射线图像存在噪声多、焊缝区域边缘模糊等问题,因此如 Sobel、Canny 等传统的基于边缘检测的方法4,5应用于焊缝区域提取时效果较差。并且由于焊缝缺陷可能位于热影响区内,现有方法多为提取焊缝边缘,会导致提取位置遗漏;中国材料进展第 43 卷同时由于 X 射线成像焊缝区域的对比度低、亮度分布不均匀,基于不同区域类间方差原理的局部自适应阈值法6-8提取焊缝区域效果同样欠佳,并且当图像数据集较大,大多数焊缝提取方法难以针对所有图像都有较好的效果。因此针对现有方法存在的局限,本文提出一种自动提取焊缝区域并提高焊缝区域对比度的方法,提取焊缝位置区域并提升对比度,可解决大批量的 X 射线成像中焊缝区域难提取、对比度低的问题,提高识别可靠性,为后续焊缝区域的自动化缺陷检测提供基础。2 焊缝区域对比度提升技术通过 X 射线图像采集装置,收集多张不同厚度、不同位置、边缘形态各异的铝板焊缝图像,如图 1 所示,图 1a1e 分别为焊缝不同位置、不同 X 射线源强度下获取的 X 射线图像。由图 1 可知,焊缝所在区域与背景区域像素值较为接近,焊缝区域对比度较低。图 1 典型铝板 X 射线图像Fig.1 Typical X-ray image of aluminum plate焊缝区域内像素值梯度变化比背景区域剧烈,据此焊缝区域特性,以图 1a 中焊缝为例,首先进行焊缝区域的提取,再进行像素值线性变换,提升对比度,整体流程如图 2 所示。2.1 双边滤波去噪处理首先需对图像进行去噪处理,本研究使用双边滤波方法去除噪声,在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,达到保边去噪的目的。双边滤波同时考虑像素点的空域信息和值域信息,滤波器各权重系数大小 是定义域核和值域核的乘积。滤波器的定义域核计算公式如式(1):图 2 焊缝区域对比度提升流程图Fig.2 Flow chart of contrast improvement in weld aread(i,j,k,l)=exp-(i-k)2+(j-l)222d()(1)其中,(i,j)是当前被卷积像素的坐标点,(k,l)是邻域像素的坐标点,d是高斯函数的标准差。滤波器的值域核计算公式如式(2):r(i,j,k,l)=exp-vi,j-vk,l222r()(2)其中,vi,j是当前被卷积坐标(i,j)的像素值,vk,l是其邻域坐标(k,l)的像素值,r是双边滤波器的标准差。定义域核与值域核相乘得到滤波器加权系数,如式(3):(i,j,k,l)=exp-(i-k)2+(j-l)222d-vi,j-vk,l222r()(3)由公式(1)可知,定义域核 d(i,j,k,l)由像素点之间的距离决定,像素点距离越远权重系数大小 越小。由公式(2)可知,值域核 r(i,j,k,l)由像素点差值决定,像素点差值越小权重系数大小 越大。因此当图像中像素值变化较小时,此时值域核 r(i,j,k,l)接近于 1,定义域核 d(i,j,k,l)起主要作用。当图像中像素值变化较大时值域核 r(i,j,k,l)权重较大,较好地保留了图像的边缘信息。为保证双边滤波处理时定义域核和值域核的均衡性,可将标准差 r和 d数值设置为相同,原始 X 射线图像使用双边滤波器去噪后所得图像如图 3。2.2 水平方向边缘检测在图像形成过程中,由于图像中图形纹理、颜色的不同而导致图像的像素值发生突变,从而形成了整副图像的边缘。通过上文分析可知,焊缝区域的像素值梯度变化比背景区域剧烈,因此可利用焊缝边缘信息进行焊671 第 2 期刘 欢等:基于图像形态学的焊缝区域提取与对比度提升技术图 3 对原始图像进行双边滤波所得图像Fig.3 Image obtained by bilateral filtering of the original image缝位置的提取。边缘是通过检查每个像素的邻域并对其像素变化进行量化,这种像素变化的量化相当于微积分里连续函数中方向导数或者离散数列的差分9。本研究使用 Scharr 算子进行边缘检测,Scharr 算子为一阶离散微分算子,可获得数字图像的一阶梯度10-12,其算子临近待计算像素的算子权重更大,能计算出更小的梯度变化,因此精确度更高。Scharr 算子是在一个坐标轴方向上进行非归一化的高斯平滑,在另一个坐标轴方向上进行差分处理。本研究根据焊缝摆放位置,设定在水平方向上进行差分处理,获得图像在水平方向上的边缘信息,所用 Scharr 算子模板如式(4):dx=-303-10010-303(4)原图像与 Scharr 算子进行卷积运算后,某一像素点(i,j)处的像素值可用式(5)表达:vi,j=3vi-1,j+1+10vi,j+1+3vi+1,j+1-3vi-1,j-1-10vi,j-1-3vi+1,j-1(5)由于使用 Scharr 算子进行卷积运算后,图像中某一点的数值将可能出现负数的情况,为处理数值方便,本研究将 Scharr 算子处理后的负数设置为0,此时检测出的边缘仅保留像素由小到大变化的一侧,双边滤波所得图像经Scharr 算子检测水平边缘后所得图像如图 4 所示。图 4 双边滤波图像进行水平方向边缘检测Fig.4 Horizontal edge detection of bilateral filtered images2.3 形态学开运算操作经 Scharr 算子检测水平边缘所得图像中存在麻点状像素点,本研究使用形态学开运算操作去除此干扰信息。图像开运算可以去除图像中的噪声,消除较小连通域,保留较大连通域,同时能够使两块连接不紧密的连通域分离。图像开运算是对图像进行先腐蚀、后膨胀的过程,本研究中腐蚀和膨胀过程中采用相同的结构元素。腐蚀操作时取结构元素形状覆盖范围内最小值作为图像中该位置的输出像素值,而膨胀操作时取结构元素形状覆盖范围内最大值作为图像中该位置的输出像素值。常用的结构元素有矩形、椭圆和十字交叉,本研究中结构元素选取为矩形,水平方向边缘检测所得图像经开运算处理后所得图像如图 5 所示。2.4 焊缝区域提取第 1 步:获取形态学开运算后图像中每一像素点的像素值,统计每一行中所有像素点像素值的代数和,则第 i 行所有像素点的像素值的代数和由式(6)计算:ri=nj=0vi,j(6)其中,m 和 n 分别为图像行数和列数,vi,j为开运算后图像在第 i 行、第 j 列的像素值。为便于观察结果,可将开运算所得图 5 中像素点值之和按水平方向进行投影,可得图像每一行像素点像素值相加值的大小显示,如图 6所示。图 5 水平方向边缘检测所得图像开运算处理Fig.5 Open operation processing of images obtained from horizontal edge detection图 6 像素值之和水平投影Fig.6 Horizontal projection sum of pixel values 第 2 步:确定 X 射线图像中焊缝所在位置的行数,设置布尔标识符 flagWhite、flagBlack,其初始状态为 0;771中国材料进展第 43 卷同时设置变量 colForword、colBehind 分别用来记录图 6 中像素值之和不为 0 区域的起始行数和终止行数数值,其初始状态为 0;并新建线性列表 List 用于储存所有像素值之和不为 0 区域的像素值总和大小,列表 List1 用于储存所有像素值之和不为 0 区域的起始行数值,列表 List2 用于储存所有像素值之和不为 0 区域的终止行数值,List、List1、List2 初始状态为空。第 3 步:从第 1 行开始,判断图 6 中此行像素值之和是否为 0,若像素值之和为 0 则置 colForword 为当前行数大小,置 flagWhite=0,flagBlack=1。第 4 步:行数每次增加 1,若像素值之和为 0 则colForword 加 1,直到此行像素值之和不为 0,此时置flagWhite=1,flagBlack=0;行数依然每次增加 1,若此行像素值之和不为 0,此时 flagWhite、flagBlack 布尔值不变;直到此行像素值之和为 0,此时置 colBehind 为当前行数大小减 1。第 5 步:计算 colForword 行至 colBehind 行的像素值总和大小 sum,将 sum 储存至 List 列表,将 colForword 储存至 List1 列表,colBehind 储存至 List2 列表。第 6 步:重置 colForword 为当前行数大小,置 flag-White=0,flagBlack=1;并重复第 4 步至第 5 步直到图像中最后一行,将不为 0 区域的像素值总和大小、colFor-word、colBehind 行数数值分别存储至 List、List1、List2列表。第 7 步:获取列表 List 中元素最大值 summax,则summax所对应列表 List1、List2 中 colForword、colBehind 行数位置即为焊缝起始行和终止行,由此确定了 X 射线图像中焊缝位置区域。为了避免图像处理过程中引起的焊缝边缘数据丢失,可设定单边误差大小 h,则最终确定焊缝在 X 射线原始图像中第 colForword-h 行至 colBehind+h 行的位置。如图 7 中设定 h 为 30 个像素大小,即设定离 colForword、colBehind 各 30 个像素点的宽度作为有效区域,在 X 射线原始图像中可标注出焊缝区域。2.5 焊缝区域对比度提升由于 X 射线原始图像中对比度较低、亮度分布不均匀,焊缝区域像素值较为集中,因此本研究采用像素值线性变换的方法,提高焊缝区域的对比度情况。经线性变换后输出图像中某点的像素值 oi,j可用式(7)表达:oi,j=omax-ominvmax-vmin(vi,j-vmin)+omin(7)其中,原图像中焊缝区域像素值范围为 vmin,vmax,输出图像中焊缝区域像素值范围为 omin,omax,通常omin、omax设定为当前图像深度位数下像素值最小值和最大值,经线性变换处理后的图像如图 8 所示。图 7 焊缝区域位置提取后标注Fig.7 Marking of the position of the weld seam area after extraction图 8 焊缝区域位置对比度提升处理Fig.8 Improvement of contrast in weld seam area position3 结果与讨论为验证本方法的鲁棒性和准确性,对 11 150 张 X 射线图像进行测试。X 射线成像设备可输出 8 位、12 位、16 位的灰度图像,由于 8 位灰度图像读取速度快、程序运行占用内存空间小,因此为快速和大批量验证本文算法的有效性,文中采用 8 位灰度图像进行处理,依次使用去噪、边缘检测、形态学操作、焊缝区域提取、线性变换处理方法,采用 Visual Studio 2015 进行程序编写,对图像进行批量处理,开发了焊缝区域对比度自动提升的处理程序,图 9 所示为对典型铝板 X 射线图像进行处理所得结果。由图 9 可知,本方法可自动提升亮度分布不均、对比度低的焊缝区域的对比度。将本方法与Median-filtering4、Canny5、Adaptive-threshold6、Susan13这 4 种方法进行对比,所有方法均采用滤波去噪、边缘检测、开运算进行处理,如图 10 所示。对比 5 组实验结果可知,本方法比其他方法更适用于边缘模糊、噪声较多、亮度分布不均匀的 X 射线图像的焊缝区域提取,提取的冗余区域更小,可更准确提取焊缝区域。根据单边误差大小 h 的不同对 11 150 张 X 射线原始图片的测试结果准确率如表 1 所示。由表 1 可知,单边误差大小设置为 30 个像素时,即可得到准确率 100%的焊缝提取有效区域。相较于陈强等13提出采用 Susan 算法将焊缝上下边缘单边 60 个像素点大小作为有效区域,本方法提高了焊缝提取的准确率和鲁棒性,减小了误差范围。871 第 2 期刘 欢等:基于图像形态学的焊缝区域提取与对比度提升技术图 9 X 射线图像(ae)以及双边滤波(a1e1)、边缘检测(a2e2)、开运算(a3e3)、对比度提升(a4e4)处理后的焊缝图像Fig.9 X-ray images(ae)and weld seam images processed by bilateral filtering(a1 e1),edge detection(a2 e2),open operation(a3e3),and contrast enhancement(a4e4)图 10 传统方法与本文方法结果对比:(a)本方法,(b)Median-filtering,(c)Canny,(d)Adaptive-threshold,(e)SusanFig.10 Comparison between the results of the traditional method and the method in this paper:(a)the method in this paper,(b)Median-filtering,(c)Canny,(d)Adaptive threshold,and(e)Susan 对典型铝板 X 射线原始图像和线性变换后图像中焊缝区域的像素值进行统计,计算 X 射线原始图像和线性变换图像焊缝区域的均值和标准差,所得结果如表 2 所示。可知,原始 X 射线图像中焊缝区域像素值主要聚集971中国材料进展第 43 卷在范围很小的一个区域里,所以导致其对比度较低。对原始图像焊缝区域的像素值进行线性变换后,图像焊缝区域的像素值平均扩大了 4.13 倍,像素值数据的波动性更大,分布更为离散,因此提高了焊缝区域的对比度,使图像细节看起来更加清晰。表 1 准确率测试结果Table 1 Results of accuracy testUnilateral error sizeExtraction accuracyof weld seam area089.6%1095.6%2098.3%30100%表 2 焊缝区域像素值均值和标准差结果Table 2 Results of mean and standard deviation of pixel valueDrawingNo.Originalimagepixel valuemeanOriginal imagepixel valuestandarddeviationLineartransformationimage pixelvalue meanLineartransformationimage pixel valuestandard deviationa221.698.95159.3162.64b194.2619.88173.2759.39c183.2523.65165.6160.42d216.267.53184.1850.81e211.379.21177.6853.074 结 论(1)针对于亮度分布不均、对比度低的焊缝区域,提出一种基于图像形态学的焊缝区域提取与对比度提升方法,使用双边去噪、边缘检测、形态学操作、焊缝区域提取、线性变换处理,当设置单边误差大小为 30 个像素时,可自动准确提取到准确率 100%的焊缝位置区域。(2)线性变换后的图像较原有图像焊缝区域图像像素值标准差平均扩大了 4.13 倍,像素值范围扩大从而提升了其对比度。(3)使用 Visual Studio 2015 编写程序,用该方法对11 150 张图像进行批处理,验证了该方法的准确性和鲁棒性,为后续焊缝区域内缺陷提取或焊缝动态跟踪提供了可靠保证。参考文献 References1 YE Z,FANG G.Sensor ReviewJ,2013,33(2):125-133.2 QI A L,LEI H J.Journal of Physics:Conference SeriesJ,2019,1187(4):042098.3 CHIRAZ A,JUAN Z.Journal of Nondestructive EvaluationJ,2020,39(3):661-667.4 FAN P,Zhou R G,HU W W,et al.Quantum Information ProcessingJ,2019,18(1):1-23.5 Benhamza K,Seridi H.Evolving SystemsJ,2019,18(2):1-10.6 YU F J,SUN W Z,LI J J,et al.OceanologiaJ,2017,59(3):311-317.7 李颖.基于 SLIC 和 OTSU 的自然场景文本分割方法研究D.武汉:武汉大学,2018.LI Y.Scene Text Segmentation Based on SLIC and OTSUD.Wu-han:Wuhan University,2018.8 雷星.基于 X 射线实时成像的伺服零件无损检测系统设计与实现D.哈尔滨:哈尔滨工业大学,2018.LEI X.A Design and Realization of Nondestructive Testing System of Servo Parts Based on X-ray Real Time ImagingD.Harbin:Harbin Institute of Technology,2018.9 张平.OpenCV 算法精讲M.北京:电子工业出版社,2017:68-76.ZHANG P.OpenCV Algorithm ElaborationM.Beijing:Publishing House of Electronics Industry,2017:68-76.10 李浩谊,马春庭.舰船电子工程J,2019,39(3):103-106.LI H Y,MA C T.Ship Electronic EngineeringJ,2019,39(3):103-106.11 申俊琦,胡绳荪,冯胜强.天津大学学报J,2010,43(4):373-377.SHEN J Q,HU S S,FENG S Q.Journal of Tianjin UniversityJ,2010,43(4):373-377.12 向应霞,丁岳伟.电子测量技术J,2018,41(23):49-54.XIANG Y X,DING Y W.Electronic Measurement TechnologyJ,2018,41(23):49-54.13 陈强,荀一,崔笛,等.机电工程J,2012,29(10):1159-1162.CHEN Q,XUN Y,CUI D,et al.Journal of Mechanical&Electrical EngineeringJ,2012,29(10):1159-1162.(编辑 张雨明)081