基于快速傅里叶变换和改进分水岭算法的纸病实时检测复合算法.pdf

技术报告中国造纸 2023 年第 42 卷 第 7 期纸病检测算法基于快速傅里叶变换和改进分水岭算法的纸病实时检测复合算法汤伟 张龙*王锦韫 方嘉楠（陕西科技大学电气与控制工程学院，陕西西安，710021）摘要：本课题提出了一种适合高速宽幅造纸机纸病在线实时检测的复合算法，该算法的基本思想是：首先通过快速傅里叶变换（fast Fourier transform，FFT）将时域图像转换到频域，以便使用频域图像与高斯（Gaussian）高通滤波器做乘积运算进行滤波；再通过快速傅里叶逆变换（inverse fast Fourier transform，IFFT）将频域中的图像转换到时域，以便下一步使用运算速度较快的分水岭算法对滤波后的图像进行快速缺陷分割，实现纸病在线实时检测。利用采集到的2000余张纸病图片进行纸病检测实验，结果表明，本课题提出的复合算法具有快速、高效、适用性强、分割效果好等优点，可满足纸病在线检测对图像处理算法实时性和准确性两方面的要求。关键词：纸病检测；傅里叶变换；Gaussian滤波；分水岭算法中图分类号：TS736+.2 文献标识码：A DOI：10.11980/j.issn.0254-508X.2023.07.017A Composite Algorithm for Real-time Detection of Paper Defects Based on Fast Fourier Transform and Improved Watershed AlgorithmTANG Wei ZHANG Long*WANG Jinyun FANG Jianan（College of Electrical and Control Engineering，Shaanxi University of Science&Technology，Xi an，Shaanxi Province，710021）（*E-mail：）Abstract：This paper presented a composite algorithm appropriate for online real-time detection of paper defects in high-speed and wide-width paper machines.The algorithm employed the following basic idea：First，the time-domain image was transformed into the frequency domain using fast Fourier transform（FFT），enabling the product of frequency domain image and Gaussian high-pass filter to be utilized to filter.Next，the image in the frequency domain was converted back to the time domain via inverse fast Fourier transform（IFFT）.The third step involved utilizing the fast watershed algorithm to quickly segment the filtered image and achieved online real-time detection of paper defects.Over 2000 pictures of paper defects were collected.The results showed that the proposed composite algorithm possessed several advantages，including high speed，high efficiency，strong applicability，and good segmentation effect.Ultimately，it met the demands of real-time capability and accuracy for online paper defect detection.Key words：paper defect detection；Fourier transform；Gaussian filtering；watershed algorithm在特种用途纸（如高端铜版纸、花纹纸等）的生产过程中，受工艺和生产环境的影响，纸张会伴随出现如孔洞、黑斑、划痕、褶皱等缺陷，业内称之为纸病，纸病的出现一定程度上影响了纸张的质量和企业的经济效益。在现代工业生产中，随着纸机车速的提高和纸机幅宽的加大（简称“提速加宽”），纸病出现的频率也就越来越高，为了提高纸张的产量，寻找一种快速准确的纸病检测方法尤为重要。随着工业相机和镜头等硬件的不断发展，基于机器视觉的纸病检测方法凭借其具有非接触、高精度、高速度的特点，代替传统的通过红外线光源和光电晶体管进行检测的方法，已成为纸病检测的主流方法。其中，在纸病的在线检测系统和检测算法中，用于提高纸病检测快速性和准确性的方法也层出不穷，刘息桐1通过改进的Hough变换方法检测纸病，利用中值滤作者简介：汤伟先生，博士，教授；研究方向：制浆造纸全过程自动化、工业过程高级控制、大时滞过程控制及应用。收稿日期：2023-01-05（修改稿）基金项目：西安市科技计划项目（2020KJRC0146）；国家自然科学基金计划项目（62073206）。*通信作者：张龙，在读硕士研究生，工程师；研究方向：图像处理与机器识别。153China Pulp&Paper Vol.42，No.7，2023技术报告波去除图像中由黑白点组成的椒盐噪声实现滤波，再通过Hough变换获得纸病的不精确图像、最后通过膨胀运算实现纸病分割，其对噪声的处理能力强、运算速度快，但没有考虑中值滤波在滤除噪声的同时还会滤除较为微小的纸病，或是遇到不同的光源环境生成的图像噪声也不一样，从而导致准确性低，且只能针对褶皱纸病，适用性低。曲蕴慧等人2通过基于Gabor滤波器的滤波方法来滤除噪声，同时利用Gabor滤波器和高斯（Gaussian）滤波器去除纸张纹理干扰，进一步增强纸病区域的对比度以实现滤波，最后通过Laplacian边缘检测算法和形态学闭运算进行图像分割，其对低对比度纸病的检测正确率高、抗干扰特性良好，但由于Gabor的实现需要大量的乘积运算，且没有较为有效的快速算法，导致计算量过大，实时性差。张开生等人3通过改进的YOLOv5进行纸病检测和纸病种类识别，通过在批量归一化模块的首尾部分添加居中和缩放校准以增强纸张缺陷的有效特征，并在骨干网络中引入坐标注意力机制以提升模型的特征提取能力，最后选用CIoU_loss作为边框回归的损失函数，具有检测准确率高、检测实时性强等优点，但需要高性能显卡进行纸病数据训练，增加了设备成本。在当前纸机“提速加宽”的大背景下，上述方法在实时性、准确性、适用性均存在不足，为此，本课题在不增加系统设备成本的基础上，以纸病在线检测快速性和准确性为研究出发点，提出了一种纸病在线实时检测方法，该方法具有成本低、快速、适用性高、准确率高等优点，通过使用HDevelop+Qt平台进行仿真验证，证明了本课题所提方法的有效性。1 基于频域Gaussian高通滤波器的纸病图像滤波及基于标记的快速分水岭分割算法图 1(a)为造纸工艺中的纸病检测环节流程示意图，本环节处于造纸工艺的后半段。由图1(a)可知，加粗线条表示纸张经过滚轮压光后，直接被送到纸病图1造纸工艺纸病检测环节流程示意图及装置示意图Fig.1Flow diagram and device diagram of paper defect detection during papermaking process154技术报告中国造纸 2023 年第 42 卷 第 7 期检测机架上（机架位于相机C下），相机C对纸张进行连续扫描，并将纸张信息发送至PC端进行纸病检测，当检测到纸病后PC端给打标机D发送信号，打标机收到信号后对纸病区域进行打标，标记纸病大概位置，最后在B处进行卷纸，操作人员会在复卷阶段根据标记切割掉有纸病的纸张。为了方便引纸，压光和卷纸间只能有12 m左右间距，处于这2个环节的纸病检测设备与打标机的距离也只有 1 m 左右，如图 1(a)中 C 与 D 之间的距离。在这1 m的间距内要完成相机拍照、图像处理、信息传输等过程，对系统有着极高的实时性需求。当然也可以通过改变工艺的方法加大相机与打标机之间的距离从而降低系统实时性需求，如图1(a)中将相机放到C 的位置，这样一方面会导致压光段产生的纸病无法被检测，另一方面高空也不利于安装相机等机器视觉硬件设备，所以一般不采用这种办法。随着造纸机的“提速加宽”，提高纸机车速导致单位时间内纸病的出现机率会增多；纸张幅度加宽导致单个相机（图1(b)）不能拍到完整的纸张图像，需要采用多相机联合使用图1(c)的新方法，各个相机需要先将采集到的图像进行汇总，再进行后期的图像处理和纸病检测，所以对系统的实时性和准确性提出了更高的要求。本课题提出一种纸病检测复合算法以提高相机单帧图像的检测速度和准确率，从而提高整个系统的实时性和准确性，该算法首先通过快速傅里叶变换（fast Fourier transform，FFT）将时域图像转换为频域图像，使用频域图像与频域Gaussian高通滤波器4做乘积运算进行滤波；再通过快速傅里叶逆变换（inverse fast Fourier transform，IFFT）将频域中的图像转换为时域图像，以便下一步使用基于标记的快速分水岭算法5对滤波后的图像进行快速缺陷分割，实现纸病检测。1.1基于频域Gaussian高通滤波器的纸病图像滤波在纸病生产过程中，由于受光源的照射和反射，图像会出现不同程度的背景纹理6干扰，严重影响后续纸病分割的正确率，所以需要先对纸张图像进行滤波处理。本课题采用基于频域Gaussian高通滤波器的纸病图像滤波方法，相较于常规的中值滤波、均值滤波等时域滤波算法7，Gaussian滤波算法能够更有效地滤除纸张背景纹理，滤波方式流程图如图2所示。相机采集到的图像经FFT后得到频域图像F，F与频域Gaussian高通滤波器H做乘积进行滤波，再经过IFFT，取结果的实数部分得到滤波后的图像，从而去除图像中的背景纹理干扰，滤波公式如式(1)所示。g(x，y)=Real-1 H(，)F(，)（1）式中，x和y分别表示图像坐标变量；和分别表示频率坐标变量；F(,)表示输入图像f(x,y)的FFT，计算如式(2)所示；H(,)表示频域Gaussian高通滤波器的传递函数，计算如式(3)所示；-1表示IFFT，f(x,y)计算如式(4)所示；g(x,y)表示滤波后的图像。F(，)=x=0M-1y=0N-1f(x，y)e-j2(xM+yN)（2）H(，)=1-e-2+222（3）f(x，y)=1MN=0M-1=0N-1F(，)ej2(xM+yN)（4）式(2)和式(4)实际上是离散傅里叶变换（discrete Fourier transform，DFT）和离散傅里叶逆变换（inverse discrete Fourier transform，IDFT）的公式，式中M和N分别表示图像中等间距离散样本的个数，由于DFT计算量巨大，应用中难以拓展，FFT的提出使得DFT更接近实时。FFT是一种将二维图像从时域转化为频域的一种快速方法8，其基本思想是在DFT的过程中充分利用合并同类项技术以尽量减少乘法次数，通过许多小规模更加容易进行的变换去实现大规模的变换，需要明确的是，FFT不是明确的某一种算法，只是对DFT的一种加速算法，具有计算量少和易于实现的优点，本研究直接使用 Halcon中的 FFT算子fft_generic进行设计和验证。式(3)是二维频域Gaussian高通滤波器的传递函数表达式，其中是指Gaussian分布在滤波器频域的方差，u和v指滤波器的点坐标，输出H（u，v）表示图像中u，v点所占的权重，值越大，Gaussian高通滤波器的频带就越宽，图像越尖锐，值过大或过小都不利于后期的图像分割，过大会导致边缘模糊，过小则无法起到平滑图像的作用，所以要选择一个合适的值，才能达到最好的效果。二维Gaussian高通滤波器的三维示意图2滤波流程图Fig.2Flow chart of filtering 155China Pulp&Paper Vol.42，No.7，2023技术报告图如图3所示，其是一个倒正态分布钟形体。从图3可以看出，离中心点越近权值越大，离中心点越远权值就越小9。本课题算法通过图像差值法对2个不同值的频域 Gaussian 高通滤波器做差，构造出 1 个新的Gaussian高通滤波器，通过实验可得，2个频域Gaussian高通滤波器参数分别为2.3和0.6时滤波效果最好。由式(1)式(4)可得，最终输出图像数据，即为滤波后的图像。1.2基于标记的快速分水岭图像分割算法分水岭算法是基于地理形态的图像分割方法，基本思想是在一张图像的最低点即灰度值最小处，进行注水，随着水的注入，水平面会一直上升，直到淹没设定高度的山谷，可以通过给分水岭上面设置大坝以避免2个山谷水的聚集，从而实现分割的目的，映射到图像分割中，就是通过让阈值从图像灰度极小值开始不断增长，随着阈值的不断增加，每1个局部极小值的影响域慢慢向外扩展，在2个集水盆之间构筑大坝，形成1个又1个分水岭，从而实现图像分割10。由于分水岭算法分出来的区域很细，影响后续区域的分割处理，本课题采用基于标记的快速分水岭算法11，该算法根据先验知识在原图中寻找一些内部标记和外部标记来引导算法进行分割，要求每1个内部标记要处在感兴趣物体的内部，而外部标记要包含在背景中，利用找到的内外标记改进梯度图像，在改进的梯度图像上应用分水岭算法，实现图像分割。基于标记的快速分水岭分割算法通常将梯度图像作为输入图像，这使得该算法对微弱边缘具有良好的响应，从而有利于褶皱、折痕等低对比度纸病图像的分割，提高纸病检测的检测精度。基于标记的快速分水岭算法比其他图像分割方法以及传统的分水岭算法，具有速度快、稳定性强、准确率高的优点。本算法具体流程如图4所示，首先计算滤波后图像的区域极大值，将区域灰度极大值作为前景标记。然后将滤波后的图像进行二值化，对二值化的图像进行距离变换，再进行分水岭算法，获得相邻区域间的分界线，将相邻区域间的分界线作为背景标记。对原图像进行梯度提取并修正获得修正图像 gradImage，对gradImage进行分水岭算法得到最终结果。2 纸病实时检测复合算法流程图5表示纸病实时检测复合算法流程图，主要分为以下4个步骤。（1）采用工业CMOS线阵相机配合条形光源对不断运动的纸张进行图像采集，将图像上传至 PC端，CPU采用Intel(R)Core(TM)i7-7700HQ CPU2.80GHz，获取图像大小等信息，并初始化显示界面与操作界面；（2）采 用 Halcon 提 供 的 FFT 加 速 算 子 optimize_fft_speed对FFT加速；（3）使用差值法对2个频域Gaussian高通滤波器做差，构建合适的频域Gaussian高通滤波器，本课题2个频域Gaussian高通滤波器的值分别取2.3和0.6；图4基于标记的快速分水岭算法流程图Fig.4Flow chart of mark-based fast watershed algorithm图3二维Gaussian高通滤波器的三维示意图Fig.3Three-dimensional schematic diagram of two-dimensional Gaussian high-pass filter156技术报告中国造纸 2023 年第 42 卷 第 7 期（4）对采集到的图像做FFT，用第3步构建的频域Gaussian高通滤波器对FFT得到的图像进行滤波，再进行IFFT得到去除背景纹理之后的图像，最后用基于标记的快速分水岭算法进行图像分割，得到分割后的纸张缺陷区域，统计纸病数量并将有纸病的纸张显示在电脑上。3 实验设计结果及分析本课题软件部分以QT为编译平台，以C+语言编写框架，使用第三方软件包Halcon编写视觉算法，硬件部分采用Dalsa S3-24-04k40线阵相机，背光源与上光源搭配的光源结构搭建了纸病检测系统。其中纸机车速最高为400 m/min，纸幅宽度为1 m，实验平台构建了黑斑、划痕、褶皱、孔洞4种常见类型纸病，并以这4种类型纸病为对象，首先使用本课题算法进行纸病检测验证算法的可行性，其次加入了其他3种经典纸病检测方法，再采用同样的硬件配置进行准确性和快速性对比验证。3.1 算法可行性分析相机采集到的原图像如图6和图7所示。图6表示无纸病图像，由于受渐晕效应影响，图像出现两边暗中间亮的情况。图7为黑斑、划痕、褶皱、孔洞4种常见纸病的图像。经过相机采集后，将采集到的图像数据传输至电脑PC端，并将其显示在界面左侧。首先对原图进行本算法中的滤波处理，然后再转换到时域，所得图像如图8所示，在滤除掉低频分量后，图像对比度明显增强，缺陷更加明显。再利用本算法中基于标记的快速分水岭算法分割后，用实线对图像中分割出来的缺陷进行标记，将检测结果图像显示在界面右侧，并显示检测结果（OK与Not OK）和被分割的纸病缺陷的个数，如图8所示。经过30 h的采集和检测，得到2000余张纸病图像，随机抽取200张图像进行分析。图9表示4种常见纸病经过FFT滤波后图像。图10和图11分别表示图94种常见纸病FFT滤波后图像Fig.9FFT filtered images of four common paper defects图84种常见纸病的区域分割图像Fig.8Regional segmented images of four common paper defects图74种常见纸病图像Fig.7Images of four common paper defect图6无纸病图像Fig.6Image of paper without defect图5纸病检测算法流程图Fig.5Flow chart of paper defect detection algorithm157China Pulp&Paper Vol.42，No.7，2023技术报告4种常见纸病FFT滤波前后的灰度直方图。从图10和图11可以看出，纸病图像经过低频信号滤除后，横轴表示的灰度值范围明显更加聚拢，原纸病图像背景纹理明显减少，图像灰度范围明显降低。表1描述了4种纸病经本课题算法滤波前后的灰度差，其中gray表示图像灰度差占比12，计算如式(8)所示，其中grayMAX表示图像灰度值的最大值，grayMIN表示图像灰度值的最小值。gray越小，说明图像匀度越大，图图114种常见纸病FFT滤波后的灰度直方图Fig.11Grayscale histogram of four common paper defects after FFT filtering图104种常见纸病的灰度直方图Fig.10Grayscale histograms of four common paper defects158技术报告中国造纸 2023 年第 42 卷 第 7 期像越均匀。经过计算可得，相机初始采集到的图像灰度差占比基本都在0.9以上，而经过本课题滤波算法后的灰度差占比基本都在0.4以下，这表明4种类型的纸病经本课题滤波算法后，图像匀度均明显增加，更有利于图像分割。gray=grayMAX-grayMIN256（8）3.2 算法快速性和准确性对比验证本实验加入了“Gaussian滤波器+阈值分割”“中值滤波器13+阈值分割”“Gabor滤波器+Gaussian滤波器+Laplacian边缘检测”3种目前广泛使用的纸病检测方法，再采用同样的硬件配置进行对比实验。实验通过4种方法对图7中的纸病缺陷进行检测，得出4种纸病检测复合算法检测对比图如图12所示，以及4种复合算法的检测率与时间对比如表2所示。通过对表2进行分析可知，本课题的复合算法检测出来的纸病缺陷率为 97.5%，高于“中值滤波器+阈值分割”和“Gaussian滤波器+阈值分割”2种组合，与“Gabor滤波器+Gaussian滤波器+Laplacian边缘检测”的缺陷检测率相差无几，但“Gabor 滤波器+Gaussian 滤波器+Laplacian边缘检测”的纸病检测方法耗时长，所耗时间为0.85 s，是本课题复合算法时间的56倍，不利于纸病的在线实时检测，而本课题纸病检测复合算法能够有效地去除纸病图像背景纹理的干扰，准确且快速地检测出纸病区域。4 结论本课题提出了一种实时性好、准确率高的纸病在线实时检测复合算法，首先使用快速傅里叶变换（FFT）将时域的纸病图像转换至频域，其次构建频域Gaussian高通滤波器，将频域图像与频域Gaussian高通滤波器做乘积运算，从而滤除频域中的低频分量，再通过快速傅里叶变换（IFFT）将频域图像转换至时域，以便下一步使用基于标记的快速分水岭图像分割方法将纸病快速分割出来，实现纸病检测功能。结果表明，本课题所提复合算法可以去除原图像中的背景纹理，提高纸病分割速度和正确率，具有检测速度快、准确率高的优点，随着纸机车速的不断提升，纸病检测对于系统实时性的要求也会不断提升，为了进一步提高算法的实时性，将在后续的研究中把如何构建更快速、更准确的纸病实时检测复合算法作为研究重点。参 考 文 献1 刘息桐.基于改进Hough变换的不规则纸病的检测方法 J.中阿科技论坛（中英文），2021（3）：123-125.LIU X T.Irregular Paper Defect Detection Method Based on Improved Hough Transform J.China-Arab Tech Forum（In Chinese and English），2021（3）：123-125.2 曲蕴慧，汤伟，文 豪，等.基于Gabor滤波器的低对比度纸病检测算法 J.中国造纸学报，2019，34（2）：42-46.QU Y H，TANG W，WEN H，et al.An Algorithm for Low Contrast Paper Defects Inspection Based on Gabor FilterJ.Transactions China Pulp and Paper，2019，34（2）：42-46.3 张开生，关凯凯.基于改进YOLOv5的纸病检测方法 J.中国造纸，2022，41（10）：79-86.ZHANG K S，GUAN K K.Paper Defect Detection Method Based on Improved YOLOv5 J.China Pulp&Paper，2022，41（10）：79-86.4 詹海峰，田红心，牛博，等.基于多分辨率高斯滤波器组的时频分析方法 J.中国电子科学研究院学报，2017，12（6）：654-661.ZHAN H F，TIAN H X，NIU B，et al.Time Frequency Analysis Method Based on Multi-resolution Gauss Filter Bank J.Journal of 图124种纸病检测复合算法检测对比Fig.12Comparison of four composite algorithms for paper defect detection表24种复合算法的检测率与时间对比Table 2Comparison of detection rate and time of four composite algorithms复合算法Gaussian滤波器+阈值分割中值滤波器+阈值分割Gabor滤波器+Gaussian滤波器+Laplacian本课题复合算法实际缺陷数量/个40404040检测缺陷数量/个36353839正确率/%90.087.595.097.5平均消耗时间/s0.080.070.850.15表14种纸病缺陷滤波前后灰度差值对比Table 1Comparison of gray scale difference before and after filtering for four kinds of paper defects缺陷类型黑斑划痕褶皱孔洞滤波前灰度差值244246246248250252250252gray0.9560.9640.9800.980滤波后灰度差值7577626442449294gray0.2940.2430.1650.360159China Pulp&Paper Vol.42，No.7，2023技术报告CAEIT，2017，12（6）：654-661.5 荣亚琪.基于常微分方程和标记分水岭算法的细胞图像分割D.长春：长春工业大学，2022.RONG Y Q.Cell Image Segmentation Based on Ordinary Differential Equations and Labeled Watershed AlgorithmD.Changchun：Changchun University of Technology，2022.6 曲蕴慧，汤 伟，文 豪，等.基于DCT同态滤波的纸病图像去噪算法研究 J.中国造纸，2018，37（5）：45-49.QU Y H，TANG W，WEN H，et al.Paper Defects Image De-noising Algorithm Based on Holomorphic Filtering and Discrete Cosine Transform J.China Pulp&Paper，2018，37（5）：45-49.7 周克虎，雷 涛，罗 刚.一种基于时域滤波的红外序列图像去噪算法 J.应用光学，2021，42（3）：474-480.ZHOU K H，LEI T，LUO G.Infrared sequence images denoising algorithm based on temporal filtering J.Journal of Applied Optics，2021，42（3）：474-480.8 於 玺.快速傅里叶变换在信号处理中的应用 J.信息记录材料，2021，22（10）：184-186.YU X.Application of Fast Fourier Transform in Signal ProcessingJ.Information Recording Material，2021，22（10）：184-186.9 孙凯明，郝 明，刘彤军，等.基于高斯差分滤波的金刚线颗粒检测方法 J.自动化技术与应用，2021，40（7）：121-124.SUN K M，HAO M，LIU T J，et al.Diamond Wire Particle Detection Method Based on DoG FilteringJ.Techniques of Automation&Applications，2021，40（7）：121-124.10 赵玉林，曾小平.基于条纹投影的傅里叶变换轮廓术中高斯滤波窗口的研究 J.成都航空职业技术学院学报，2020，36（2）：61-64，92.ZHAO Y L，ZENG X P.Research on Gaussian Filter Window in Fourier Transform Profilometry Based on Fringe ProjectionJ.Journal of Chengdu Aeronautic Polytechnic，2020，36（2）：61-64，92.11 李 杰，冯魁祥，朱玲玲，等.基于阈值标记的分水岭算法遥感图像道路提取 J.长春大学学报，2019，29（6）：10-14.LI J，FENG K X，ZHU L L，et al.Road Extraction from Remote Sensing Image by Watershed Algorithm Based on Threshold MarkerJ.Journal of Changchun University，2019，29（6）：10-14.12 陈 珺，王亦红.基于机器视觉的低对比度纸病识别算法研究J.中国造纸学报，2013，28（2）：29-33.CHEN J，WANG Y H.Identification Algorithm of Low Contrast Paper Defects Based on Machine VisionJ.Transactions of China Pulp and Paper，2013，28（2）：29-33.13 魏爱娟，李 茜，汤 伟.基于邻域关联特性的纸病去噪方法J.中国造纸学报，2013，28（1）：44-47.WEI A J，LI Q，TANG W.An Improved Paper Defects Denoising Method Based on Gray Associated with Neighborhood CharacteristicsJ.Transactions of China Pulp and Paper，2013，28（1）：44-47.CPP（责任编辑：董凤霞）160