基于机器视觉的印刷品表面划痕缺陷检测.pdf

PRINTING AND DIGITAL MEDIA TECHNOLOGY STUDY Tol.226 No.5 2023.10印刷与数字媒体技术研究 2023年第5期（总第226期）RESEARCH PAPERS研究论文基于机器视觉的印刷品表面划痕缺陷检测左 才，张勇斌*，齐元胜，李星炎，王煜川（北京印刷学院 机电工程学院，北京 102600）摘要 针对包装印刷品表面缺陷问题，本研究提出了一种基于机器视觉的印刷品表面划痕缺陷检测方法。首先，通过CCD相机获取印刷品表面待检测图像，对加权平均法、平均值法和最大值法3种图像预处理方法进行对比分析，发现加权值法获得的灰度化效果最优，因此选用加权值法对待检测图像进行灰度化处理。在图像去噪方面采用高斯滤波进行有效处理，然后采用图像二值化和Canny边缘检测算子对预处理后的图像进行缺陷特征的分割和提取，最终利用傅里叶快速变换进行图像配准。通过实验验证，该缺陷检测准确率可达98.7%，相对于其他缺陷检测方法，本研究所提出的方法在便捷性和精准性方面均具有一定的优势，可以实现印刷品表面划痕缺陷的快速检测。关键词 机器视觉；缺陷检测；印刷品；Canny边缘检测算子；表面划痕中图分类号 TS807文献标识码 A文章编号 2097-2474(2023)05-42-07DOI 10.19370/10-1886/ts.2023.05.004Detection of Surface Scratch Defects of Printing Products Based on Machine VisionZUO Cai,ZHANG Yong-bin*,QI Yuan-sheng,LI Xing-yan,WANG Yu-chuan(School of Mechanical and Electrical Engineering,Beijing Institute of Graphic Communication,Beijing 102600,China)Abstract Aim at the problem of surface defects of packaging prints,a method for detecting scratches on the surface of packaging prints based on machine visionis was proposed in this study.Firstly,the image to be detected on the surface of the prints was obtained using the CCD camera.Three image preprocessing methods,namely the weighted average method,the average value method,and the maximum value method,were compared and analyzed.It was found that the gray scale effect obtained by the weighted average method was optimal,thus,gray scale was processed by the weighted average method in this study.In terms of image denoising,Gaussian filtering was used for effective processing,and then image binarization and Canny edge detection operators were used to segment and extract defect features from the preprocessed image.Finally,fast Fourier transform was used for image registration.Through experimental verification,the defect detection accuracy of this method can reach 98.7%.Compared to other defect detection methods,the proposed method has certain advantages in convenience and accuracy,and can achieve rapid 收稿日期：2022-08-03 修回日期：2022-09-13 *为通讯作者本文引用格式：左才，张勇斌，齐元胜，等.基于机器视觉的印刷品表面划痕缺陷检测J.印刷与数字媒体技术研究，2023，(5)：42-48.2023年5期印刷与数字媒体技术研究.indd 422023年5期印刷与数字媒体技术研究.indd 422023/10/7 16:20:162023/10/7 16:20:1643研究论文左 才等：基于机器视觉的印刷品表面划痕缺陷检测0 引言当前，包装印刷品在生产过程中，由于印刷工艺、印刷设备和生产环境因素的影响，印刷品表面可能会出现各种各样的缺陷，如色差、套印不准、刮刀线痕等1-2，如不能及时发现和处理，将直接影响印刷品质量，给企业造成经济损失。因此，包装印刷实时缺陷检测装置的研究成为了印刷企业关注的焦点3-4。传统的包装印刷品缺陷检测主要是质检员对印刷品的外观进行主观视觉缺陷检测，存在受质检员主观意志影响较大、漏检率高、人力成本增加等诸多弊端。随着机器视觉技术的迅速发展，以及企业对生产效率的不断追求和包装印刷品质量的日益提升，具有低成本、高效率、低漏检率的印刷品实时缺陷检测技术成为迫切需求5-10。基于此，本研究利用机器视觉和图像处理技术，以包装印刷品表面刮刀线痕缺陷为研究对象，基于Canny边缘检测算法和快速傅里叶变换匹配方法设计一种缺陷检测方法，为探索更加精确、高效的印刷品实时缺陷检测提供参考。1 印刷品缺陷检测相关工作介绍1.1 印刷品表面划痕缺陷分类印刷过程中，油墨中混有的多种杂质会对刮刀产生干扰，使得印刷品表面出现划痕缺陷，极大地影响包装印刷品的美观和质量，为了更好地提高印刷品质量和生产效率，及时发现生产过程中存在的问题，本研究对包装印刷品表面的划痕及其产生的原因进行分类。结果见表1。1.2 印刷品表面划痕缺陷检测装置选用为了及时识别和发现印刷品表面划痕缺陷，本研究利用印刷品图像采集系统获取印后产品表面图像，并将所获取的待检测图像进行图像预处理、分割和特征提取，将最后检测结果和标准模板进行匹配，判断待检测产品是否为缺陷印刷品。印刷品图像采集系统如图1所示，主要由光源、CCD工业相机、图像采集卡、输入输出设备等构成。由于印刷品在印刷过程中表面存在反光现象，对所采集到的图像质量造成严重干扰，为了降低干扰，本研究选取2个SEENO-SL50030的500*30的条形光源为印刷品图像采集系统提供良好的光照环境。传送带装置CCD相机LED条形光源LED条形光源待检测产品图1 印刷品图像采集系统 Fig.1 Image acquisition system for printed productsCCD相机是工业图像采集的关键设备，选择合适的CCD相机可以有效的提高检测的准确性和效率。为了满足在3000m/s速度下，对宽度500mm的印刷品图像进行采集，本研究选用Teledyne DALSA 公司 P3-8X-08K40 高分辨率高行频相机与高行频相机配套的Teledyne DALSA 公司的 Xcelera-CL PX4 采集卡。相机和采集卡的主要参数为：相机分辨率为81921，相机行频为49.15kHz，图像卡图像采集速度为850MB/s。detection of surface scratch defects in prints.Key words Machine vision;Defect detection;Printed products;Canny edge detector;Surface Scratch表1 划痕缺陷及其产生的原因分类Tab.1 Classification of scratch defects and their causes缺陷类型缺陷产生的主要原因缺陷定义无油墨线痕油墨中混入了坚硬的无机杂质线宽大于0.2mm连续性线长大于1cm较粗的有油墨的连续性刮刀线痕油墨中软性粒子和刃口损伤线宽大于0.3mm连续性线长大于1cm“流星”状的刮刀线痕活性粒子线宽大于0.2mm连续性线长大于1cm细丝状的连续性刮刀线痕版辊表面光洁度差，环境、油墨中存在杂质线宽大于0.1mm连续性线长大于1cm2023年5期印刷与数字媒体技术研究.indd 432023年5期印刷与数字媒体技术研究.indd 432023/10/7 16:20:162023/10/7 16:20:1644印刷与数字媒体技术研究2023年第5期（总第226期）1.3 印刷品表面划痕缺陷检测流程缺陷检测过程分为两个部分，即待检测图像采集处理和待检测图像配准。首先在系统待检测图像配准过程中设置标准模板，即提取待检测目标区域的标准模板，并使用图像灰度化处理、图像去噪处理、图像二值化等处理方法对待检测区域的标准模板进行图像预处理，然后通过Canny算子对预处理后的图像进行图像分割和图像特征提取，并形成配准模板。当得到印刷品表面配准模板时，将待检测印刷品进行和标准模板一样的图像处理流程，经过处理后的待检测印刷品图像与标准模板图像进行对比，若检测结果为存在缺陷，则停机报警，提醒工作人员检查并解决故障，故障解决后系统正常运行。若在检测过程中无缺陷情况则正常运行，其缺陷检测流程如图2所示。图像分割和特征提取创建标准模板图像预处理图像预处理待检测图像图像分割图像特征匹配警告标准图像缺陷是否解决问题图2 缺陷检测流程图Fig.2 Flow chart of defect detection2 印刷品表面缺陷检测方法设计生产设备、制作工艺、环境等印刷过程中产生的噪声会对图像采集和后续的图像处理带来巨大的影响。因此，为了能够准确高效地检测缺陷图像，需要对采集到的印刷品图像进行预处理和特征分割提取。本研究采用加权平均灰度化处理、高斯滤波去噪和图像二值化等方法对待检测印刷品图像进行有效的预处理，并利用Canny算法对预处理后的图像进行进一步的有效分割和特征提取，最后利用快速傅里叶变换和标准模板进行有效匹配。2.1 图像预处理2.1.1 图像灰度化处理在印刷过程中，由于绝大多数的包装印刷品为彩色印刷，如果直接对获取的彩色待检测图像进行处理，将会出现图像处理数据量大、检测效率低、图像配准准确率低等问题，因此，采用加权平均法对待检测印刷品图像和标准印刷品图像进行灰度化处理。加权平均法是一种较符合人眼观察的R、G和B颜色差异的算法，是将图像的R、G、B的平均数进行加权，结果作为灰度图像的平均数，其权值的选取会影响灰度图像的处理效果，并对最终的灰度图像起到决定性的作用，计算如公式(1)所示。Gary(a,b)=wRR(a,b)+wGG(a,b)+wBB(a,b)（1）其中wR、wG、wB分别代表印刷品表面图像对应R、G、B的权重，当wR、wG、wB的取值分别为0.30、0.59、0.11时，加权平均灰度图像效果最为理想，颜色效果明暗适中，能更好地体现原图像的颜色层次。2.1.2 高斯滤波去噪为了减少噪声对被检测图像处理的影响，针对印刷过程中产生的高斯噪声，采用高斯滤波对其进行有效处理。其原理为：利用高斯模板对待检测图像的像素点进行加权处理，用加权处理后的邻域像素点的加权像素值替代原图像中心像素点的像素值，完成原待检测图像的去噪处理。其计算如公式(2)和公式(3)所示。（2）I1=I*G(x,y)（3）其中，(x,y)为图像中点的坐标，为标准差，I为原始图像，*表示卷积操作，G(x,y)表示二维高斯函数，I1表示卷积平滑后的图像。本研究选取3*3模板对图像进行高斯卷积处理，设定=0.8，中心点的坐标为（0，0），其余各点坐标如图3所示，利(1，1)(1，0)(1，-1)(0，1)(0，0)(0，-1)(-1，1)(-1，0)(-1，-1)图3 原始图像模板Fig.3 Original image template2023年5期印刷与数字媒体技术研究.indd 442023年5期印刷与数字媒体技术研究.indd 442023/10/7 16:20:172023/10/7 16:20:1745研究论文左 才等：基于机器视觉的印刷品表面划痕缺陷检测用高斯公式计算得到相应的权重矩阵如图4所示，通过对权重矩阵进行归一化得到高斯模板如图5所示。在后续图像处理中只需要将灰度图各点的值和对应点的权重相乘即可，并将得到的9个值进行求和作为中心点的高斯模糊值。0.0520.1140.0520.1140.2490.1140.0520.1140.052图4 权重矩阵Fig.4 Weight matrix0.0570.1250.0570.1250.2720.1250.0570.1250.057图5 高斯模板Fig.5 Gaussian template2.1.3 图像二值化为了使图像处理变得更加简单，进一步减少图像处理的数据量，为后续图像特征提取提供便捷，本研究采用图像二值化对待检测图像进行处理。其原理为：通过改变待检测图像的像素值来实现图像的有效分割，即将待检测图像的像素值划分为0或225，使得图像呈现黑白效果，然后对阈值进行适当改变可以有效地反映整体和局部的图像 特征。假设图像包含L灰度级别(0,1,L-1)，而具有灰度水平的像素为i和Ni，图像中的像素总和为N=N0+N1+NL-1，具有灰度值点出现的概率P(i)如公式(4)所示。P(i)=N(i)/N（4）为了有效的反映整体与局部的图像特征，需要设定一个合适的阈值T对待检测图像进行分割，通过T分割将整个图像分为背景区域a1和目标区域a2两类，则被检测图像的背景区域a1=(0,1,T)，被检测图像的目标区域a2=(T+1,T+2,L-1)，当区间类方差为2时，其计算如公式(5)所示。2=a1*a2(u1-u2)2（5）其中，a1代表背景区域在图像中所占比例，a2代表目标区域在图像中所占比例，u1代表背景区域的平均灰度值，u2代表目标区域的平均灰度值。当类间方差2最大时，其对应的阈值T为最佳 阈值。2.2 缺陷图像分割与特征提取经过图像预处理后，为了更加精确、快速地定位缺陷特征所在的区域，需要对缺陷区域进行特征提取，本研究选用Canny边缘检测算法来分割待检测图像的缺陷部分，其能够有效地增强多响应边缘抑制，更加清晰地显示图像边缘特性。在图像边缘化处理时，利用Soble算子，计算像素的梯度值和方向。其卷积模板如公式(6)所示。01273654101121202000101121,xySSaaaKai jaaaa=，（6）其中，Sx代表横向卷积模板，Sy为纵向卷积模板，K为原始图像矩阵。因此可以计算出图像的灰度值Ki,j，横向梯度幅值Gx，纵向梯度幅值Gy，当前图像点的幅值Mi,j和梯度方向i,j，计算如公式(7)所示。（7）由于在梯度值和幅值计算确定后的待检测图像边缘依然非常模糊，需要采用Canny算子中的非最大抑制特性对其边缘点的灰度值进行有效抑制。其原理为：将非边缘点的灰度值设为0，并将该方向的边缘像素值用该方向的最大幅值点的像素值来代替。但是，由于其他噪声对图像的影响，而造成边缘断开和假边缘的情况。因此，需要利用双阈值抑制的方法来减少此类情况。其主要是通过比较被检测像素点的梯度值所在其设定阈值的范围，来进一2023年5期印刷与数字媒体技术研究.indd 452023年5期印刷与数字媒体技术研究.indd 452023/10/7 16:20:172023/10/7 16:20:1746印刷与数字媒体技术研究2023年第5期（总第226期）步确定边缘像素点。当此像素点梯度值超过其设定阈值的最高值，则选取该像素点替代原有像素点成为边缘像素点，当该像素点梯度值低于其设定的阈值的最低值，则该像素点作为非边缘像素点。通过此方法可以实现待检测图像边缘轮廓特征的有效分割。2.3 缺陷特征匹配本研究采用快速傅里叶变换将待检测图像和标准模板图像进行匹配，其原理主要是将待检测目标的几何空域图像转换为频域字符，然后在模板的频域字符区域内实现匹配，特征匹配结束后再转换到几何空域对其特征匹配结果进行呈现。设待检测图像在坐标系的位置坐标为f1(x1,y1)，经过移动后位置坐标为f2(x2,y2)，其在坐标系中的相对位置平移量为(x0,y0)，其转动的角度为，因此f1(x1,y1)和f2(x2,y2)的互换功率谱和对应的傅里叶变换域的关系如式(8)和式(9)所示。（8）F2(u,v)=|F1(u cos+v sin),(-u sin+v cos)|（9）其中，(u,v)为频域中所对应(x,y)的值，为待检测图像转动的角度。最后将求出的匹配图像通过转换后，与原图像进行缺陷匹配，可以得到待检测图像的缺陷特征。3 实验分析3.1 实验数据在实际生产中，多种缺陷难以同时出现在同一包装印刷品上，为了验证所提出方法的有效性，本研究主要选用礼盒类外包装缺陷图进行刮刀线痕缺陷诊断，检测过程中为了对缺陷样本进行高效检测，根据划痕的线宽和连续性线长对缺陷样本进行了有效分类，选取缺陷图像样本如图6a所示。在缺陷样本图像预处理过程中，为了体现本研究所选加权平均算法处理的效果更适合人眼观察特性，将加权平均法、平均值法和最大值法处理后的灰度图进行对比分析。其效果图如图6b图6d所示。b.加权平均法处理的灰度图a.原图c.平均值法处理的灰度图d.最大值法处理的灰度图图6 缺陷样本原图及图像预处理后灰度图Fig.6 Original diagram of defect sample and gray scale plot after image preprocessing通过对待检测图像进行灰度化和高斯滤波去噪预处理后，对其进行OUST二值化处理和Canny算子边缘化分割。结果如图7所示。b.Canny算子边缘分割图a.图像二值化图7 图像二值化及Canny算子边缘分割图Fig.7 Image binarization and Canny operator edge segmentation graph为了进一步分析该方法的可靠性，本研究选取2000张待检测的印刷品表面图像进行测试。其中无缺陷样本为500张，有印刷缺陷的样本1500张，检测结果见表2。3.2 结果分析图6b图6d为3种不同的灰度化处理后的结果图，最大值法处理后的缺陷灰度图颜色效果偏亮，2023年5期印刷与数字媒体技术研究.indd 462023年5期印刷与数字媒体技术研究.indd 462023/10/7 16:20:172023/10/7 16:20:1747研究论文左 才等：基于机器视觉的印刷品表面划痕缺陷检测平均值法处理后的缺陷灰度图像颜色效果偏暗，而加权值法处理后的灰度图像颜色效果明暗适中，能更好的体现原图像的颜色层次。图7对缺陷图像进行了特征提取，为了更好地突出缺陷部位，本研究选取二值化阈值为59，突出缺陷划痕。并对其二值化后的特征图进行了边缘分割，Canny双阈值选取低阈值为53，高阈值为85，进一步突出缺陷特征。在样本检测速度为3000mm/s和所选两个500*30的LED条形光源和发光面表面照度为2800lx的基础上对2000个样本进行检测，缺陷检测准确率为98.7%，平均所用时间为128ms，进一步证明了本研究所提出缺陷检测方法的高效性和精 准性。4 结论针对包装印刷品表面缺陷检测问题，本研究提出一种基于机器视觉的Canny边缘检测算子和快速傅里叶变换进行缺陷特征匹配的检测方法。通过实验得到以下结论：1）在图像预处理方面，针对大多数包装印刷品表面图像均为彩色印刷的情况，通过比较3种常用的灰度化算法，在观察效果方面加权值法处理后的灰度图表现最佳。2）由于在印刷过程中通过CCD相机采集的待检测图像包含一定数量的噪声，为了有效地抑制生产过程中的高斯噪声，采用高斯滤波进行去噪处理。3）在图像特征提取方面，为了进一步减少待检测图像的计算数据量和突出缺陷特征，采用OUST算法对图像进行二值化处理，突出待检测图像的缺陷特征，并采用Canny边缘检测算法，突出待检测图像的缺陷轮廓，然后采用快速傅里叶变换对缺陷特征进行快速匹配提取。4）通过实验，很好的验证了本研究提出方法的有效性。实验结果表明所提出的方法可以高效地识别包装印刷品划痕缺陷，且具有较好的检测准确率和精度。本研究方法在缺陷检测的范围上还存在一定的局限性，未来将进一步对其他缺陷特征进行实验分析与研究。参考文献1 汪以歆,余光辉,徐镪,等.一种基于机器视觉产品外包装缺陷检测技术J.江苏理工学院学报,2019,25(4):7-14.WANG Yi-xin,YU Guang-hui,XU Qiang,et al.A Packaging Defect Detection Technology Based on Machine Vision Products J.Journal of Jiangsu Institute of Technology,2019,25(4):7-14.2 周继彦,余正泓.基于图像处理的包装印刷缺陷检测方法J.包装工程,2017,33(9):240-244.ZHOU Ji-yan,YU Zheng-hong.Packaging and Printing Defect Detection Method Based on Image Processing J.Packaging Engineering,2017,33(9):240-244.3 赵朗月,吴一全.基于机器视觉的表面缺陷检测方法研究进展J.仪器仪表学报,2022,43(1):198-219.ZHAO Lang-yue,WU Yi-quan.Research Progress in Surface Defect Detection Methods Based on Machine Vision J.Instrument Journal,2022,43(1):198-219.4 周玮,门耀华,辛立刚.基于机器视觉的柔性包装袋喷码缺陷检测研究J.包装工程,2022,43(9):249-256.ZHOU Wei,MEN Yao-hua,XIN Li-gang.Study on Code Inect Detection of Flexible Packaging Bag Based on Machine Vision J.Packaging Engineering,2022,43(9):249-256.5 魏鸿磊,蒋志留,徐家恒,等.芯片载带缺陷的机器视觉检测方法J.包装工程,2022,43(11):183-188.WEI Hong-lei,JIANG Zhi-liu,XU Jia-heng,et al.Machine Vision Detection Method for Chip-Borne Band Defects J.Packaging Engineering,2022,43 表2 检测结果Tab.2 Detection result样本数量无缺陷样本有缺陷样本本算法缺陷检测准确率平均缺陷检测时间2000500150098.7%128ms2023年5期印刷与数字媒体技术研究.indd 472023年5期印刷与数字媒体技术研究.indd 472023/10/7 16:20:172023/10/7 16:20:1748印刷与数字媒体技术研究2023年第5期（总第226期）(11):183-188.6 王森.基于机器视觉的烟标缺陷在线检测系统关键技术研究D.徐州:中国矿业大学,2021.WANG Sen.Research on Smoke Mark Defect Online Detection System Based on Machine Vision D.Xuzhou:China University of Mining and Technology,2021.7 史丽燕.基于机器视觉和图像处理的包装印刷缺陷检测方法J.科技通报,2018,34(10):105-108.SHI Li-yan.Packaging and Printing Defect Detection Method Based on Machine Vision And Image Processing J.Science and Technology Bulletin,2018,34(10):105-108.8 WANG Shuo,XU Jiang-feng,WANG Fang-zhou,et al.Identification and Detection of Surface Defects of Outer Package Printed Matter Based on Machine Vision J.Journal of Korea TAPPI,2020,52(2):3-11.9 赵健,付琴.基于机器视觉的汽车漆面缺陷检测技术J.汽车工艺与材料,2022,(7):16-19.ZHAO Jian,FU Qin.Automotive Paint Surface Defect Detection Technology Based on Machine Vision J.Automotive Technology and Materials,2022,(7):16-19.10 彭雨,谈莉斌,余晓流.基于机器视觉的细长产品表面缺陷检测设备研究J.机械制造与自动化,2021,50(4):166-169,173.PENG Yu,TAN Li-bin,YU Xiao-liu.Research on Surface Defect Detection Equipment for Slender Products Based on Machine Vision J.Mechanical Manufacturing and Automation,2021,50(4):166-169,173.主要作者左才（1999年-），硕士研究生；主要研究方向为图像处理、缺陷检测。ZUO Cai,born in 1999.He is a master student.His main research interests are image processing and defect detection.张勇斌（1974年-），博士，副教授；主要研究方向为智能制造大数据。ZHANG Yong-bin,born in 1974.He got the doctor degree and now is an associate professor.His research interest covers intelligent manufacturing of big data.齐元胜（1968年-），博士，教授，北京印刷学院印刷与包装工程学院院长；主要研究方向为数字化制造与智能制造。Prof.QI Yuan-sheng,born in 1968.He got the doctor degree and now is the dean of School of Printing and Packaging Engineering of BIGC.His main research directions are digital manufacturing and intelligent manufacturing.2023年5期印刷与数字媒体技术研究.indd 482023年5期印刷与数字媒体技术研究.indd 482023/10/7 16:20:172023/10/7 16:20:17