基于机器视觉的包装盒冲压缺陷检测方法研究.pdf

计算机时代 2023年 第12期0 引言铁制金属包装盒一般采用马口铁板，通过印刷、剪裁、冲压、卷边等工序制作而成，常用于保健食品包装。包装盒由盒体和盒盖两部分组成，经过冲压成型后流入合盖工序，在冲压过程中会出现边框向内弯曲和边框外翻缺陷，变形明显，尤其是边框外翻类缺陷产品会卡在合盖工序的下滑轨道中，需要由人工清除后才能再次运行。因此，研究一种针对金属包装盒的在线缺陷检测方法具有重要意义。机器视觉和图像处理技术日益成熟，可为生产过程中提供新的产品缺陷的检测手段，目前机器视觉技术已经广泛应用于工业检测领域1。金属材料具有良好的光泽度和反射性，易使相机成像出现高光区域，干扰金属材料的缺陷检测，因此在做缺陷检测前要先消除高光的影响。费继友2等提出了基于PSO-OTSU算法的金属工件高光区域定位，并用直方图规定法修正高光区域的灰度值。叶婷等3提出了基于OTSU算法分割高光区域和八邻域像素平均值更新高光区域DOI:10.16644/33-1094/tp.2023.12.040基于机器视觉的包装盒冲压缺陷检测方法研究*李明华1，袁嫣红1，彭来湖1，周可1，徐布都2(1.浙江理工大学机械工程学院，浙江 杭州 310018；2.浙江理工大学龙港研究院)摘要：针对保健品包装盒在冲压环节产生的边框塑性变形缺陷，构建了一种基于机器视觉的金属包装盒缺陷检测方法。针对盒体棱边区域产生的小范围高光现象，提出一种基于线性拟合的修正算法。针对包装盒的冲压缺陷，采用形状模板匹配算法初步校验并定位，再裁剪出边框内外圈区域，校验该区域灰度值的标准差均值等指标。结果表明：该方法检测准确率在95%以上，平均检测时间小于100ms，能满足实际应用中在线检测的需求。关键词：机器视觉；保健品包装盒；高光修正；缺陷检测中图分类号：TP274.5文献标识码：A文章编号：1006-8228(2023)12-184-05Research on machine vision based detection method for stampingdefects in packaging boxesLi Minghua1,Yuan Yanhong1,Peng Laihu1,Zhou Ke1,Xu Budu2（1.School of Mechanical Engineering,Zhejiang Sci-Tech University,Hangzhou,Zhejiang 310018,China;2.Research Institute of Zhejiang Sci-Tech University in Longgang）Abstract：Aiming at the plastic deformation defects occurred during the stamping process of health product packaging boxes,amachinevision-baseddefectdetectionmethodformetalpackagingboxesisdeveloped.Toaddresstheissueofsmall-scalehighlights generated in the edge regions of the box body,a correction algorithm based on linear fitting is proposed.For thestamping defects of the packaging box,a shape template matching algorithm is used for preliminary verification and localization.The inner and outer ring regions within the frame are then cropped,and indicators such as the standard deviation and mean of thegrayscale values in this region are verified.The results show that the accuracy of this method reaches over 95%,with an averagedetection time of less than 100ms,meeting the requirements for online detection in practical applications.Key words：machine vision;health product packaging boxes;highlight correction;defect detection收稿日期：2023-08-29*基金项目：浙江省科技计划项目（2022C01065）作者简介：李明华（1998-），男，浙江绍兴人，硕士研究生，主要研究方向：图像处理。通讯作者：袁嫣红（1967-），女，浙江台州人，硕士，教授，主要研究方向：现代纺织装备机电一体化技术。184Computer Era No.12 2023像素值。在工业现场，通常会根据被检对象的高光特性，采用图像处理的方法修正高光现象。在缺陷检测方法方面，Chen等4提出了一种基于拉普拉斯-高斯算子的阴影校正算法来增强工件的缺陷部分，采用 Otsu 算法和形态学对缺陷部位进行提取。Tian等5设计了一种平面照明模式与多角度照明模式相结合的照明方法，获取多角度光源图像的灰色异常区域边缘线的位置和方向来判断是否为缺陷。商业彤等6利用NCC模板匹配和背景差影法去检测冲压毛坯板料表面缺陷。李永敬等7针对冲压件外形缺陷提出了一种基于形状模板匹配的检测方法。上述文献都依据工件的缺陷特点，提出了具有针对性的缺陷检测方法。1 打光方式与高光修正1.1 打光方式金属表面光滑平整，这使其具有很高的光泽度，可以良好地反射光线。当光源呈一定角度照射到包装盒，经过金属表面反射后，部分光线会沿着工业相机光轴方向集中进入镜头，产生高光，干扰边框变形缺陷的检测。为了照亮整个边框且尽可能少的出现高光区域，采用暗箱避免环境光线进入，盒盖和盒体采用左右两侧条形光源水平照明的策略。盒盖和盒体的高度不同，根据成像效果不断调整光源的高度，最终选定盒盖处光源与边框平齐，盒体处光源在边框上方80mm处，如图1所示。在保证边框照亮的前提下，无论如何调整光源高度，盒体底面与侧面的棱边区域始终会出现高光现象，这部分区域会影响后续盒体缺陷检测，因此需要通过修正算法消除高光影响。1.2 高光区域定位与修正修正算法分为高光区域定位和修正两部分，相机拍摄的盒体图像如图2，其左右两侧非边框区域出现高亮，宽度约为十个像素点。盒体产生的高光区域形状基本相同，因此采用形状模板匹配算法完成定位。首先对图像做阈值分割和连通域面积筛选，选出高光区域，再做一次闭运算和膨胀运算，得到高光加宽区域，最后采用Canny算法提取轮廓并根据长度属性进行筛选，提取的模板模型如图3所示，该模板用于定位盒体图像的高光区域。图2盒体图像图3高光区域XLD轮廓完成高光区域定位后，需要对该区域做亮度修正，该区域正常情况下的灰度值应当与附近正常区域的值相近，因此采取数据拟合的方式重写该区域灰度信息。考虑到高亮边框和高光区域间隔在十个像素左右，为避免边框的数据参与计算，取高光区域外左右两侧各5个像素点用于数据拟合和修正。算法的核心思想为：获取每一行高亮区域以外左右两侧各五个像素点的灰度值；使用一次函数拟合上述灰度值，根据最小二乘法确定函数参数；根据确定的函数计算高光区域的灰度值，重写数据。其中一次函数表达式为：y=a0+a1x参数a0,a1通过如下计算确定，预测值和真实值的误差平方和：Sr=i=1n()yi-a0-a1xi2要让误差平方和取最小值，则偏导数为0：图1打光方式示意图185计算机时代 2023年 第12期Sra0=0Sra1=0i=1nyi=na0+()i=1nxia1i=1nxiyi=()i=1nxia0+i=1n()xi2求解上式可得：a1=ni=1nxiyi-i=1nxii=1nyini=1n()xi2-()i=1nxi2a0=1ni=1nyi-a1ni=1nxi上述表达式中n代表已知点的个数，xi代表图像中该点列坐标，yi代表灰度值。通过已知的列坐标和灰度信息求得该行的一次函数表达式，再将高光区域的列坐标分别代入，求得修正后的灰度值。图4(a)为原图，图4(b)为线性拟合修复后的图像。(a)原图(b)修正图图4高光修正2 缺陷检测算法设计该产品的尺寸为99.269.28.8mm，在生产过程中冲压设备因工艺参数失控、模具缺陷、材料过软或力学条件显著变化8等原因会导致包装盒出现过大的塑性变形，形状和尺寸超出生产误差范围，成为缺陷产品，如图 5。包装盒的缺陷产品主要表现为边框向内弯曲和边框外翻，变形明显。由于盒盖和盒体的检测方法相同，后续缺陷检测算法介绍均以包装盒的盒盖为检测对象说明。图5盒盖盒体冲压缺陷2.1 边框搜索与定位包装盒尽管拥有各式各样的色彩，但其形状轮廓是固定的，故而考虑采用基于形状的模板匹配算法，该方法适用于目标轮廓比较清晰的场景。模板匹配首先需要提取模板轮廓，待提取图像如图6(a)所示，高亮的边框是需要提取的部分，直接通过阈值分割图像会产生大量噪点，边缘部分信息会有所丢失，动态阈值分割可以根据不同应用需求选择不同的阈值计算方法和参数设置，从而灵活地适应不同的图像处理任务，因此，采取动态阈值分割图像。动态分割的阈值参照图由原图均值化生成，以fo()x,y表示原图，fM()x,y表示均值化处理后的参照图，g()x,y表示分割后图像，则动态分割过程可以表示为：fM()x,y=1si=-nnj=-mmfo()x-i,y-jg()x,y=1,fo()x,y fM()x,y+offset0,fo()x,y fM()x,y+offset其中，s=(2n+1)(2m+1)表示均值模板核的尺寸，本例中取核的大小为101 101，offset表示灰度值的偏移量，本例中取20，经过动态阈值分割的二值化图像如图6(b)所示，图像中仍存在一些噪声和盒盖图案的干扰，但可以发现整个边框轮廓提取完整。将二值化图像分割为连通域，根据面积信息筛选即可过滤掉干扰信息，提取到的边框由 gen_contour_region_xld()算子将其转化为XLD轮廓，再经过光滑处理即可得到XLD轮廓模板，该轮廓模板虽然是从白色边框中提取的，但其具有通用性，只要是尺寸相同的盒盖均可使用该模板。(a)待提取图像(b)提取轮廓区域(c)XLD轮廓模板图6模板轮廓提取2.2 图像预处理包装盒的边框色彩有白、蓝、绿和混合色，因此在转化为灰度图时，需要让边框的灰度值与背景有较大差异，从而有效保留各种色彩的边框信息，为后续的缺陷检测提供便利。默认的灰度转化方式会使部分蓝色和红色边框的信息丢失，因此选择采用最大值法转换为灰度图，其转换公式为：186Computer Era No.12 2023gray=max()red,green,blue图像经过灰度化处理后，还存在一些不可避免的高频噪声，需要对图像滤波，高斯滤波对高频噪声的抑制效果较好。2.3 基于灰度值信息的边框缺陷检测针对边框形变缺陷，主要检测边框、边框外圈和边框内圈三个位置。首先采用模板匹配方法搜索到图像中边框的位置，并根据匹配得分进行初步判断，若匹配得分低于设定阈值Score，则判定为边框缺陷，若大于Score，进入后续检测。2.3.1 边框外圈和内圈检测针对边框内外圈区域的检测，需要提取的 ROI区域如图 7 所示，以外框提取为例：利用 halcon 算子get_generic_shape_model_result_object()获取被检图像的边框轮廓，将XLD轮廓转化为区域并填充，做两次不同掩膜的膨胀操作，对膨胀后的区域做差分得到边框外圈区域，最后利用reduce_domain()对原图裁剪，即可得到边框外圈图像。图7选中的外圈和内圈区域对获取的外圈图像计算均值和标准差：=1NMr=1Nc=1Mf()r,c=1NMr=1Nc=1M()f()r,c-2其中，NM表示外圈图像的高和宽，f()r,c代表图像()r,c位置的灰度值，为均值，为标准差。当大于阈值th，则该区域为可疑状态，需要对其进行阈值分割操作，采用静态的分割方式容易受到光照强度，工件角度等因素的干扰，因此选择最大类间方差法计算最佳分割阈值k。以阈值k对图像做二值化处理，将得到的前景分割成连通域，校验其面积大小，若存在面积超过100个像素点的对象，表明该区域出现了边框图像，工件产生了形变缺陷，反之，则代表值偏大是由干扰信息引起的，工件正常，部分检测结果如图8所示。(a)向内形变(b)向外形变(c)内外两侧形变图8缺陷检测结果考虑到边框出现严重变形的特殊情况，此时外圈区域背景被形变边框完全填充，标准差结果变化小，该判定条件失效。此时大量黑色背景被边框填充，整个区域的灰度值会大幅上升，采用均值作为判定条件可以有效应对该情况。边框内圈检测和外圈检测逻辑一致，盒盖与盒体的检测方法也相同，但在检测前需要先对盒体的高光区域做修正，完整的检测流程如图9所示。图9缺陷检测流程图2.3.2 参数确定算法的模板匹配得分，外圈标准差、均值，内圈标准差、均值，这五个阈值参数决定了算法判断的准确性，因此选择一个合适的阈值十分重要。针对边框白色、蓝色、绿色和混合色的包装盒，每种颜色选取40张合格产品图像和各40张边框缺失、向外变形和向内变形缺陷图像，分别计算两组图像五个参数结果，可以发现检测区域合格的参数值总是稳定在一个区间内，而缺陷区域的参数值会偏离于区间外，故选择合格区间的边界值作为阈值，最终选取的187计算机时代 2023年 第12期参数见表1。表1关键阈值参数包装盒类型白色蓝色绿色混色模板匹配得分0.90.90.90.9外圈标准差15151515内圈标准差20181818外圈均值70505555内圈均值705055553 实验与结果测试平台采用自主研发的合盖机，如图10所示。在工件传输带上增加了暗箱，将海康工业相机 MV-CA013-A0GC、条形光源、光电传感器等置于暗箱内，相机采用硬件触发。配套软件基于 Windows 平台、VisualStudio2019软件、Halcon软件，结合相机SDK编程实现。相机拍摄的图像由 PC 处理后将结果通过RS485 发送至下位机，由下位机控制喷嘴完成工件剔除。为验证该算法检测的准确率、漏检率、误检率和检测速度，取A包装盒白色、绿色、蓝色和混色的缺陷样品各100个，分别与100个合格样品混合测试，评价指标如下：漏检率=A-CA+B 100%误检率=DA+B 100%准确率=B+C-DA+B 100%其中，A为缺陷样品数；B为合格样品数；C为缺陷样品剔除数；D为合格样品剔除数。测试结果如表2所示，从表中可知，漏检率和误检率均控制在2%以内，检测准确率在95%以上，平均检测时间100ms，能够满足实际应用中在线检测的需求。图10测试平台类型包装盒盖包装盒体颜色白色蓝色绿色混色白色蓝色绿色混色缺陷品100100100100100100100100合格品100100100100100100100100缺陷品剔除数10098100971009710099合格品剔除数13220112漏检率/%0101.501.500.5误检率/%0.51.51100.50.51准确率/%99.597.59997.51009899.598.5平均检测时间/ms7880757774768075表2缺陷检测准确率及检测时间测试结果4 结束语针对金属包装盒冲压过程产生的边框变形缺陷，本文设计了一种基于形状模板匹配的缺陷检测方法，并针对盒体棱边区域产生的高光现象提出了一种修正算法。经过实验测试，该方法能有效地识别缺陷产品，降低产品的次品率；该方法具有高准确率、低漏检率和误检率、识别快等优点，十分适用于工业生产环境中的在线检测任务。通过使用该检测方法，可以有效避免缺陷产品进入合盖工序而导致设备运行故障的情况发生，进而提升设备的运行稳定性和生产效率。参考文献(References):1 CHEN G,GUAN G,WEI X.Online Stamping PartsSurface Defects Detection Based on Machine Vision J.Laser&Optoelectronics Progress,2018,55(1).2 费继友,汪政,李花,等.基于PSO-OTSU算法的金属工件高光处理J.大连交通大学学报,2020,41(3):28-33.3 叶婷,赵立宏,李明,等.光器件金线图像高光区域的检测与去除J.电子测量与仪器学报,2022,36(2):146-152.4 CHEN Y,DING Y,ZHAO F,et al.Surface Defect(下转第193页)188Computer Era No.12 2023图3整合合并单元格的打印效果图4分割合并单元格的打印效果还可以将每个分页单元格的总尺寸调整至相同，并且填满页边距以外的打印空间。对于内容通常较少的最后一个分页也能有相同效果，如图5所示。图5最后一个分页的打印效果同时，算法还考虑了表格存在标题的情况，为分页的标题单元格预留了打印空间。通过本实验，能够证明本文提出的分页排版算法可以很好地解决信息化系统导出的电子表格进行打印时的分页排版问题，在保证内容完整性和关联性的前提下，最大程度地利用打印空间，使得打印结果更整齐、美观。4 结束语综上所述，本文系统地研究出了一种信息化系统导表打印需求下的分页排版算法。该方法能够解决信息化系统导出的电子表格在打印时，单元格所属的分页不直观的情况，并自动对电子表格进行排版，节省了人工消耗在电子表格分页排版上的时间与精力。该算法在面对大部分常见情况时，均表现出不错的适应性、健壮性。但算法目前还未考虑到电子表格含有图片或公式等内容的情况。在后续的工作中，还将对上述内容进行补充研究，以扩大算法的适用范围。参考文献(References):1 赵欣悦.国企集团财务信息化建设中存在的问题以及对策建议J.中小企业管理与科技,2023,No.702(9):158-160.2 徐玲.Excel 在高中物理实验数据处理中的应用研究D.桂林:广西师范大学,2018.3 王瑞,郝建伟.公路工程试验检测报告编制中 MicrosoftExcel的巧用J.工程建设与设计,2022(21):124-126.4 许艳云.Word和Excel办公文档快速排版技巧浅谈J.电脑知识与技术,2011,7(14):3455-3456.5 王志军.借助 Word 实现 Excel 工作表的分栏打印J.电脑知识与技术(经验技巧),2018(6):41-42.6 姚文连.巧借Excel辅助列为数据表格整容J电脑迷,2011,No.201(14):60.7 平淡.先导照片再排版Excel一步到位J.电脑爱好者,2017,No.517(6):40-41.CEDetection Methods for Industrial Products:A ReviewJ.Applied Sciences-Basel,2021,11(16).5 TIAN H,WANG D,LIN J,et al.Surface Defects DetectionofStampingandGrindingFlatPartsBasedonMachine VisionJ.Sensors,2020,20(16).6 商业彤,刘乘昊,王晶,等.基于图像背景差影的冲压板料表面缺陷检测J.组合机床与自动化加工技术,2022(12):85-88.7 李永敬,朱萍玉,孙孝鹏,等.基于形状模板匹配的冲压件外形缺陷检测算法研究J.广州大学学报(自然科学版),2017,16(5):62-66.8 李靖.汽车冲压件缺陷分析及质量改进J.科技创新与应用,2019(25):114-115.(上接第188页)CE193