基于大数据的胶料表面缺陷视觉识别检测研究.pdf

24黄景涛 等 基于大数据的胶料表面缺陷视觉识别检测研究基于大数据的胶料表面缺陷视觉识别检测研究*黄景涛1，杨 波2，杨益军3，田文涛1（1 国家市场监督管理总局信息中心，北京 100820；2 广东工业大学（广东省）图书馆，广东广州 510006；3 广州粤信科技有限公司，广东广州 510006）摘要：胶料表面缺陷影响胶料使用，实际生产过程中要强化表面缺陷检测。对人工检测胶料表面缺陷存在的效率低、精度低、成本高等问题，提出了基于大数据的胶料表面缺陷检测方法。采用线扫描工业相机获取胶料表面缺陷图像，对获取的图像灰度化处理。将图像白色树脂转换为白雾，并去除白雾。在此基础上，采用灰度变换法对图像进行增强。采用 Darknet-19 卷积神经网络提取图像特征，并通过 YOLOv4 算法进行表面缺陷检测。胶料表面缺陷检测结果表明：对裂缝缺陷检出率最高，误检率最低；对毛团缺陷检出率最低，误检率最高；对三种表面缺陷的检测均能够满足实际胶料生产的精度和实时性要求。关键词：胶料表面缺陷；Darknet-19 卷积神经网络；YOLOv4 算法；图像处理中图分类号：TS 57；TP 391.5Research on Visual Recognition and Detection of Rubber Surface Defects Based on Big DataHUANG Jing-tao1,YANG Bo2,YANG Yi-jun3,TIAN Wen-tao1(1 Information Center,State Administration for Market Regulation,Beijing 100820,China;2 Library of Guangdong University of Technology,Guangzhou 510006,Guangdong,China;3 Guangzhou Yuexin Technology Co.,LTD.,Guangzhou 510006,Guangdong,China)Abstract:The surface defects of rubber compound aff ect the use of rubber compound,and the surface defect detection shall be strengthened in the actual production process.To solve the problems of low efficiency,low precision and high cost in manual detection of rubber surface defects,a rubber surface defect detection method based on big data is proposed.The line scanning industrial camera was used to obtain the image of rubber surface defects,and the obtained image was grayed.Convert the image white resin to white fog,and remove the white fog.On this basis,the gray transformation method is used to enhance the image.Darknet-19 convolution neural network was used to extract image features,and YOLOv4 algorithm was used to detect surface defects.The detection results of rubber surface defects show that the detection rate of crack defects is the highest,and the false detection rate is the lowest;The detection rate of wool defects is the lowest,and the false detection rate is the highest;The detection of three kinds of surface defects can meet the precision and real-time requirements of actual rubber production.Key words:rubber surface defects;Darknet-19 convolutional neural network;YOLOv4 algorithm;image processing*基金项目：国家质量监督检验检疫总局质检公益性行业科研专项（编号：201510041）。作者简介：黄景涛，本科，副高，研究方向：检测技术等。胶料俗称人造革，其外观和手感与皮革接近，在日常中可以用来替代塑料制品。胶料在制衣、制包等领域具有广泛的应用，有效满足了人民穿皮戴皮的愿望。人造革表面缺陷有针孔、光点、拖线等，依靠人工检测不仅需要大量的人力投入，同时表面缺陷检测的精度也比较低1-2。伴随着机器视觉系统的快速发展，系统的鲁棒性更强，在收集、分析、处理海量信息方面发挥着越来越重要的作用。张立新针对金属表面存在的针孔、划痕等缺陷采用肉眼难以识别的问题，提出了采用增强型Garbor 滤波器的自动缺陷检测技术，有效确保了金属制品的质量和生产效率，使得缺陷金属和合格金属快速分类3。徐佳乐针对轴承表面浅凹坑、锈迹缺陷识别准确率低的问题，对损失函数进行改进，并通过残差方法提取和定位轴承表面缺陷，使得轴承表面缺陷综合识别率高达 98.6%，能够有效满足实际工程需要4。杨畅畅针对铝型材表面缺陷人工检测效率和准确率低的问题，提出了改进的 YOLOv4 表面缺陷检测算法，使得表面缺陷检测的精度和检测效率大大提升，满足了铝型材工厂现场缺陷检测的要求5。刘琪对人工方法检测钢材表面缺陷存在的错检、漏检、精度不高问题，对深度网络进行改进，并应用于钢材表面缺陷检测中，达到了快速、准确识别和定位钢材表面缺陷的目的6。前人的研究主要是集中在金属表面缺陷的检测，对胶料表面缺陷检测研究比较少。采用大数据技术，对胶料表面缺陷视觉识别检测进行研究，提高表面缺陷识别的精度和效率。1 图像采集与处理1.1 图像采集胶料表面缺陷视觉识别检测是联合机器视觉和图像处理技术来实现的，通过采集到的表现图像来识别，判断胶料表面是否存在缺陷。胶料表面图像的获取是关键，采用线扫描相机来获取图像数据7。根据线扫描相机的合成材料老化与应用2023 年第 52 卷第 3 期25成像原理，确定相机标准工作距离 d，即：=fdN?（1）式（1）中：为相机拍摄区域胶料的幅宽，f 为相机焦距，为相机像元，N 为相机分辨率。选择 Dalsa P2-22-04K40 型线扫描工业相机，相机焦距为 35mm，相机像元为 7.04m，相机分辨率为 4096像素。通过线扫描相机采集胶料表面缺陷，其主要缺陷包括裂缝、毛团、孔洞，具体如图 1 所示。(a)有裂逢 (b)有毛团 (c)有孔洞图 1 胶料表面缺陷图像Fig.1 Image of rubber surface defect1.2 图像处理1.2.1 图像预处理为了简化缺陷图像的处理，将采集获得的 RGB 图像转换为灰度图像8。对灰度图像，将胶料表面的白色树脂转换为白雾，获得有雾图像 I(x)。通过光线透射率t(x)和大气光值 A，获得无雾图像 J(x)，即：?1I xJ x t xAt x?（2）对图像进行去雾处理，消除了白色树脂对胶料表面缺陷检测所造成的干扰。图像去雾后的结果表明去雾处理的过程中胶料表面缺陷灰度值会明显降低，这不利于表面缺陷的检测，需要对胶料表面缺陷增强。根据图像增强作用域的不同可以将其分为空域内增强处理和频域内增强处理两种方法：空域内增强处理是对图像的直接处理，通过调节灰度图像的明暗对比度来达到增强目标的效果；频域内增强处理是在图像的某个变换域内对图像变换系数运算，通过逆变换来获取增强后的图像9。灰度变换法是最常用的空域内增强方法，对目标图像的增强效果良好，论文采用分段线性变换来突出感兴趣目标所在的灰度空间。不妨设原图像 f(x,y)的灰度范围为 0,Mf，区间 a,b 为感兴趣的灰度范围。使得图像g(x,y)的灰度范围拉伸到区间 c,d，对应的分段线性变换为10 ：?0,fffcf x yaf x yadcaf x ybg x yf x yacbaMdbf x yMf x ybdMb?（3）对图像中白色树脂转换为白雾，进行去雾处理，并对去雾后图像采用灰度变换进行增强，从而实现对原始图像的预处理，其具体过程如图 2 所示。(a)白色树脂转换为白雾 (b)白雾去除 (c)图像增加图 2 胶料表面图像预处理过程Fig.2 Preprocessing process of rubber surface image1.2.2 目标识别识别胶料表面缺陷的关键是提取图像的特征，采用卷积神经网络来提取图像特征。Darknet-19 卷积神经网络具有训练效率和准确率高等优点，被广泛应用于图像特征提取中11。该卷积神经网络共有 19 个卷积层和 5个最大池化层，同时使用比较多的 33 卷积核。每进行一次池化操作，其通道数量增加 1 倍。在此基础上，对整个卷积层进行平均池化，且 11 卷积核内置于 33 卷积核中，以此达到压缩图像特征的效果。卷积神经网络结构如图 3 所示12。RGBF1F2F3F4?图 3 卷积神经网络结构Fig.3 Convolutional neural network structure将胶料表面缺陷图像更改为 224224 像素，并作为网络的输入，卷积神经网络的卷积和池化操作实现对表面缺陷的特征提取。采用 Softmax 分类器对胶料表面缺陷分类，从而达到对胶料表面裂缝、毛团、空洞等缺陷的分类化统计管理。在卷积神经网络架构中，Softmax位于最后一层。通过分类器将所有的神经元输出均映射到区间(0,1)上，同时映射值的和为 1。出现概率比较大的节点为胶料表面缺陷目标，分类器函数表达式为：iijeSe?（4）在提取胶料表面特征并对特征进行分类之后，对表面缺陷进行标记。目前对表面缺陷标注主要有两种方法，分别为用矩形框标记表面缺陷和沿着表面缺陷的外边缘轮廓填充表面缺陷13。由于填充法标记表面缺陷会导致表面缺陷被覆盖，因此采用矩形边框圈出缺陷目标，从而实现对表面缺陷的标记。由于缺陷目标往往是在图像的中心位置，因此通过用奇数长和奇数宽来预测目标14。将特征图划分为 1515 的网格，同时每一个网格生成 5 个不同比例的瞄框，在每一个瞄框中含 5 个预测值，分别为(tx,ty,tw,th,t0)。计算缺陷目标预测边界框的坐标(bx,by)、长 bw、宽 bh、置信度，即：?0IOU,=whxxxyyytwwthhrbtcbtcbp ebp ePbt?（5）式（5）中：(cx,cy)为预测边界框中心点的坐标与左上角第 1 个网格的横向距离与纵向距离，(Pw,Ph)为瞄框的长与宽，(t0)为预测框置信度，()为激活函数，IOU 为计算重叠度。胶料表面缺陷目标实际检测的过程中往往存在一个缺陷被多次检测的问题，考虑到缺陷目标被矩形边框圈出来的次数比较多，即每一个矩形边框的置信度不同，26黄景涛 等 基于大数据的胶料表面缺陷视觉识别检测研究甚至存在比较大的差别15。基于此，采用非极大值抑制的方法来确定唯一的最佳矩形变形。在所有的矩形边框中寻找置信度最大的矩形边框，计算置信度最大的边框和其它边框的重叠度。设定重叠度阈值，如果重叠度大于设定的预测，删除该边框，直到将所有的边框处理完为止，最终获得能够最佳标记胶料表面缺陷目标的矩形边框。图 4 为确定最佳标记缺陷目标矩形边框的示意。(a)多个矩形边框 (b)最佳边框图 4 确定最佳标记缺陷目标矩形边框示意Fig.4 Determine the best rectangular border of defect target在进行胶料表面缺陷识别时，人工往往也会大致标注，这导致人工标注的边框和算法生成的边框往往并不重合。为了使得边框对表面缺陷定位的精度，将算法产生的边框进行平移和伸缩变换，使得两个边框尽可能重合，从而最终确定缺陷目标标记的矩形边框。采用 YOLOv4 检测算法对胶料表面缺陷进行检测，相对于 YOLOv3 算法，该算法的网络结构更为复杂，同时对数据处理、算法主干网络、网络训练、损失函数等均有了很大程度的优化，这使得算法的目标检测效率和精度均有比较大的提升16。另外，YOLOv4 检测算法使用了 Mosaic 数据增强方法和遗传算法，使得参数的选择更加科学合理，使用者在有限的计算能力条件下就可以获得非常好的检测效果。图 5 为 YOLOv4 检测算法基本思想示意17。?图 5 YOLOv4 检测算法基本思想Fig.5 Basic idea of YOLOv4 detection algorithm2 实例分析2.1 实验平台及数据来源基于 YOLOv4 算法对胶料表面缺陷进行检测，算法在 Intel(R)Core(TM)i5-10300H CPU2.50GHz 处理器平台上运行，内存为 16G，深度学习框架为 Pytorch18。选择 1000 张胶料表面缺陷图像作为原始数据，调整图像的分辨率为 429429 像素。按照 8：2 的比例将 1000 张表面缺陷图像进行随机划分，800 张作为训练数据集，200张作为测试数据集。采用图像缺陷标注软件 LabelImg 对表面缺陷进行标注19-20，具体如图 6 所示，同时生成和图像对应的 XML 文件，图像和对应的标注文件作为原始数据集。图 6 胶料表面缺陷样本数据标注Fig.6 Sample data marking of rubber surface defects2.2 试验结果分析设置迭代次数为 10000 次，数据增强参数为 1.2，通过对曝光量的修改来生成更多的训练样本。训练次数和平均重叠度曲线如图 7 所示。?/%图 7 训练次数与平均重叠度关系Fig.7 Relationship between training times and average overlap由图 7 可知，伴随着训练次数的增加，平均重叠度也在逐渐地增加，并且在迭代 4000 次左右趋于稳定。样本训练结束后，利用迭代 6000 次的权重文件对测试样本集进行目标检测，检测结果表明每一幅图像的检测用时不超过 0.1s，最快可以达到每 0.05s 检测一幅图像，检测的速度要远远超过人工检测。图 8 为胶料表面缺陷检测结果。(c)孔洞缺陷图 8 胶料表面缺陷检测结果Fig.8 Test results of rubber surface defects对胶料表面缺陷检测结果进行统计，胶料表面三种类型缺陷的检出率和误检率统计结果见表 1。表 1 胶料表面三种类型缺陷检测统计Table 1 Inspection statistics of three types of defects on rubber surface统计项目表面缺陷类型裂缝毛团孔洞检出率/%98.6%96.4%97.7%误检率/%0%1.2%0.9%由表 1 可知，胶料表面裂缝缺陷检出率最高，误检率为 0%，这是因为裂缝缺陷为长条形，和毛团缺陷、孔洞缺陷差别比较大，一般不会出现误检，但是对于比较(a)裂逢缺陷(b)毛团缺陷合成材料老化与应用2023 年第 52 卷第 3 期27细小的裂缝缺陷，在实际的缺陷检测时会出现漏检的情况。表面毛团缺陷相对比较模糊，对比度也比较小，这使得毛团缺陷的检出率相对于裂缝缺陷的检出率比较低，同时部分比较小的毛团缺陷往往会被误检为孔洞，使得表面毛团缺陷的误检率相对也比较高。表面孔洞缺陷的可分辨率相对比较高，但是由于表面孔洞缺陷一般都比较小，这使得孔洞缺陷的检出率低于裂缝缺陷，但是高于毛团缺陷，同时相对于毛团缺陷的误检率也比较低。3 结论人工识别胶料表面缺陷效率低、精度不高，采用YOLOv4 算法构建了基于大数据的表面缺陷视觉识别检测系统。检测系统对白色树脂转换为白雾，进行白雾去除和图像增强，并采用 Darknet-19 卷积神经网络进行表面缺陷特征识别提取。将系统应用于实际的胶料表面缺陷识别中，结果表明该系统具有比较高的检测效率和精度，同时对裂纹缺陷的检出率最高，误检率最低；对毛团缺陷的检出率最低，误检率最高。不论是表面裂缝缺陷、表面毛团缺陷还是表面孔洞缺陷，其均具有比较好的表面缺陷检测性能，这对胶料表面缺陷自动检测具有一定的参考价值。?1 花俊苹,陈宇刚.热塑性 TPU 人造革面料创新再造设计探究 J.皮革科学与工程,2019,29(3):69-73.2 郭劼,孔晶.皮革表带防水性能测试方法设计及其应用研究 J.合成材料老化与应用,2022,51(04):57-58,144.3 张立新.基于表面缺陷检测的金属图像识别 J.粘接,2019,40(8):121-123.4 徐佳乐,黄丹平,廖世鹏,等.基于线扫描技术的轴承表面缺陷检测方法研究 J.中国测试,2022,48(11):88-94.5 杨畅畅,李慧玲,潘广通.基于改进 YOLOv4 算法的铝型材表面缺陷检测 J.组合机床与自动化加工技术,2022(11):66-69.6 刘琪,雷景生.基于改进深度网络的钢材表面缺陷检测 J.计算机工程与设计,2022,43(9):2654-2661.7 刘永治,张周强,郭忠超,等.基于线激光扫描的零件三维表面检测系统研究 J.国外电子测量技术,2021,40(2):67-72.8 张东岭.基于图像处理的机械材料缺陷检测技术研究J.粘接,2022,49(6):39-43.9 余玮.基于视觉传达技术的模糊激光图像增强研究 J.激光杂志,2022,43(11):149-153.10 沈宽,文玉梅,蔡玉芳.基于脊波融合的射线图像增强算法 J.计算机工程与应用,2010,46(23):170-174.11 李振波,李萌,赵远洋,等.基于改进 VGG-19 卷积神经网络的冰鲜鲳鱼新鲜度评估方法 J.农业工程学报,2021,37(22):286-294.12 熊丰,何迪,刘玉杰,等.基于改进 VGG19 卷积神经网络的肺炎图像分类 J.光子学报,2021,50(10):345-353.13 汤勃,戴超凡,黄文豪.基于卷积神经网络带标记的钢板表面缺陷检测 J.制造业自动化,2020,42(9):34-40.14 李振兴,张义平,丁震龙.基于图像像素级分割与标记映射的工件表面微小缺陷检测算法 J.组合机床与自动化加工技术,2018(1):73-76.15 陈华伟,吴禄慎,袁小翠.基于同步标记算法的钢轨表面缺陷检测 J.计算机工程与设计,2016,37(1):127-131.16 王权顺,吕蕾,黄德丰,等.基于改进 YOLOv4 算法的苹果叶部病害缺陷检测研究 J.中国农机化学报,2022,43(11):182-187.17 杜孟新,毕玉,杜鹏昊.基于卷积神经网络的带钢表面缺陷图像检测算法 J.火力与指挥控制,2022,47(8):132-135.18 王道累,刘易腾,杜文斌,等.基于级联孪生密集网络的金属表面缺陷检测方法 J.计算机辅助设计与图形学学报,2022,34(6):946-952.19 王勇,张伟,高锐,等.基于 YOLOv4 的结构用锯材表面缺陷识别 J.林业工程学报,2021,6(4):120-126.20 陈博勋,王宏铭,王玲,等.基于深度学习的镜下矿物图像识别方法 J.矿业研究与开发,2022,42(11):163-170.?QQ:441438064?