基于机器视觉和深度学习的智能制造缺陷检测技术与应用.pdf

190现代制造技术与装备2023年第8 期总第32 1期基于机器视觉和深度学习的智能制造缺陷检测技术与应用李锦棠（广州市机电技师学院，广州510 0 0 0）摘要：在工业智能制造行业中，质量缺陷检测工作面临一定的困难。在传统的物体表面缺陷检测中，人工目测不但过于主观，而且效率低下。基于机器视觉和深度学习的智能检测技术借助光学成像及图像处理等功能，能够准确计算待测物体的坐标信息，然后对物体实施自动定位并引导，同时完成自动装配。该检测技术具备非接触、无损伤、准确性高、连续工作时间长和高效率等优势，是目前智能制造检测较理想的方式。关键词：机器视觉；深度学习；智能制造；缺陷检测Technology and Application of Intelligent Manufacturing Defect Detection Based on MachineVision and Deep LearningLI Jintang(Guangzhou Mechanical and Electrical Technician College,Guangzhou 510000)Abstract:In the industrial intelligent manufacturing industry,quality defect detection is faced with certain difficulties.In thetraditional object surface defect detection,manual visual inspection is not only too subjective,but also inefficient.The intelligentdetection technology based on machine vision and deep learning can accurately calculate the coordinate information of the objectto be measured with the help of optical imaging and image processing,and then implement automatic positioning and guidanceof the object,and complete automatic assembly.The detection technology has the advantages of non-contact,no damage,highaccuracy,long continuous working time and high efficiency,and has become the most ideal way of intelligent manufacturingdetection.Keywords:machine vision;deep learning;intelligent manufacturing;defect detection机器视觉是智能制造业的核心技术，可以利用机器代替人眼和大脑对物体进行测量、判断以及精准定位。文章以机器视觉技术和深度学习为基础，对锂电池极片涂布缺陷进行检测和分类研究，并设计集成了一套功能完善的缺陷检测系统。该系统包含如下工作：根据锂电池表面缺陷特征，提出了一种针对锂电池的缺陷检测定位算法；使用神经网络的深度学习进行分类，确定一种适用于锂电池缺陷分类场合的分类模型及数据库；使用QtCreator开发整套软件综合检测平台，并设计用户图形操作界面，使其具备图像显示、图像缺陷检测及分类结果显示等若干功能。文章为锂电池缺陷检测过程提供了算法支持方案，整套检测系统能够满足0.0 5mm的检测精度和6 0 mmin的检测速度要求，在锂电池智能制造领域具有一定的参考价值。1基于深度学习的机器视觉检测系统整体框架文章研究以电动汽车锂电池生产工艺为例。为了检测智能制造中锂电池缺陷特征，提出基于深度学习的机器视觉系统整体架构，主要包括检测定位系统（传动系统、照明系统、传感系统以及中央控制系统）、数据收集系统（运动控制模块、缺陷检测模块、缺陷分类识别模块、后台数据管理模块）等子系统以及用户操作界面模块等若干子模块。各个子系统与子模块之间相互协调配合，共同完成锂电池极片缺陷检测与识别的复杂任务。2锂电池缺陷检测与定位锂电池表面的缺陷通常表现为印刷图案中的异常特征。为实现高精度的印刷位置检测，通过操作将电动汽车导引至指定区域停靠，以确保电池在成像区域内。在求解电池三维姿态时，首先获取物体图像的二维坐标，可以通过方向性FAST特征点检测和旋转BRIEF描述子（Oriented FAST and Rotated BRIEF，ORB）特征提取算法实现。但是，这些二维坐标并不能直接映射到实际物理世界坐标系，因此需要进行特征点的合理匹配，以计算三维坐标，从而更方便地选择匹配模板图像。特征点的信息包括世界坐标系下的三维坐标、坐标信息和特征描述子信息。在整体姿态识别的过程中，物体注册是不可或缺的步骤。首先，根据图像模型尺寸，有效输入关键点信息（通常需要手动获取关键点的相关信息），这些自动化与控制关键点的像素坐标用于计算该状态下的位姿信息。其RANSAC)算法 1-2 。次，获取所有物体的特征点，特征点的三维空间坐标3缺陷图像分类技术研究可以根据位姿信息进行计算。最后，需要存储特征点反向传播（BackPropagation，BP）神经网络可的特征描述子及相应的三维坐标，以便进行特征点匹分为3层，分别是输入层、隐含层和输出层，其中输配。此计算在姿态识别操作中发生，并生成与之对应入层负责接收信号，隐含层负责加工处理信号，输出的三维坐标。层负责输出信号。层与层之间的神经元通过全连接结在定位检测电池缺陷之前，需要保存模板特构建立联系，并且使用连接权重来表示联系的紧密程征，并利用光学系统采集电池图像，然后使用ORB度。锂电池极片涂布缺陷分类程序主要采用模式识别特征算法提取电池表面的特征。根据模板特征点进与深度学习的思想，大致过程如下：首先提取缺陷图行匹配性计算，最终获取对应的2 D-3D特征点，从像数据的特征，其次将提取到的特征进行特征融合后而准确求解电池的位姿信息。该求解过程可采用改用于分类模型的训练，最后使用训练后的模型分类数进的随机抽样一致性（RandomSampleConsensus，191据。算法分类模型及数据库建立模型如图1所示。判定模块视觉模型库预处理模块图像解码压缩（a）算法分类模型图像增强图像切分（b）数据库建立模型图1算法分类及数据库建立模型3.1年缺陷分类数据集建立作为神经网络的高阶发展产物，深度学习通过大脑仿生使得计算机从经验中学习知识，根据层次化概念体系理解环境，进而解决难以形式化描述的任务。数据集质量的高低是深度学习效果好坏的决定性因素，而且网络训练效果在一定程度上会受到数据集质量的影响。显著的标签特征是大规模的图像数据属性，以此确保深度学习在监督下有效开展。随着网络深度的持续增加，训练的参数也会相应增加，而规模过拟合极易在小规模数据集中发生。由于本研究成像方式的指定性和检测对象的特殊性，全部的数据集都源自大量的现场图像，并通过分割处理获取不同缺陷和背景图像。先要确认是否可采用人工手动标记，然后通过数据增强的模式得到训练图像。数据集中图像由凹凸、崩边、异色、划痕4种类型构成。其中：生产程序中不均匀的温度造成某些区域锂电池极片不均匀，进而形成凹凸缺陷，成像后呈现亮暗相间的图像；划痕缺陷是锂电池极片上细长的凹痕，主要是开槽、平磨等工序中操作失误造成的；异色缺陷分割图像后处理外观缺陷分割模型物理量计算结构件缺陷检测图像增强预处理缺陷检测属于点状颜色异常点，主要是丝印生产工序中锂电池极片边缘受力不均匀导致崩裂，该缺陷程度严重且难以修复；崩边是工件由移位变形、进给速度和切割深度、高转速刀片偏摆等造成的表面崩缺。3.2缺陷分割数据集建立在智能制造缺陷检测技术的应用过程中，针对分类网络训练实践中的全部数据，通过缩放将图像尺寸统一为151151。针对输入图像的像素类别，可以利用缺陷分割网络的算法逐个判断。本研究通过线阵相机进行图像采集，得到的像素尺寸为16 0 0 0 8192，而去除黑暗背景后玻璃检测区域的图像分辨率为135676548，因此训练中原图的输入有很大难度，只能将图像像素改为6 0 0 6 0 0。具体而言，一个锂电池极片图像可以被裁剪为小尺寸的图像，即2 53（2 311）。在之后的图像训练环节中，可以在同一个网络中训练两种图像。利用Labelme工具标注智能制造的缺陷后，数据集的正样本图像数量为8 516，负样本图像数量为2 6 0 33，整体样本数量为34550。锂电池极片表面主要缺陷由划规则判断拓展视觉模型图像拆分构建数据库理192痕、凹凸和异色3种缺陷类型以及对应标注的mask图像构成，如图2 所示。每一个像素对应的实际物理距离为10.8 m，这足以证明，在同轴光明场下，微弱划痕具有良好的成像效果，明场照明环境下成像清晰，即异色缺陷类型在明场中成像效果较好4。图2 典型的各类缺陷图像以及对应标注的mask图像4基于QtCreator的综合检测平台及应用文章选用QtCreator作为集成开发环境，开发设计图形用户界面（Graphical User Interface，G U I)，其内容主要分为4个板块，分别为登录界面板块、实时控制与缺陷检测界面板块、缺陷识别界面板块、数据管实时控制与缺陷检测界面传动速度控制光照强度控制用户登录新用户注册现代制造技术与装备理界面板块，如图3所示。这4个板块分别集成了各个软件功能子模块，且板块之间相互关联、紧密协作。利用该综合检测平台，分别为每种缺陷随机挑选50幅图像，每幅图像只含有单类缺陷，且每幅图像的缺陷个数为一个或多个。图像的分辨率均为512 0 4096，对应的实际成像范围为2 50 mm200mm。根据平台进行缺陷检测的平均漏检率为1.6 8%，平均误检率为0%，每幅图像的平均检测时间为2 32.5mS。在分项漏检率中，脱碳缺陷的平均漏检率最高，为6.17%。其次是异污缺陷，为5.56%。经分析，这两种缺陷漏检的样例面积并不大，而且灰度与涂布背景灰度十分相近，这给检测造成了困难5。在程序算法速度上，由于在缺陷检测中要求的检测速度为6 0 mmin，即每秒扫描检测的极片面积应为10 0 0 mmX200mm，那么每250ms应扫描检测的极片面积为2 50 mm200mm。由于每幅图像的实际成像范围为2 50 mm200mm，只要每幅图像的平均检测时间不超过2 50 ms，都可以满足在线检测速度要求。基于Qt Creator的GUI综合设计登录界面缺陷在线检测2023年第8 期总第32 1期缺陷识别界面数据管理界面账户数据管理检测数据管缺陷识别分类志数据管理图像存储管理图3基于Qt Creator的GUI设计框架5结语在人工智能和“工业4.0”时代的技术碰撞中，生产力的大幅度提升主要表现在生产效率和产品质量方面。机器视觉智能检测技术发挥着极其关键的作用，在该技术中，高质量的视觉图像可借助待测物体的成像获得，发挥出人类的视觉功能。利用图像处理算法提取与识别相关特征，有助于更精准地获取特征信息中物体的表面形貌、生产瑕疵、姿态信息等，进而达到检测目标，发挥出人类大脑功能并且具备非接触、无损伤、准确性高、连续工作时间长以及高效率等优势。该技术在精密光学表面缺陷分析、物体自动定位引导、自动装配等诸多方面具备广阔的应用前景。参考文献1孙东，巩雪.基于机器视觉的机器人视觉系统与标定研究J.哈尔滨商业大学学报（自然科学版），2 0 2 2（3）：312-317.2谭景升，王亚婷，庞静茹，等，玻璃表面缺陷单面成像.光学技术，2 0 2 2（3）：32 8-333.3赵成.工业4.0 背景下智能制造类专业双向实践教学模式的构建研究J.轻工科技，2 0 2 1（11）：112-113.4张燕琴，宋育程，王波群.模具智能制造平台关键技术研究及其应用J.机床与液压，2 0 2 2（18）：7 3-7 8.5闫茜宇.基于有缺陷数据集的深度语义分割与目标跟踪算法研究D.北京：清华大学，2 0 2 1.