基于计算机视觉的电子元器件表面缺陷检测.pdf

基于计算机视觉的电子元器件表面缺陷检测绎刘竞升袁邱宝军袁吕宏峰渊工业和信息化部电子第五研究所袁 广东广州511370冤摘要院电子元器件表面缺陷 渊如划痕尧 气泡和毛刺等冤 会在一定程度上影响其质量遥 现阶段主要是通过人工的方法对表面缺陷进行检测遥 随着人工智能技术的成熟袁 通过计算机视觉的方法对电子元器件的表面缺陷进行检测已经成为可能遥 因此袁 提出了一种基于计算机视觉的电子元器件表面缺陷检测方法遥 首先袁 搭建了用于检测的硬件平台袁 并建立了电子元器件外观图像的样本库曰 其次袁 分析了图像滤波和图像初步筛选的方法曰 然后袁 分析了卷积神经网络的基本原理袁 并对比各种成熟神经网络模型的识别准确率曰 最后袁 选择 VGGNet19 网络来对电子元器件的外观图像进行分类识别袁 识别的准确率高达 90%袁 从而证明了所提出的方法的有效性袁 具有一定的实用价值遥关键词院电子元器件曰 表面缺陷曰 图像滤波曰 卷积神经网络中图分类号院 TP 391.4文献标志码院 A文章编号院 1672-5468 渊2023冤 03-0091-06doi:10.3969/j.issn.1672-5468.2023.03.016The Surface Defect Detection of ElectronicComponents Based on Computer VisionLIU Jingsheng袁 QIU Baojun袁 LV Hongfeng渊CEPREI袁 Guangzhou 511370袁 China冤Abstract院The surface defects 渊such as scratches袁 bubbles and burrs冤 of electronic componentwill affect their quality to some extent.At present袁 surface defects are mainly detected by artificialmethods.With the mature of artificial intelligence袁 it has become possible to detect surface defectsof electronic components by means of computer vision.Therefore袁 a surface defect detectionmethod for electronic components based on computer vision is proposed.Firstly袁 a hardwareplatform for detection is built袁 and a sample library of appearance images of electronic componentsis established.Next袁 the methods of image filtering and image preliminary screening are analyzed.Then袁 the basic principle of convolutional neural network is analyzed袁 and the recognitionaccuracy of various mature neural network models is compared.Finally袁 VGGNet19 network isselected to classify and recognize the appearance images of electronic components.The recognitionaccuracy is as high as 90%袁 which proves the feasibility of the proposed method袁 and the method绎基金项目院 广州市科技计划项目-基础研究计划-基础与应用基础研究项目 渊202102080285冤 资助遥收稿日期院 2022-09-09修回日期院 2023-04-12作者简介院 刘竞升 渊1993要冤袁 男袁 广东广州人袁 工业和信息化部电子第五研究所系统工程中心工程师袁 硕士袁 从事集成电路测试研究工作遥通讯作者院 吕宏峰 渊1982要冤袁男袁 内蒙古包头人袁 工业和信息化部电子第五研究所系统工程中心工程师袁 博士袁 从事集成电路测试研究工作遥电 子 产 品 可 靠 性 与 环 境 试 验耘蕴耘悦栽砸韵晕陨悦 孕砸韵阅哉悦栽 砸耘L陨粤月陨蕴I栽再 粤晕阅 耘晕灾陨R韵晕酝耘晕栽粤蕴 栽耘杂栽陨晕郧计算机科学与技术阅陨粤晕在陨 悦匀粤晕孕陨晕 运耘运粤韵X陨晕郧 再哉 匀哉粤晕允I晕郧 杂匀陨再粤晕91电子产品可靠性与环境试验阅陨粤晕在陨 悦匀粤晕孕陨晕 运耘运粤韵X陨晕郧 再哉 匀哉粤晕允I晕郧 杂匀陨再粤晕电子产品可靠性与环境试验2023 年0引言电子元器件的表面缺陷通常包括划痕尧 气泡和毛刺等遥 这些表面缺陷会在一定程度上影响电子元器件的使用遥 现阶段袁 工程师主要通过人工的方法袁 用显微镜等工具进行检测遥 这种方法效率很低袁 如何高效快速地识别出表面缺陷一直是值得研究的难题遥 随着人工智能技术的成熟袁 人脸识别尧 目标检测等利用计算机视觉进行检测的方法已经走进人们的生活遥 这些方法使得检测的效率大大地提高遥现有很多研究利用计算机视觉的方法来检测电子元器件的表面缺陷遥 徐奇等1提出用图像处理技术来快速地检测晶振的表面缺陷遥 林佳等2提出了一种基于主成分分析和贝叶斯概率模型的在线检测算法来检测晶圆的表面缺陷遥 包从望等3提出了一种改进的 Canny 齿轮边缘检测方法袁 所提方法有较好的降噪效果遥 这些都利用不同的算法实现了智能检测遥 基于此袁 本文提出通过计算机视觉的方法来对电子元器件的表面缺陷进行检测遥1硬件系统1.1 硬件系统外壳外观检测硬件系统主要包括图像采集部分和运动控制部分袁 样品经过运动组件被传送至指定位置袁 其外观表面经过图像采集系统被传输到计算机中袁 进行分析和处理袁 以检查确认产品是否存在缺陷袁 并判断缺陷种类遥 具体如图 1 所示遥根据要求袁 搭建了机器视觉系统袁 主要包括机械手分拣系统和视觉检测机构遥 具体如图 24 所示袁 本研究拟采用的运动组件系统包括机械手拾样系统尧 视觉检测装置和滑动托盘遥 系统整体由计算机控制遥 运动滑动托盘控制卡部分袁 拟采用四轴运动控制卡袁 内置闭环控制功能袁 控制卡在收到运动指令后袁 能根据触发信号实现平台位置的闭环控制袁 确保工作平台能在极短的时间内一次运动到位袁 无需计算机重复修正平台位置袁 减少了平台运动所消耗的时间遥图 1硬件系统样品图像采集系统装夹工件照明镜头光源相机光源控制卡工作平台伺服电机运动控制卡计算机指令检查结果显示器指令指令图像光学信号运动控制系统图 2全局示意图维护侧门三色灯操作面板铅型材亚克力视觉检测机构电柜tray 盘托盘推移机构显示操作台 渊可旋转冤图 3实物图正面has certain practical value.Keywords院electric component曰 surface defect曰 image filter曰 convolutional neural network92阅陨粤晕在陨 悦匀粤晕孕陨晕 运耘运粤韵X陨晕郧 再哉 匀哉粤晕允I晕郧 杂匀陨再粤晕第 3 期图 4实物图侧面1.2 样本库项目所在单位年度外壳样品测试总量超过30 000袁 已有完整的带有缺陷外壳样品图像和引出端缺陷图像近 2 000 张袁 构成了不同缺陷分类的图像样本库遥 部分图像截图如图 56 所示袁 缺陷图像随着后续的不断补充袁 将进一步地优化模型袁 不断地提高检测率遥2图像预处理2.1 图像滤波外壳图像采集过程中袁 由于光照变化等因素的影响袁 会导致采集的图像包含噪声袁 通常图像中的噪声和背景的灰度值相差较大袁 会影响图像灰度和梯度等计算袁 进而影响图像的进一步处理袁 因此要对图像先进行图像滤波和初筛袁 然后进行识别算法和图像分类遥常见的图像噪声类型是高斯噪声和椒盐噪声遥图像去噪方法有空域滤波和频域滤波两大类4遥空域滤波主要有均值滤波尧 高斯滤波尧 中值滤波和排序滤波等曰 频域滤波主要有高通滤波尧 低通滤波尧 带通滤波和带阻滤波等遥 对图像的滤波原则是尽可能地去除噪声袁 同时尽量地保证缺陷区域边缘轮廓细节的完整性遥 由于频域滤波需要将图像从空间域转换到频率域再做处理袁 滤波时间较长袁 这里不采用遥一般外壳图像的噪声主要是高斯噪声袁 均值滤波和高斯滤波都可以去除高斯噪声袁 研究团队曾分别用均值滤波和高低滤波对外壳缺陷表面图像进行去噪实验袁 不同滤波方法的处理结果如图 7 所示遥均值滤波将某个区域的像素灰度均值作为中心点的像素灰度值遥 二维高斯滤波核是一种根据二维高斯函数 渊如式 渊1冤 所示冤 来确定核权值的线性平滑滤波器袁 具有旋转不变性和良好细节保持性遥G 渊x袁 y冤=12仔滓2exp 渊-x2+y22滓2冤渊1冤图 6具有缺陷的引出端玻璃绝缘子缺陷样本 渊部分冤图 5具有缺陷的外壳采集图 渊部分冤图 7不同滤波方法的处理图像结果a滤波前图像b均值滤波图像c高斯滤波图像刘竞升等院 基于计算机视觉的电子元器件表面缺陷检测93电子产品可靠性与环境试验阅陨粤晕在陨 悦匀粤晕孕陨晕 运耘运粤韵X陨晕郧 再哉 匀哉粤晕允I晕郧 杂匀陨再粤晕电子产品可靠性与环境试验2023 年从图 7 中可以看出袁 均值滤波和高斯滤波都能较好地去除图像中的高斯噪声袁 但高斯滤波相比于均值滤波能够更好地保留边缘细节信息遥 因此袁 本项目采用高斯滤波作为图像去噪方法遥2.2 图像初筛图像初筛需要筛选速度快袁 尽可能地筛选出无缺陷的图像袁 但不能将有缺陷的图像筛选为无缺陷的图像而导致漏检遥常用的缺陷图像筛选方法有差值法和投影法遥差值法是将待检测图像与一张没有缺陷的 野模板冶图像作减法袁 得到一张差值图像遥 受环境光照影响以及外壳本身背景会有变化袁 难以确定 野模板冶 图像遥 此外缺陷区域灰度有时和背景区域接近袁 阈值T 难以选取遥 这些缺点导致筛选效果大大地降低遥投影法是对图像进行水平投影 渊对图像像素值每一行求和冤 和垂直投影 渊对图像像素值每一列求和冤遥 但投影法对噪声十分敏感袁 噪声会导致标准差增大袁 导致误判遥 而且图像背景的均匀变化也会增大标准差的值遥鉴于差值法和投影法的缺点袁 本研究提出了一种基于梯度均值的外壳表面图像初筛方法遥 对于连续二元函数而言袁 图像是一个二维离散对象袁 可用邻域像素灰度值的差分运算来计算像素的梯度遥由于缺陷图像缺陷区域和背景区域存在着灰度差袁故有缺陷图像的梯度幅值会比较大袁 可用灰度幅值矩阵水平和垂直方向投影曲线直观地来衡量图像梯度的大小袁 经过梯度均值处理遥梯度幅值计算图如图 8 所示遥 从图 8c 中图像的梯度投影曲线可知袁 缺陷图像的梯度投影曲线的值大于无缺陷图像的梯度投影曲线的值遥 故可根据水平垂直 2 个方向上梯度投影的均值 Mx 和 My 来判断是否有缺陷遥 由于水平梯度投影均值和垂直投影均值实际上是整个图像梯度的均值袁 用 M 表示图像梯度均值遥 通过实验设置一个合理的梯度均值阈值 Tg袁 当 MTg 时袁 判断为无缺陷曰 否则袁 判断为有缺陷遥 根据此方法袁 本研究曾选择 3 类 150张缺陷图像和 30 张无缺陷图像进行初步筛选袁 经过 20 次试验袁 有无缺陷判断总准确率达 98%以上袁 若进一步地通过精确梯度范围和优化图像处理研究袁 其准确率还有增加的空间遥3CNN 设计思路3.1 CNN 网络结构卷积神经网络模型都有类似的结构袁 一般由以下层组成袁 即院 卷积层尧 池化层尧 全连接层和分类层袁 其中卷积层和池化层可以多层交替5袁 如图 9所示遥卷积层是卷积神经网络中特征提取最重要的部分袁 卷积层是由卷积核与输入层或特征图作二维卷积得到遥 除了提取特征袁 卷积层有时还具有降维的作用遥池化层的最主要作用是提取特征袁 降低维度袁减少计算量遥 此外袁 池化层还有降低过拟合袁 保持一定的平移尧 旋转尧 尺度不变性的作用遥全连接层在卷积层和池化层之后袁 在整个卷积神经网络中起到 野分类器冶 的作用遥 如果说卷积层尧 池化层或激活函数等操作是将原始数据映射到高层特征空间的话袁 那么全连接层则是起到将学到的 野分布式特征表示冶 映射到样本标记空间的作用遥 全连接层的输入可以将最后的卷积层或池化层转换成一个一维向量遥分类层在全连接层之后袁 是 CNN 的结果输出层袁 也是最后一层遥 分类层的前一层神经元个数就是分类的类别数袁 其值越大代表属于对应类的可能性越大遥 分类层是对全连接最后一层的输出值作softmax 函数计算袁 softmax 函数的原理是院 指数级扩大全连接层最后一层的输出袁 每个值都会增大袁图 8梯度幅值计算图a原图b梯度图c梯度投影曲线94阅陨粤晕在陨 悦匀粤晕孕陨晕 运耘运粤韵X陨晕郧 再哉 匀哉粤晕允I晕郧 杂匀陨再粤晕第 3 期然而最大的那个值相比其他值扩大得更多袁 然后进行归一化遥3.2 CNN 选择各种CNN 模型中袁 牛津大学的 Oxford visualGeometry Group 首创并命名的 CNN 网络渊VGGNet冤和 微 软 研 究 院 首 创 的 Residual Neural Network渊ResNet冤袁 具有较高的识别率和精度6袁 因此本项目以这两种算法为基础进行了研究和对比遥用于模型训练的图片是采用 334 张划痕原图生成袁 获得 6 680 张 256伊256 大小的图片袁 选取出200 张仅包含划痕的图片和 200 张无划痕的图片用于训练遥 再选取有划痕和无划痕图各 200 张用于测试遥针对现有的VGG11尧 VGG13尧 VGG16尧 VGG19尧ResNet34尧 ResNet50尧 ResNet101 和 ResNet152 等模型参数进行修改袁 完成了训练和测试袁 其中每种网络后面的数字代表层数袁 灰色折线表示训练准确率袁 黑色表示测试准确率袁 具体测试如图 10 所示遥各种 CNN 网络的训练准确率和测试准确率如表 1所示遥根据训练测试结果袁 我们拟选用 VGGNet19 网络进行缺陷图像识别遥 具体缺陷图识别情况如图11 所示遥 图 11 展示了 VGGNet19 识别元器件表面缺陷的全过程遥表 1不同神经网络的训练准确率和测试准确率网络模型训练准确率测试准确率ResNet3477%63%ResNet5077%64%ResNet10177%64%ResNet15276%65%VGGNet1183%76%VGGNet1385%78%VGGNet1689%83%VGGNet1993%90%图 10不同神经网络的训练和测试图图 9CNN 网络一般结构卷积层尧 池化层 渊特征提取冤输入图像全连接层分类层池化卷积局部感受野aVGG11bVGG13cVGG16dVGG19时期706560555045020406080100时期6560555045020406080100时期545250484644020406080100时期6560555045020406080100时期565452505846020406080100时期706560555045020406080100eResNet34fResNet50gResNet101hResNet152时期6560555045020406080100时期6560555045020406080100a原图b灰度图ccanny 图d闭运算图刘竞升等院 基于计算机视觉的电子元器件表面缺陷检测95电子产品可靠性与环境试验阅陨粤晕在陨 悦匀粤晕孕陨晕 运耘运粤韵X陨晕郧 再哉 匀哉粤晕允I晕郧 杂匀陨再粤晕电子产品可靠性与环境试验2023 年图 11缺陷检测图4结束语文章探索出一种基于计算机视觉的电子元器件表面缺陷检测方法袁 该方法使得电子元器件的智能化检测成为可能遥 随着检测量的增加袁 项目组会有更全面尧 更大量的元器件外观图像来扩充样本库遥除此之外袁 相对于成熟的神经网络袁 后续研究也需要思索如何优化神经网络的参数袁 从而训练出一个高灵敏度尧 能识别更多种类表面缺陷的神经网络遥参考文献院1 徐奇袁 朱炼.图像处理技术在电子元件表面缺陷检测中的应用 J.韶关学院学报袁 2012袁 33 渊4冤院 38-41.2 林佳袁 王海明袁 于乃功袁 等.晶圆表面缺陷在线检测研究 J.计算机测量与控制袁 2018袁 26 渊5冤院 14-16曰 20.3 包从望袁 胡才梦袁 张彩红袁 等.基于改进 Canny 算子的齿轮缺陷检测边缘检测算法 J.组合机床与自动化加工技术袁 2023 渊1冤院 83-86曰 91.4 刘利平袁 乔乐乐袁 蒋柳成.图像去噪方法概述 J.计算机科学与探索袁 2021袁 15 渊8冤院 1418-1431.5 卢宏涛袁 张秦川.深度卷积神经网络在计算机视觉中的应用研究综述 J.数据采集与处理袁 2016袁 31 渊1冤院1-17.6 周飞燕袁 金林鹏袁 董军.卷积神经网络研究综述 J.计算机学报袁 2017袁 40 渊6冤院 1229-1251.e开运算图f检测结果图二维材料内首次探测到自旋结构据报道袁 美国桑迪亚国家实验室综合纳米技术中心和奥地利因斯布鲁克大学的科学家在最新一期 叶自然 窑 物理学曳 杂志上发表论文称袁 他们首次观测到了二维 渊2D冤 材料内的自旋结构遥 这一进展为直接研究电子在 2D 量子材料内的自旋特性奠定了基础袁 有望催生基于这些材料的计算和通信产品遥电子自旋是一种赋予物质结构的基本行为袁是量子现象中最重要的部分袁 但测量电子自旋的典型方式通常在 2D 材料中不起作用袁 因此科学家们从未真正在 2D 材料内探测到袁 也无法从理论上研究 2D 材料内的自旋遥在最新研究中袁 科研团队对名为 野魔角冶 扭转双层石墨烯的 2D 材料进行了测量遥 这种石墨烯基材料由两片超薄碳层堆叠并扭转成直角时产生袁新双层结构 野变身冶 为超导体袁 使电能在没有阻力的情况下流动遥物理学家一般使用核磁共振来测量电子的自旋院 使用微波辐射激发样本材料中的核磁特性袁然后读取这种辐射引起的不同特征来测量自旋遥但 2D 材料面临的挑战是袁 微波激发使电子产生的磁性特征太小而无法检测遥研究团队此次没有直接检测电子的磁化强度袁而是测量了电子电阻的细微变化袁 这些变化由辐射引起的磁化强度变化导致遥 这些电流的微小变化使研究人员能够检测电子是否吸收了微波辐射产生的光子遥 借助这一方法袁 他们首次观测到了自旋电子与微波辐射光子之间直接的相互作用遥渊下载网址院 http:/ 下载日期院 2023-06-10冤96