基于计算机视觉的嵌入式数字IC芯片引脚缺陷检测方法.pdf

技术应用TECHNOLOGYANDMARKETVol.30,No.8,2023基于计算机视觉的嵌入式数字IC芯片引脚缺陷检测方法邓承洋重庆川仪控制系统有限公司上海分公司，上海2 0 12 0 4摘要针对芯片引脚缺陷故障难以精准检测的现状，提出基于计算机视觉的嵌入式数字IC芯片引脚缺陷检测方法。采用计算机视觉技术计算相机水平方向的像素，采集嵌入式数字IC芯片引脚图像；对引脚图像进行图像预处理、引脚缺陷特征提取及缺陷定位处理；计算芯片引脚长度均值，以引脚长度均值为依据进行缺陷检测。试验结果表明：该检测方法在芯片引脚缺失、歪脚、不合格等方面检测结果的准确率得到了显著提高。关键词计算机视觉；嵌入式数字IC芯片；引脚缺陷检测；缺陷特征提取A computer vision-based method for detecting pin defects ofembedded digital IC chipsDENG ChengyangChongqing Chuanyi Control System Co.,Ltd.,Shanghai Branch,Shanghai 201204,ChinaAbstract A computer vision-based embedded digital IC chip pin defect detection method is proposed to address the currentsituation of difficulty in accurately detecting chip pin defects.Using computer vision technology to calculate pixels in the hor-izontal direction of the camera and collect pin images of embedded digital IC chips;perform image preprocessing,pin defectfeature extraction,and defect localization on pin images;calculate the average length of chip pins and conduct defect detec-tion based on the average length of pins.Experimental analysis shows that the detection method has significantly improvedthe accuracy of detection results in areas such as missing,skewed,and unqualified chip pins.Keywords computer vision;embedded digital IC chip;pin defect detection;defect feature extractiondoi:10.3969/j.issn.1006-8554.2023.08.0140引言嵌人式数字集成电路（integratedcircuit，IC）芯片作为集成电路工艺生产的重要组成部分，对各个行业领域的发展都具有一定影响。良好的数字芯片使用性能能够有效地提高工业生产的质量与效率 2 。目前，嵌人式数字IC芯片引脚缺陷检测问题是影响芯片质量的核心问题，对嵌入式数字IC芯片引脚缺陷进行精准的检测，可以有效提高芯片的整体质量，提高芯片运行的稳定性。文献 3 提出基于区域生长法的芯片引脚缺陷检测方法，采用区域生长法确定各个引脚主体部分的形变面积，通过与实际引脚总数进行对比，并和实际引脚的间距、面积的设定值进行对比，当测定值超过设定值一定范围时，认为该芯片存在引脚缺陷。56文献 4 提出基于卷积去噪自编码器的芯片引脚缺陷检测方法，应用卷积去噪自编码器对芯片引脚缺陷图像进行重构处理，然后用重构的无缺陷图像减去输人图像，获得包含缺陷信息的残差图。最后，采用CDAE无监督学习网络进行训练，从而得到缺陷检测结果。上述方法虽然能够完成缺陷的检测，但存在检测结果精度较低的问题,因此对检测方法的性能仍需要进一步的优化。计算机视觉检测技术能够有效地改进传统检测方法存在的不足，使数字IC芯片表面缺陷检测更加精准。为此，本文在传统芯片引脚缺陷检测技术的基础上，引入计算机视觉检测原理，提出一种嵌入式数字IC芯片引脚缺陷检测方法，为我国工业生产及其他行业领域的发展提供保障，促进嵌入式数字IC芯片的深人研究。技术与市场2023年第30 卷第8 期1嵌入式数字IC芯片引脚缺陷检测方法基于计算机视觉的嵌人式数字IC芯片引脚缺陷检测方法主要包括芯片引脚的图像采集、图像预处理、缺陷特征提取、缺陷检测4部分。1.1图像采集利用图像采集设备，对数字IC芯片的塑封面与引脚面进行原始图像采集，并将芯片轮廓与成像覆盖料盘承载口区进行划分，避免采集的图像存在过度曝光现象 5本文采用具有CCD传感器的富士S2800HD型号相机，对嵌人式数字IC芯片图像进行采集。设置相机采集的像素灰度级范围为0 2 55；数据接口采用IEEE802.3afCLASS4；相机的尺寸为8 1.4mm(W)73.4mm(H)110.2 mm(L)。根据嵌入式数字IC芯片引脚缺陷检测的解析度要求，计算相机水平方向的像素的公式为：R=Hao式中：R表示相机水平方向的像素；。表示嵌入式数字IC芯片引脚缺陷检测的解析度参数；H表示相机采集图像时的水平高度。1.2图像预处理为了更加精确地对芯片引脚进行缺陷检测，需要将上述采集到的芯片引脚图片进行图片预处理。嵌人式数字IC芯片引脚缺陷图像预处理流程如图1所示。自动优化对比像素原始图像阈值分割图像灰度预处理图像图1嵌入式数字IC芯片引脚缺陷图像预处理流程分析图1可知，自动优化图像缺陷区域灰度，降低采集的图像与实际图像之间存在的灰度偏差，为后续嵌人式数字IC芯片引脚缺陷特征提取提供精确的像素特征信息 6 利用计算机的协处理器，对单幅引脚图像进行滤波降噪处理，找出图像中引脚缺陷的位置信息、分布信息与角度信息。将图像放置在水平位置，根据图像的实际尺寸，设置滤波降噪区域参数，去除图像中多余的信息，提取嵌人式数字IC芯片图像。技术应用利用计算机视觉技术，找出采集图像中单幅芯片的引脚图像，并进行直方图绘制，更好地展示数字IC芯片引脚缺陷的细节，并与芯片无缺陷区域的特征信息进行对比 7 。芯片引脚缺陷图像处理的计算公式为：Thr=R(hpeakl+c)式中：Th表示芯片图像预处理后的阈值信息；hpeak1表示芯片图像峰值的灰度值;c表示引脚缺陷常量。在嵌人式数字IC芯片引脚缺陷图像预处理结束后，将芯片图像的背景设置为灰色，提高图像展示的细节效果 8 1.3缺陷特征提取对预处理结束后的嵌人式数字IC芯片图像进行分割处理，将具有不同特征信息的芯片图像从整体图像中提取出来，进行适当的预处理，进而生成引脚缺陷特征突出的单幅图像，方便后续的引脚缺陷检(1)测 9。利用计算机视觉技术，提取芯片引脚缺陷特征。首先，对嵌人式数字IC芯片表面缺陷类型进行分析，获取具体的引脚缺陷类型 10 ,并构建缺陷区域灰度集合。然后，根据集合中芯片引脚缺陷的特征维数，利用最大相关最小几余算法，对芯片引脚缺陷数据降维处理,特征与缺陷类别相关度(D)的计算公式为：1DZ Tm I(x:;b)AxiEA特征式中：A表示特征集合，b表示缺陷目标类别；x表示随机变量；I（x;b）表示特征与类别之间的互信息。获取单幅芯滤波降噪片引脚图像(2)(3)特征之间相关度的计算公式为：1R=TAZD I(x;,*,)2xi,ajA式中：1（x;）表示特征i与特征i的第个互信息；R，为特征之间相关度。最后，结合支持向量机学习法，对缺陷区域灰度集合中的非线性样本数据进行学习与分类测试，找出芯片引脚缺陷数据中的最优参数，进而根据最优参数提取嵌人式数字IC芯片引脚缺陷图像中的缺陷特征。1.4实现缺陷检测由于芯片引脚缺陷类型较多，主要包括引脚缺57(4)技术与市场2023年第30 卷第8 期技术应用5886666（a）芯片引脚偏曲原始图（b）芯片引脚偏曲检测效果图图4芯片引脚偏曲检测结果通过观察图2 4所示的不同类型缺陷的检测效果可以看出，本文的检测方法能够精准地检测出芯片引脚的缺陷情况，与实际缺陷完全相符，因此证明了本文检测方法的缺陷检测性能。2.3缺陷类型检测精度本次试验采用对比试验的方式，设定嵌入式数字IC芯片引脚缺失数量为50、引脚歪脚数量为45、引脚不合格数量为6 0，将本文提出的基于计算机视觉的嵌入式数字IC芯片引脚缺陷检测方法与传统的基于区域生长法的的芯片引脚缺陷检测方法、基于卷积去噪自编码器的芯片引脚缺陷检测方法进行对比。对比3种检测方法在不同引脚缺陷情况下的检测结果，如表1 3所示。表1基基于计算机视觉的检测方法引脚缺失引脚歪脚数量准确率数量准确率数量准确率/个/%50100表2基于区域生长法的检测方法引脚缺失引脚歪脚数量准确率数量准确率数量准确率/个/%4180.01表3基于卷积去噪自编码器的检测方法引脚缺失引脚歪脚数量准确率数量准确率数量准确率/个/%3570.02根据表1 3的实验结果可知，在3种嵌人式数字IC芯片引脚缺陷检测方法中，本文提出的基于计算机视觉的嵌人式数字IC芯片缺陷检测方法，其引脚缺失检测结果的准确率达到了10 0%，较其他2 种检测方法相比准确率具有明显优势。另外，本文提出的检测方法在芯片引脚歪脚与引脚不合格的检测中，准确率分别达到了97.7 8%与96.6 7%，均与传统检测方法之间存在较大差距，证明本文提出的基于计算机视觉的嵌人式数字IC芯片引脚缺陷检测方法更加具有优势。3结束语为了提高嵌人式数字IC芯片的质量，提出基于计算机视觉的嵌入式数字IC芯片引脚缺陷检测方法。从理论与试验2 个方面对该方法的性能进行了验证。结果表明：该方法在进行嵌人式数字IC芯片引脚缺陷检测时,具有较高的检测精度，与基于区域引脚不合格生长法的检测方法、卷积去噪自编码器的检测方法相/个/%4497.78/个/%3271.11/个/%3884.44/个5896.67引脚不合格/个/%4575.0引脚不合格/个/%5185.01/%比，本文方法的最高检测精度可以达到10 0%，说明所提出的基于计算机视觉的检测方法，能够更好地满足嵌人式数字IC芯片引脚缺陷检测的要求。但是，此次研究未对方法的检测效率进行验证，因此在后续的研究工作中要进一步提升该方法的效率性，以符合实际的检测需求。参考文献：1郑建聪，谢麒麟，方挺，等.一种基于特征点的管材表面缺陷视觉检测方法 J.安徽工业大学学报（自然科学版）,2 0 2 2,39（1）：2 1-2 4.2杨桂华，唐卫卫，卢澎澎，等.基于机器视觉的芯片引脚测量及缺陷检测系统 J.电子测量技术,2 0 2 144(18):136-142.（下转第6 4页）59技术应用可见，通过对数型函数制得的热力散点图，能够使所有散点在尺寸和颜色这2 个方面均取得相对较好的视觉展现效果4结束语散点图与热力图共同的缺点是：在数值差异相对较小的情况下,难以展现数据之间的区别。本文将二者相结合，在数值较小的区间，能够用散点尺寸的大小进行区分，在数值较大的区间，能够用颜色或灰度的深浅进行区分，由此取得了更好的数据对比效果；提供了3种将实际数值映射为绘制尺寸的函数，可根据数据的实际情况进行选择或调整,其目的是改变绘制尺寸的分布形态，从而取得更好的视觉效果。参考文献：1姬莹.信息设计中图形语言的视觉化传达与解析J.美术学报,2 0 11,6 9(6)2 0-2 3.2陈玉华.如何玩转专利大数据 M.北京：知识产权出TECHNOLOGYANDMARKETVol.30,No.8,2023版社,2 0 19:8 4-8 9.3国家知识产权局专利局审查业务管理部.专利分析数据处理实务手册M.北京：知识产权出版社，2018:192-194.4卢青，赵澎碧.大数据环境下的专利分析模型研究J.现代情报,2 0 18,38（1)：37 44.5张兆锋，贺德方.专利技术功效图智能构建研究进展J.情报理论与实践，2 0 17,40（1）：139-144.作者简介：许杰（198 7 一），男，四川乐山人，硕士，知识产权师/发明专利审查员，从事矿业开采和隧道钻进领域发明专利审查和专利分析工作。尹浚羽（198 9一）（等同第一作者），男，四川会东人，硕士，知识产权师/发明专利审查员，从事石油钻采和测井领域发明专利审查和专利分析工作。(上接第59页）3陈广锋，王琳霞，席伟，等.基于区域生长法的QFP芯片引脚缺陷检测算法J.东华大学学报（自然科学版），2020,46(3):401-407.4罗月童，卞景帅，张蒙，等.基于卷积去噪自编码器的芯片表面弱缺陷检测方法J.计算机科学，2 0 2 0,47（2)：118-125.5 马勇，虞勇坚，解维坤，等.基于缺陷检测的多芯片塑封光耦器件开封方法 J.电子元器件与信息技术，2 0 2 1,5(1):3-5.6周天宇，朱启兵，黄敏，等.基于改进YOLOV3的载波芯片缺陷检测 J.激光与光电子学进展2 0 2 1,58（12）：8 6-93.7 李文静，张虎山，焦键.基于HALCON的贴片IC焊接缺陷检测算法研究 J.兵器装备工程学报，2 0 2 0，41（8）：244-248.8曹深怡，李笑勉，文心妍，等.基于机器视觉的LED芯片缺陷检测系统研究 J.现代制造技术与装备，2 0 2 1,57(6):6-9.9吴福培，朱树错，李昇平.基于单幅图像的集成电路引脚共面性检测方法 J.光学学报,2 0 2 0,40（1）：2 99-30 6.10 刘琛,袁小芳，田争鸣，等.基于点模式匹配的芯片缺陷检测算法研究 J.激光杂志，2 0 2 0,41（1）：39-44.作者简介：邓承洋（198 9一），男，重庆人，本科，工程师，研究方向：计算机科学与技术。64