机器视觉系统-毕业论文.doc

机器视觉系统论文 机器视觉系统论文 半导体晶片切割的机器视觉系统摘要：机器视觉系统在工业中已经广泛使用，本课题研究了机器视觉系统运用于半导体晶片切割的工业流程。在选取合适的摄像机和图像采集卡前提下，成功获取了清晰的半导体晶片原始图像；然后利用halcon软件首先运用傅立叶变换获取原始图像的自相关图像从而得到晶片的宽和高，然后通过匹配算法构建匹配模型，最后与原始图像进行匹配后计算出晶片的切割线来完成晶片的切割定位。这样即完成了一套半导体晶片的自动切割的流程，本课题的实现大大的提升了半导体晶片切割的速率。关键词：机器视觉；傅立叶变换；模板匹配；HalconThe WaferDicing Based on Machine Vision TechnologyAbstract: Machine vision system has been widely used in industry, this topic studied machine vision system used in semiconductor wafer cut industrial process. In selecting the right camera and image acquisition card, acquire clear success original image; semiconductor chips Then halcon software first by using Fourier transform of the original image acquisition from relevant images and get a chip in width and height, and then through the matching algorithm, and finally construct matching model with the original image matching of wafer calculated out after cutting line to complete the chips cutting positioning. Namely so completed a set of semiconductor chip the flow of automatic cutting, so greatly promoted semiconductor wafer cutting speed. So this topic research now is widely used in industrial production.Key words: machine vision, Fourier transform, template matching, Halcon 毕业论文 目录第1章 前言41.1 选题背景41.2 选题目的和意义41.3 国内外现状51.4 机器视觉技术的发展趋势61.5 论文主要研究内容71.6 本章小结8第2章 半导体晶片切割机器视觉系统的方案设计82.1 机器视觉系统基本原理82.2 系统方案设计基本结构92.2.1 光源92.2.2 摄像机102.2.3 图像采集112.2.4 图像处理122.2.5 本章小结12第3章 半导体晶片切割算法123.1 fourier 变换123.2 相关143.3 模板匹配153.3.1 边缘匹配算法153.3.2 基于边缘像素点的算法173.4 本章小结18第4章 半导体晶片切割算法的实现194.1 图像的获取204.2 利用自相关算法获取晶片大小204.3 提取芯片位置244.4 估计切割线位置274.5 本章小结28结论29致谢30参考文献31附录（算法实现的主要源代码）32毕业论文第1章 前言1.1 选题背景视觉传感技术机器视觉在半导体工业上的应用早在二十年前就已开始，半导体、电子设备市场是机器视觉技术发源地并一直成为机器视觉赖以生存的巨大市场之一。半导体、电子制造业每一次技术上的飞跃如：晶圆越做越大，而内部线路越做越细，向超细间距式器件挺进；连接器体积越来越小，每分钟生产线上需要检测、测量器件的数量越来越多，都将伴随着新一轮半导体、电子生产装备的诞生。随之必将产生新的质量保证系统改善其生产率和保证零次品率，进而促使机器视觉市场不断发展壮大。机器视觉技术本身也随着半导体、电子、光学、自动化等技术的发展而不断完善、发展。视觉传感技术机器视觉在半导体工业上的应用早在二十年前就已开始，半导体、电子设备市场是机器视觉技术发源地并一直成为机器视觉赖以生存的巨大市场之一。半导体、电子制造业每一次技术上的飞跃如：晶圆越做越大，而内部线路越做越细，向超细间距式器件挺进；连接器体积越来越小，每分钟生产线上需要检测、测量器件的数量越来越多，都将伴随着新一轮半导体、电子生产装备的诞生。随之必将产生新的质量保证系统改善其生产率和保证零次品率，进而促使机器视觉市场不断发展壮大。机器视觉技术本身也随着半导体、电子、光学、自动化等技术的发展而不断完善、发展。1.2 选题目的和意义半导体制造过程可以划分为前、中、后三段。在这三段中，每一段制程，机器视觉都是必不可少的。 在前、中段过程中，机器视觉主要应用在精密定位和检测方面。没有精密定位，也就不可能进行硅片生产。 中段制程是半导体制程的最重要环节，与机器视觉相关的还有最小刻度测量。目前，后段制程则是机器视觉应用非常广泛的环节。后段制程主要涉及晶圆的电器检测、切割、封装、检测等过程。晶圆在切割前必须使用机器视觉系统检测出瑕疵，并打上标记。检测完毕切割过程中需要利用机器视觉系统进行精确快速对准定位，采用基于机器视觉技术的预对准技术具备很强的速度优势。基于机器视觉的解决方案，只需要半秒钟就能定位硅片中心并对准切口。美国知名机器视觉厂商Cognex生产的智能相机In-Sight1820就有类似的应用。切割过程开始后也要利用机器视觉进行定位。如果定位出现问题，则可能整片晶圆会报废。切割后的IC要保证在不互相接触的前提下分装到相应的容器内部，再继续利用机器视觉系统找出非瑕疵品进入封装过程。封装过程的机器视觉应用目前在国内外都很成熟，如大家所熟知的AOI（Automatic Optic Inspection）。 纵观半导体制造前、中、后三段的视觉应用，PC-Base机器视觉系统占据着很大的比重，这是因为PC-Base系统对于设备完成复杂检测需求及进行二次开发的实施性最强。在设备设计初期如果考虑PC-Base视觉系统，其整合性也最强。另外，由于智能相机等嵌入式视觉系统本身发展的限制，其精度和速度还无法与PC-Base系统相比。就以相机为例，目前已经进入市场的工业相机最高分辨率已达到1600万像素，智能相机最高也就200多万像素。而半导体制造前段和中段对于图像精度要求达200万像素的相机很难实现，因此我们可以看到嵌入式视觉系统在半导体行业应用中仍大多集中在后段部分。1.3 国内外现状在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。除此之外，机器视觉还用于其他各个领域。而在中国，以上行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，曾导致以上很多行业的应用几乎空白。目前在我国随着配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，国内近几年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，并在工业现场有所应用。其主要应用于制药、印刷、矿泉水瓶盖检测等领域。这些应用大多集中在如药品检测分装、印刷色彩检测等。1.4 机器视觉技术的发展趋势在机器视觉赖以普及发展的诸多因素中，有技术层面的，也有商业层面的，但制造业的需求是决定性的。制造业的发展，带来了对机器视觉需求的提升；也决定了机器视觉将由过去单纯的采集、分析、传递数据，判断动作，逐渐朝着开放性的方向发展，这一趋势也预示着机器视觉将与自动化更进一步的融合。未来，中国机器视觉发展主要表现为以下一些特性：1、随着产业化的发展对机器视觉的需求将呈上升趋势机器视觉发展空间较大的部分在半导体和电子行业，而据我国相关数据显示，全球集成电路产业复苏迹象明显；与此同时，全球经济衰退使我国集成电路产业获取了市场优势、成本优势、人才回流等优势；国家加大对集成电路产业这一战略领域的规划力度，“信息化带动工业化”，走“新兴工业化道路”为集成电路产业带来了巨大的发展机遇，特别是高端产品和创新产品市场空间巨大，设计环节、国家战略领域、3C应用领域、传统产业类应用领域成为集成电路产业未来几年的重点投资领域。2、统一开放的标准是机器视觉发展的原动力目前国内有近数家机器视觉产品厂商，与国外机器视觉产品相比，国内产品最大的差距并不单纯是在技术上，而且还包括品牌和知识产权上。另一现状是目前国内的机器视觉产品主要以代理国外品牌为主，以此来逐渐朝着自主研发产品的路线靠近，起步较晚。未来，机器视觉产品的好坏不能够通过单一因素来衡量，应该逐渐按照国际化的统一标准判定，随着中国自动化的逐渐开放，将带领与其相关的产品技术也逐渐开放。因此，依靠封闭的技术难以促进整个行业的发展，只有形成统一而开放的标准才能让更多的厂商在相同的平台上开发产品，这也是促进中国机器视觉朝国际化水平发展的原动力。3、基于嵌入式的产品将取代板卡式产品从产品本身看，机器视觉会越来越趋于依靠PC技术，并且与数据采集等其他控制和测量的集成会更紧密。且基于嵌入式的产品将逐渐取代板卡式产品，这是一个不断增长的趋势。主要原因是随着计算机技术和微电子技术的迅速发展，嵌入式系统应用领域越来越广泛，尤其是其具备低功耗技术的特点得到人们的重视。另外，嵌入式操作系统绝大部分是以C语言为基础的，因此使用C高级语言进行嵌入式系统开发是一项带有基础性的工作，使用高级语言的优点是可以提高工作效率，缩短开发周期，更主要的是开发出的产品可靠性高、可维护性好、便于不断完善和升级换代等。因此，嵌入式产品将会取代板卡式产品。4、标准化、一体化解决方案也将是机器视觉的必经之路另外，由于机器视觉是自动化的一部分，没有自动化就不会有机器视觉，机器视觉软硬件产品正逐渐成为协作生产制造过程中不同阶段的核心系统，无论是用户还是硬件供应商都将机器视觉产品作为生产线上信息收集的工具，这就要求机器视觉产品大量采用“标准化技术”，直观的说就是要随着自动化的开放而逐渐开放，可以根据用户的需求进行二次开发。当今，自动化企业正在倡导软硬一体化解决方案，机器视觉的厂商在未来5-6年内也应该不单纯是只提供产品的供应商，而是逐渐向一体化解决方案的系统集成商迈进。在未来的几年内，随着中国加工制造业的发展，对于机器视觉的需求也逐渐增多；随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初期的低端转向高端。由于机器视觉的介入，自动化将朝着更智能、更快速的方向发展。另外，由于用户的需求是多样化的，且要求程度也不相同。那么，个性化方案和服务在竞争中将日益重要，即用特殊定制的产品来代替标准化的产品也是机器视觉未来发展的一个取向。机器视觉的应用也将进一步促进自动化技术向智能化发展。1.5 论文主要研究内容本论文主要是通过对机器视觉技术极其相关设备的学习了解，在HALCON软件的基础上设计一套应用半导体晶片切割定位的机器视觉检测系统。第一章前言，主要讲了机器视觉系统的背景及发展前景。第二章总体分析了机器视觉系统重要组成的各个元器件，通过自己需要选择适合本课题的元器件。第三章详细了解了运用于处理半导体晶片原始图像的三个算法：fourier变换、相关及鲁棒的模板匹配第四章则是对半导体晶片切割的整个过程进行分化讲解及各种算法的运用。1.6 本章小结本章主要对机器视觉系统做出了简要介绍，使我们对机器视觉系统的由来和发展前景有了新的认识。也意识到了机器视觉系统在未来的数年内必将发展成为工业产业上不可小视的一块。第2章 半导体晶片切割机器视觉系统的方案设计2.1 机器视觉系统基本原理机器视觉系统的目的就是给机器或自动生产线添加一套视觉系统，其原理是由计算机或图像处理器以及相关设备来模拟人的视觉行为，完成得到人的视觉系统所得到的信息。人的视觉系统是由眼球、神经系统及大脑的视觉中枢构成，计算机视觉系统则是由图像采集系统、图像处理系统及信息综合分析处理系统构成。机器视觉系统简图可表现为下图：图2-1 机器视觉系统构成图2.2 系统方案设计基本结构2.2.1 光源光源是组成机器视觉系统的一个重要组成，光源选择的好坏对视图效果有很大影响。光源的主要参数有以下几个部分：1、寿命。光源的半衰期要长，且在半衰期内，光谱稳定，亮度衰减小2、发热特性。光源的工作温度要低，避免高温损坏被检测物。3、信噪比高，抗干扰能力强。4、闪烁频率，交流、直流。5、外形尺寸，便于安装。根据不同的形态与作用，光源还有以下四大类：见下表2-2热辐射光源 白炽灯、卤钨灯 气体放电光源 荧光灯、钠灯、氢灯、氙灯、金属卤化物灯、空心阴极灯、汞灯、高压汞灯、超高压汞灯 固体放电光源 发光二极管、空心阴极灯 激光器 气体激光器、固体激光器、半导体激光器、染料激光器 不同的光源对不同的被测物有不同的效果，因此选择好光源是对后期图像处理得一个必要条件。2.2.2 摄像机摄像机的作用是将通过镜头聚焦于像平面的光线生成图像。摄像机中重要的组成部分是数字传感器。这里着重介绍以下两种摄像机：CCD（charge-coupled device）和CMOS（complementary metal-oxide semiconductor）。CCD摄像机，CCD称为电荷耦合器件，CCD实际上只是一个把从图像半导体中出来的电子有组织地储存起来的方法。CMOS摄像机，CMOS称为“互补金属氧化物半导体”，CMOS实际上只是将晶体管放在硅块上的技术，没有更多的含义。CMOS可以将光敏元件、放大器、A/D转换器、存储器、数字信号处理器和计算机接口控制电路集成在一块硅片上，具有结构简单、处理功能多、速度快、耗电低、成本低等特点。 但是不论CCD或者CMOS对于图像感应都没有用，真正感应的传感器称做“图像半导体”，CCD和CMOS传感器实际使用的都是同一种传感器“图像半导体”，图像半导体是一个P N结合半导体，能够转换光线的光子爆炸结合处成为成比例数量的电子。电子的数量被计算信号的电压，光线进入图像半导体得越多，电子产生的也越多，从传感器输出的电压也越高。2.2.3 图像采集图像采集卡（Image Capture Card），又称图像捕捉卡，是一种可以获取数字化视频图像信息，并将其存储和播放出来的硬件设备。很多图像采集卡能在捕捉视频信息的同时获得伴音，使音频部分和视频部分在数字化时同步保存、同步播放。图像采集卡，其功能是将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。它是我们进行图像处理必不可少的硬件设备，通过它，我们就可以把摄像机拍摄的视频信号从摄像带上转存到计算机中，利用相关的视频编辑软件，对数字化的视频信号进行后期编辑处理、比如剪切画面、添加滤镱、字幕和音效、设置转场效果以及加入各种视频特效等等，最后将编辑完成的视频信号转换成标准的VCD、DVD以及网上流行媒体等格式，方便传播采集卡又有以下分类：1、模拟量图像采集卡:标准视频信号采集: PAL、NTSC非标准视频信号采集2、数字量图像采集卡：IEEE1394卡RS-644 LVDSChannel Link LVDSCamera Link LVDS2.2.4 图像处理在机器视觉里，图像是基本的数据结构，它所包含的数据通常是由图像采集设备传送到计算机的内存中的。在采集到理想的图像以后我们经过一系列处理得到我们想要的结果，并从中分析出我们需要得到的东西。例如，在半导体晶片切割中我们就需要先快速利用傅里叶变换讲图像转换到频域。然后，通过傅里叶变换后图像与其复共轭相乘计算出相关，最后再经过傅里叶变换变换回时域。最后才通过匹配得到图像模型。在以上多个操作中都同时运用到了对图像的处理和算法的运算，因此图像处理和算法是紧密结合在一起的。2.2.5 本章小结在本章中着重认识了组成机器视觉系统的几个重要组成部分，在处理不同图像是会用到不同型号的元件。只有熟悉了各个部件中的不同型号才有可能使我们在后面的半导体晶片切割中得到最好的效果。第3章 半导体晶片切割算法3.1 fourier 变换在晶片图像处理过程中我们会用到从空间域到频率域的转换，这就运用到了傅立叶变换，这里我们先给出一维函数的傅立叶变换： （3 - 1）将位置x的函数h(x)转换到频率f的函数H(f)。这里的函数H(f)通常是复数。由4-1式和恒等式，可以认为H(x)是由不同频率和不同振幅的正弦和余弦波组成。它将函数h(x)从空间域转换到频率域，然而傅立叶变换不光是从空间域转换到频率域，也可以从频率域转换到空间域： 3-1和3-2 展现出了傅立叶变换空间域和频率域之间的相互转换。然而傅立叶变换不光局限于一维变换，一维变换只是傅立叶变换的最基本变换，从一维上延伸出了二维变换。二维的傅立叶变换也是空间域和频率域之间的相互转换： ( 3 - 3 )在图像处理中，h(r,c)是一幅图像，图像位置（r,c）是以像素形式给出的。频率（u,v）表示的图像中每个像表的周期数。在傅立叶变换中最有趣的一个性质应该是在空间域的卷积变换为在频率域的一个简单相乘： 而卷积同过由下面公式得出： （ 3 - 5 ）通过上式的转换使我们能得到一个不太精确的计算值，为使得我们的计算值变得更加精确，我们能够计算均值滤波器等式的傅立叶变换。以下为变换结果： 其中sincx=(sinx/(x)。同理，高斯滤波器等式: = ( 3 - 7 )因此，高斯滤波器的傅立叶变换还是一个高斯函数，只是变成了其自身的倒数。注意应用以上两种滤波器时如果滤波器自身的尺寸增加，那么滤波器的频率响应将变窄。一般来讲，这种对应关系总是适用的： 3.2 相关相关性是傅立叶变换的一个重要体现： 相关在频率域内由下式给出。如果h(r,c)包含实数，这是图像处理常见的情况，那么，横线表示共轭复数。因此， 。之前假设图像数据是连续的，但真正的图像数据是离散的，这个发现会与傅立叶变换的结果存在着较大的牵连。如前所述，频率变量u和v是每一个像素的周期数。如果一幅离散图像h(r,c)经历了变换，那么对任意的正弦或余弦波，可能出现的最高频率都是1/2，每两个像素一个周期。频率1/2被称为尼奎斯特临界频率。高于此频率的正弦或余弦波看起来与相应更低频率的正弦或余弦波一样。这就是混淆现象4。为削除频率混淆，在对图像进行采样前必须将高于尼奎斯特临界频率的高频部分削除。在图像获取过程中，这可以通过摄像机的光学低通滤镜来实现。但是，当一幅图像按比例缩小时也可能发生混淆现象。这样对图像进行低分辨率采样前，先使用平滑滤波器以保证削除了所有高于尼奎斯特临界频率的高频部分。实际图像不但是离散的，而且是在矩形区域w*h内被定义，w是图像的宽，h是图像的高。这意味着傅立叶变换不再是连续的，但能够在离散频率上被采样uk=k/h和vl=l/w。如上面讨论的，对傅立叶变换进行采样仅在奎斯特间隔-1/2uk，vl1/2时是有用的。据此，离散傅立叶变换（DFT）由下式给出：同理，离散傅立叶逆变换如下： 如前所述，频率uk和vl应该在（-1/2,1/2范围内被采样，k=-h/2+1,h/2和l=-w/2+1,w/2。在这里须用Hk,l来表示一幅图像，考虑周期性，分别以h和w为周期，把负频率映射为对应的正频率，将k=-h/2+1,-1映射到k=h/2，h-1,同理适用于l。傅立叶变换能被拥来在频率域内计算与任意线性滤波器的卷积。这点可被用来配合标准滤波器掩码实现滤波操作，比如与均值滤波器与高斯滤波器配合，但通常仅在与相对大尺寸滤波器配合使用时才有速度优势。使用傅立叶变换进行滤波处理得真正好处是：可以通过使用定制的滤波器来消除图像中某些特定的频率。3.3 模板匹配 对于模板匹配在不同的光照条件得出的图像或者是图像边缘影响情况运用不同的匹配方法。3.3.1 边缘匹配算法边缘匹配由于不会受到光照影响的特性，所以经常被用于可靠的模板匹配算法中。边缘匹配算法主要是基于模板边缘与图像边缘之间的距离。这种算法一般使用原始边缘点进行匹配。这种想法最普通的相似度量是使模板边缘点与她最近的图像边缘点之间的均方距离最小。为使我们得到边缘点与离它最近的图像边缘点之间的均方距离最小，我们不得不花费大量的时间与力气去寻找它。不过我们只是为了得到最近图像边缘点之间的距离，而非得到这个点。这就使我们大大节约了时间。基于这种想法我们就找到了一种效率很高的方式，即计算分割后搜索图像背景的距离变换。通过这种方法如果模板边缘点与图像边缘点之间的平均距离小于一个阀值，我们就认为找到了一个模板的实例。当然为了确定唯一位置我们必须计算相似度量的局部最小值。这个相似度量我们希望用等式表现出来，用T表示模板中的边缘点，d(r,c)则表示分割后搜索图像背景的距离变换。因此平移情况的均方边缘距离（SED）可表示为：如果我们令SSD相似度量的等式中的 t(u,v)=0,并使用距离变换图像替代f(u,v)，这样就与SED等式相同了。SSD相似度量等式： 这样我们就实现了SSD匹配算法，那么SED匹配算法可以非常容易实现。同样的如果我们是使用的平均距离而不是均方距离的话，我们就可以使用已有的SAD匹配算法的等式。上述算法是基于边缘进行的匹配，因此完全光照的影响。另外搜索图像中其他的边缘只能减少图像中最近边缘直接的距离，所以算法不会受到影响。但是如果部分边缘在搜索图像中并没有出现，没有出现的部分模板边缘与最近图像边缘之间的距离可能会非常大。这样就可能会出现找不到模板位置的情况。此时的图像要找到正确的匹配位置就非常困难。对于这种情况我们就提出了另一种可以运用在边缘匹配算法中的距离。它们就是基于两个点集之间的Hausdorff距离。模板中边缘点表示为T，图像中边缘点表示为E。这两个点集之间的Hausdorff距离可以表示为： h(T,E)与h(E,T)的定义相互对称，因此由上式就可得Hausdorff距离由决定的两个最大值组成：一是模板边缘与最近图像边缘之间的最大距离，二是图像边缘与最近模板边缘之间的最大距离。不难看出，为了得到一个低的总距离，必须保证每个模板边缘点必须与一个图像边缘点非常接近，同时也要保证每个图像边缘点都与一个模板边缘点非常接近。所以，使用Hausdorff距离的话，图像中的遮挡和混乱都会影响匹配。那么我们如何来实现可操作性呢？对此我们有这样的考虑：在图像存在遮挡和混乱情况下算法效果比较差主要是由于等式（4-14）中是计算模板边缘到图像边缘的最大距离。如果希望在遮挡的情况下实现足够可靠的算法，可以求另一级的距离而不求最大距离，例如可以求第f大的距离，在f=0时表示最大距离。此时，Hausdorff距离将对100f/n%的遮挡情况是可靠的，其中n表示模板中边缘点的数量。为了使Hausdorff距离在存在混乱的情况下也是可靠的，可以类似地使用第r大距离来修改h(E,T)。然而，通常模板只能覆盖搜索图像的一小部分，从而图像中边缘点的数量比模板中边缘点数量要大得多，因此为了使Hausdorff距离达到期望的不受混乱影响的效果，选择的r值必须非常大。所以，必须改进h（E,T）为只在模板周围的一个小的ROI内计算。此时Hausdorff距离将对100r/m%的混乱情况是可靠的，其中m是指模板周围的ROI中图像边缘点数量。与SED方法相似，也可以基于距离变换来计算Hausdorff距离：一是为图像中边缘区域计算距离变换，二是为模板边缘区域的每个位姿（不包括平移）计算距离变换。因此，可以在离线情况下计算一个非常大数量的距离变换，这就需要巨大的存储空间。否则就只能在搜索的过程中计算模板的距离变换，这需要非常大的计算量。由上分析，可以看出使用Hausdorff距离的一个缺点是匹配过程巨大的运算负载。为此我们想出了几种减少运算负载的可能性，其中包括减少搜索空间中不包含模板在内的区域。另外，提出了一种搜索空间分级细分的方法。这种方法与使用图像金字塔实现的效果相似。然而，Hausdorff距离的主要缺点是就算图像中待搜索的模板实例只存在稍许的遮挡，也会导致在图像中找到很多错误的实例。为了减少误判率，提出了对Hausdorff距离的一种改进方法，这种方法将边缘像素的方向考虑在内。从原理上讲，边缘点增加了表示方向的第三个坐标。于是，改进后Hausdorff距离就是计算这些扩展的三维点之间的距离。但这就需要计算三维距离变换，这对机器视觉应用来讲过于耗时。基于Hausdorff距离的所有方法的另外一个缺点就是非常难以基于相似度量的内插算法得到亚像素精度的位姿。3.3.2 基于边缘像素点的算法基于边缘像素点本身搜索目标物体的算法是由Ballard提出的广义霍夫变换。霍夫变换最开始定义为在分割后的边缘中寻找直线的一种方法。后来经过拓展也可以用来检测其他可解析描述的形状。这里我们以圆为例：如果我们知道这个圆的半径，让我们在边缘图像中迅速的找到这个圆的位置。我们应该怎么利用这种算法来快速找到这个圆呢？首先我们想到圆的是旋转对称的，在这种情况下我们只用考虑平移。我们要快速在边缘图像中找到这个圆的话我们可以注意比背景更亮的圆，他的边缘的梯度向量垂直于圆的边界，并且梯度向量的方向指向圆的中心。相对的如果圆的亮度比背景更暗则梯度方向背离圆的中心向外。有了这样的发现就只需要我们发现圆上的点我们就可以顺利的找出这个圆了。但是我们怎么确定哪些点是圆上的点呢？我们注意到圆上的所有像素点拥有同样的性质，这个性质就是基于梯度向量可以构造圆的中心，这样我们就能找到圆的位置。从上面这个例子可以看出，我们可以非常高效的找到圆的位置。如果事先知道圆的极性，也就是知道它比背景亮还是暗，我们只需要在图像中每个边缘点处对累计数组执行一个简单的加法即可。如果不知道边缘的极性，我们只需要在边缘处执行两个加法即可。因此，算法的运算时间与图像中边缘点数量成正比，而与模板大小没有关系，也与圆的大小没有关系。上述的广义霍夫变换效率已经非常高了。它的运行时间只取决于图像中边缘点的数量。然而，这种算法对于机器视觉系统来说还是不够快，因为用来搜索对象的累计空间会在短时间内变的非常大，尤其在允许目标物体旋转或缩放的应用中。另外，这个累计器还需要一个巨大的储存空间。以上两种就决定了广义霍夫变换还不能这样运用到机器视觉中来，那我们怎么才能引用入机器视觉中呢？针对这种情况，提出了一种分级的广义霍夫变换。它使用图像金字塔加速搜索，通过利用金字塔加速搜索，通过利用金字塔低层的搜索空间来减少累计数组的尺寸。使用这种分级广义霍夫变换，可以在图像中实时找到目标物体，并且图像中存在遮挡、混乱和几乎任意光照变化的情况下算法都非常稳定。3.4 本章小结本章清楚的了解到了我们将用于半导体晶片切割的机器视觉系统中的三中算法。这三中算法在能精确的切割半导体晶片中起着至关重要的作用。对不同的切割类型我们将作出不同的变化，以使得我们能在半导体晶片切割中能有最好的效果。第4章 半导体晶片切割算法的实现在半导体晶片切割定位算法及实验前，首先要进行的是图像采集，对于工业现场来说。图像采集后再对图像进行校准，由于在工业实际生产中，晶片是水平放置的，所以通过调摄像头的位置，可以做到镜头完全与晶片垂直，这就可以省略掉图像校准的步骤。但是在思路框架图上，我们仍然要把图像校准这一步给绘制上去，然后再进行图像处理。图4-1给出了本实验的框架图。采集图像利用傅立变换叶获取晶片宽和高确定晶片大小根据模板匹配算法获取晶片匹配图确定切割线位置 图4-1 晶片切割流程图通过上图我们就确定了对半导体晶片切割的操作流程，再每个操作过程中我们都会运用到不同的算法，下面我们根据设计流程图实现了整个流程。4.1 图像的获取由于条件的限制我们很遗憾的没能亲自去采集到半导体晶片图像，因此我们只能使用标准数据库中的图像，下图4-2就是半导体晶片的原始图像。 图4-2 半导体晶片原始图像上图为在理想的光照和调节好镜头的情况下得到的半导体晶片原始图像，也是我们下面进行处理的最初的图像。我们下面要做的就是在这个原始图像中找出我们需要的切割线。那要找到这个切割线我们要怎么做呢？怎么才能找到这条切割线使晶片能够完好的切割出来呢？那下面就是我们利用halcon软件处理图像的过程。4.2 利用自相关算法获取晶片大小我们处理图像的第一步就是要确定芯片的宽度和高度。那我们怎么才能确定呢？这里就运用到了在第三章中介绍的自相关算法了。第一步我们首先要运用傅立叶变换将原始图像转换到频域。由于图像数据是实数，所以不需要完全傅立叶变换，仅拥实数傅立叶变换做一半即可。下图就原始图像经过傅立叶变换转化到频域图4-3 图4-3 原始图像转换频域图我们将原始图像转换成频域图只是一个过渡而已，而不是我们需要得到的最终结果，因此我们还需要将频域图继续处理。在得到原始图像的频域图以后我们还将通过傅立叶变换后图像与其复共轭相乘计算相关，从第三章中的相关部分介绍我们得知，一幅图像的自相关g是图像相关性（g*g），因此可以用于在图像中找到相同的样品。这里我们就是利用相关性找出相同的矩形芯片结构。下图为从频域图通过相关算法后得到的图像图4-4。 图4-4 相关图在频域图得基础上我们通过与其精心复共轭相乘计算得到相关图。当然这依然不是我们想要的最后结果。我们需要的是要得到晶片图像的自相关图像，在得到图像的自相关图像过后我们就能分析出我们需要找到的晶片的宽和高。那么怎么得到晶片原始图像的自相关图像就成了我们现在需要做的事情。通过上面的努力我们已经得到了原始图像的相关图，所以我们只用再在相关图得基础上得到晶片图像的自相关图就行了。在第三章相关算法介绍中我们介绍了在频域中得到的相关结果利用反傅立叶变换变换回时域。因此这里我们就利用到了这个算法使得我们从相关图转换到自相关图像，为我们得到晶片的宽和高做出了重要的铺垫。也是在得到自相关图像过后我们在后面的模板匹配才能顺利的进行下去。下图即为相关图像利用反傅立叶变换变换回时域的图像，图4-5。 图4-5 自相关图像在得到图像的自相关图像后我们就能进行后面的操作了。 图4-6 晶片图像自相关4.3 提取芯片位置排除图像边缘的局部最大值，因为自相关是一个偶函数，所以提取左上四分之一的最大值就可以了，上图即为提取晶片图像自相关图的左上角四分之一来处理的晶片自相关图。图4-6显示了自相关结果。自相关图像上（r,c）点的灰度值是将图像水平移动r,垂直移动c后与原始图像做相关运算得到的相关值。因此，图像左上角（原点）的灰度值很高，因为这点代表没有移动的图像与其自身的相关性。如果图像上有周期性宽度w和高度h的矩形结构，在自相关图像的（w,h）位置上也会得到高的相关值。通过在相关图像上找到与左上角最近的局部极大值，直接得到周期结构的尺寸。较亮的灰度值代表较高的相关值，用于提取极大值的感兴趣区域为白色矩形。局部极大值以绿色叉表示。绿圈表示代表芯片大小的局部极大值。我们在得到图4-6的前两个操作就使我们感兴趣的区域限定在了边缘为一个像素宽的相关图像内部。这就避免了在图像边缘提取到图像的局部最大值。一方面，因为图像边缘局部最大值提取只能做到限于亚像素精度，而不是每个灰度值都可以用于亚像素插值的。另一方面，在图像边缘我们必须要得到图像的两个局部极大值。因为这样我们才能确定芯片相应的高度和宽度，而在其他部位我们只需要得到一个极大值就能确定了。此外，我们可以将我们的感兴趣区域限定在自相关图像的左上四分之一部分。因为假设晶片在图像是水平的，自相关是关于两个坐标的偶函数。图4-6左上方白色区域就是我们需要的感兴趣区域。 图4-7 确定的晶片大小得到的极大值我们在图4-6中以绿色叉标示出来。从4-6图中找到的极大值，通过计算所有极大值与原点的距离可以很容易的找出与原点的极大值。在例中芯片大小为（w,h）=（159.55,83.86）像素。为看起来方便我们对应尺寸在图4-7中以蓝色矩形标示出来。在得到芯片的宽和高后我们就需要运用halcon软件基于形状的匹配算法可以得到芯片的位置。在3.3节中我们介绍了匹配算法的运用，因此我们形状就可以人为的制造一个含有4个相邻芯片的模板图像。那我们要人为的制作芯片模板图像我们需要怎么做呢？为了得到正确的芯片尺寸大小，我们还需要知道每个芯片间缝隙线的宽度LineWidth。由于摄像机与晶片间的距离不变的，这里假设线宽为常数。不然就需要引入比例因子来通过已