机器视觉技术及应用全套课件电子教案板.ppt

机器视觉技术及应用第第1章章 绪论绪论主要内容主要内容pp机器视觉技术发展与应用机器视觉技术发展与应用 p机器视觉系统组成机器视觉系统组成 p机器视觉方法分类机器视觉方法分类 p机器视觉发展趋势机器视觉发展趋势 n机器视觉是用机器代替人眼进行目标对象的识别、判断机器视觉是用机器代替人眼进行目标对象的识别、判断和测量，主要研究用计算机来模拟人的视觉功能。机器和测量，主要研究用计算机来模拟人的视觉功能。机器视觉技术涉及目标对象的图像获取技术、对图像信息的视觉技术涉及目标对象的图像获取技术、对图像信息的处理技术以及对目标对象的测量和识别技术。处理技术以及对目标对象的测量和识别技术。n在工业生产过程中，相对于传统测量检验方法，机器视在工业生产过程中，相对于传统测量检验方法，机器视觉技术的最大优点是快速、准确、可靠与智能化，对提觉技术的最大优点是快速、准确、可靠与智能化，对提高产品检验的一致性、产品生产的安全性、降低工人劳高产品检验的一致性、产品生产的安全性、降低工人劳动强度以及实现企业的高效安全生产和自动化管理具有动强度以及实现企业的高效安全生产和自动化管理具有不可替代的作用。不可替代的作用。第第1章章 绪论绪论1.1机器视觉技术发展与应用机器视觉技术发展与应用 机器视觉技术是一项综合技术，包括视觉传感机器视觉技术是一项综合技术，包括视觉传感器技术、光源照明技术、光学成像技术、数字图像器技术、光源照明技术、光学成像技术、数字图像处理技术、模拟与数字视频技术、计算机软硬件技处理技术、模拟与数字视频技术、计算机软硬件技术和自动控制技术等。机器视觉技术的特点不仅在术和自动控制技术等。机器视觉技术的特点不仅在于模拟人眼功能，更重要的是它能完成人眼所不能于模拟人眼功能，更重要的是它能完成人眼所不能胜任的某些工作。胜任的某些工作。51.1.1机器视觉技术发展现状机器视觉技术发展现状人类感知外部世界主要是通过视觉、触觉、听觉人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中约和嗅觉等感觉器官，其中约80的信息是通过视的信息是通过视觉器官获取的。机器视觉系统就是通过摄像机和觉器官获取的。机器视觉系统就是通过摄像机和计算机来对外部环境进行测量、识别和判断。但计算机来对外部环境进行测量、识别和判断。但是，机器视觉和人类视觉有着本质上的不同，机是，机器视觉和人类视觉有着本质上的不同，机器视觉系统主要应用于不适合人工作业或者人类器视觉系统主要应用于不适合人工作业或者人类视觉无法达到要求、以及高速大批量工业产品制视觉无法达到要求、以及高速大批量工业产品制造自动生产流水线的一些场合。造自动生产流水线的一些场合。1.1.1机器视觉技术发展现状机器视觉技术发展现状20世纪世纪70年代，年代，DavidMarr提出了视觉计算理论，明确提出了视觉计算理论，明确规范了视觉研究体系。计算机视觉以视觉计算理论为基规范了视觉研究体系。计算机视觉以视觉计算理论为基础，为视觉研究提供了统一的理论框架。础，为视觉研究提供了统一的理论框架。上世纪上世纪80年代以来，并经历了从实验室走向实际应用的年代以来，并经历了从实验室走向实际应用的发展阶段，从简单的二值图像处理到高分辨率多灰度的发展阶段，从简单的二值图像处理到高分辨率多灰度的图像处理以至于彩色图像处理，从一般的二维信息处理图像处理以至于彩色图像处理，从一般的二维信息处理到三维视觉模型和算法的研究都取得了很大进展。到三维视觉模型和算法的研究都取得了很大进展。1.1.1机器视觉技术发展现状机器视觉技术发展现状目前，发展最快、使用最多的机器视觉技术主要集中在欧美、日本目前，发展最快、使用最多的机器视觉技术主要集中在欧美、日本等发达国家和地区。在国内，机器视觉技术产品普及还不够深入，等发达国家和地区。在国内，机器视觉技术产品普及还不够深入，国内在机器视觉产品与国外先进的机器视觉技术与设备相比还有较国内在机器视觉产品与国外先进的机器视觉技术与设备相比还有较大的差距。在科研领域，涌现出大量机器视觉科研机构和学者，对大的差距。在科研领域，涌现出大量机器视觉科研机构和学者，对机器视觉算法研究取得了长足进步，但未能将机器视觉应用技术列机器视觉算法研究取得了长足进步，但未能将机器视觉应用技术列入教学计划和课程体系。因此加快发展我国自主知识产权的机器视入教学计划和课程体系。因此加快发展我国自主知识产权的机器视觉产品是当务之急，在高等院校自动化专业、计算机专业、机电一觉产品是当务之急，在高等院校自动化专业、计算机专业、机电一体化专业开设机器视觉应用技术与系统实验也迫在眉睫。体化专业开设机器视觉应用技术与系统实验也迫在眉睫。1.1.2机器视觉技术的应用机器视觉技术的应用在工业检测中的应用：在工业检测中的应用：工业检测是指在工业生产中运用一定的测试技术和手段对生产环境、工工业检测是指在工业生产中运用一定的测试技术和手段对生产环境、工况、产品等进行测试和检验。随着现代工业的发展和进步，特别是在一况、产品等进行测试和检验。随着现代工业的发展和进步，特别是在一些高精度加工产业，传统的检测手段已远远不能满足生产的需要。机器些高精度加工产业，传统的检测手段已远远不能满足生产的需要。机器视觉技术在微尺寸、大尺寸、复杂结构尺寸和异型曲面尺寸检测中具有视觉技术在微尺寸、大尺寸、复杂结构尺寸和异型曲面尺寸检测中具有突出的优势和特点，突出的优势和特点，还包括印刷电路板检查、钢板表面自动探伤、大型还包括印刷电路板检查、钢板表面自动探伤、大型工件平行度和垂直度测量、容器容积或杂质检测、机器零件的自动识别工件平行度和垂直度测量、容器容积或杂质检测、机器零件的自动识别和分类等。和分类等。1.1.2机器视觉技术的应用机器视觉技术的应用在医学诊断中的应用在医学诊断中的应用 一是对图像进行增强、标记等，帮助医生诊断疾病，协助医一是对图像进行增强、标记等，帮助医生诊断疾病，协助医生对感兴趣的区域进行测量和比较；二是利用专家知识系统生对感兴趣的区域进行测量和比较；二是利用专家知识系统对图像进行分析和解释，给出建议诊断结果。对图像进行分析和解释，给出建议诊断结果。在智能交通中的应用在智能交通中的应用 机器视觉技术在智能交通中可以完成自动导航、交通状况监机器视觉技术在智能交通中可以完成自动导航、交通状况监测、目标车辆跟踪等任务。测、目标车辆跟踪等任务。1.2机器视觉系统组成机器视觉系统组成典型的视觉检测系统的构成：典型的视觉检测系统的构成：1.2.1 1.2.1 系统硬件系统硬件1.2.2组态软件组态软件l作为机器视觉系统的重要组成部分，机器视觉作为机器视觉系统的重要组成部分，机器视觉软件主要通过对图像的分析和处理，实现对待软件主要通过对图像的分析和处理，实现对待测目标特定参数的检测和识别。机器视觉软件测目标特定参数的检测和识别。机器视觉软件主要完成图像增强、图像分割、特征抽取、模主要完成图像增强、图像分割、特征抽取、模式识别、图像压缩与传输等算法内容，有些还式识别、图像压缩与传输等算法内容，有些还具有数据存储和网络通信功能。具有数据存储和网络通信功能。1.2.2组态软件组态软件n目前机器视觉软件主要向高性能与可组态两方面目前机器视觉软件主要向高性能与可组态两方面发展。一方面，机器视觉软件的竞争已从过去单发展。一方面，机器视觉软件的竞争已从过去单纯追求软件多功能化转向对检测算法的准确性、纯追求软件多功能化转向对检测算法的准确性、高效性的竞争；另一方面，机器视觉软件正由定高效性的竞争；另一方面，机器视觉软件正由定制方式朝着通用、可视化组态方式发展。制方式朝着通用、可视化组态方式发展。目前市目前市场上已有的通用组态软件主要是国外的场上已有的通用组态软件主要是国外的HALCON、IGauge和和WiT等，这些软件技术较为成熟、功等，这些软件技术较为成熟、功能丰富，但价格昂贵，不便在国内推广。能丰富，但价格昂贵，不便在国内推广。1.2.2 组态软件组态软件n西安交通大学自动控制研究所在机器视觉组态西安交通大学自动控制研究所在机器视觉组态软件开发方面进行了大量工作，研发成功具有软件开发方面进行了大量工作，研发成功具有自主知识产权的机器视觉组态软件自主知识产权的机器视觉组态软件XAVIS。它。它是一款可供机器视觉教学和机器视觉测控系统是一款可供机器视觉教学和机器视觉测控系统二次开发的大型视觉组态软件，其功能特点完二次开发的大型视觉组态软件，其功能特点完全可以与全可以与HALCON、IGauge等国外大型机器等国外大型机器视觉软件相媲美，并配备了完整的学习文档和视觉软件相媲美，并配备了完整的学习文档和教学创新实验设备。教学创新实验设备。尺寸检测尺寸检测在传统的尺寸测量中，典型的方法是利用卡尺或千分尺在传统的尺寸测量中，典型的方法是利用卡尺或千分尺在被测工件上针对某个参数进行多次测量后取平均值。在被测工件上针对某个参数进行多次测量后取平均值。这些检测设备或检测手段测量精度低、测试速度慢，测这些检测设备或检测手段测量精度低、测试速度慢，测试数据无法及时处理，不适合自动化的生产。基于机器试数据无法及时处理，不适合自动化的生产。基于机器视觉的尺寸测量方法具有成本低、精度高、安装简易等视觉的尺寸测量方法具有成本低、精度高、安装简易等优点，其非接触性、实时性、灵活性和精确性等特点可优点，其非接触性、实时性、灵活性和精确性等特点可以有效的解决传统检测方法存在的问题。以有效的解决传统检测方法存在的问题。1.3机器视觉方法分类机器视觉方法分类1.3机器视觉方法分类机器视觉方法分类被测物的尺寸测量通常包括多个参数尺寸，如距离测量、圆测被测物的尺寸测量通常包括多个参数尺寸，如距离测量、圆测量、角度测量、线弧测量、区域测量等。量、角度测量、线弧测量、区域测量等。（a）工件齿宽与间距测量）工件齿宽与间距测量（b）荫罩孔径）荫罩孔径自动检测判定系统自动检测判定系统缺陷检测缺陷检测 在现代工业连续、大批量自动化生产中，涉及到各种各样在现代工业连续、大批量自动化生产中，涉及到各种各样的质量检测，如工件表面是否有划痕、印刷品是否有油污的质量检测，如工件表面是否有划痕、印刷品是否有油污或破损、字符印刷正误和电路板线路正误检查等。或破损、字符印刷正误和电路板线路正误检查等。机器视机器视觉检测法，即利用图像处理和分析对产品可能存在的缺陷觉检测法，即利用图像处理和分析对产品可能存在的缺陷进行检测，这种方法采用非接触的工作方式，安装灵活，进行检测，这种方法采用非接触的工作方式，安装灵活，测量精度和速度都比较高。同一台机器视觉检测设备可以测量精度和速度都比较高。同一台机器视觉检测设备可以实现不同产品的多参数检测，为企业节约大笔设备开支。实现不同产品的多参数检测，为企业节约大笔设备开支。1.3机器视觉方法分类机器视觉方法分类1.3机器视觉方法分类机器视觉方法分类利用机器视觉技术完成产品缺陷检测的一些实例，包括陶利用机器视觉技术完成产品缺陷检测的一些实例，包括陶瓷镯、瓶盖、电池、镜头等。瓷镯、瓶盖、电池、镜头等。缺陷检测实例缺陷检测实例1.3机器视觉方法分类机器视觉方法分类模式识别模式识别模式识别的应用非常广泛，目前技术比较成熟的模式识别的应用非常广泛，目前技术比较成熟的有文字识别（手写汉字输入、票据自动识别和处理有文字识别（手写汉字输入、票据自动识别和处理等等）和语音识别（主要用于语音输入、自动翻译、）和语音识别（主要用于语音输入、自动翻译、声音识别等声音识别等）、生物特征与生物信息处理（包括）、生物特征与生物信息处理（包括指纹识别、声音识别、人脸识别、虹膜识别、笔迹指纹识别、声音识别、人脸识别、虹膜识别、笔迹识别、步态识别等个人身份鉴定技术识别、步态识别等个人身份鉴定技术）、视觉与）、视觉与图像分析（用于农作物估产、资源勘察、气象预报图像分析（用于农作物估产、资源勘察、气象预报和军事侦察等和军事侦察等）等三大类。）等三大类。1.3机器视觉方法分类机器视觉方法分类钥匙识别实例：钥匙识别实例：（a）待测对象）待测对象（b）识别结果）识别结果1（c）识别结果）识别结果2图像融合图像融合 基本原理是利用多幅图像间在时间或空间上的冗余或互基本原理是利用多幅图像间在时间或空间上的冗余或互补信息，依据一定的融合算法合成一幅满足某种需要的补信息，依据一定的融合算法合成一幅满足某种需要的新图像。例如，红外传感器可以探测目标的工作状态，新图像。例如，红外传感器可以探测目标的工作状态，可见光图像则包含丰富的细节信息，它们的融合较单一可见光图像则包含丰富的细节信息，它们的融合较单一传感器而言，可以大大提高目标的可探测性和识别可靠传感器而言，可以大大提高目标的可探测性和识别可靠性性。1.3机器视觉方法分类机器视觉方法分类图像融合技术的应用：图像融合技术的应用：（a）CT图像图像（b）NMR图像图像（c）融合结果）融合结果1.3机器视觉方法分类机器视觉方法分类视觉跟踪视觉跟踪 n视觉跟踪是指对图像序列中的运动目标进行检测、视觉跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，进而实现对运位置、速度、加速度和运动轨迹等，进而实现对运动目标的行为理解，以完成更高一级的检测任务。动目标的行为理解，以完成更高一级的检测任务。n视觉跟踪在很多领域都有非常重要的作用，最常见视觉跟踪在很多领域都有非常重要的作用，最常见的是对于民宅、停车场、银行等公共场合的监视。的是对于民宅、停车场、银行等公共场合的监视。1.3机器视觉方法分类机器视觉方法分类交通场景中对运动车辆的跟踪结果：交通场景中对运动车辆的跟踪结果：（a）目标模型选取）目标模型选取（b）图像序列第）图像序列第188帧帧（c）图像序列第）图像序列第194帧帧 1.3机器视觉方法分类机器视觉方法分类1.3机器视觉方法分类机器视觉方法分类三维重构三维重构 三维重构是通过分析一幅或者多幅图像的灰度信息，结合三维重构是通过分析一幅或者多幅图像的灰度信息，结合某些先验知识获得物体三维表面形状的技术。在医疗方面，某些先验知识获得物体三维表面形状的技术。在医疗方面，外科手术时，可以利用器官的三维形状数据协助诊断组织外科手术时，可以利用器官的三维形状数据协助诊断组织局部的病变状况；在空间技术方面，通过对卫星返回的地局部的病变状况；在空间技术方面，通过对卫星返回的地表图像进行三维形状恢复，可以获得星球表面山峦河流等表图像进行三维形状恢复，可以获得星球表面山峦河流等地貌分布，进一步建立该地区的全景模型，进行地质结构地貌分布，进一步建立该地区的全景模型，进行地质结构分析等；在工业检测中，利用工件的三维几何信息进行多分析等；在工业检测中，利用工件的三维几何信息进行多维度的特征提取和识别，有助于提高工件识别效率。维度的特征提取和识别，有助于提高工件识别效率。下图是利用三维重构技术恢复人体某器官内部三维形状的结果下图是利用三维重构技术恢复人体某器官内部三维形状的结果：1.3机器视觉方法分类机器视觉方法分类1.4机器视觉发展趋势机器视觉发展趋势机器视觉的未来发展趋势主要包含以下几方面：机器视觉的未来发展趋势主要包含以下几方面：多传感器信息融合方法研究多传感器信息融合方法研究深层初级视觉理论和方法研究深层初级视觉理论和方法研究主动视觉的研究主动视觉的研究完整三维场景重构完整三维场景重构视觉并行计算结构的研究视觉并行计算结构的研究通用视觉信息系统的研究通用视觉信息系统的研究 随随着着中中国国加加工工制制造造业业的的发发展展，对对于于机机器器视视觉觉技技术术与与产产品品的的需需求求将将逐逐渐渐增增多多，机机器器视视觉觉产产品品将将更更加加丰丰富富，检检测测技技术术水水平平不不断断提提高高，基基于于机机器器视视觉觉的的自自动动化化检检测测系系统统将将广广泛泛用用于于生生产产生生活活的的各各种种领领域域和和场场合合。机机器器视视觉觉系系统统将将使使人人们们的的生生产产活活动动朝朝着更智能、更便捷的方向发展。着更智能、更便捷的方向发展。1.4机器视觉发展趋势机器视觉发展趋势END第第2章章 机器视觉硬件技术机器视觉硬件技术主要内容主要内容主要内容主要内容p镜头技术镜头技术p摄像机技术摄像机技术p光源技术光源技术p图像采集卡图像采集卡p摄像机标定技术摄像机标定技术pZM-VS1200机器视觉教学实验平台机器视觉教学实验平台在人类感知外部信息的过程中，通过视觉获得信息占在人类感知外部信息的过程中，通过视觉获得信息占全部获取信息量的全部获取信息量的75以上。模拟生物宏观视觉功能以上。模拟生物宏观视觉功能的图像传感器得到越来越多的关注。随着机器视觉理的图像传感器得到越来越多的关注。随着机器视觉理论的长足进步，给其应用带来千载难逢的机遇。以基论的长足进步，给其应用带来千载难逢的机遇。以基于机器视觉的现代测控技术在现代工业、农业、国防于机器视觉的现代测控技术在现代工业、农业、国防以及科学研究等众多领域得到了广泛应用。以及科学研究等众多领域得到了广泛应用。第第2章章 机器视觉硬件技术机器视觉硬件技术据估计，全球图像处理市场以每年据估计，全球图像处理市场以每年8.8的速度迅速的速度迅速增长。从近两年机器视觉国际博览会上看，机器视觉增长。从近两年机器视觉国际博览会上看，机器视觉检测软硬件平台产品主要来自日本、韩国和加拿大等检测软硬件平台产品主要来自日本、韩国和加拿大等国家，但价格昂贵。国内在此方面研究相对较晚，还国家，但价格昂贵。国内在此方面研究相对较晚，还未见正式视觉检测平台产品。我们在此方面进行了卓未见正式视觉检测平台产品。我们在此方面进行了卓有成效的研究开发工作，推出了有成效的研究开发工作，推出了ZM-VS1300视觉测视觉测控平台，应用于产品尺寸测量判定、缺陷划痕检测以控平台，应用于产品尺寸测量判定、缺陷划痕检测以及集成芯片管脚测量等具体项目上，为实施视觉测控及集成芯片管脚测量等具体项目上，为实施视觉测控系统的国产化奠定了基础。系统的国产化奠定了基础。第第2章章 机器视觉硬件技术机器视觉硬件技术光源光源为视觉系统提供足够的照度，为视觉系统提供足够的照度，镜头镜头将被测场景中的目标成像到视觉传将被测场景中的目标成像到视觉传感器（感器（CCD）的靶面上，将其转变为电信号，）的靶面上，将其转变为电信号，图像采集卡图像采集卡将电信号转变为将电信号转变为数字图像信息，即把每一点的亮度转变为灰度级数据，并存储为一幅或多数字图像信息，即把每一点的亮度转变为灰度级数据，并存储为一幅或多幅图像；幅图像；计算机计算机实现图像存储、处理，并给出测量结果和输出控制信号实现图像存储、处理，并给出测量结果和输出控制信号。视觉检测处理系统框图视觉检测处理系统框图(微观宏观微观宏观)第第2章章 机器视觉硬件技术机器视觉硬件技术第第2章章 机器视觉硬件技术机器视觉硬件技术第第2章章 机器视觉硬件技术机器视觉硬件技术右图为某机器视觉系统设右图为某机器视觉系统设备实物图。从图中可以看备实物图。从图中可以看出该机器视觉系统设备由出该机器视觉系统设备由前光源、背光源、数字摄前光源、背光源、数字摄像机、计算机组成。待检像机、计算机组成。待检测工件放置于背光源上的测工件放置于背光源上的成像台上，数字相机对其成像台上，数字相机对其进行图像采集，进而将采进行图像采集，进而将采集的图像及其处理结果在集的图像及其处理结果在计算机上显示。计算机上显示。2.1镜头技术镜头技术镜头是集聚光线，使成像单元能获得清晰影像的结构。光学镜头是集聚光线，使成像单元能获得清晰影像的结构。光学镜头目前有监控级和工业级两种，监控级镜头主要适用于图镜头目前有监控级和工业级两种，监控级镜头主要适用于图像质量不高、价格较低的应用场合；工业级镜头由于图像质像质量不高、价格较低的应用场合；工业级镜头由于图像质量好、畸变小、价格高，主要应用于工业零件检测和科学研量好、畸变小、价格高，主要应用于工业零件检测和科学研究等应用场合。究等应用场合。视场角和焦距视场角和焦距是光学镜头最重要的技术参数，是光学镜头最重要的技术参数，滤光镜滤光镜的使用也是镜头技术的重要组成部分。的使用也是镜头技术的重要组成部分。2.1.1 视场角视场角2.1.2焦距焦距n焦距是从镜片中心到底片或焦距是从镜片中心到底片或CCD等成像平面的等成像平面的距离。距离。n镜头焦距的长短决定着视场角的大小，焦距越短，镜头焦距的长短决定着视场角的大小，焦距越短，视场角就越大，观察范围也越大，但远物体不清视场角就越大，观察范围也越大，但远物体不清楚；焦距越长，视场角就越小，观察范围也越小，楚；焦距越长，视场角就越小，观察范围也越小，很远的物体也能看清楚，短焦距的光学系统比长很远的物体也能看清楚，短焦距的光学系统比长焦距的光学系统有更佳聚集光的能力。焦距的光学系统有更佳聚集光的能力。2.1.2 焦距焦距 以以CCD为例，计算焦距参考如下公式：为例，计算焦距参考如下公式：其中其中d为为CCD尺寸，这里注意景物范围和尺寸，这里注意景物范围和d要保持要保持一致性，一致性，即同为高或同为宽。实际选用时还应留有余量，应当选择即同为高或同为宽。实际选用时还应留有余量，应当选择比计算值略小的焦距。比计算值略小的焦距。2.1.3 自动调焦自动调焦n自动调焦相机的调焦利用自动调焦相机的调焦利用电子测距器电子测距器自动进行，当采集图自动进行，当采集图片时，根据被摄目标的距离，电子测距器可以把前后移动片时，根据被摄目标的距离，电子测距器可以把前后移动的镜头控制在相应的位置上，或旋转镜头至需要位置，使的镜头控制在相应的位置上，或旋转镜头至需要位置，使被摄目标成像达到最清晰。被摄目标成像达到最清晰。n自动调焦有几种不同的方式，目前应用最多的是自动调焦有几种不同的方式，目前应用最多的是主动式红主动式红外系统外系统。从相机发光元件发射出一束红外线光，照射到被。从相机发光元件发射出一束红外线光，照射到被摄物主体后反射回相机，感应器接收到回波。相机根据发摄物主体后反射回相机，感应器接收到回波。相机根据发光光束与反射光束所形成的角度来测知拍摄距离，实现自光光束与反射光束所形成的角度来测知拍摄距离，实现自动对焦。动对焦。2.1.4 滤光镜滤光镜滤光镜原理滤光镜原理能按照规定的需要改变入射光的光谱强度分布或使其偏振状态发生变化。能按照规定的需要改变入射光的光谱强度分布或使其偏振状态发生变化。滤光镜样品滤光镜样品 滤光镜对不同波长光波的光通量滤光镜对不同波长光波的光通量 2.2 摄像机技术摄像机技术摄像机是获取图像的前端采集设备，它以面阵摄像机是获取图像的前端采集设备，它以面阵CCD或或CMOS图像传感器为核心部件，外加同步信号产生电路、图像传感器为核心部件，外加同步信号产生电路、视频信号处理电路及电源等组合而成。它是机器视觉系统视频信号处理电路及电源等组合而成。它是机器视觉系统中不可或缺的重要组成部分。摄像机采集图像质量的好坏中不可或缺的重要组成部分。摄像机采集图像质量的好坏直接影响后期图像处理的速度与效果。所以选取一个各项直接影响后期图像处理的速度与效果。所以选取一个各项指标符合要求的摄像机至关重要。指标符合要求的摄像机至关重要。2.2 摄像机技术摄像机技术图像传感器图像传感器CCD电荷耦合器件摄像机（电荷耦合器件摄像机（ChargeCoupledDevice）:感光感光像元在接收输入光后，产生电荷转移，形成输出电压。分为像元在接收输入光后，产生电荷转移，形成输出电压。分为线阵和面阵两种。性价比高，受到广泛应用。线阵和面阵两种。性价比高，受到广泛应用。CMOS摄像机（摄像机（ComplementaryMetalOxideSemiconductor）:互补金属氧化物半导体，体积小、耗电少、互补金属氧化物半导体，体积小、耗电少、价格低，在光学分辨率、感光度、信噪比和高速成像等已超价格低，在光学分辨率、感光度、信噪比和高速成像等已超过过CCD。2.2.1 数字摄像机数字摄像机数字摄像机主要由感光传感器（数字摄像机主要由感光传感器（CCD或或CMOS）、模数）、模数转换器（转换器（A/D）、图像处理器（）、图像处理器（DSP）、图像存储器）、图像存储器（Memory）、液晶显示器（）、液晶显示器（LCD）、端口、电源和闪）、端口、电源和闪光灯等组成；光灯等组成；原理：利用光电传感器（原理：利用光电传感器（CCD或或CMOS）的图像感应功）的图像感应功能，将物体反射的光转换为数码信号，经压缩后储存于能，将物体反射的光转换为数码信号，经压缩后储存于内建的存储器上。内建的存储器上。优点优点：具有很强的稳定性和噪声抑制能力，能提供高分具有很强的稳定性和噪声抑制能力，能提供高分辨率的图像信息。辨率的图像信息。2.2.2 分辨率分辨率相机分辨率相机分辨率 机器视觉领域的相机分辨率就是机器视觉领域的相机分辨率就是其能够拍摄最大图片的面积其能够拍摄最大图片的面积,通通常以像素为单位常以像素为单位,分辨率越大分辨率越大,图图片的面积越大片的面积越大,文件（容量文件（容量)也越也越大。通常，分辨率表示成每一个大。通常，分辨率表示成每一个方向上的像素数量，比如方向上的像素数量，比如640480，那它的分辨率就达到，那它的分辨率就达到了了307200像素，也就是常说的像素，也就是常说的30万像万像素。素。2.2.3 帧速帧速帧帧速速指指视视频频画画面面每每秒秒钟钟传传播播的的帧帧数数，用用于于衡衡量量视视频频信信号传输的速度，单位为帧号传输的速度，单位为帧/秒（秒（fps）。）。动动态态画画面面实实际际上上是是由由一一帧帧帧帧静静止止画画面面连连续续播播放放而而成成的的，机机器器视视觉觉系系统统必必须须快快速速采采集集这这些些画画面面并并将将其其显显示示在在屏屏幕幕上上才才能能获获得得连连续续运运动动的的效效果果。采采集集处处理理时时间间越越长长，帧帧速速就就越越低低，如如果果帧帧速速过过低低的的话话画画面面就就会会产产生生停停顿顿、跳跃的现象。跳跃的现象。一般对于机器视觉系统来说，每秒一般对于机器视觉系统来说，每秒60帧较为理想。帧较为理想。2.2.4 智能相机智能相机 智能相机（智能相机（SmartCamera）是一种高度集成化的）是一种高度集成化的微小型机器视觉系统。它将图像的采集、处理与微小型机器视觉系统。它将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有多通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠性、易于实现的机器视觉功能、模块化、高可靠性、易于实现的机器视觉系统。同时，由于应用了最新的系统。同时，由于应用了最新的DSP、FPGA及及大容量存储技术，其智能化程度不断提高，可满大容量存储技术，其智能化程度不断提高，可满足多种机器视觉的应用需求。足多种机器视觉的应用需求。2.2.4 智能相机智能相机智能相机的组成智能相机的组成 n图像传感单元：图像传感单元：CCD/CMOS相机，它将光学图像转换为相机，它将光学图像转换为模拟图像。模拟图像。n图像采集单元：图像采集卡，模拟图像转化为数字图像，图像采集单元：图像采集卡，模拟图像转化为数字图像，并进行实时的存储。并进行实时的存储。n图像处理软件：如几何边缘的提取、图像的滤波和降噪、图像处理软件：如几何边缘的提取、图像的滤波和降噪、灰度直方图的计算、简单的定位和搜索等。灰度直方图的计算、简单的定位和搜索等。n网络通信装置：完成控制信息、图像数据的通信任务。网络通信装置：完成控制信息、图像数据的通信任务。2.2.4智能相机智能相机工业智能相机测控装置工业智能相机测控装置同时检测工件同时检测工件的五种参数，检测速的五种参数，检测速度达度达500件件/分钟，已成功用于工业产品尺寸、缺陷、形状参分钟，已成功用于工业产品尺寸、缺陷、形状参数的高速检测、数的高速检测、NG判定与分拣控制。判定与分拣控制。工业智能相机测控装置及其应用工业智能相机测控装置及其应用 2.2.5 相机接口相机接口IEEE1394（FireWire）接口：即插即用串行接口，可同）接口：即插即用串行接口，可同时支持时支持63个像机，每个相距个像机，每个相距4.5米，最远可达米，最远可达72米。支持米。支持800Mbits/s甚至甚至3200Mbits/s的传输速度。的传输速度。USB接口：是一种应用非常普遍的接口：是一种应用非常普遍的串型接口串型接口。传输速率传输速率可达可达480Mbits/s，可供多达，可供多达127个设备同时使用个设备同时使用。每根。每根USB接线长度可达接线长度可达5米，和米，和Hub配合使用可以使距离达到配合使用可以使距离达到30米。米。USB连线上提供了连线上提供了5V、500mA的电源。的电源。2.3 光源技术光源技术光光源源是是机机器器视视觉觉系系统统中中的的关关键键组组成成部部分分，在在机机器器视视觉觉系统中十分重要。系统中十分重要。光光源源的的主主要要功功能能是是以以合合适适的的方方式式将将光光线线投投射射到到待待测测物物体体上上，突突出出待待测测特特征征部部分分对对比比度度。好好的的光光源源能能够够改改善善整个系统的分辨率，减轻后续图像处理的压力。整个系统的分辨率，减轻后续图像处理的压力。对对于于不不同同的的检检测测对对象象，必必须须采采用用不不同同的的照照明明方方式式才才能能突突出出被被测测对对象象的的特特征征，有有时时可可能能需需要要采采取取几几种种方方式式的的结结合合，而而最最佳佳的的照照明明方方法法和和光光源源的的选选择择往往往往需需要要大大量量的试验才能找到。的试验才能找到。2.3.1 前光源前光源前光源是指前光源是指放置在待测物前方的光源放置在待测物前方的光源，主要应用于检测反光，主要应用于检测反光与不平整表面与不平整表面。印刷式字符采用高角度照明方式效果较好，印刷式字符采用高角度照明方式效果较好，而刻字式字符采用低角度照明效果俱佳。而刻字式字符采用低角度照明效果俱佳。2.3.1 前光源前光源轮胎上的数字编号凸出于轮胎侧表面，且与背景颜色相同，因轮胎上的数字编号凸出于轮胎侧表面，且与背景颜色相同，因此很难判别。但是采用前光源高角度照明法可以在相片上产生此很难判别。但是采用前光源高角度照明法可以在相片上产生微妙的微妙的“凸出凸出”效果，数字编号可清晰的浮现出来。效果，数字编号可清晰的浮现出来。待测轮胎待测轮胎高角度照明法下轮胎数字编号的图片高角度照明法下轮胎数字编号的图片2.3.1 前光源前光源在检测轮盘上的字符时，鉴于文字是刻在涂层表面上，采用在检测轮盘上的字符时，鉴于文字是刻在涂层表面上，采用低角度照明法，采集的图片中原本凹陷入轮盘里的字符与背低角度照明法，采集的图片中原本凹陷入轮盘里的字符与背景形成了鲜明的对比，十分易于后续图像处理。景形成了鲜明的对比，十分易于后续图像处理。待测轮盘待测轮盘低角度照明法下轮盘字符的图片低角度照明法下轮盘字符的图片 2.3.1 前光源前光源在检测生产线上黄油瓶盖上的点式印刷字符是否合格时，在检测生产线上黄油瓶盖上的点式印刷字符是否合格时，通过采用合适的前光源技术，拍摄图像中点阵字符的每个通过采用合适的前光源技术，拍摄图像中点阵字符的每个点都清晰可见。点都清晰可见。前光源照明法下瓶盖印刷字符的图片前光源照明法下瓶盖印刷字符的图片2.3.2 背光源背光源n背光源放置于待测物体背面。背光源放置于待测物体背面。n主要应用于被测对象的主要应用于被测对象的轮廓检轮廓检测测、透明体的污点缺陷检测透明体的污点缺陷检测、液晶文字检查、小型电子元件液晶文字检查、小型电子元件尺寸和外形检测、轴承外观和尺寸和外形检测、轴承外观和尺寸检查、半导体引线框外观尺寸检查、半导体引线框外观和尺寸检查等。和尺寸检查等。2.3.3 环形光源环形光源环形光源与环形光源与CCD镜头同轴安放，一般与镜头边缘相对齐镜头同轴安放，一般与镜头边缘相对齐。环形光源的优点。环形光源的优点在于可直接安装在镜头上，与待测物体距离合适时，可大大减少阴影、提在于可直接安装在镜头上，与待测物体距离合适时，可大大减少阴影、提高对比度，实现大面积荧光照明。高对比度，实现大面积荧光照明。环形光源对检测高反射材料表面的缺陷环形光源对检测高反射材料表面的缺陷极佳，极佳，非常适合电路板和非常适合电路板和BGA（球栅阵列封装）缺陷的检测。（球栅阵列封装）缺陷的检测。2.3.3 环形光源环形光源用蓝色环形光源照射待测用蓝色环形光源照射待测BGA焊点和金属导线，既去除了焊点和金属导线，既去除了金属导线图案又突出了焊点，图像中仅焊点部分呈白色。金属导线图案又突出了焊点，图像中仅焊点部分呈白色。还可清晰看到左上方的瑕疵。还可清晰看到左上方的瑕疵。（a）待测）待测BGA焊点焊点（b）蓝色环形光源下）蓝色环形光源下BGA焊点的图片焊点的图片2.3.3环形光源环形光源a中电容器上的白色印刷字符与黑色背景形成鲜明对比图中电容器上的白色印刷字符与黑色背景形成鲜明对比图b中水晶振荡器上的印刷字符也突出于金属外壳之上中水晶振荡器上的印刷字符也突出于金属外壳之上 a用环形光源拍摄电容器图片用环形光源拍摄电容器图片b用用环形光源拍摄晶振图片环形光源拍摄晶振图片 电子元器件字符检测电子元器件字符检测2.3.4点光源点光源结构紧凑，能够使光线集中照射在一个特定距离的小视场范结构紧凑，能够使光线集中照射在一个特定距离的小视场范围。点光源为机器视觉中的待测物提供明亮、均匀的光照，围。点光源为机器视觉中的待测物提供明亮、均匀的光照，使拍摄的图像对比度高。使拍摄的图像对比度高。实物图实物图安装方式安装方式2.3.4 点光源点光源检测凸轮齿轮损伤缺陷时，可采用平行度较高的点光源照明检测凸轮齿轮损伤缺陷时，可采用平行度较高的点光源照明 （a）凸轮齿轮）凸轮齿轮（b）点光源照射下凸轮表面图像）点光源照射下凸轮表面图像凸轮缺陷检测凸轮缺陷检测2.3.4点光源点光源n检测一维条形码也可以选用点光源直接照射感兴趣区域检测一维条形码也可以选用点光源直接照射感兴趣区域（a）待测一维条码）待测一维条码（b）点光源下条形码图像）点光源下条形码图像条码检测条码检测2.3.5 可调光源可调光源可可调调光光源源是是通通过过电电流流调调整整器器、亮亮度度控控制制器器或或频频闪闪控控制制器器来调整光源亮度或频闪速度的一种光源。来调整光源亮度或频闪速度的一种光源。n电流调整器和亮度控制器：包括单信道与双信道输出的恒电流调整器和亮度控制器：包括单信道与双信道输出的恒流控制器，四信道带触摸屏的亮度控制器，流控制器，四信道带触摸屏的亮度控制器，RGB光源彩色光源彩色分量调节控制器。分量调节控制器。n频闪控制器：一种为频闪控制器：一种为LED光源提供频闪电源和连续控制的光源提供频闪电源和连续控制的直流电源控制器，主要用于实现对最新一代高电流直流电源控制器，主要用于实现对最新一代高电流LED光光源、大面积线组光源，也包括大面积表面贴片背光源的控源、大面积线组光源，也包括大面积表面贴片背光源的控制。制。2.4 图像采集卡图像采集卡图像采集卡结构框架图像采集卡结构框架2.5 摄像机标定技术摄像机标定技术空空间间物物体体表表面面某某点点的的三三维维几几何何位位置置与与其其在在图图像像中中对对应应点点之之间间的的相相互互关关系系是是由由摄摄像像机机成成像像的的几几何何模模型型决决定定的的，这这些些几几何何模模型型参参数数就就是是摄摄像像机机参参数数，为为了了得得到到这这些些参参数数而而进行的实验与计算的过程称为摄像机标定。进行的实验与计算的过程称为摄像机标定。在在标标定定过过程程中中通通常常要要利利用用数数学学方方法法对对从从数数字字图图像像中中获获得得的的数数据据进进行行处处理理。通通过过这这些些数数学学处处理理，可可以以得得到到摄摄像像机机的内部和外部参数。的内部和外部参数。2.5.1 成像几何模型成像几何模型其中，其中，是在摄像机坐标系中的三维坐标。是在摄像机坐标系中的三维坐标。是理想小孔摄像机模型下是理想小孔摄像机模型下 点的物理图点的物理图像坐标，单位为毫米，像坐标，单位为毫米，f为焦距。为焦距。是