第7章机器视觉测量系统.ppt

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,现代检测技术,第七章,机器视觉测量系统,精勤求学 敦笃励志 果毅力行 忠恕任事,主要内容,图像传感器,图像测量系统,视觉检测的主要应用,CCD,照明、镜头、图像传感器、图像采集、图像处理,尺寸测量、模式识别、目标检测、三维重构,CCD,摄像器件的性能参数,灵敏度,分辨率,信噪比,光电转换特性,光谱响应,暗电流,7-1,图像传感器,7-1,图像传感器,7-1,图像传感器,7-1,图像传感器,7-2,图像测量系统,控制中枢、图像处理,照明,镜头,、,图像传感器,图像采集,视频信号,7-2-1,照明,光源,照明技术,不同光源与照明技术效果举例,光源,方向,直射光,：入射光基本上来自一个方向，入射角小，被照射物体有阴影；,散射光,：入射光来自多个方向，不会投射出明显阴影。,7-2-1,照明,光谱,光的组成成份，如日光由从紫外到红外的所有光谱组成。,取决于光源的类型和光学滤色镜。,可见光光谱如图所示：,光源,7-2-1,照明,光源,强度,光照强度会影响摄像头的曝光，光线不足会造成对比度降低，噪声过大；,光线过强会造成图像饱和，能量浪费以及散热等问题。,均匀性,在所有机器视觉应用中，都要求均匀的光照。照射强度会随距离和角度偏离而减小，需要特别考虑。,7-2-1,照明,光源,光源的种类,按,发光器件,：卤素等、荧光等、,LED,灯、氙（,xian,）灯等；,按,几何形状,：环形、方形、长条型灯；,按,发光特性,：点光源、线光源、面光源等；,按,照射角度,：直射、间接、同轴、平行等。,LED,灯,：颜色丰富、发光效率高、响应速度快、体积小、发热小、功耗低、发光稳定、寿命长、易于组成不同形状的光源，是重要的光源发展趋势。,7-2-1,照明,卤素光源（仪器用）,7-2-1,照明,LED,光源（,CCS,公司,）,7-2-1,照明,环形,LED,光源,7-2-1,照明,照明技术,正向照明,镜面,：光线直接反射进入镜头；,离轴照明,：光源在镜头轴线侧面、避开了镜面反射；,半漫射照明,：光照较均匀，如环形光；,漫射照明,：光线来自所有方向，镜面反射最少；,黑场,：光线与镜头视线方向垂直。,背光照明,漫射式,：光源,+,平板，背面照射；,凝聚式,：使用镜头将光线集中于一个方向；,黑场,：适用于检测透明物体中的裂痕、气泡等。,7-2-1,照明,不同光源与照明技术效果举例,高角度亮场与低角度暗场,光照强、较均匀,光滑表面的文字、伤痕等纹理检测,7-2-1,照明,不同光源与照明技术效果举例,从边上的黑场照明,最适合凹凸不平表面及表面缺陷，缺点是阴影太大。,7-2-1,照明,不同光源与照明技术效果举例,用明视野和暗视野照明对比,7-2-1,照明,不同光源与照明技术效果举例,用碗状照明消除晕眩光,7-2-1,照明,不同光源与照明技术效果举例,用透射光检查物体的有无,7-2-1,照明,不同光源与照明技术效果举例,光源的颜色差异,中心部有银色涂层的铜框架,7-2-1,照明,不同光源与照明技术效果举例,红外线照明,7-2-1,照明,不同光源与照明技术效果举例,红外线照明,7-2-1,照明,不同光源与照明技术效果举例,紫外线照明,7-2-1,照明,偏振光照明,不同光源与照明技术效果举例,7-2-1,照明,偏振光照明,不同光源与照明技术效果举例,图镜子上灰尘指印；图镜子上油脂指印；图光盘上油脂指印,7-2-1,照明,不同光源与照明技术效果举例,偏振光照明,8-2-2,7-2-1,照明,小结：思考问题,1,一个典型的机器视觉图像测量系统包括哪些环节？,2,光源的种类有哪些？为了得到更适合于测量目的的图像，光源的投射方式分别有哪些？,7-2-2,镜头,镜头的视野、景深和焦距示意图,7-2-2,镜头,基本概念,成像面,：被测物及其背景通过镜头投影到二维图像传感器平面，一般是长宽比为,4:3,的矩形；,视野,（,Field of View,，,FOV,）：与成像面对应的景物平面范围；,工作距离,（,Work Distance,，,WD,）：被测物到物镜的距离；,景深,：以镜头最佳聚焦,WD,为中心，前后存在一个范围，在此范围内的物体能够清晰成像，这个范围被称为景深（,Depth of View,，,DOV,）,焦距,选择镜头的关键参数,物镜的焦距,f,f,可以短到几毫米，长达数十米；,变焦距镜头可以通过调节焦距获得不同的放大倍数。,相对孔径,F=D/f,（光圈）,D,是镜头中光线能通过的有效圆孔直径,即入瞳，,D,越大，收集的光线越多；如,f=50mm,，,D=8.9mm,，则相对孔径,F=8.9/50=1/5.6,；,镜头上以,1/F,表示光圈值，光圈每增加一档，光照度增加一倍；,光圈越小，景深越长。为了获得较大景深的清晰图像，可以采取加大光强，减小光圈的方法。,8-2-2,7-2-2,镜头,选择镜头,PMAG,：镜头的放大倍数,7-2-2,镜头,选择镜头,如何选择焦距,WD,：工作距离,Ho,：视野的高度,Hi,：相机有效成像面高度,PMAG,：镜头的放大倍数,7-2-2,镜头,选择镜头,物距,WD,、放大倍数,PMAG,和焦距,f,的关系,利用上式可通过被测物尺寸（,Ho,）、物距（,WD,）和像平面高度（,Hi,）计算出所需镜头的焦距,f,。,7-2-2,镜头,选择镜头,普通镜头选择步骤：,获得物体至镜头的距离,WD,，如果是一个范围，取中间值；,计算图像放大倍数,PMAG,；,利用公式计算所需的焦距；,选取与计算值最接近的标准镜头产品，并取其焦距值；,根据所选镜头焦距重新核算镜头到物体的距离,WD,。,举例：,物体至镜头的距离在,10cm30cm,范围内，取,WD=20cm,。,设视场高度为,6cm,，传感器成像面高度为,6.6mm,，则镜头放大倍数为：,7-2-2,镜头,计算所需镜头焦距：,标准镜头焦距：,8mm,、,12.5mm,、,16mm,、,25mm,和,50mm,16mm,镜头的焦距最接近计算值，使用该值重新计算,WD,：,选择镜头,7-2-2,镜头,按等效焦距,广角镜头,：景深大，,WD,短，视角大，易出现桶形失真；,长焦距镜头,：,WD,大，放大倍数大，易出现枕形失真；,中焦距镜头,：,f,约在,50mm,和,200mm,之间，最常用镜头；,按镜头所具有的功能,变焦距镜头,（自动调焦）,变光圈镜头,（自动光圈）,远心镜头,：可以产生正交投影拍摄效果；,微距镜头,：拍摄微小物体，放大倍数在,0.252,之间。,显微镜头,：成像比例大于,10,倍。,紫外镜头,、,红外镜头：,专门针对紫外光或红外光折射特性设计的镜头。,镜头的分类,7-2-2,镜头,视频信号,视频信号,是机器视觉系统的关键，关系到摄像机和采集卡的配合、视频系统的设计和调试等。,分为,黑,/,白和彩色,两大类，又分为,模拟和数字,视频。模拟视频分为标准和非标准视频，数字视频包含多种数字格式。,标准视频信号的周期、时间间隔、幅度等有明确规定，又称为,闭路电视,CCTV,（,Closed Circuit Television,）。,非标准视频信号多用于工业、医学、仪器等领域的视觉系统。,黑,/,白,彩色,使用地区,RS-170,NTSC,北美、日本、台湾等,CCIR,PAL,欧洲、中国等,7-2-3,视频,信号扫描方式：逐行扫描和隔行扫描,隔行扫描,视频信号,隔行的帧图像和奇偶场图像之间的关系,7-2-3,视频,图像采集,图像采集卡,（,Image Grabber,）又称为图像卡，将传感器输出的图像视频信号,以帧为单位,传送到计算机进行处理、存储或显示。,7-2-3,视频,7-2-4,图像处理技术,滤波技术,图像增强,边缘检测,特征提取,图像压缩,图像编码,7-3,视觉检测应用,二、模式识别技术,五、缺陷检测技术,一、尺寸测量技术,六、图像融合技术,四、三维重构技术,三、目标检测与跟踪技术,7-3-1,尺寸测量技术,长度,面积,圆,线弧,角度,测量对象,最小二乘,Hough,变换,区域标记,轮廓矢量,曲率识别,Harris,角点,测量方法,7-3-1,尺寸测量技术,长度测量,齿长测量,1,在工件图中,设置待测齿长区域,；,2,对区域内的图像进行,边缘提取,；,3,对提取到的边缘进行,逐行扫描,，分别,获得其上、下两条边的边缘点,；,4,根据得到的边缘点分别,拟合出上、下两条边的直线,；,5,计算两条直线间的距离,作为齿长结果。,7-3-1,尺寸测量技术,长度测量,线段测量,通过,Harris,角点法确定角点；,通过轮廓提取法得到边缘；,结合轮廓信息对角点精确定位；,计算线段长度。,7-3-1,尺寸测量技术,圆测量,单圆测量,：,最小二乘法、,Hough,变换法和加速算法,（首先通过圆面积测量求出圆半径）。,方法,半径像素值,误差,测量时间,最小二乘法,68.5,0.48%,30ms,Hough,变换法,68.9,0.18%,18328ms,改进,Hough,变换法,68.9,0.18%,531ms,圆的拟合,7-3-1,尺寸测量技术,角度测量,根据前述方法得到每段直线段方程，根据斜率即可得到夹角。,7-3-2,模式识别技术,指对图像中各种物理对象的,分类与描述,技术，包括,字符识别、条码识别、车牌识别、工件识别和医学图像识别等。,字符识别：,印刷体,扫描输入文本图像；,图像的预处理，包括倾斜校正和滤除干扰噪声等；,图像版面的分析和理解；,图像的行切分和字切分；,基于单字图像的特征选择和提取；,基于单字图像特征的模式分类；,将被分类的模式赋予识别结果。,7-3-2,模式识别技术,7-3-3,目标检测与跟踪技术,目标跟踪技术,指对图像序列中的,运动目标,进行,检测、提取、识别和跟踪,，获得运动目标的,运动参数,，如位置、速度、加速度以及运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的,行为理解,。,主要应用,：行人跟踪、车辆跟踪、智能交通和安全监控等；,分类,：静态背景下运动目标检测、动态背景下运动目标检测；,7-3-3,目标检测与跟踪技术,静态背景下运动目标检测,：,相邻帧间差分法,：取相邻两帧图像间灰度差异较大的区域,背景差分法,：预先建立背景模型，需要经常更新背景。常用的非回归型背景建模法包括,中值滤波,和基于统计理论背景恢复，常用的回归型背景建模法包括,近似中值滤波、卡尔曼滤波和混合高斯滤波,。,7-3-3,目标检测与跟踪技术,检测实例,（,a,）图像序列第,187,帧 （,b,）,187,帧时的背景图 （,c,）差分图像二值化,（,d,）腐蚀运算结果 （,e,）膨胀运算结果 （,f,）目标标定结果,7-3-4,三维重构技术,接触式与非接触式三维测量,（,a,）三坐标测量机（,b,）机械测量臂,（,a,）物体 （,b,）采集的图像 （,c,）重构结果,接触式与非接触式三维测量,7-3-4,三维重构技术,7-3-4,三维重构技术,视觉三维重构方法分类,7-3-4,三维重构技术,视觉三维重构方法的应用,1,）星球三维形貌重构,？,7-3-4,三维重构技术,嫦娥二号探月图片,7-3-4,三维重构技术,视觉三维重构方法的应用,2,）工业自动化生产与产品检测,7-3-4,三维重构技术,视觉三维重构方法的应用,3,）人脸身份识别,另外还包括：医学图像三维重构与分析、视觉三维导航、无人驾驶等。,END,