视觉测量技术(一)-视觉系统构成知识讲解.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,视觉测量技术(一)_视觉系统构成,2,、机器视觉应用,目标,识别与定位,2,、机器视觉应用,质量检测,2,、机器视觉应用,几何量测量,高速检测连续冲孔的冲压零部件。,滚轴的外观检测,可使用,2,台线型相机高精度检测长尺的金属滚轴表面缺陷,零件外观检测,轴承的外观检测,曲面外观检测,Rocky 7,火星车,2,、机器视觉应用,导航,Rocky7,视觉系统获取的立体图象对,(a),深度图象,(b),障碍物探测示意图,Rocky7,视觉系统对场景的深度恢复,2,、机器视觉应用,导航,2,、机器视觉应用,其他应用,智能交通监控,三维重建,遥感图像分析（植被分析、考古发掘）,医学图像分析（骨骼定位）,安全鉴别、监视与跟踪（门禁系统、视频监控）,国防系统（目标自动识别与目标跟踪）,文物保护（数字博物馆）,其他（游戏、动画、体育、人机交互）,机器视觉的一些基本概念,1.,平面视觉（,Planar Vision,）,：被测对象处在平面内，只对目标在平面的信息进行测量的视觉测量与控制。,2.,立体视觉（,Stereo Vision,）,：对目标在三维笛卡尔空间内的信息进行测量的视觉测量与控制。,3.,结构光视觉（,Structured Light Vision,）,：利用特定光源照射目标，形成人工特性，由摄像机采集这些特征进行测量。结构光视觉可简化图像处理中的特征提取，大幅度提高图像处理速度。,4.,主动视觉（,Active Vision,）,：对目标主动照明或者主动改变摄像机参数的视觉系统。,5.,被动视觉（,Passive Vision,）,：如双目视觉。,被动视觉采用自然测量，,机器视觉的一些基本概念,6.,视觉测量（,Vision Measure/Visual Measure,）,：根据摄像机获得的视觉信息对目标的位置和姿态进行的测量。,7.,手眼系统（,Hand-Eye System,）,：摄像机和机械手构成的机器人视觉系统。,.,Eye-in-Hand,：摄像机安装在机械手末端并随机械手一起运动,的视觉系统。,Eye-to-Hand,：摄像机不安装在机械手末端，不随机械手运动,的视觉系统。,8.,视觉控制（,Vision Control/Visual Control,）,：根据视觉测量获得目标的位置和姿态，将其作为给定或者反馈对机器人的位置和姿态进行的控制。,9.,视觉伺服（,Visual Servo/Visual Servoing,）,：利用视觉信息对机器人进行的伺服控制，是视觉控制的一种。,3,、,机器视觉检测系统的构成,1,被测物体,4,光照系统,2,摄像机,5,摄像机,-,计算机接口,3,计算机,6,控制机构,3.1,摄像机,镜头,Lens,（工业）摄像机,Camera,聚焦光线,生成图像,摄像机,照 明,接 口,3.1,摄像机,-Sensor,摄像机的作用：,将通过镜头聚焦于像平面的光,线生产图像。,摄像机最重要的部件：,数字传感器,CCD,（,charge-coupled device,）,电荷耦合元件,CMOS,（,complementary metal-oxide semiconductor,）,互补金属氧化物半导体,摄像机,照 明,接 口,CCD,（,charge-coupled device,）,电荷耦合元件,也称为,CCD,图像,传感器。,CCD,是一种半导体器件，能够把,光学,影像转化为,数字信号,。,CCD,上植入的微小光敏物质称作,像素,（,Pixel,）。一块,CCD,上包含的像素数越多，其提供的图像分辨率也就越高。,摄像机,照 明,接 口,面阵,线阵,3.1,摄像机,-Sensor,摄像机,照 明,接 口,CMOS,（,complementary metal-oxide semiconductor,）,互补金属氧化物半导体,3.1,摄像机,-Sensor,摄像机,照 明,接 口,CCD Vs CMOS,CCD,CMOS,灵敏度,高,低,成本,高,低,分辨率,高,低,抗噪声,好,一般,功耗,高,低,速度,低,高,3.1,摄像机,-Sensor,摄像机,照 明,接 口,3.1,摄像机,-CCD,传感器,-,尺寸,CCD,的尺寸，是说感光器件的面积大小。,主要有,2/3,英寸、,1/2,英寸、,1/3,英寸、,1/4,英寸等。,面积越大，捕获的光子越多，感光性能越好，信噪比越低。,2/3,英寸的,300,万像素相机效果通常好于,1/2,英寸的,400,万像素相机,(,后者的感光面积只有前者的,53%),。,而相同尺寸的,CCD,，像素越多，图像质量越好。价格越高。,摄像机,照 明,接 口,3.1,摄像机,-CCD,传感器,-,尺寸,摄像机,照 明,接 口,3.1,摄像机,-,镜头,-Lens,镜头是一种光学设备，用于聚焦光线在摄像机内部成像。镜头的作用是收集光线，产生锐利的图像，以得到被测物体的细节。,通常由一块或者多块光学玻璃或塑料组成的透镜组，基本单元为凹透镜、凸透镜，或其组合,摄像机,照 明,接 口,瞳孔,视网膜,晶状体,虹膜,虹膜调节瞳孔的大小，对光线大小进行控制。,光线通过焦距,20,的晶状体，在视网膜上成像。,3.1,摄像机,-,镜头,Vs.,人眼,摄像机,照 明,接 口,保证通光量,Lens,尺寸,Sensor,尺寸,3.1,摄像机,-,镜头,型号,摄像机,照 明,接 口,控制进光量,F2.2,、,F2.8,、,F4.,光圈,F,值愈小，在同一单位时间内的进光量便愈多,由于光学原理和制造成本的限制，摄影镜头在全开光圈时的像质并不是最佳的，通常在收缩光圈后，像质有明显的改善。,每个摄影镜头都有一个或者多个最佳光圈，在这些最佳光圈下，画面的质量达到最好，分辨率高、反差均衡等。,3.1,摄像机,-,镜头,型号,摄像机,照 明,接 口,3.1,摄像机,-,镜头,型号,摄像机,照 明,接 口,3.1,摄像机,-,镜头,型号,薄透镜原理,f:,透镜焦距长度,F:,透镜焦点,z:,摄像机常数,摄像机,照 明,接 口,3.1,摄像机,-,镜头,焦距,摄像机,照 明,接 口,3.1,摄像机,-,镜头,焦距,摄像机,照 明,接 口,3.1,摄像机,几种专业术语,分辨率,Resolution:,被检测物体的最小特征尺寸,像素,Pixel,像素分辨率,Pixel resolution:,图像上需要表达被测物体所需的最小像素个数,视野,Field of view,物体可被检测到的区域，,换言之,它是物体填满传感器图象的区域,工作距离,Working distance,从镜头前端到被检测物体表面的距离,摄像机,照 明,接 口,3.1,摄像机,几种专业术语,景深,Depth of field:,在整个聚焦范围内，能够维持清楚成像对应的最大物体的深度；,也可定义为在允许聚焦的范围内，允许物体移动的范围。,图像,Image,传感器尺寸,Sensor size,传感器的有效面积,典型的指标是水平尺寸,摄像机,照 明,接 口,3.1,摄像机,选型步骤,1,明确被测物体的测量精度要求，选择适合的,CCD,尺寸和像素数目,关注的要素：,视野,CCD,尺寸,像素分辨率,基本要求：被测物体在某一方向上尽量充满摄像机的视野,摄像机,照 明,接 口,3.1,摄像机,选型步骤,基本要求：被测物体在某一方向上尽量充满摄像机的视野,w,fov,是摄像机视野在,X,方向的尺寸，,h,fov,是,Y,方向的尺寸,w,是物体,X,方向上的最小特征，,h,是,Y,方向上的最小特征,则所需最小像素分辨率为,摄像机,照 明,接 口,3.1,摄像机,选型步骤,根据被测物体尺寸确定视野大小，,进而确定所需,CCD,的尺寸,CCD,上的像素数目最小像素分辨率数目,摄像机,照 明,接 口,3.1,摄像机,选型步骤,1,明确被测物体的测量精度要求，选择适合的,CCD,尺寸和像素数目,2,确定相机的接口类型,3,确定镜头的焦距,关注的要素：,工作距离,CCD,尺寸,视野,景深,C,or,CS,or,F,摄像机,照 明,接 口,3.1,摄像机,选型步骤,焦距,=,（,CCD,尺寸,工作距离）,/,视野,如果工作距离不变，可选择定焦镜头,如果工作距离时变，可选择变焦镜头,如果被测物体本身高度变化大，即需要测量的景深大，根据最大、最小距离都可清晰成像选择焦距范围,3.2,照明,摄像机,照 明,接 口,1,光源类型,2,光照技术,目的：使被测物体的重要特征显现，抑制不重要的特征,名称,成本,亮度,稳定性,寿命,温度,荧光灯,低,低,低,一般,一般,卤素灯,高,高,一般,低,高,LED,光源,一般,一般,高,高,低,光源类型,摄像机,照 明,接 口,光照技术,摄像机,照 明,接 口,利用有效照明使被测特征对比度最大化,用环型光照皱折物体失败,用连续漫射光照皱折物体成功,光照技术,-,反射类型,摄像机,照 明,接 口,镜面反射,对角直接反射光线,漫射反射,所有方向漫射光线,光照技术,-,照明的方向,摄像机,照 明,接 口,背光照射,入射光照射,光源在摄像机对面,光源在摄像机一方,光照技术,-,背光照射,摄像机,照 明,接 口,形状测量,半透明物体测量,增强被测工件的边缘轮廓,看到半透明物体的透光性,（相对障碍物光的通过特性）,观察出物体表面的光洁度、颜色、发射光和不明显的高度变化,光照技术,-,背光照射,的效果,摄像机,照 明,接 口,用环型光照的灯丝,Lamp filament with ring light,用背光光照的灯丝,Lamp filament with backlight,光照技术,-,背光照射图像比较,摄像机,照 明,接 口,通过塑料连接器的金属针,Metal pins through plastic connector,光照技术,-,背光照射图像比较,摄像机,照 明,接 口,光照技术,-,入射光照,摄像机,照 明,接 口,入射光照射,光源在摄像机一方,1,、普通用途的光照,(,明场或暗场,),General Purpose-Bright or Dark Field,2,、关于光轴的漫射光照（区域照射）,DOAL-Diffused On-Axis Light,3,、均匀光的漫（散）射（同轴照射）,DOME,入射光照,-,明场、暗场,摄像机,照 明,接 口,了解“,W,”,反射光与光源角度相同。,明场：光线反射后进入摄像机。,暗场：光线反射后未进入摄像机。,入射光照,-,明场、暗场,摄像机,照 明,接 口,对形成高对比度有益，但反光表面会生成镜面反射,光源范围应在照相机透镜视野的两倍处,漫射光被反射进入照相机但镜面反射光线被反射离开,光源在“,W”,之外,除有纹理的表面和凸高变化的表面之外，光线被反射而不进入照相机,入射光照,-,明场、暗场,摄像机,照 明,接 口,入射光照,-,明场、暗场,摄像机,照 明,接 口,摄像机,照 明,接 口,入射光照,-,明场、暗场,摄像机,照 明,接 口,入射光照,-,明场、暗场,入射光照,-,明场、暗场,摄像机,照 明,接 口,入射光照,-,均匀光的漫（散）,射,摄像机,照 明,接 口,Object,Light source,(off-axis),入射光照,-,均匀光的漫（散）,射,摄像机,照 明,接 口,用区域光照的加工表面,用,DOME,光照的加工表面,入射光照,-,均匀光的漫（散）,射,摄像机,照 明,接 口,入射光照,-,关于,光轴的漫射光照,摄像机,照 明,接 口,光源,Light source,物体,Object,漫散射器,Diffuser,光分束器,Beam,Splitter,入射光照,-,关于,光轴的漫射光照,摄像机,照 明,接 口,Courtesy of RVSI/NER,突出光洁表面与纹理表面反射光的不同,Emphasize Finish/Texture(reflection)Differences,纹理表面光照,入射光照,-,关于,光轴的漫射光照,摄像机,照 明,接 口,缺针的连接器,入射光照,-,关于,光轴的漫射光照,摄像机,照 明,接 口,Courtesy of RVSI/NER,金属轴上的激光码,入射光照,-,关于,光轴的漫射光照,摄像机,照 明,接 口,倾角光照,突出倾角的变化,90%,机器视觉应用的成功案例来自于恰当的照明,.,摄像机并不能看到物体；只能看到从物体表面反射过来的光。,如果摄像机无法看到部件和标记，也就无法读取和检测。,你应该知道：,摄像机,照 明,接 口,摄像机,-,计算机接口,摄像机,照 明,接 口,图像采集卡是将模拟摄像机的图像信号经过,A/D,转换，或将数字摄像机的输出信号，通过计算机总线传输到计算机内存或显存，使计算机能对摄像机拍摄到的现场图像进行实时处理、存储和显示的硬件设备。,摄像机,-,计算机接口,摄像机,照 明,接 口,模拟信号经,A/D,转换，传输至内存的图像,相机,“,看,”,到的图像,摄像机,-,计算机接口,摄像机,照 明,接 口,传统数字信号（,RS-422,LVDS),Camera Link,IEEE1394(Firewire),USB,Gigabit Ethernet,数字接口,-,LVDS,摄像机,照 明,接 口,优点：高速，可靠性高，传输距离远，支持多相机连接。,缺点：管脚定义不统一，兼容性差，电缆成本高。,LVDS,是一个低波动、差分,I/O,技术的高速接口。,每线对最大传输率为655,Mb/s。,数字接口,-,Camera Link,摄像机,照 明,接 口,13对线（其中有,6,线对数据线），使得接插件的尺寸更加的小巧。允许相机设计的体积更小。,更高的传输速率。采用,Channel Link,芯片组(支持速率达2.3,Gb/s),满足对数据传输速率越来越高的要求。,集成有串口通讯协议。,数字接口,-,USB,摄像机,照 明,接 口,接口是4芯，其中2根为电源线、2根为信号线，接口体积小，可热拔插，可真正实现即插即用，适合传送多媒体数据的传送模式，连接方便。,USB 2.0,向下兼容,USB 1.1、USB 1.0，,数据的传 输率可以达到120,Mbps480Mbps。,传输距离短，0.6米。,数字接口,-,IEEE1394,摄像机,照 明,接 口,两种接口标准，一种是6针接口，另一种是4针接口。6针接口可以从端口获得电源，以给那些无法自己供电的产品提供电源。,1394A,传输速率为,400Mb/s，1394B,可达 800,Mb/s。,不需要控制器，可以实现对等传输，最大连线4.5米，大于4.5米可采用中继设备。,支持即插即用。它是目前唯一支持数字摄录机的总线。,数字接口,-,Gigabit Ethernet,摄像机,照 明,接 口,带宽可达到1000,Mbps，,图像可以无损失实时传输。,最远可传输100米,。,标准的网络连接器，电缆线成本低。,带宽易于升级，包括10,M,100M,1000M,等，在工业机器视觉中将被广泛应用。,数字接口,-,比较,摄像机,照 明,接 口,GigE,1394,USB,CameraLink,带宽,1000,Mb/s,125MBytes,400,Mb/s,50MBytes,12,Mb/s USB1 480Mb/s USB2 60MBytes,2380,Mb/s(base)7140Mb/s(full)890MBytes,距离,100,m,(无中继,),No Limit(,有中继),4.5,m,(无中继,),72m(,有中继),200m/1394B(,有中继的情况下）,5,m,(无中继,),30m(,有中继),CameraLink；1394-1394,要求摄像机与采集卡的视频信号类型一致,数字接口,-,如何选择,摄像机,照 明,接 口,数据采集能力(,MHz),要求采集卡的数据采样频率大于或等于摄像机信号数据输出频率。采集卡的数据率必须满足的要求可按下式计算：,Data Rate(Grabber),为采集卡的数据率；,Data Rate(Camera),为摄像机的数据率；,R,为相机的分辨率；,f,为相机的帧频。,模拟,Data Rate(Grabber),1.2R*f,数字,Data Rate(Grabber),Data Rate(Camera),1,被测物体,4,光照系统,2,摄像机,5,摄像机,-,计算机接口,3,计算机,6,控制机构,合理配置视觉系统，降低成本，提高效率,Q,&,A,此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢,