机器人视觉基础专题培训课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,机器人视觉基础,提纲,机器视觉系统概述,照明光源,镜头,工业摄像机,机器人视觉系统,应用,机器视觉系统,机器视觉是一门技术，该技术被广泛应用在生产制造等行业。可用来保证产品质量、控制生产流程、感知环境等。,机器视觉系统是基于机器视觉技术为机器或自动化生产线建立的一套视觉系统。,机器视觉,vs,人类视觉,人类视觉,机器视觉,适应性,适应性强，可在复杂及变化的环境中识别目标,适应性差，容易受复杂背景及环境变化的影响智能,具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律,虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标,彩色识别能力,对色彩的分辨能力强，但容易受人的心理影响，不能量化,受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点,灰度分辨力,差，一般只能分辨,64,个灰度级,强，目前一般使用,256,灰度级，采集系统可具有,10bit,、,12bit,、,16bit,等灰度级,机器视觉,vs,人类视觉,人类视觉,机器视觉,空间分辨力,分辨率较差，不能观看微小的目标,目前有,4K4K,的面阵摄像机和,12K,的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标,速度,0.1,秒的视觉暂留使人眼无法看清较快速运动的目标,快门时间可达到,10,微妙左右，高速像机帧率可达到,1000,以上，处理器的速度越来越快,感光范围,400nm-750nm,范围的可见光,从紫外到红外的较宽光谱范围，另外有,X,光等特殊摄像机,环境要求,对环境温度、湿度的适应性差，另外有许多场合对人有损害,对环境适应性强，另外可加防护装置,机器视觉系统作用,机器视觉技术,功能,缩短产品,进入市场时间,100%,检测,100%,质量保证,提高产量,集成化生产,精确测量,改进生产流程,及时过程监控,机器视觉应用领域,高速检测,精确机器人导航,定位及配准,装配检测,PCB,检测,表面检测,纹理分析,遥感,医学图像分析,测量,一维码读取,OCR&OCV,匹配,印刷检测,Blob,分析,机器视觉应用领域,光学行业,纸制品,药物,照相学和遥感,印刷,铁路运输,监控,航空宇航,造船,无线通信,交通,木材,等等,半导体,汽车制造,制陶业,化学业,电子部件及设备,食品业,玻璃业,生命科学,医学,钢铁,矿业,机器视觉系统构成,模拟相机,光源,CCD/CMOS,图像传感器,镜头,被测物体,模拟视频流,摄像机,图像采集卡,图像,内存中,数字图像,应用,结果,孔,半径,1,2,3,3.147 mm,3.052 mm,2.785 mm,机器视觉软件,FG,I/O,机器视觉系统构成,数字摄像机,光源,CCD/CMOS,图像传感器,镜头,被测物体,图像数据,数字摄像机,（,USB/1394a/1394b/GigE/CameraLink,）,图像,内存中,数字图像,应用,结果,孔,半径,1,2,3,3.147 mm,3.052 mm,2.785 mm,机器视觉软件,FG,I/O,机器视觉系统构成,智能摄像机,光源,CCD/CMOS,图像传感器,镜头,被测物体,模拟图像数据,智能摄像机,图像,内存中,数字图像,应用,结果,孔,半径,1,2,3,3.147 mm,3.052 mm,2.785 mm,机器视觉软件,FG,I/O,机器视觉市场,机器视觉系统中部件包括：,光源、工业摄像机、图像采集卡、镜头、图像处理设备等。,机器视觉市场包括,:,部件生产商,代理商,系统集成商,机器视觉系统,组件,照明光源,照明光源,机器视觉系统,照明光源分类,高频荧光灯,卤素灯,LED,灯,机器视觉系统,照明光源对比,LED,光源特点,可制成各种形状、尺寸及各种照射角度；,可根据需要制成各种颜色，并可以随时调节亮度；,通过散热装置，散热效果更好，光亮度更稳定；,使用寿命长（约,3,万小时，间断使用寿命更长）；,反应快捷，可在,10us,或更短的时间内达到最大亮度；,电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；,运行成本低、寿命长的,LED,，会在综合成本和性能方面体现出更大的优势；,可根据客户的需要，进行特殊设计。,光源选型对成像影响实例,照明技术：亮视野与暗视野,暗视野,亮视野,杂散光,杂散光,直射光,直射光,照明技术：低角度照明,常应用于检测平滑表面上变化的部分如：划痕、刀痕、边缘,低角度照明应用实例,照明技术：前向光直射照明,前向光直射照明示例,照明技术：前向光漫射照明,前向光漫射照明示例,前向光漫射照明示例,照明技术：背光照明,背光照明示例,TCL,TCL,TCI,照明技术：颜色与补色,照射物,白色光,(,混合色,),蓝色,其它颜色被吸收,颜色与补色示例,白光,红,光,蓝光,绿光,照明技术：偏光技术应用,偏光板,偏光镜片,光源,A,光源,B,偏光技术应用实例,照明技术：防外乱光技术应用,机器视觉系统组件,镜头,镜头,成像尺寸,焦距与视场角,焦距与视场角,例如：,使用,HV1303UM,拍摄视野为,440mm*330mm,拍摄距离为,2500mm,常用公式,放大率,物距,像距,焦距,物高,像高,镜头分辨率,分辨率单位：,lp/mm,影响因素：,镜头结构、材质、加工精度,镜头的相对孔径越大，分辨率越高,光波长度，波长越短分辨率越高,视场中心较边缘分辨率高,同档次的固定焦距镜头较变焦镜头分辨率高,短焦镜头一般边缘分辨率较中心低，长焦镜头一般中,心较边缘分辨率低。,理想光学系统的最小分辨距离,b=(0.61,)/nsinmax,其中，,为光的波长,n,为像空间介质折射率,max,为像方孔径角,当镜头对无限远成像，且像方为空气时（近似计算公式）,b=1.22,F,其中，,F,为光圈数,远心镜头,镜头选型,分辨率,焦距,光圈,景深,成像尺寸,视场角,远心,畸变,机器视觉系统组件,工业摄像机,工业摄像机,工业摄像机分类,按不同芯片类型划分：,1,、,CCD,摄像机,2,、,CMOS,摄像机,CCD SensorFull Frame Array Sensor,Output,(Amplifier),Serial readout register,优点：填充因子,(fill factor),可以达到非常高，甚至达到,100%,。,这样,Sensor,灵敏度非常大。,缺点：由于传输和读出使用的时钟相同，因此,Sensor,上面的部分,曝光时间比下面的长，这会造成,Smear,现象。为了解决这个问题，,必须使用机械快门或闪光灯。,CCD SensorFrame Transfer Sensor,解决了,Full Frame Array Sensor,发生,Smear,现象的问题,从感光部分转移到屏蔽存储区域的时间约为,500us,优点：在曝光时间较长的情况下，,Smear,现象比,Full Frame Array Sensor,小很多,缺点：由于需要两个,Sensor,，因此成本非常高,Light sensitive,CCD-sensor,Shielded,memory area,Readout register,.,CCD SensorInterline Transfer Sensors,转移时间约为,1us,，因此完全不存在,Smear,现象。,优点：由于转移时间非常短，因此不需要使用机械快门或闪光灯,缺点：由于屏蔽区占用了,Sensor,的部分面积，因此使得此种传感器填充因子只能在,20%70%,添加微镜头可以增加填充因子,Horizontal shift registers,vertical shift register,Shielded,(Photo diodes),Sensor elements,Output,(Amplifier),Electronic shutter&Micro Lenses,Overflow Drain,主要用来消除,CCD Sensor,的,Blooming,现象,它也被用来实现电子快门,通过,Micro Lenses,可以将传感器,的填充因子提高。,CCD,可以从,80%,提高到约,100%,CMOS,可以从,30%,提高到约,80%,CMOS Sensor,AOI,由于,CMOS,可直接访问单个像素，,因此在,AOI,非常小的情况下，,CMOS,与,CCD,相比，帧率上有较大的优势。,CMOS,Sensor,甚至可以将,A/D,转换集成,到每个像素中去，在不使用,AOI,时帧率,上也有优势,CCD vs CMOS,CCD,CMOS,优,1.,图像质量高,2.,灵敏度高,3.,对比度高,1.,体积小,2.,片上数字化,3.,很多片上处理功能,4.,低功耗,5.,没有,Blooming,现象,6.,直接访问单个像素,7.,高动态范围（,120dB,）,8.,帧率可以更高,劣,1.Blooming,2.,不能直接访问每个像素,3.,没有片上处理功能,1.,一致性较差,2.,光灵敏度差,3.,噪声大,CCD vs CMOS,CCD,CMOS,串行处理,并行处理，可直接访问单像素,线性度好,高动态范围,低噪声,存在固定模式噪声,功耗一般,功耗较低,集成度较低,高集成度，芯片上集成了很多功能,Interlaced Scan vs Progressive Scan,Interlaced Scan,Progressive Scan,Rolling Shutter vs Global Shutter,Rolling Shutter,Global Shutter,彩色摄像机,1.Bayer,2.3CCD,3.3Lines,4.,彩色摄像机效果对比,3CCD,Raw Image,Bayer,Difference,工业摄像机接口类型,模拟接口,CameraLink,1394a,1394b,Usb2.0,GigE,Ethernet,工业摄像机接口类型,CameraLink,Usb2.0,1394a,1394b,GigE,Ethernet,速度,Base:1.5Gbps,Medium:3.8Gbps,Full:5.1 Gbps,480Mbps,400Mbps,800Mbps,1000Gbps,100Mbps,距离,10m,5m,4.5m,4.5m,100m,100m,优势,1.,带宽高,2.,有带预处理功能的采集设备,3.,抗干扰能力强,1.,易用,2.,价格低,3.,多相机,1.,易用，价格低，多相机,2.,传输距离远，实际线缆可达到,17.5m,，光纤传输可达,100m,3.,有标准,DCAM,协议,4.CPU,占用最低,1.,易用，价格低，多相机,2.,传输距离远，线缆价格低,3.,标准,GigE Vision,协议,1.,易用，价格低,2.,传输距离远，线缆价格低,缺点,1.,价格高,2.,线中不带供电,1.,无标准协议,2.CPU,占用高,1.,长距离传输线缆价格稍贵,1.CPU,占用高,2.,对主机配置要求高,3.,有时存在丢包现象,1.,无标准协议,2.,带宽过低,3.CPU,占用过高,PCI vs PCI-E,PCI-32,PCI-64,PCI-Express,速度,133MBps,266MBps,1x 266MBps,2x 266*2 MBps,4x 266*4 MBps,8x,16x,32x 8.25GBps,PCI Express,采用的是点对点通信机制，各个插槽都将通过各自,独享的通道发送和接受数据，这样就可以避免出现不同设备同,时争抢系统和,CPU,资 源的情况。,同步采集,vs,异步采集,工业摄像机选型,1.,根据摄像机拍摄的视野以及系统需要达到的精度选择分辨率,2.,根据拍摄对象运动与否选择合适相机,3.,根据生产线速度选择合适帧率,4.,根据相机接口类型以及相机数量选择合适的采集卡,例如：,某视觉检测系统需要两个检测工位,拍摄过程中工件不停止。,两个工位视野相同，均为,400mm*300mm,。,要求检测精度达到,0.4mm,以上。,检测速度大于每分钟,1000,工件。,回顾,简单介绍了机器视觉系统以及机器视觉系统中几个重要的组成部分，包括光源、镜头和摄像机。,后面的培训中将按照产品类型进行详细介绍。并且将细致地介绍与某产品类型相关的技术细节。如模拟相机、,1394,传输协议、,GigE,传输协议、各种光源选型、,HALCON,功能介绍等等。,工业机器人工件坐标偏移,插件机器人,工业机器人工件工具偏移,工业机器人固定安装相机,工业机器人相机安装方式,移动式,固定安装,工业机器人单相机校正,工业机器人多相机测量,工业机器人垂直视觉校正,定位应用,工业机器人三维视觉识别,工业机器人运动视觉追踪定位,