机器视觉基础知识..ppt

中国大恒（集团）有限公司北京图像视觉技中国大恒（集团）有限公司北京图像视觉技术分公司术分公司主讲人：陈欣机器视觉系统概述1提纲提纲n机器视觉系统概述机器视觉系统概述n照明光源照明光源n镜头镜头n工业摄像机工业摄像机2机器视觉系统机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等行业。可用来保证产品质量、控制生产流程、感知环境等。机器视觉系统是基于机器视觉技术为机器或自动化生产线建立的一套视觉系统。3机器视觉机器视觉 vs vs 人类视觉人类视觉人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级4机器视觉机器视觉 vs vs 人类视觉人类视觉人类视觉机器视觉空间分辨力分辨率较差，不能观看微小的目标目前有4K4K的面阵摄像机和12K的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标速度0.1秒的视觉暂留使人眼无法看清较快速运动的目标快门时间可达到10微妙左右，高速像机帧率可达到1000以上，处理器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的适应性差，另外有许多场合对人有损害对环境适应性强，另外可加防护装置5机器视觉系统作用机器视觉技术机器视觉技术功能功能缩短产品缩短产品进入市场时间进入市场时间100%100%检测检测100%100%质量保证质量保证提高产量提高产量集成化生产集成化生产精确测量精确测量改进生产流程改进生产流程及时过程监控及时过程监控6机器视觉应用领域n高速检测高速检测n精确机器人导航精确机器人导航n定位及配准定位及配准n装配检测装配检测nPCBPCB检测检测n表面检测表面检测n纹理分析纹理分析n遥感遥感医学图像分析医学图像分析测量测量一维码读取一维码读取OCR&OCVOCR&OCV匹配匹配印刷检测印刷检测BlobBlob分析分析7机器视觉应用领域光学行业光学行业纸制品纸制品药物药物照相学和遥感照相学和遥感印刷印刷铁路运输铁路运输监控监控航空宇航航空宇航造船造船无线通信无线通信交通交通木材木材等等等等半导体半导体汽车制造汽车制造制陶业制陶业化学业化学业电子部件及设备电子部件及设备食品业食品业玻璃业玻璃业生命科学生命科学医学医学钢铁钢铁矿业矿业8机器视觉系统构成机器视觉系统构成模拟相机模拟相机光源CCD/CMOS图像传感器镜头被测物体模拟视频流摄像机图像采集卡图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O9机器视觉系统构成机器视觉系统构成数字摄像机数字摄像机光源CCD/CMOS图像传感器镜头被测物体图像数据数字摄像机（USB/1394a/1394b/GigE/CameraLink）图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O10机器视觉系统构成机器视觉系统构成智能摄像机智能摄像机光源CCD/CMOS图像传感器镜头被测物体模拟图像数据智能摄像机图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O11机器视觉市场n机器视觉系统中部件包括：光源、工业摄像机、图像采集卡、镜头、图像处理设备等。n机器视觉市场包括:部件生产商代理商系统集成商12机器视觉系统机器视觉系统组件组件照明光源照明光源照明光源照明光源13机器视觉系统机器视觉系统照明光源分类照明光源分类高频荧光灯卤素灯LED灯14机器视觉系统机器视觉系统照明光源对比照明光源对比15LEDLED光源特点光源特点n可制成各种形状、尺寸及各种照射角度；n可根据需要制成各种颜色，并可以随时调节亮度；n通过散热装置，散热效果更好，光亮度更稳定n使用寿命长（约3万小时，间断使用寿命更长）；n反应快捷，可在10us或更短的时间内达到最大亮度；n电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；n运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；n可根据客户的需要，进行特殊设计。16光源选型对成像影响实例光源选型对成像影响实例17照明技术：亮视野与暗视野照明技术：亮视野与暗视野暗视野暗视野亮视野亮视野杂散光杂散光直射光直射光18照明技术：低角度照明照明技术：低角度照明常应用于检测平滑表面上变化的部分如：划痕、刀痕、边缘19低角度照明应用实例低角度照明应用实例20照明技术：前向光直射照明照明技术：前向光直射照明21前向光直射照明示例前向光直射照明示例22照明技术：前向光漫射照明照明技术：前向光漫射照明23前向光漫射照明示例前向光漫射照明示例24前向光漫射照明示例前向光漫射照明示例25照明技术：背光照明照明技术：背光照明26背光照明示例背光照明示例TCLTCLTCI27照明技术：颜色与补色照明技术：颜色与补色照射物照射物白色光白色光(混合色混合色)蓝色蓝色其它颜色其它颜色被吸收被吸收28颜色与补色示例颜色与补色示例白光白光红红光光蓝光蓝光绿光绿光29照明技术：偏光技术应用照明技术：偏光技术应用偏光板偏光板偏光镜片偏光镜片光源光源A光源光源B30偏光技术应用实例偏光技术应用实例31照明技术：防外乱光技术应用照明技术：防外乱光技术应用32机器视觉系统组件机器视觉系统组件镜头镜头镜头33成像尺寸成像尺寸34焦距与视场角焦距与视场角35焦距与视场角焦距与视场角例如：使用HV1303UM拍摄视野为440mm*330mm拍摄距离为2500mm36常用公式常用公式放大率物距像距焦距物高像高37镜头分辨率镜头分辨率分辨率单位：lp/mm影响因素：镜头结构、材质、加工精度镜头的相对孔径越大，分辨率越高光波长度，波长越短分辨率越高视场中心较边缘分辨率高同档次的固定焦距镜头较变焦镜头分辨率高短焦镜头一般边缘分辨率较中心低，长焦镜头一般中心较边缘分辨率低。理想光学系统的最小分辨距离 b=(0.61)/nsinmax其中，为光的波长 n为像空间介质折射率 max为像方孔径角当镜头对无限远成像，且像方为空气时（近似计算公式）b=1.22 F 其中，F为光圈数38远心镜头远心镜头39镜头选型镜头选型分辨率焦距光圈景深成像尺寸视场角远心畸变40机器视觉系统组件机器视觉系统组件工业摄像机工业摄像机工业摄像机工业摄像机41工业摄像机分类工业摄像机分类按不同芯片类型划分：按不同芯片类型划分：1 1、CCDCCD摄像机摄像机2 2、CMOSCMOS摄像机摄像机42 CCD Sensor CCD SensorFull Frame Array SensorFull Frame Array SensorOutput(Amplifier)Serial readout register优点：填充因子(fill factor)可以达到非常高，甚至达到100%。这样Sensor灵敏度非常大。缺点：由于传输和读出使用的时钟相同，因此Sensor上面的部分曝光时间比下面的长，这会造成Smear现象。为了解决这个问题，必须使用机械快门或闪光灯。43 CCD Sensor CCD SensorFrame Transfer SensorFrame Transfer Sensor解决了Full Frame Array Sensor发生Smear现象的问题从感光部分转移到屏蔽存储区域的时间约为500us优点：在曝光时间较长的情况下，Smear现象比Full Frame Array Sensor小很多缺点：由于需要两个Sensor，因此成本非常高Light sensitiveCCD-sensorShieldedmemory areaReadout register.44 CCD Sensor CCD SensorInterline Transfer Interline Transfer SensorsSensors转移时间约为1us，因此完全不存在Smear现象。优点：由于转移时间非常短，因此不需要使用机械快门或闪光灯缺点：由于屏蔽区占用了Sensor的部分面积，因此使得此种传感器填充因子只能在20%70%添加微镜头可以增加填充因子Horizontal shift registersvertical shift registerShielded(Photo diodes)Sensor elementsOutput(Amplifier)45 Electronic shutter&Micro Lenses Electronic shutter&Micro Lenses Overflow Drain主要用来消除CCD Sensor的Blooming现象它也被用来实现电子快门通过Micro Lenses可以将传感器的填充因子提高。CCD可以从80%提高到约100%CMOS可以从30%提高到约80%46 CMOS Sensor CMOS Sensor47AOIAOI由于CMOS可直接访问单个像素，因此在AOI非常小的情况下，CMOS与CCD相比，帧率上有较大的优势。CMOS Sensor甚至可以将A/D转换集成到每个像素中去，在不使用AOI时帧率上也有优势48 CCD vs CMOS CCD vs CMOSCCDCMOS优1.图像质量高2.灵敏度高3.对比度高1.体积小2.片上数字化3.很多片上处理功能4.低功耗5.没有Blooming现象6.直接访问单个像素7.高动态范围（120dB）8.帧率可以更高劣1.Blooming2.不能直接访问每个像素3.没有片上处理功能1.一致性较差2.光灵敏度差3.噪声大49 CCD vs CMOS CCD vs CMOSCCDCMOS串行处理并行处理，可直接访问单像素线性度好高动态范围低噪声存在固定模式噪声功耗一般功耗较低集成度较低高集成度，芯片上集成了很多功能50 Interlaced Scan vs Progressive Scan Interlaced Scan vs Progressive ScanInterlaced ScanProgressive Scan51 Rolling Shutter vs Global Shutter Rolling Shutter vs Global ShutterRolling ShutterGlobal Shutter52 彩色摄像机彩色摄像机1.Bayer2.3CCD3.3Lines4.53 彩色摄像机效果对比彩色摄像机效果对比3CCDRaw ImageBayerDifference54工业摄像机接口类型工业摄像机接口类型1.1.模拟接口模拟接口2.2.CameraLinkCameraLink3.3.1394a1394a4.4.1394b1394b5.5.Usb2.0Usb2.06.6.GigEGigE7.7.EthernetEthernet8.8.55工业摄像机接口类型工业摄像机接口类型CameraLinkCameraLinkUsb2.0Usb2.01394a1394a1394b1394bGigEGigEEthernetEthernetEthernetEthernet速度Base:1.5GbpsMedium:3.8GbpsFull:5.1 Gbps480Mbps400Mbps800Mbps1000Gbps100Mbps距离10m5m4.5m4.5m100m100m优势1.带宽高2.有带预处理功能的采集设备3.抗干扰能力强1.易用2.价格低3.多相机1.易用，价格低，多相机2.传输距离远，实际线缆可达到17.5m，光纤传输可达100m3.有标准DCAM协议4.CPU占用最低1.易用，价格低，多相机2.传输距离远，线缆价格低3.标准GigE Vision协议1.易用，价格低2.传输距离远，线缆价格低缺点1.价格高2.线中不带供电1.无标准协议2.CPU占用高1.长距离传输线缆价格稍贵1.CPU占用高2.对主机配置要求高3.有时存在丢包现象1.无标准协议2.带宽过低3.CPU占用过高56PCI vs PCI-EPCI vs PCI-EPCI-32PCI-32PCI-64PCI-64PCI-ExpressPCI-Express速度133MBps266MBps1x 266MBps2x 266*2 MBps4x 266*4 MBps8x16x32x 8.25GBpsPCI Express采用的是点对点通信机制，各个插槽都将通过各自独享的通道发送和接受数据，这样就可以避免出现不同设备同时争抢系统和CPU资 源的情况。57同步采集同步采集 vs vs 异步采集异步采集58工业摄像机选型工业摄像机选型1.根据摄像机拍摄的视野以及系统需要达到的精度选择分辨率2.根据拍摄对象运动与否选择合适相机3.根据生产线速度选择合适帧率4.根据相机接口类型以及相机数量选择合适的采集卡例如：某视觉检测系统需要两个检测工位拍摄过程中工件不停止。两个工位视野相同，均为400mm*300mm。要求检测精度达到0.4mm以上。检测速度大于每分钟1000工件。59回顾回顾简简单单介介绍绍了了机机器器视视觉觉系系统统以以及及机机器器视视觉觉系系统统中中几几个个重要的组成部分，包括光源、镜头和摄像机。重要的组成部分，包括光源、镜头和摄像机。后后面面的的培培训训中中将将按按照照产产品品类类型型进进行行详详细细介介绍绍。并并且且将将细细致致地地介介绍绍与与某某产产品品类类型型相相关关的的技技术术细细节节。如如模模拟拟相相机机、13941394传传输输协协议议、GigEGigE传传输输协协议议、各各种种光光源源选型、选型、HALCONHALCON功能介绍等等。功能介绍等等。60Thank You For Your Attention!61