机器视觉高精度协同测量方法及应用.ppt

许増朴许増朴 机器视觉高精度协同测量方法机器视觉高精度协同测量方法及应用及应用2012-10-172012-10-17 北京北京纲要纲要1、机器、机器视觉协视觉协同同测测量的概念量的概念2、机器、机器视觉视觉高精度高精度协同协同测测量的意量的意义义3、机器、机器视觉视觉两两级协级协同同测测量方法量方法4、机器、机器视觉视觉两两级协级协同同测测量方法的量方法的应应用用5、其它、其它协协同同检测检测的的应应用用实实例例1 机器机器视觉协视觉协同同测测量的概念量的概念 多个机器视觉传感器或机器视觉传多个机器视觉传感器或机器视觉传感器与其它传感器协同完成测量任务的感器与其它传感器协同完成测量任务的过程称为协同测量过程称为协同测量 协协同用同用视觉传视觉传感器的种感器的种类类 点视觉信息点视觉信息 激光位移传感器激光位移传感器一维视觉信息一维视觉信息 线阵线阵CCD传感器传感器二维视觉信息二维视觉信息 面阵面阵CCD传感器传感器三维视觉信息三维视觉信息 立体视觉传感器立体视觉传感器颜色信息颜色信息 彩色彩色CCD传感器传感器等等纲要纲要1、机器、机器视觉协视觉协同同测测量的概念量的概念2、机器、机器视觉视觉高精度高精度协同协同测测量的意量的意义义3、机器、机器视觉视觉两两级协级协同同测测量方法量方法4、机器、机器视觉视觉两两级协级协同同测测量方法的量方法的应应用用5、其它、其它协协同同检测检测的的应应用用实实例例3 机器机器视觉视觉高精度高精度协同协同测测量的意量的意义义 由于不同机器视觉传感器的特点和精度由于不同机器视觉传感器的特点和精度不同，在解决生产过程中的高精度测量问题时，不同，在解决生产过程中的高精度测量问题时，必须合理地选择和安排传感器，进行协必须合理地选择和安排传感器，进行协同工作，才能有效地发挥机器视觉的作用。同工作，才能有效地发挥机器视觉的作用。3 机器机器视觉视觉高精度高精度协协同同测测量的意量的意义义目前机器视觉成像传感器在做精密测量时，存在问题如下：目前机器视觉成像传感器在做精密测量时，存在问题如下：1、传感器像素分的辨力有限、传感器像素分的辨力有限 2、传感器景深范围有限、传感器景深范围有限 3、传感器视野范围有限、传感器视野范围有限 4、传感器调焦范围有限、传感器调焦范围有限 5、传感器光圈调整范围有限、传感器光圈调整范围有限 6、传感器构造、传感器构造3D测量系统复杂测量系统复杂 7、传感器存在镜头畸变；等、传感器存在镜头畸变；等 这些都是导致机器视觉测量时精度不能满足生产需要的主要因素这些都是导致机器视觉测量时精度不能满足生产需要的主要因素3 机器机器视觉视觉高精度高精度协协同同测测量的意量的意义义不同视觉传感器具有不同的精度（取目前典型值）：不同视觉传感器具有不同的精度（取目前典型值）：点视觉激光位移传感器点视觉激光位移传感器 轴向再现性轴向再现性 0.2 m 光点直径光点直径2 m 一维线阵一维线阵CCD传感器传感器 像素尺寸像素尺寸 3.75 m （大于）（大于）二维面阵二维面阵CCD传感器传感器 像素尺寸像素尺寸 3.75 m（大于）（大于）三维光栅视觉传感器三维光栅视觉传感器 分辨力分辨力 3.75 m（大于）（大于）彩色彩色CCD传感器传感器 像素尺寸像素尺寸 3.75m （大于）（大于）3 机器机器视觉视觉高精度高精度协协同同测测量的意量的意义义 需要对加工精度要求满足需要对加工精度要求满足1m的机械零件进行的机械零件进行 非接触测量，检查是否满足公差要求，虽然面阵非接触测量，检查是否满足公差要求，虽然面阵CCD 传感器可快速成像、测量，但精度不能满足要求。显传感器可快速成像、测量，但精度不能满足要求。显 然单纯使用面阵然单纯使用面阵CCD传感器一般是难以完成高精度测传感器一般是难以完成高精度测 量工作的。量工作的。为解决快速、高精度测量问题，必须结合各自传为解决快速、高精度测量问题，必须结合各自传 感器的优缺点，加以辅助装置，协同测量，方可实现感器的优缺点，加以辅助装置，协同测量，方可实现 完成高精度测量任务。完成高精度测量任务。纲要纲要1、机器、机器视觉协视觉协同同测测量的概念量的概念2、机器、机器视觉视觉高精度高精度协同协同测测量的意量的意义义3、机器、机器视觉视觉两两级协级协同同测测量方法量方法4、机器、机器视觉视觉两两级协级协同同测测量方法的量方法的应应用用5、其它、其它协协同同检测检测的的应应用用实实例例3 机器视觉两级协同测量方法机器视觉两级协同测量方法基本原理：基本原理：如下图所示，先利用视觉传感器完成第一级测量（定如下图所示，先利用视觉传感器完成第一级测量（定位），然后引导高精度传感器到指定的测量区域，以完成第二级精位），然后引导高精度传感器到指定的测量区域，以完成第二级精密测量。测量过程如图所示：密测量。测量过程如图所示：机器视觉两级协同测量原理图机器视觉两级协同测量原理图3 机器视觉两级协同测量方法机器视觉两级协同测量方法 方法（方法（1 1）：在对测量精度要求）：在对测量精度要求5m左右的工件测量时，左右的工件测量时，第一级采用面阵视觉传感器负责定位和引导；第一级采用面阵视觉传感器负责定位和引导；第二级采用激光传感器负责高度的精密测量。第二级采用激光传感器负责高度的精密测量。（高精度（高精度x-y平台带动激光传感器进行测量）平台带动激光传感器进行测量）。3 机器视觉两级协同测量方法机器视觉两级协同测量方法 方法（方法（2 2）：）：对于大物体上小尺寸缺陷的测量，可采对于大物体上小尺寸缺陷的测量，可采 用两个分辨力或镜头放大率不同的视觉用两个分辨力或镜头放大率不同的视觉 传感器相互配合，第一级负责全局测量定传感器相互配合，第一级负责全局测量定 位，驱动平台带动第二级传感器对物体位，驱动平台带动第二级传感器对物体 表面小尺寸缺陷或其它参数进行表面小尺寸缺陷或其它参数进行快速、快速、高精度高精度测量。测量。纲要纲要1、机器、机器视觉协视觉协同同测测量的概念量的概念2、机器、机器视觉视觉高精度高精度协同协同测测量的意量的意义义3、机器、机器视觉视觉两两级协级协同同测测量方法量方法4、机器、机器视觉视觉两两级协级协同同测测量方法的量方法的应应用用5、其它、其它协协同同检测检测的的应应用用实实例例 4 机器视觉两级协同测量方法应用机器视觉两级协同测量方法应用倒角齿轮倒角齿轮单齿局部放大图单齿局部放大图 左图为汽车倒角齿轮，右图为其局部放大图。右图中的左图为汽车倒角齿轮，右图为其局部放大图。右图中的3条白条白色线为待测量的三个截面，即激光位移传感器的测量路径。色线为待测量的三个截面，即激光位移传感器的测量路径。汽车齿轮倒角的测量汽车齿轮倒角的测量 面阵图像传感器面阵图像传感器测量测量速度快速度快，但，但测量精度较低测量精度较低，而，而点视觉激光位移传感器点视觉激光位移传感器测量精度高测量精度高，但测量，但测量速度慢速度慢，该，该项目结合以上两种传感器的优缺点，利用前面提出的快项目结合以上两种传感器的优缺点，利用前面提出的快速两级视觉速两级视觉3D3D表面轮廓高精度协同测量方法，已成功将表面轮廓高精度协同测量方法，已成功将应用于汽车齿轮倒角轮廓的测量。应用于汽车齿轮倒角轮廓的测量。4 机器视觉两级协同测量方法应用机器视觉两级协同测量方法应用测量系统的结构图测量系统的结构图 1.X-Y1.X-Y方向移动平台；方向移动平台；2.2.激光传感器；激光传感器；3.3.视觉传感器；视觉传感器；4.4.大理石平台；大理石平台；5.5.被测齿轮；被测齿轮；6.6.LEDLED背光灯箱；背光灯箱；7.7.控制箱；控制箱；8.8.打印机；打印机；9.9.微型计算机微型计算机测量步骤测量步骤1.1.利用面阵图像传感器和标定板完成测量系统的利用面阵图像传感器和标定板完成测量系统的标定标定。2.2.将齿轮放置在将齿轮放置在LEDLED背光灯箱上，拍摄齿轮的背光图像。背光灯箱上，拍摄齿轮的背光图像。3.3.计算机完成图像处理，计算机完成图像处理，通过标定算法定位齿轮待测齿的位置。通过标定算法定位齿轮待测齿的位置。4.4.计算机发出指令驱动高精度计算机发出指令驱动高精度XYXY平台平台携带激光器到达测量位置携带激光器到达测量位置，并按要求的测量轨迹完成测量。并按要求的测量轨迹完成测量。5.5.计算机完成数据处理，并通过打印机输出测量报告。计算机完成数据处理，并通过打印机输出测量报告。测量参数测量参数成型截面夹角成型截面夹角W W成型面交线到指定面的距离成型面交线到指定面的距离A A单齿的俯视图单齿的俯视图一个截面的后视图一个截面的后视图倒角轮廓测量要求倒角轮廓测量要求左图为齿轮的一个轮齿的示意图，左图为齿轮的一个轮齿的示意图，O O为为齿轮中心（圆心），直线齿轮中心（圆心），直线ABAB为激光器测为激光器测量的路径，量的路径，CPDCPD为轮齿的齿顶圆上的圆为轮齿的齿顶圆上的圆弧，弧，P P为圆弧中点，为圆弧中点，CDCD为弦。为弦。已知条件：已知条件：OP1长度已知，长度已知，AB长度已知长度已知测量要求：测量要求：1.AB垂直垂直OP，且可测量齿轮上的任意一个轮齿。，且可测量齿轮上的任意一个轮齿。2.激光器测量高度，即激光器测量高度，即z坐标，坐标，XY坐标即坐标即XY平平 台移动的距离决定。台移动的距离决定。测量路径示意图测量路径示意图系统标定方法系统标定方法 由于由于测量系统利用第一级图像传感器进行定位，因测量系统利用第一级图像传感器进行定位，因此需进行此需进行标定标定。在单目视觉标定中，物平面上任意一点。在单目视觉标定中，物平面上任意一点的齐次坐标与像平面中像素坐标的齐次坐标与像平面中像素坐标(u,v)(u,v)之间的关系，可由之间的关系，可由一个一个3 3*3 3的的标定矩阵标定矩阵确定。确定。(1)其中，W为任意系数，系数测求方法系数测求方法将(1)式展开可得：(2)由由(1)(1)式可知，标定矩阵中有式可知，标定矩阵中有8 8个待定系数，因此可个待定系数，因此可通过通过4 4个点的真实位置及其在图像上的位置坐标，个点的真实位置及其在图像上的位置坐标，即可确定标定矩阵。然后即可通过标定矩阵计算即可确定标定矩阵。然后即可通过标定矩阵计算图像上任意一点所对应的真实位置。图像上任意一点所对应的真实位置。圆心定位方法圆心定位方法 左图为面阵图像传感器拍摄的齿轮图像，利用左图为面阵图像传感器拍摄的齿轮图像，利用计算机进行图像处理，通过边缘检测算法提取齿根计算机进行图像处理，通过边缘检测算法提取齿根圆上的一部分点在图像像素坐标系下的坐标，这些圆上的一部分点在图像像素坐标系下的坐标，这些点的坐标的集合记作点的坐标的集合记作D D。其中任意一点。其中任意一点DiDi（ui ui，vi vi）距圆心距离为距圆心距离为ri ri，拟合圆面积为，拟合圆面积为Si Si，圆心坐标为（，圆心坐标为（a a，b b），标准圆半径为），标准圆半径为r r，面积为，面积为S S，则面积误差：，则面积误差：(3)齿轮图像齿轮图像圆心定位方法圆心定位方法误差的平方和函数：误差的平方和函数：(4)对对(4)式求偏导，并使之为式求偏导，并使之为0，可得：，可得：(5)圆心定位方法圆心定位方法求得拟合圆的圆心坐标：求得拟合圆的圆心坐标：(6)其中：其中：圆拟合效果圆拟合效果齿根圆拟合效果图齿根圆拟合效果图左图中，白线为齿根圆的左图中，白线为齿根圆的拟合效果图，由图可见，拟合效果图，由图可见，拟合圆与真实的齿根圆一拟合圆与真实的齿根圆一致。致。测量路径规划测量路径规划测量路径示意图测量路径示意图 测量路径示意图中，圆心测量路径示意图中，圆心O O点在图像像点在图像像素坐标系下的坐标可由素坐标系下的坐标可由(6)(6)式求出。当用户式求出。当用户在齿轮图像上选择待测轮齿时，可用鼠标在齿轮图像上选择待测轮齿时，可用鼠标点击该齿，此时，计算机程序即可在鼠标点击该齿，此时，计算机程序即可在鼠标点击点的局部小范围内搜索该齿的齿顶圆点击点的局部小范围内搜索该齿的齿顶圆圆弧上的点，圆弧上的点，并最终找到圆弧的两个端点并最终找到圆弧的两个端点C C和和D D。求得求得C C点和点和D D点后，便可求出点后，便可求出弦弦CDCD的中点的中点P2P2的坐标的坐标，因为，因为O O、P1P1、P2P2和和P P四点共线，即可求得直线四点共线，即可求得直线OPOP的方程，其斜率记作的方程，其斜率记作K K测量路径规划测量路径规划 将将O O点和点和P2P2点在图像像素坐标系下的坐标点在图像像素坐标系下的坐标代入标定算法代入标定算法(2)(2)式，即可求得两点的真实坐式，即可求得两点的真实坐标，分别记标，分别记O(Ox,Oy),P2(P2x,P2y)O(Ox,Oy),P2(P2x,P2y)。直线。直线OP1OP1的长度为已知，记作的长度为已知，记作L L，则在左图所示坐标，则在左图所示坐标系中可求得系中可求得P1P1坐标坐标 (P1x,P1y)(P1x,P1y)(7)物平面坐标图物平面坐标图直线直线ABAB与与OP1OP1垂直，且垂直，且ABAB长度已知，直线长度已知，直线ABAB斜率记作斜率记作K1K1测量路径规划测量路径规划则则A点坐标点坐标(Ax,Ay)为：为：类似的，可以求出类似的，可以求出B点坐标点坐标(Bx,By),至此，即可驱动至此，即可驱动XY平台携带高精度激光位移传感器沿直线平台携带高精度激光位移传感器沿直线AB完成单截完成单截面测量。面测量。数据处理及测量报告输出数据处理及测量报告输出 系统使用测量精度达系统使用测量精度达0.10.1 m m的激光位移传感器测量高的激光位移传感器测量高度信息度信息(zz坐标坐标),),利用面阵图像传感器的快速定位的优点，利用面阵图像传感器的快速定位的优点，通过计算机程序驱动通过计算机程序驱动XYXY平台携带激光器快速到达测量位平台携带激光器快速到达测量位置，完成测量置，完成测量。数据处理时，数据处理时，XYXY平面内的数据坐标可由精度达平面内的数据坐标可由精度达1 1 m m的的高精度高精度XYXY平台走过的距离确定，配合激光器采集的平台走过的距离确定，配合激光器采集的Z Z坐坐标信息，即可完成被测物体表面轮廓的标信息，即可完成被测物体表面轮廓的三维测量三维测量。数据处理及测量报告输出数据处理及测量报告输出轮齿单截面测量图轮齿单截面测量图 轮齿多截面测量三维图轮齿多截面测量三维图 测量结果输出：测量结果输出：测量系统通过将测量系统通过将XYXY平台运动数据和由激平台运动数据和由激光器采集到的数据结合，可实现对轮齿的单截面测量和光器采集到的数据结合，可实现对轮齿的单截面测量和多截面三维测量，测绘图如下所示：多截面三维测量，测绘图如下所示：纲要纲要1、机器、机器视觉协视觉协同同测测量的概念量的概念2、机器、机器视觉视觉高精度高精度协同协同测测量的意量的意义义3、机器、机器视觉视觉两两级协级协同同测测量方法量方法4、机器、机器视觉视觉两两级协级协同同测测量方法的量方法的应应用用5、其它、其它协协同同检测检测的的应应用用实实例例6 其它机器视觉协同检测实例其它机器视觉协同检测实例 在机器视觉检测过程中，多传感器的协同工作，可在机器视觉检测过程中，多传感器的协同工作，可以根据不同的需要和要求，从不同角度进行协同和信息以根据不同的需要和要求，从不同角度进行协同和信息的融合，目的是全面获得被测对象相关的重要信息。的融合，目的是全面获得被测对象相关的重要信息。以下是几个参考应用实例，它们来自以下是几个参考应用实例，它们来自Machine Vision System Design（1）利用）利用远远心心镜头镜头的的视觉传视觉传感器感器协协同同检测检测 多摄像机协同检测试管质量多摄像机协同检测试管质量参考2011-2视觉系统设计 （1）利用）利用远远心心镜头镜头的的视觉传视觉传感器感器协协同同检测检测底部和侧面视觉传感器使用了不同颜色的LED照明，避免了检测时光的影响（1）利用）利用远远心心镜头镜头的的视觉传视觉传感器感器协协同同检测检测（2）利用）利用X射射线视觉传线视觉传感器感器协协同同检测检测多光谱（多光谱（X射线）视觉检测引导猪肉分割射线）视觉检测引导猪肉分割参考2011-7视觉系统设计（2）利用）利用X射射线视觉传线视觉传感器感器协协同同检测检测 谢谢！谢谢！