工业摄像机标定.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,石鑫华视觉网,#,1,、引言：什么是摄像机标定,2,、摄像机标定方法的分类,3,、传统摄像机标定方法,摄像机标定,石鑫华视觉网,摄像机标定的目的：三维重建,三维重建：摄像机标定的主要目的，也是计算机视觉的最主要的研究方向,.(Marr 1982),，所谓三维重建就是指从图象出发恢复出空间点三维坐标的过程。,摄像机标定：建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像坐标求解摄像机的模型参数。,三维重建的三个关键步骤,摄像机标定：单个像机,图象对应点的确定：双目,二图象间摄像机运动参数的确定：单个像机运动,1,、引言,石鑫华视觉网,O,u,摄像机坐标系,x,y,v,图像坐标系,世界坐标系,1,、世界坐标系：,2,、摄像机坐标系：,3,、图像坐标系,:,坐标系,石鑫华视觉网,在 中的坐标为,象素在轴上的物理尺寸,为,Affine Transformation:,图像数字化,U,C,V,齐次坐标形式,:,其中,石鑫华视觉网,摄像机的内参数矩阵,K,石鑫华视觉网,传统摄像机标定方法,基于交比不变的摄像机畸变系数标定,2,、摄相机标定方法分类,石鑫华视觉网,1,）传统的摄像机标定方法,特点,利用已知的景物结构信息。常用到标定块。,石鑫华视觉网,1,）传统的摄像机标定方法优点,可以使用于任意的摄像机模型，标定精度高,不足,标定过程复杂，需要高精度的已知结构信息。,在实际应用中很多情况下无法使用标定块。,石鑫华视觉网,2,）,基于交比不变的摄像机畸变系数标定,特点：将畸变参数单独进行标定,优点：算法简单，与其它内外部参数分离,缺点：误差受样本点的影响,石鑫华视觉网,3,、摄像机传统标定方法,3.1,、,DLT,方法,3.2,、,RAC,方法,3.3,、张正友的平面标定方法,(ICCV,1999),石鑫华视觉网,Abdal-Aziz,和,Karara,于,70,年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。,3.1,、直接线性变换（,DLT,变换）,石鑫华视觉网,直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：,DLT,变换,其中 为图像坐标系下的点的齐次坐标，为,世界坐标系下的空间点的欧氏坐标，为 的透视投影矩,阵，为未知尺度因子。,石鑫华视觉网,DLT,变换,消去 ，可以得到方程组,:,石鑫华视觉网,当已知 个空间点和对应的图像上的点时，可以得到一个含有,2*,个方程的方程组：,DLT,变换,其中 为 的矩阵，为透视投影矩阵元素组成的,向量 。,石鑫华视觉网,DLT,变换,像机定标的任务就是寻找合适的 ，使得 为最小，即,给出约束：,为,的前,11,个元素组成的向量，为 前,11,列组成的矩阵，为 第,12,列组成的向量。,向量的比例有意义,石鑫华视觉网,摄像机内外参数求解,是正交单位矩阵的第三行，行列式为,1,石鑫华视觉网,摄像机内外参数求解,石鑫华视觉网,DLT,变换,是否合理？,约束 不具有旋转和平移的不变性,解将随着世,界坐标系的选取不同而变化,.,证明：,世界坐标系作刚性坐标变换,则,显然在一般的情况下,石鑫华视觉网,另一个约束 具有旋转和平移的不变性,DLT,变换,由,向量,是两两,垂直的单位向量,石鑫华视觉网,3.2,、,R.Tsai,的,RAC,的定标算法,80,年代中期,Tsai,提出的基于,RAC,的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除 （像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于,RAC,方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。,像机模型,径向一致约束,定标算法,石鑫华视觉网,理想图像坐标到数字图像坐标的变换（,只考虑径向偏差,）,像机模型,(,u,d,v,d,),为一个点的数字化实际坐标，（,u,v,）为理想的数字化坐标，（,u,0,v,0,）为畸变中心,（,u,0,v,0,）,(,u,d,v,d,),（,u,v,）,石鑫华视觉网,径向一致约束,在图像平面上，点 ，共线，与,直线 平行或斜率相等,.,理想透视投影成像坐标,真实透视投影成像坐标,摄像机中坐标,石鑫华视觉网,世界坐标系和摄像机坐标系的关系,像机模型,u,v,由径向约束,石鑫华视觉网,移项得：,同除以 得：,写成矢量形式得：,石鑫华视觉网,定标算法,1.,利用径向一致约束来求解 和,定标步骤,:,2.,求解有效焦距 、方向上的平移,T,3,和畸变参数,石鑫华视觉网,定标算法,步骤一,1.,求解像机外参数旋转矩阵 和 、方向上的平移和,（,1,）,（,2,）,石鑫华视觉网,（,3,）,（,4,）,石鑫华视觉网,（,5,）,确定 的符号并得到,假定 为正，在标定点中任意选取一个点，进行如下计算,若,计算,石鑫华视觉网,定标算法,步骤二,2.,求解,T,z,f,k,（,1,）,（,2,）,石鑫华视觉网,3.3,、基于交比不变的摄像机畸变系数标定,对于空间中同一直线上的四个点：,交比：,空间点透视关系：,石鑫华视觉网,对于空间四个点对应的理想图像点为：,对于空间四个点对应的实际图像点为：,石鑫华视觉网,石鑫华视觉网,张正友方法,3.4,、张正友的平面标定方法,石鑫华视觉网,张正友方法,基本原理：,在这里假定模板平面在世界坐标系 的平面上,其中，为摄像机的内参数矩阵，为模板平面上点的齐次坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量,H,石鑫华视觉网,根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束,由于摄像机有,5,个未知内参数，所以当所摄取得的图象数目大于等于,3,时，就可以线性唯一求解出,张正友方法,石鑫华视觉网,张正友方法所用的平面模板,张正友方法,石鑫华视觉网,算法描述,张正友方法,打印一张模板并贴在一个平面上,从不同角度拍摄若干张模板图象,检测出图象中的特征点,求出摄像机的内参数和外参数,求出畸变系数,优化求精,石鑫华视觉网,张正友方法,张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统,(DVS),的标定要求。,张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。,石鑫华视觉网,孟胡方法,所用的模版,3.5,、孟晓桥、胡占义的圆标定方法,石鑫华视觉网,孟胡方法,从至少三个不同方位拍摄模板图象，根据射影不变性计算出每幅图象上的圆环点像的坐标，得到关于内参数矩阵的至少六个方程，即可解出所有内参数。,石鑫华视觉网,孟胡方法,计算圆环点像的原理：,模板平面,无穷远直线,圆环点为无穷远点，它是绝对二次曲线上的一对共轭点,(1,i,00),(1,-i,0,0),是一对圆环点,石鑫华视觉网,孟胡方法,在图像上，两个圆环点的图像 被计算出，,则有：,石鑫华视觉网,孟胡方法,孟胡的方法与张的方法相比：,过程相似；,所用的模版不同，孟胡的方法基于曲线拟合（稳定），并且不需要任何匹配，而张的方法基于点，需要匹配模版的点和图像点。,石鑫华视觉网,吴等的标定方法,平行圆,：同一个平面上的圆、或平行平面上的圆。,原理,：利用摄像机成像的准仿射不变性，计算图像上二此曲线的交点，得到圆环点的图像,进而：,3.6,、吴等的平行圆标定方法,石鑫华视觉网,该方法从平行圆的最小个数出发，基于准仿射不变性，分析了所有可能情况的计算圆环点的方法,吴等的标定方法,a)The concentric case,The line at infinity,b)The inner-tangent case,The line at infinity,The line at infinity,c)The outer-tangent case,e)The separate case,The line at infinity,The line at infinity,f)The enclosing but not concentric case,The line at infinity,d)The intersecting case,共面分布：,石鑫华视觉网,吴等的标定方法,以上可进行推广到非共面的平行圆的情形,石鑫华视觉网,吴等的标定方法,利用,K,重建一个垂直角；重建平行线之间的交角,重建的垂直角,89.28,重建的平行角,0.0000475,石鑫华视觉网,吴等的标定方法,该方法和以往的基于圆的标定方法相比,:,(1).,从最小个数出发,;,(2).,计算圆环点图像简单,;,(3).,只需要从拟合的二次曲线出发,不需要任何匹配,不需要计算圆心,;,(4).,应用场合广泛,不仅仅限于平面的情形,.,可应用基于转盘的重构。,石鑫华视觉网,H.Wu,Q.Chen,T.Wada,Visual Line Estimation from a Single Image of Two Eyes.ICPR(3)2004.,应用于,:,G.Jiang,L.Quan,H.T.Tsui,Circular motion geometry by minimal 2 points in 4 images,ICCV2003.,自动化所一角,(1),视线定位,(2),基于转盘的重建,(3),车辆机器人等的定位,石鑫华视觉网,胡占义等的主动视觉标定方法,基于平面单应矩阵的正交运动方法,基于外极点的正交运动方法,4,、主动视觉标定方法,石鑫华视觉网,胡主动视觉标定方法,基于平面单应矩阵的正交运动方法原理,是摄像机一组正交的平移运动，两个单应矩阵：,满足：,石鑫华视觉网,胡主动视觉标定方法,基于平面单应矩阵的正交运动方法原理,即：，其中,五组两正交运动可完全求解,5,个内参数。,石鑫华视觉网,胡主动视觉标定方法,第,1,、,2,幅图像在第,0,幅图像的外极点分别是：,则：,基于外极点的正交运动方法原理,0,1,2,石鑫华视觉网,胡主动视觉标定方法,基于外极点的正交运动方法原理,从而：,五组两正交运动可完全求解,5,个内参数。,石鑫华视觉网,胡主动视觉标定方法,这两种主动视觉标定方法与最经典的主动视觉标定方法（马颂德的三正交运动法）相比，具有如下优点：,照相机的二正交运动比三正交运动更容易实现。,可以求解摄像机的所有,5,个内参数，马颂德的 方法可以求解,4,个内参数。,石鑫华视觉网,5.1,、预备知识：,什么是摄像机自标定？,为什么要对摄像机进行自标定？,对极几何,5.,2,、基于,Kruppa,方程的自标定方法,5.3,、基于绝对二次曲面、无穷远平面的自标定方法,5.4,、几种自标定方程的关系,5,、摄像机自标定方法,石鑫华视觉网,摄像机自标定是指不需要标定块，仅仅通过图象点之间的对应关系对摄像机进行标定的过程。,什么是自标定？,为什么要进行自标定？,实际应用的需求，主要应用场所的转移,优缺点：,优点：灵活，方便,缺点：精度不太高，鲁棒性不足,5.1,、预备知识,石鑫华视觉网,自标定的基本假设及任务,1,、假定图象点之间的对应关系已经确定。,2,一般来说，认为在拍摄不同图象时，摄像机的内参数没有发生变化,3,、所谓的自标定，就是要标定摄像机的内参数矩阵,K,石鑫华视觉网,一些预备知识,1,、点的齐次坐标,二个齐次坐标如相差一个非零因子，则这二个齐次坐标相同,2,、无穷远直线上的点,如点 为无穷远直线上的点，则,t,=0,石鑫华视觉网,一些预备知识,3,、通过二点的直线,如果 为二图象点，则通过,该二点的直线的参数向量为：,L,x,1,x,2,石鑫华视觉网,一些预备知识,反对称矩阵,（,Anti-symmetric or Skew-Symmetric matrix),给定向量 ，其对应的反对称矩阵定义为：,则对应任意的向量,b,有,石鑫华视觉网,一些预备知识,对偶原理,如果,C,为一非退化的图象二次曲线，即：,则,过,x,处的切线参数向量为：,则,代入上式可得：,对偶线坐标曲线,点坐标曲线,石鑫华视觉网,一些预备知识,l,1,l,2,l,3,l,1,l,2,l,3,对偶曲线示意图,C,点坐标曲线,对偶线坐标曲线,x,1,x,2,x,3,石鑫华视觉网,一些预备知识,欧几理得空间下的投影矩阵,如果,X,为空间某一点，两摄像机间的坐标变换为：,则,欧几理得空间下的两投影矩阵为：,K,为摄像机的内参数矩阵,其中,X,为空间点，,m,l,m,r,对应于,X,的一对图象对应点,投影关系,石鑫华视觉网,一些预备知识,对极几何,（,Epipolar Geometry),o,I,I,M,o,m,m,e,e,l,l,N,石鑫华视觉网,一些预备知识,基本矩阵的推导及形式,F,的秩为,2,，,F,在相差一个常数因子下是唯一确定的。,F,可以通过,8,对图象对应点线性确定。,石鑫华视觉网,一些预备知识,对极几何的一些代数性质,基本矩阵和外极点的关系,所有的外极线都过对应的外极点，外极点是光心连线与图象平面的交点。对应外极线束构成一射影变换,如果,m,位于极线,l,上，,n,位于极线,l,上，,m,n,不一定是对应点,下述关系仍然成立：,石鑫华视觉网,一些预备知识,石鑫华视觉网,一些预备知识,中心投影下，如果射影平面与空间曲线相切，则射影平面与图象平面的交线必与空间曲线在图象平面上的投影曲线相切,图象平面,空间曲线,石鑫华视觉网,一些预备知识,绝对二次曲线,摄像机自标定的参考标定物,绝对二次曲线是无穷远平面上的一条二次曲线，它的数学定义为：,石鑫华视觉网,一些预备知识,绝对二次曲线在图象上投影的性质,绝对二次曲线的象仅与摄像机的内参数有关，与摄像机的运动参数无关,从定义,X,T,X,0,知，,给定正定矩阵 ，则,K,可以通过,Cholesky,分解唯一确定,石鑫华视觉网,自标定的基本思路,通过绝对二次曲线建立关于摄像机内参数矩阵的约束方程，称之为,Kruppa,方程,求解,Kruppa,方程确定 矩阵,C,通过,Cholesky,分解得到矩阵,K,如何进行,石鑫华视觉网,推导,Kruppa,方程的示意图,5.2,、基于,Kruppa,方程的自标定方法,石鑫华视觉网,Kruppa,方程,x,为位于,l,l,上的任意一点，则,则,则,对偶,石鑫华视觉网,w,的组成形式,对偶曲线,石鑫华视觉网,关于,Kruppa,方程的几点说明,1,、在,Kruppa,方程中，,F,e,为已知数，,w,为未知数,2,、,w,有,5,个独立未知变量,3,、每个,Kruppa,方程最多可以提供,2,个关于未知变量的独立约束，约束方程为,5,元二次方程,4,、每对图象可以得到一个,Kruppa,方程，故至少需要,3,对图象来标定摄像机，且摄像机的内参数必须保持不变,5,、假定内参数都在变，任意两幅图像间有两个独立的,Kruppa,方程，则,N,(=3),幅图像之间有,N,(,N,-1),个,Kruppa,方程，其中只有,5,N,-9,个方程是独立的。,石鑫华视觉网,绝对二次曲面,将世界坐标系取作第一个摄像机的坐标系，则绝对二次曲面是：,其中,K,1,是第一个摄像机的内参数，,a,是无穷远平面的法向量。,5.3,、基于绝对二次曲面、无穷远平面的自标定方法,石鑫华视觉网,绝对二次曲面定标方程,是射影重建，则有：,石鑫华视觉网,无穷远平面的单应矩阵,是射影重建，第,1,幅和第,i,幅图像之间的无穷远平面的单应矩阵是：,石鑫华视觉网,基于无穷远平面单应矩阵的标定方程,方程是：,x,m,m,e,e,H,3,3,石鑫华视觉网,基于绝对二次曲面的标定方程与基于无穷远平面的标定方程完全等价。,由绝对二次曲面的标定方程或无穷远平面的标定方程可以推出,Kruppa,方程。反之，对,Kruppa,方程添加一个方程后，可以推出绝对二次曲面的标定方程或无穷远平面的标定方程。,5.4,、几种自标定方程的关系,石鑫华视觉网,