11--摄像机-标定教学课件.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2021/12/9 Thursday,#,Institute of Robotics and Automatic Information System,Click to edit the title text format,机器人与信息自动化研究所,Institute of Robotics&Automatic Information System,Institute of Robotics and Automatic Information System,Click to edit the title text format,单击此处编辑母版标题样式,2021/12/9 Thursday,#,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,/,机器视觉及应用,第十一章摄像机标定,主要内容,标定过程,标定原理,坐标系之间的转换关系,镜头畸变,1,、,图像,的,像素坐标,反映的是目标对象在,图像中的位置,。摄像机标定的过程是建立,真实世界三维坐标与图像上二维坐标之间的关系,。建立这种关系是利用图像进行准确测量目标对象的必要过程,。,2,、,摄像机,在安装时，如果无法保证成像平面与被测对象平行，将会导致,透视失真,。因此,，有必要对镜头进行,畸变校正,。,3,、,标定,后可以目标对象在,世界坐标系下的长度单位坐标,。建立真实世界三维坐标到图像坐标的关系包括了镜头的畸变校正。,标定原理,4,、,为了描述真实世界三维坐标与图像坐标之间的关系，需要建立,四个基本的坐标系,。分别是,世界坐标系、摄像机坐标系、像平面坐标系和图像坐标系,。,标定原理,5,、,世界坐标系,称为,绝对坐标系，是客观世界的绝对坐标。描述现实世界的目标位置常采用该坐标系来表示。,6,、,摄像机,坐标系,是,以摄像机为中心的坐标系。一般选择摄像机的光轴为,z,轴，以摄像机光心为坐标原点。,标定原理,7,、,像平面坐标,系,是成像平面上的坐标系，其坐标原点为光轴与像平面的交点，,x,轴和,y,轴的方向与摄像机坐标系的x,、,y,轴分别平行。,的,连线长度,为,，表示摄像机常量或主距，不是摄像机的焦距。,8,、,图像坐标系是以图像的左上角为原点，,u,方向与像平面坐标系的,x,轴平行，,v,方向与像平面坐标系的,y,轴平行,标定原理,1,、,标定的过程也是世界坐标系下,三维坐标到图像二维坐标的映射过程,，该映射可以用固定数量的参数来表示。这些参数也称为,摄像机参数,，标定即为确定这些摄像机参数,。,2,、,摄像机,相对于视觉坐标的位置参数称为摄像机外方位参数或外部参数，简称,外参,。摄像机本身的参数称为摄像机内方位参数或内部参数，简称,内参,。,坐标系之间的转换关系,标定原理,3,、,真实世界上,一点,需要通过摄像机坐标、像平面坐标和图像坐标转换到图像中对应点,位置,。,从世界坐标到摄像机坐标之间的转换属于,刚性变换,，就是,通过,平移和旋转,可以完成该转换。设旋转矩阵,为,R,，平移矩阵,为,T,。则世界坐标与像机坐标之间的,关系表示,如下：,坐标系之间的转换关系,标定原理,4,、,设绕摄像机坐标系,z,轴旋转的角度为,，绕,y,轴旋转角度为,，绕,x,轴旋转角度为,。因此，旋转,矩阵,R,也可以,表示,如下：,坐标系之间的转换关系,旋转矩阵,R,满足如下,约束条件,:,标定原理,5,、,由三个旋转,角度,和三个平移,距离,就决定了,摄像机,相对于世界坐标系的,位置,，因此，这六个参数就是摄像机的,外参,。,坐标系之间的转换关系,6,、,成像平面坐标系与摄像机坐标系之间的关系可以用相似三角形成比例得出,因此有：,采用矩阵表示如下：,标定原理,5,、,设图像坐标系的中心坐标,为,，,表示一个像素在,x,和,y,方向上的物理尺寸，也可以称为缩放因子，图像坐标系相对于像平面坐标系只是原点位置坐了偏移。因此，两者之间的转换关系如下：,坐标系之间的转换关系,以上即为世界坐标系到图像坐标系之间的转换,标定原理,6,、,参数,只,与摄像机内部结构有关，即为,摄像机内参,。标定过程就是确定摄像机外参和内参的过程。联立以上公式，就可以得到世界坐标到图像坐标之间的关系，写成矩阵形式如下：,坐标系之间的转换关系,标定原理,7,、,为,的投影矩阵，,有时也将,称为内参矩阵,，,称为外参矩阵。因此，,上,式,也,可以表示为,如下,所示,：,坐标系之间的转换关系,展开成方程的,形式,：,标定原理,8,、,将,上,式中第一和第二个方程分别除以第三个方程，消,去,，整理,得到,如下,所,示,方程,：,坐标系之间的转换关系,上式,只,包括了真实世界的三维,坐标,和对应的图像坐标,。,变换矩阵,有十二个参数,，如果已知,和,，选取足够多的标定点（至少,6,个标定点），则可以求解,矩阵，,从而求解出内参矩阵,和外参矩阵,。,标定原理,1,、,以上坐标转换过程为线性标定过程，,没有考虑镜头畸变造成的,影响,是,一个完整的从三维世界坐标到二维图像坐标的转换过程,。,2,、,镜头,在制造、安装过程中不可避免的会出现误差，由于这种,镜头畸变,，,导致投影,到成像平面后，坐标,将会,发生变化,。,3,、,镜头,畸变主要有,径向畸变、偏心畸变以及薄棱镜畸变,。径向畸变是指由于光学镜头的径向曲率变化引起的沿着矢径方向的,变化导致,图像变形，偏心畸变是单个镜头的光轴没有完全对齐造成的图像变形，薄棱镜畸变指镜头制造误差和成像元件制造误差引起的图像变形,。,镜头畸变,标定原理,1,、,在大部分的机器视觉应用中，镜头畸变都可以近似为基于除法模型的径向畸变。,设,，这种除法模型表示的径向畸变引起的坐标变化可以表示为如,下,式所示,：,镜头畸变,参数,k,称为径向畸变系数。如果,k0,，称为,枕形畸变,。,标定原理,2,、,除法模型可以方便的进行畸变校正。在通过图像坐标进行世界坐标的转换时，可以,通过,下式,实现,：,镜头畸变,其中：,无畸变,桶形畸变,枕形畸变,标定原理,3,、,对于某些情况如果只用径向畸变不够精确，需要加上偏心畸变。这时除法模型可能不够精确，但是，可以采用多项式模型进行畸变校正。多项式畸变校正,模型,下,式所示,：,镜头畸变,是径向畸变系数,，是偏心畸变系数，通常，,取,、，更高阶项对结果的影响可以忽略,。,标定原理,4,、,如果对除法模型的校正因子展开为几何级数，可以得到,下,式所示,：,镜头畸变,则除法模型就是没有偏心畸变的多项式模型,令,标定原理,5,、,结合像平面坐标向图像坐标的转换方式，如果加上镜头畸变校正，,可以得到如下公式：,镜头畸变,因此，加上畸变校正,系数,，摄像机的内参应该,是,六,个参数。对于针孔摄像机而言，摄像机标定即为标定六个内参和六个外参。它们决定了摄像机的方位以及世界坐标系下的三维坐标向图像坐标系下的二维坐标投影关系。,标定过程,1,、,标定过程就是确定摄像机内参和外参的过程。,从标定,原理可以知道，必须知道世界坐标系下,三维坐标与图像二维坐标之间的对应关系,。,2,、,为了,准确满足这种对应关系，一般采用容易提取特征的,标定板,来实现。标定板相对于世界坐标系的位置可以方便的,确定，,通常情况下直接将,世界坐标系的原点设置在标定板的中心位置,。,标定过程,3,、,标定板上的标识通常做成圆或方格形状。圆形结构形状可以准确的提取中心坐标，而方格形状也可以准确提取角点位置坐标。采用标定板还有一个好处是可以方便的确定标定板上的标识在图像中的对应关系,。,下,图是,halcon,中使用的标定板示意图。,halcon,中使用的标定板,标定过程,4,、,设标定板上的标识在世界坐标系下的坐标,为,，,在对应图像上提取的坐标,为,。如果给定摄像机外参和内参的初始值，则可以通过世界坐标与图像坐标之间的投影变换关系，,求解,对应在图像上的坐标。,设,L表示世界坐标与图像坐标之间的投影变换关系，相机的参数用,向量表示,，,即,则,标定过程,为,下,式所,示的优化过程。,标定过程,5,、上,式中,，,代表,标识的数量，,如圆形,标识的数量,。优化,过程是一个非线性优化过程。因此，选择好的初始值非常重要。摄像机的内参初始值可以通过其说明书得到，摄像机的外参初始值可以通过标识点投影得到的椭圆尺寸得到。,6,、,上,式不能得到摄像机的所有,参数,，,内参,具有相同的缩放因子,，外,参在在,Z,轴上的,距离,与,内参,f,同样有,相同的缩放因子,。因此,，参数,不能,得到唯一解。为了解决该问题，通常在优化过程中保持,不变,。同时，采用多幅图像进行标定标定过程,具有相同的缩放因子,具有相同的缩放因子,标定过程,7,、,除了采用多幅图像进行标定之外，还需要保证标定板图像要完全在图像视野范围内。此外，所拍摄的图像需要保证相互之间不能平行。一般在标定板水平放置的时候采集一幅图像，在四个角落位置分别绕,轴,旋转一定角度并采集一幅图像来进行标定。设采集的图形数量,为,n,，,因此,，,上,式的,优化模型修改,为,下,式所,示。如果采集的图像数量越多,，将,得到更加准确的摄像机参数。,标定过程,8,、,halcon,的标定过程,可以利用,halcon,提供的标定助手，快速完成摄像机的标定过程。,导入标定板信息文件,导入拍摄的标定板图像,标定过程,8,、,halcon,的标定过程,可以利用,halcon,提供的标定助手，快速完成摄像机的标定过程。,标定结果,标定代码插入,标定过程,例,11-1,、标定示例（略）,。,直接在,halcon,中运行例子,