基于单目视觉的标定.doc

稻草人自动化培训

基于Eye‐To‐Hand 的单目视觉的标定
要想让工业机器人抓取到目标物体，首先就要确定目标物体的位置。本章所研究的
单目视觉的标定就是为了确定目标物体的位置。主要研究内容分为两个部分：目标物体
图像坐标的获取与处理和目标物体图像坐标到世界坐标系下的坐标的转换。
3.1 目标物体图像的获取与处理
3.1.1 单帧图像的获取
ARTCAM 130MI CCD 摄像机通过USB 2.0 接口输出到计算机中的是数字信号，并
且可以通过计算机来完成采集视频中的单帧图像（数字图像），数字图像在计算机中是以二维数组M×N 的形式存储起来的，M 表示图像在水平方向上的像素点个数，N 表示图像在垂直方向上的像素点个数。M×N 也就是该单帧图像像素的大小。
本实验用的视觉控制软件是通过调用安装在计算机中的相机驱动程序中的CACamMI130Sdk:: Capture ( ) 这个接口函数，来完成摄像机单帧图像的采集。
3.1.2 图像的处理
图像处理部分主要实现了图像的灰度化、图像的二值化、图像轮廓的提取以及中心
点的生成等功能模块。
3.1.2.1 图像的灰度化
图像的灰度化就是将彩色图像转化为黑白图像。因为转化为黑白图像后，就会更容
易对所采集的数字图像进行后续的处理和运算，所以在视觉图像处理中经常会把采集到的彩色图像转化成灰度图像[18]。3.1.2.2 图像的二值化
在实现了图像的灰度化操作之后，我们还要对图像进行二值化操作。图像的二值化
就是在显示图像时，图像只显示有两种颜色，通常都是黑色和白色。图像二值化的方法有很多种，较常用到的是阈值判别法[26]。
阈值判别法就是通过区分灰度图像中各个像素点亮度值的大小来判定该像素点二
值化后是白色或是黑色。当我们使用阈值判别法来对灰度化后的图像进行二值化时操作时，就需要给定一个具体的判别数值，当灰度图像中的像素点亮度值小于这个设定值时，就把像素点设置成为黑色，而当图像中的像素点亮度值大于这个设定值时，就会把像素点设置成为白色[26]。
阈值的选取方法分为自动和手动阈值选取法在自动阈值选取法中，首先是对灰度
图像进行扫描，再根据得到的图像中点的亮度情况，自动地为其设定了一个阈值。而手动阈值得设定比较简单，就是通过人为的设定一个阈值，但这就需要我们在设定之前对整个图像中各部分的亮度有大致地了解。在本实验中，工件为白色，工作台是是深灰色，色差很大，所以采用手动选取阈值的方法。
3.1.2.3 图像轮廓的提取和中心点的生成
实现了图像的二值化后，就要对图像进行分析运算，进行边缘的检测、轮廓的提取
以及图像轮廓中心点的提取。
在 OpenCV 中通过调用接口函数 int cvFindContours( ) 来实现对轮廓的提取，通
过调用CvRect cvBoundingRect( CvArr* points, int update=0 )来实现对中心点的提取。
3.2 单目摄像机的标定
摄像机的标定就是来确定摄像机的内外参数。摄像机标定的途径就是根据确定的摄
像机模型，通过已知若干特征点的图像坐标和该这些特征点的世界坐标这两组坐标值来求解摄像机的内外参数。本实验中工作台平面与安装的摄像机的位置关系为摄像机的轴心垂直于工作台平面且安装在正中央的位置，鉴于工件不高且工作台也不大的特点，这样因为摄像机的安装误差引起的图像的畸变就会较小，工件不高就会使图像采集到的目标物体上表面的中心位置与理论需求的下表面的中心位置的误差就会较小。而对于本实验这将是目标物体定位误差产生的主要原因。所以本实验选用单目平面视觉也足够满足实验要求。基于单目平面视觉的标定简单，并且不用考虑CCD 摄像机的内参数，只需计算出CCD 摄像机的外参数就可以完成摄像机的整体标定。这样摄像机的位姿相对于机器人基坐标系就是不变的，这样相机安装位置标定好后，就是常值。3.2.1 坐标系的定义在对线性摄像机进行标定的过程中，一般需要建立世界坐标系、摄像机坐标系和图像坐标系这三个坐标系，这三个坐标系的相互位置关系如图3.2 所示，在平面视觉中，标定用的更多的是图像坐标系和世界坐标系。世界坐标系（XW，YW，ZW）是在外部环境中选择的一个基准坐标系，用来描述目标物体的位置，可以根据描述和计算的方便等原则自由选取，在机器人视觉标定中我们把世界坐标系设为机器人的基座标系。当中的任一点都用（xw，yw，zw）表示。这样对于选取线性摄像机模型，选择机器人基坐标系为摄像机标定的世界坐标系可以大大简化数学表达式和简化标定操作。
摄像机坐标系（XC，YC，ZC）是将坐标原点设在摄像机镜头光心OC 上，两个坐标
轴XC、YC 轴平行于图像平面，另一个轴ZC 轴则垂直于图像平面。与图像平面的交点在图像坐标系上的坐标为（u0，v0）即摄像机的主点。摄像机的主点一般位于图像平面的中心处，但出于摄像机的制作原因，有时也会有偏离，因此在需要进行精确的摄像机标定时，摄像机主点坐标的两个参数也是需要标定的。而焦距f 表示的就是摄像机镜头光心到摄像机主点之间的距离。对于图像中的任一点,我们就用（u，v）表示。图像坐标系（u，v）则是定义在二维图像上的一个直角坐标系，分为以像素为单位和以物理长度（如毫米）为单位两种表示方式，分别用（u，v）和（x，y）表示，如图3.3 所示，图像坐标系中，以像素为单位的坐标系的原点定义在图像的左上角，以物理长度为单位的坐标系的原点定义在图像的中心。
3.2.2 摄像机模型的建立
摄像机模型是光学成像几何关系的简化，其中最简单的模型是线性模型（或称针孔
模型）。线性模型成像关系为线性，是最常用的理想模型。
ARTCAM 130MI CCD 摄像机采集的图像通过以数字信号的形式输入到计算机，每一个数字图像在计算机内都是以一个M×N 数组的形式存储起来，数组中的每一个元素就代表一个像素，每一个元素的数值就是图像点的亮度，也称为灰度。如图3.3 所示，在图像上定义了一个以像素为单位的直角坐标系uv，每一像素的坐标(u，v)分别代表该像素在数组中的列数与行数。(u，v)是以象素为单位的图像坐标系的坐标。由于(u，v)只表示象素位于数组中的列数与行数，但这样就会缺少用物理单位表示出该象素在图像中的位置的表示，因此，这就需要再建立一个以物理单位来表示图像点位置的图像坐标系X O1Y。这个坐标系的原点定义在摄像机中心轴与图像平面的交点上，且这个点一般位于图像的中心，但由于摄像机制作精度的原因，也可能会有一定的偏离，在本实验摄像机的标定过程中，我们设这个点在图像的中心。
两个坐标轴 x 轴、y 轴分别与u 轴、v 轴平行，如图4.3 所示。在图像坐标系中，若O1 在u，v 坐标系中的坐标为(u0，v0)，每一个像素在x 轴与y 轴方向上的物理尺寸为dx，
dy，则图像中任意一个象素在两个坐标系下的坐标有如下关系:
我们用齐次坐标与矩阵形式就可以将上面两个方程式表示为:
3.2.3 坐标变换
在实际使用摄像机进行标定的过程中，空间点的成像过程必然涉及到图像坐标
系和世界坐标系之间或者是摄像机坐标系、图像坐标系和世界坐标系三者之间的相互转化。因为本实验采用的是平面视觉，这里我们就重点来研究平面视觉相关的二维坐标变换的公式和坐标变换的相关特性。
对于二维坐标变换，我们将图像坐标系O' X 'Y '投影到世界坐标系的 OXY平面上，得到如下图所示的两个坐标系 OXY 和O' X 'Y '。其中点( ) 0 0 x , y 表示图像坐标系的原点的在世界坐标系的O’点在世界坐标系的OXY 面上的平面坐标，两坐标系之间的
夹角为θ。则这两个坐标系 OXY 和O' X 'Y '之间的变换可以看作是通过旋转和平移这两步来完成的。这时我们也可以称θ为旋转角。这里我们来研究先旋转再平移的坐标变换。
图经过简单的数学运算，可以得出同一点在两个不同坐标系表示上的数学关系方程
式：
将其转化为矩阵的形式就可以表示成如下形式：
（3-3）
为更进一步简化上面的矩阵公式，在这里引入齐次坐标形式。引入齐次坐标后，上
式就可以表示为如下形式：
当我们将坐标变换从二维平面扩展到三维空间时，此时的旋转角将不再是一个平面
角而是一个空间角，平移量也不再是一个平面的二维向量而是一个空间的三维向量。对于空间的旋转角，可以将它分解为在YOZ、XOZ、XOY 三个平面上的旋转角，分别表示绕 x 轴，y 轴和z 轴的旋转角度。
绕 X 轴旋转所对应的旋转变换矩阵表示为：

绕 Y 轴旋转所对应的旋转变换矩阵表示为：

绕 Z 轴旋转所对应的旋转变换矩阵表示为：

这里设新坐标系的原点O’在旧坐标系中的坐标为( , , ) x y z O O O ，则可以得出最终的、坐标变换的齐次坐标形式:

3.3 标定实验
3.3.1 选取标定参照物
一般的摄像机标定方法都需要用到标定参照物，就是在标定时在摄像机前放一个已
知形状与尺寸的物体。常见的有基于圆形特征标定物、棋盘标定物、立方体标定物等[19-24]，本文中选用的标定参照物为圆形特征的平面模板，如图3.7 所示，这是由JanneHeikkilä 提出的一种新的标定技术，这种模板是以圆孔中心为标定参照点，相对于其他平面标定参照物而言，优点是圆形标定物具有制作简单，圆孔中心坐标对图像处理中的阈值化操作不敏感，几何意义清晰，无需特征对应，标定精度高等。
3.3.2 选取工件坐标系
实验时，我们首先要选取一个工件坐标系来描述工件的位姿信息。选取方法如下：
画出标定板的两条中心对称线，这将贯穿中心线所经过的一系列圆的圆心，并且两
条中心线的重合点将是标定板中心圆的圆心。再将标定板放在工作台上，调整到摄像机的视场之中，在计算机视觉软件中打开视频图像窗口的图像坐标系显示线，调整标定板的两条中心线与视频窗口中的图像坐标系显示线中心重合，如图3.8 所示。
图3.8
在这个过程中，是通过在机器视觉控制界面中的视频窗口观察进行操作调整的。两
条中心线重合后，将标定板固定不动，此时标定板上的这个中心点也就是我们选取的工件坐标系的圆点，Z 轴垂直于标定板的平面方向向上，X 轴和Y 轴就经过标定板上的两条中心线。X 轴、Y 轴正方向的选择原则就是尽量减小工件坐标系与机器人基坐标系X轴、Y 轴正方向的夹角。这样选取工件坐标系的好处是图像坐标系与工件坐标系的XOY 面在图像上的投影是重合的，这样在图像坐标系中这样就简化了运算过程，减小了标定误差。
3.3.3 计算摄像机的外参数dx 和dy
选取了标定参照物和工件坐标系后，就可以对摄像机采集的图像的每一个像素对应
在工件坐标系下XOY 面上的物理尺寸dx 和dy 进行计算。
由标定板我们可以测量到每相邻两个圆的圆心之间的距离为 38cm，X 轴、Y 轴所
在直线上我们均选取距离最远的两个圆之间的距离和像素值作为计算参考，这样可以减小计算误差。经测得在世界坐标系中：
X 轴所在直线上最远的两个圆之间的距离值x L 为：6×38mm；
Y 轴所在直线上最远的两个圆之间的距离值y L 为：4×38mm；
在图像坐标系中
X 轴所在直线上最远的两个圆之间的像素数x N 为：938；
Y 轴所在直线上最远的两个圆之间的像素数y N 为：626；
知道以上四个量之后，我们就可以得到图像的一个像素对应在工件坐标系下XOY
面上的物理尺寸

3.3.4 确定工件坐标系和机器人基坐标系的空间关系
在确定了工件坐标系和每一个像素在工件坐标系XOY面上的物理尺寸dx、dy 之后，还需要知道工件坐标系原点与机器人基坐标系原点的偏移量和各个坐标轴的旋转角度，才能将物体在工件坐标系中的位姿转化到在机器人基坐标系下的位姿。本文中通过采用如下方法来获取工件坐标系相对机器人基坐标系的偏移矢量和旋转矢量。首先，在工件坐标系的 XOY 面上选取一系列的特定点，本文中选取的特定点是经过两条轴线的11 个圆的圆心。直接选择工件坐标系X 轴和Y 轴上的点作为特定点的好处是，计算简单且结果更直观。再通过操作机器人对其进行机器人基坐标系下的定位。由于机器人手爪中心点和特定点不容易对齐，这里就用一个直径大小跟标定板上的圆直径大小差不多的圆柱体作为中间者，便于观察。再通过对每个选定的点进行重复定位来减小机器人的定位误差。本文标定实验中选取的圆柱体高为80mm，直径20mm。用机器人对每个选定点重复定位5 次取平均值。这里需要注意的是，此时定位点不再是工件坐标系XOY 面上的点，而是圆柱体的上表面的圆心，并且用机器人对其定位时，尽量使圆柱体的上表面和机器人手爪的上表面在同一个平面上。再根据实验的顺序依次对应
标定板上的标定圆，并为其编号排序（如图3.9 所示），所得的数据如表所示：表3.1 圆柱在选定点处上表面的圆在机器人基坐标系下的位置信息表
由图3.8 和图3.9 可知，1 号定位点所对应的就是工件坐标系XOY 的原点，此时表中列出的X 值和Y 值就是工件坐标系原点相对于机器人基座标系原点的X 轴方向和Y轴方向的偏移量，记为detX = +795.705mm ,detY = +12.358mm 。而Z 轴方向的偏移量
detZ =+72.314-80=-12.314mm。
确定了工件坐标系相对于机器人基座标系的原点偏移量，再来计算旋转角度。
（1）Z 轴的偏转角度
去除定位误差等原因，从数据表中我们可以发现Z 值一直几乎无变化，X 轴方向距离最远的点9 号和11 号点的实际距离为x L =6×38mm ,Z 值差为：
+72.054-71.873=0.181mm，Y 轴方向距离最远的点2 号和3 号点的实际距离为
y L =4×38mm ，Z 值差为：+71.977-71.852=0.125mm。所以此时我们就可将工件坐标系Z 轴的偏转忽略不计，剩下的就只需再考虑X 轴和Y 轴的偏转。
（2）X 轴的偏转角度
由图 3.9 可知，1、6、7、8、9、10、11 这7 个点均在工件坐标系的X 轴上，此时对比最远两点9 号和11 号点Y 值差为：+12.885-12.665=0.220mm。此时Y 值的差远小于两点之间的距离，再去除定位误差等原因，X 轴的偏转角也趋于零，此时也不做考虑。
（3）Y 轴的偏转角度
因为 X 轴和Z 轴的偏转角度几乎为零，依据右手定则也可判断出Y 轴的偏转角度几乎为零，也不做考虑。另外，从数据表中通过计算X 值的差值也可得出这样的结果。综上所述，本文中由于工件坐标系相对于机器人基坐标系的旋转角度几乎为零，不予考虑，此时工件坐标系相对于机器人基坐标系只有平移矢量，detX = +795.705mm ,detY
= +12.358mm ，detZ =-12.314mm。
稻草人自动化培训