基于棋盘标定板的优化相机参数标定方法.pdf

收稿日期:2022-12-06摇 摇 摇 摇 摇 摇 修回日期:2023-04-08基金项目:浙江省软科学研究计划重点项目(2022C25033);温州市科技计划项目(R20200025)作者简介:林绿开(1999-),男,硕士研究生,研究方向为三维重建;通信作者:李摇 毅(1984-),男,博士后,副教授,硕导,CCF 会员(F9506M),研究方向为计算机视觉、虚拟现实。基于棋盘标定板的优化相机参数标定方法林绿开1,钮倩倩1,李摇 毅1,2*(1.温州大学 计算机与人工智能学院,浙江 温州 325000;2.浙江大学 计算机科学与技术学院,浙江 杭州 310058)摘摇 要:相机标定是计算机视觉与重建定位的重要基础,是构建二维图像与三维空间联系的重要桥梁。该文根据传统线性相机成像的规律,在理想的针孔相机成像模型的基础上,同时针对张正友标定法中相机参数求解过程较为复杂与繁琐的问题,采用一种简易的标定方法来求解单目相机的相机参数。该方法在平面张正友标定方法的基础上,通过预先估计部分相机参数的初值进而求解理想针孔相机成像模型后,再进一步优化预估参数的方式,根据棋盘标定板的特征点的空间坐标与图像坐标的对应方程,利用奇异值分解和 Levenberg-Marquardt 优化的方法进行参数求解,从而避免求解繁杂的约束矩阵后再分别对相机参数进行求解的过程,达到直接求解相机参数的目的,优化求解过程,最终实现单目相机的相机标定。实验结果表明,使用该方法标定的单目相机在物距一米以下时的标定误差能够满足绝大部分视觉与定位的应用需求,且该方法具有较好的稳定性和可行性。关键词:单目相机;标定算法;奇异值分解;Levenberg-Marquardt 优化;张正友标定法中图分类号:TP391.41摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)12-0101-05doi:10.3969/j.issn.1673-629X.2023.12.014Optimized Camera Parameter Calibration MethodBased on CheckerboardLIN Lyu-kai1,NIU Qian-qian1,LI Yi1,2*(1.School of Computer and Artificial Intelligence,Wenzhou University,Wenzhou 325000,China;2.School of Computer Science and Technology,Zhejiang University,Hangzhou 310058,China)Abstract:Camera calibration is an essential basis for computer vision and reconstruction positioning,which is a critical bridge betweentwo-dimensional images and three-dimensional space.According to the regulation of traditional linear camera imaging and the idealpinhole camera imaging model,a simple calibration method is proposed to solve the camera parameters of the monocular camera,whichcan address the complex and tedious calculation problem based on the plane Zhengyou Zhang Calibration Method.The method is basedon the plane Zhengyou Zhang Calibration Method,which optimizes the predicted parameters by pre-estimating the initial values of somecamera parameters and solving the ideal pinhole camera imaging model.According to the equations of the spatial and image coordinatesof the checkerboard calibration boards feature points,the singular value decomposition and Levenberg-Marquardt optimization methodsare used for parameter solution,which avoids the process of calculating the complicated constraint matrix before the camera parametersseparately,thus achieving the purpose of solving the camera parameters directly,while optimizing the solving process and finally realizingcamera calibration of monocular cameras.The experimental results show that the calibration error of the monocular camera calibrated withthe proposed method can satisfy most vision and positioning applications at object distances below one meter,with high stability and feasi鄄bility.Key words:monocular camera;calibration algorithm;singular value decomposition;Levenberg-Marquardt optimization;Zhengyou ZhangCalibration Method0摇 引摇 言随着计算机图像处理和计算机视觉的发展,为适应不同的场景与产品的需求,工业界与科研工作者提出了许多相机标定技术。相机标定是机器视觉领域的第 33 卷摇 第 12 期2023 年 12 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.12Dec.摇 2023重要基础,它在空间物体表面某点的三维几何坐标与其在二维图像的像素点之间建立关系,从而为三维重建、机器视觉、点云配准、尺寸测量1-4等其它计算机视觉领域提供辅助。在某些领域,相机标定对其后续工作有着直接影响,比如在工业机器人5的定位中,相机标定影响着机械手对目标物体的放置精度;在目标测距6时,标定参数结果的准确性和稳定性决定了系统测距的准确度。因此采用合适的相机标定方法对后续工作尤为关键。理想针孔相机的成像原理是利用投影将三维世界坐标转换到二维相机坐标,相机标定即通过成对的坐标映射进行求解得到相机的内外参数。常见的相机标定算法有 DLT7(Direct Linear Transform)、Tasi8、张正友标定9等算法。其中,张正友标定算法是目前使用较广的一种标定算法,该算法仅需一个打印的平面棋盘格作为标定物,操作简单易于维护,具有较强的鲁棒性。在张正友标定算法的基础上,该文采用一种简易的相机标定算法,首先通过打印的平面棋盘格获得角点的世界坐标和图像坐标,再进行单应矩阵求解,最后通过初步估计参数,求解理想状态下的模型,再用优化的方法求解相机的参数。该方法简化了张正友标定算法的参数计算。实验表明,该算法具有较高的标定精度,鲁棒性良好。1摇 针孔成像原理和参数求解1.1摇 针孔相机成像模型相机标定技术根据相机的成像模型划分,可分为线性模型、非线性模型和无特定模型。其中最为常见的是针孔模型,它是简化的理想线性模型,在数学上可以表示为三维空间到二维平面的中心投影10,具体表现为空间中一条直线上的点在相机上只映射为一个点,如图 1 所示。YXZCyxP(X,Y,Z)P(x,y)图 1摇 针孔相机模型空间中一点 P(X,Y,Z)与图像平面映射一点p(x,y)的关系可以用公式(1)表示。sxy1=ARtXYZ1=琢酌u00茁v0 001r11r21r31t1r12r22r32t2r13r23r33t3XYZ1(1)其中,s 为尺度因子;A 为相机的内参矩阵,(u0,v0)是图像主点;R摇t 为相机的外参矩阵,R 是由三个相互垂直的单位方向矢量构成。1.2摇 标定求解在理想针孔相机成像模型中,相机标定即是通过若干空间点和平面映射点求解公式(1)中参数的过程。DLT 算法将内参与外参看成一个完整的 3*4 的矩阵,通过构建 n 个对应点的线性方程组进行参数求解;Tasi 算法则是利用透视矩阵方法来求解内外参数,再引入畸变系数对参数进行优化。张正友标定法在求解针孔相机模型时,选取已知大小的二维棋盘格为相机标定板。假定世界坐标系的Z 轴分量为 0,即规定二维棋盘格所在平面为 Z=0,并规定棋盘中一点为世界坐标系的原点,则可获得棋盘中所有内角点的世界坐标,再通过提取内角点等方法获取其图像坐标。所有内角点及其映射在图像中的点,满足 Z=0 时的公式(1),再由图像的单应性11、旋转矩阵单位正交性等,构造方程求解满足约束条件的矩阵(B=A-TA-1),再由公式(2)求解相机参数,最后进行非线性优化。琢=姿B11茁=姿B11B11B22-B212u0=酌v0茁-B13琢2姿v0=B12B13-B11B23B11B22-B212酌=-B12琢2y姿姿=B33-B213+v0(B12B13-B11B23)B11(2)2摇 简易标定算法2.1摇 求解相机参数在假设世界坐标系的 Z 轴分量为 0 的情况下,张正友标定法通过构建约束矩阵(B=A-TA-1)再逐个求解相机的标定参数,求解过程较为复杂繁琐。该文201摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷在实际成像规律的前提下,通过数值初步估计的方法,预估相机参数中 u0,v0和 姿 初值,从而避免求解复杂的约束矩阵(B)而采用直接求解参数的方法,简化了相机参数的求解过程。由针孔相机成像模型可知,当 Z=0 时,令:H=Ar1,r2,t=h11h12h13h21h22h23h31h32h33(3)由公式(1)展开整理可得:h11X+h12Y+h13-h31Xx-h32Yx-h33x=0h21X+h22Y+h23-h31Xy-h32Yy-h33y=0(4)根据上式,H 矩阵包含 9 个未知数,一组对应的P(X,Y,Z)和 p(x,y)可构建两条方程,若增加约束,使 H 的模为 1,只需获得 4 组世界坐标与图像坐标的对应,即可求出 H 矩阵。在真实的场景中,为了减少噪声对求解的误差影响,常常使用多组点进行计算,采用最小二乘解作为方程的解,并进行非线性优化。对于 H 矩阵,由公式(1),当 Z=0 时,假设 姿=0,H 可展开为:H=琢r11+u0r13琢r21+u0r23琢t1+u0t3茁r12+v0r13茁r22+v0r23茁t2+v0t3r13r23t3(5)在实际成像中,图像主点位于图像正中心附近,为了简化运算,假设(u0,v0)为图像大小的一半,再对 H矩阵进行线性变换,令矩阵的第 1 行减去第 3 行乘以u0、矩阵的第 2 行减去第 3 行乘以 v0,消去多余参数,则有:H=琢r11琢r21琢t1茁r12茁r22茁t2r13r23t3=f0v0j0f1v1j1f2v2j2(6)由旋转矩阵的性质:方向向量互相垂直;向量模长为 1。即:r1r2=0;r1=r2=1。可构建方程:琢2r11r12茁2r12r22琢2r211-琢2r221茁2r212-茁2r2221琢21茁2=-r13r23-(r213-r223)(7)为了简便计算,设 W=(f+v)/2,S=(f-v)/2,则公式(7)转换为:f0v0f1v1W0S0W1S11琢21茁2=-f2v2-W2S2(8)对公式(8)利用奇异值分解方法求解,即可求得相机内参矩阵。求得内参后根据公式(6)可分离出外参矩阵。同时,由于光学仪器失真12、配装等误差,相机存在畸变,该文采取张正友标定中的畸变求解方法对畸变参数进行求解。2.2摇 LM 优化LM(Levenberg-Marquardt)算法是牛顿法与最速下降法的结合13。在上述的计算中,由于简便计算对一些参数进行了近似处理,在一定程度上增大了误差。为了使标定结果更加精确,该文采用 LM 优化算法进行迭代优化,待优化函数如下:min移ni=1移mj=1(x,y)ij-PP2(A,Ri,ti,k1,k2)2(9)其中,PP2 为重投影函数所求坐标,k1和 k2为畸变系数。将优化后的参数作为最终参数输出,并实验求证。2.3摇 文中标定算法流程文中所用算法流程如图 2 所示。图 2摇 标定算法流程3摇 实验结果与分析3.1摇 实验环境为验证文中算法的可用性,采用图 3 中的标定板对相机进行实验。其中,标定板的棋盘格大小为 20mm*20 mm,并以第一个角点为世界坐标原点,根据右手定则建立坐标系;标定相机型号为 Microsoft LifeCam Studio 单目相机,图片分辨率设置为 640*480。实验时,首先固定标定板不动,然后从不同角度拍摄 12 张包含标定板所有角点信息的图片,最后检测角点13并进行参数求解和优化,最终完成相机标定。除算法因素外,影响相机标定精度的外部因素主要是标定板平整性、特征点数量、标定物距等14。为验证文中算法的稳定性,减少外部因素对标定精度的影响,在保持其它条件相同的前提下,分别在 2 种物距和 5 种特征点数量下进行标定实验。同时,实验对同301摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 林绿开等:基于棋盘标定板的优化相机参数标定方法一物距相同数量特征点的情况进行 5 组标定实验,以减少偶然误差,共进行 50 组实验。图 3摇 标棋盘标定板与相机图 4摇 角点提取与建立坐标系(上物距 0.5 m 下物距 1 m)3.2摇 评价指标由于无法获得标定相机的真实参数,故无法根据所求参数的数值大小对标定算法的可用性进行评判。同时,像素的真实坐标和重投影坐标较易获取,因此该文采用重投影误差作为算法的评价指标。重投影误差是指真实成像位置与标定参数预测成像位置之间的偏差,它在一定程度上反映了标定参数的准确度,重投影误差越小,标定算法越准确。重投影误差15小于一个像素时可满足多数应用需求。重投影误差如公式(10)所示:缀-=1n移ni=1(xi-ai)2+(yi-bi)2(10)其中,n 为像素点个数,(xi,yi)为像素点真实坐标,(ai,bi)为像素点预测坐标。3.3摇 结果分析根据上述公式,50 组标定实验的重投影误差结果如表 1 和表 2 所示。为了更直观地分析,根据数据绘制了图 5。表 1摇 物距 0.5 m 下重投影误差摇像素特征点数平均误差最大误差方差90.138 3590.184 1030.028 347120.119 3640.126 2390.009 737150.115 6160.132 9560.013 224180.121 8260.136 7560.010 152200.108 8240.127 6550.010 275表 2摇 物距 1 m 下重投影误差 摇 像素特征点数平均误差最大误差方差90.106 5190.116 9870.007 809120.103 4830.123 1000.011 221150.101 4240.113 5080.007 065180.094 4060.114 0850.011 765200.090 3840.115 0450.013 957图 5摇 重投影误差分析结合数据表和分析图可以看出,对于实验的 50 组数据,均满足重投影误差在一个像素点以内的要求,误差基本保持在 0.1 个像素附近,表明文中算法能够较好地完成标定任务,可以满足大部分应用的需求。同时可以从分析图中直观地看出,随着特征点的增加,重投影误差呈现较小幅度的下降趋势。并且,不难得出,相机标定精度与标定物距有较大的关系,在一定范围内,针孔相机模型在较远距离标定时结果较为精确。为进一步验证算法的实用性,实验在其它条件不变的前提下,对物距 1 m 以内的情况使用张正友标定401摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷法和 Halcon16分别各做了 25 组标定实验,并与文中算法进行对比。其中,对比实验 1 采用棋盘格标定板,对比实验 2 采用圆心标定板。根据实验数据,绘制了图 6 和图 7。/图 6摇 物距 1 m 以下平均误差对比实验 1/图 7摇 物距 1 m 以下平均误差对比实验 2通过图 6 和图 7 清晰地表明,物距 1 m 以下时,在大部分情况中,文中标定算法的平均重投影误差更小,优于张正友标定算法和 Halcon。同时,在稳定性上,与张正友标定算法精度随特征点数量增加而先增后降相比,文中算法在不同特征点的标定精度上更具有稳定性,标定误差呈现随特征点的增加而减小的趋势。4摇 结束语文中在张正友标定法的基础上,采用一种简易优化的相机标定参数求解算法,并进行了 50 组重复性标定实验。实验结果表明,该方法误差保持在 0.1 个像素附近,波动较小,精度较高,能够满足大部分应用的标定需求。同时随着标定特征点数量的增加和物距在一定范围内的增大,该方法的精度能够进一步提高。参考文献:1摇 刘兴盛,李安虎,邓兆军,等.单相机三维视觉成像技术研究进展J.激光与光电子学进展,2022,59(14):1415007.2摇 王摇 华.一种气动机器人垃圾分拣系统的设计与分析J.液压与气动,2022,46(9):86-91.3摇 伍摇 倩.基于 Kinect v2 相机的柑橘点云分割与配准研究D.桂林:广西师范大学,2022.4摇 周摇 晓,谢明棚.小型油泵叶片尺寸高精度测量研究J.数字制造科学,2022,20(3):169-174.5摇 颉永鹏.基于机器视觉的工业机器人目标识别和定位研究D.沈阳:沈阳工业大学,2022.6摇 陈秋梦.基于双目视觉的目标检测与测距系统D.大庆:东北石油大学,2022.7摇 SHI Z C,SHANG Y,ZHANG X F,et al.DLT-lines basedcamera calibration with lens radial and tangential distortionJ.Experimental Mechanics,2021,61(8):1237-1247.8摇 GEE T,DELMAS P,STONES-HAVAS N,et al.Tsai cam鄄era calibration enhancedC/2015 14th IAPR internationalconference on machine vision applications(MVA).Tokyo:IEEE,2015:435-438.9摇 ZHANG Z.A flexible new technique for camera calibrationJ.IEEE Transactions on Pattern Analysis and Machine In鄄telligence,2000,22(11):1330-1334.10 贾星伟,殷晨晖,隋国荣.单目摄像机线性模型可靠性分析与研究J.光学仪器,2019,41(1):60-67.11 龚摇 云,杨庞彬,颉昕宇.结合同态滤波与直方图均衡化的井下图像匹配算法J.工矿自动化,2021,47(10):37-41.12 HAGEMANN A,KNORR M,JANSSEN H,et al.Inferringbias and uncertainty in camera calibrationJ.InternationalJournal of Computer Vision,2022,130(1):17-32.13 艾裕丰,赵摇 敏,张摇琪,等.基于亚像素边缘的棋盘格的角点检测J.西安理工大学学报,2019,35(3):333-337.14 翟溢章,宿洁华,张士恒,等.相机标定的精度影响实验分析J.电子设计工程,2022,30(7):82-86.15 褚鑫磊,隋国荣.基于单目摄像机的光学立体标定技术J.光学仪器,2021,43(5):16-24.16 李晓晓,杨摇 涛,雷摇 进,等.基于 Halcon 的相机标定方法研究与精度验证J.技术与市场,2023,30(1):8-13.501摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 林绿开等:基于棋盘标定板的优化相机参数标定方法