一种改进的Harris-RANSAC长焦相机标定算法.pdf

第2 6 卷第4期2023年8 月扬州大学学报（自然科学版）Journal of Yangzhou University(Natural Science Edition)Vol.26No.4Aug.2023一种改进的Harris-RANSAC长焦相机标定算法袁野1，胡学龙1*，陈舒涵，陈军（1.扬州大学信息工程学院，江苏扬州2 2 512 7；2.扬州瑞控汽车电子有限公司，江苏扬州2 2 510 0）摘要：长焦相机采集近距离棋盘格图像时易出现相机离焦现象，导致棋盘格图像产生散焦模糊，极大地增加了相机标定的难度，同时传统的Harris角点检测算法对散焦模糊的棋盘格图像进行角点检测的结果即使经过非极大值抑制处理也仍然存在大量穴余角点.针对上述问题，基于随机抽样一致（random samplecon-sensus，RA NSA C)算法提出一种改进的Harris-RANSAC长焦相机标定算法.首先，引人感兴趣区域将Harris角点检测的区域缩小到棋盘格区域以避免背景干扰；其次，采用随机抽样一致算法替代传统的非极大值抑制方法剔除穴余角点；最后，针对模糊棋盘格图像的特性构造新的响应函数，进行亚像素级角点定位，从而得到精确的角点坐标.结果表明，改进的Harris-RANSAC算法对模糊棋盘格图像进行角点检测时耗时短且精度较高，角点检测的反投影误差仅为0.432 像素.关键词：长焦相机；Harris角点检测；RANSAC算法；亚像素中图分类号：TP391.41；T N9 11.7 3文献标志码：A文章编号：10 0 7-8 2 4X(2023)04-0037-06D0I:10.19411/j.1007-824x.2023.04.007长焦相机拍摄远处景物时具有景深较小、拍摄主体突出和背景干扰小等优势，因而被广泛用于计算机视觉领域.相机标定技术能够为拍摄的二维图像添加深度信息，从而进行三维场景的重建。相机标定技术发展至今，主要可以分为相机自标定法2、主动视觉相机标定法3和标定物标定法4三类，其中应用最广泛的是隶属于标定物标定法的张正友标定法51.张正友标定法的标定过程简单便捷，标定精度较高.由于张正友标定法的精度很大程度上取决于使用角点检测算法提取棋盘格内角点像素坐标的精度，所以高精度的角点检测算法是保证张正友标定法精度的前提.目前，基于图像灰度变化的角点检测算法因抗噪性能较强和定位性能好而备受关注，如Moravec算法6、Harris算法7、SUSAN算法8 和BW-Harris9等.Harris算法具有计算简便且性能稳定等特点，在众多角点检测算法中脱颖而出.然而，随着相机技术的发展，Harris算法越来越难以满足高分辨率图像的检测需求，耗时长、背景干扰、角点穴余及误角点等问题日益凸显.近年来，非极大值抑制目标检测方法被引入Harris算法，缓解了Harris算法的尴尬处境.陈贤儿等10 1提出将Harris算法与加速鲁棒性特征（speeded up robust features，SU RF）进行融合，融合后的算法在复杂背景下的精度较高；Wang等11在进行Harris角点检测前使用圆形相移图案对特征点进行编码，避免了较多误角点的出现，从而间接提高了检测精度；Choi等12 在Harris角点检测中引人鲁棒控制点估计方法，提出一种在图像高度失真或严重倾斜时依然具有高精度和强可靠性的角点检测方法.本文拟将能快速处理余点的随机抽样一致（random sampleconsensus，RA NSA C)算法13 与Harris角点检测算法相结合，提出一种改进的Harris-RANSAC长焦相机标定算法.1轮廓及感兴趣区域提取为了避免图像背景的干扰，通过OpenCV库中findContours函数提取出棋盘格部分轮廓的像素收稿日期：2 0 2 2-12-2 0.联系人，E-mail：x lh u y z u.e d u.c n.基金项目：国家自然科学基金资助项目（6 18 0 2 336）；江苏省产业前瞻与关键核心技术重点资助项目（BE202083-2）；扬州大学“青蓝工程”（2 0 2 1年）资助项目：引文格式：袁野，胡学龙，陈舒涵，等一种改进的Harris-RANSAC长焦相机标定算法J.扬州大学学报（自然科学版），2023,26(4):37-42.38坐标，从而将检测区域缩小到棋盘格上会出现角点的黑白格部分，以大幅缩小待检测区域.任意位姿放置的棋盘格图像经findContours轮廓提取的结果如图1所示.根据所提取棋盘格中心轮廓的像素坐标变化进一步提取出须进行角点检测的小区域，即感兴趣区域（region of interest，RO I），其位置变化如图2 所示.将任意位姿摆放的棋盘格中每一格都近似成一个边长为2 a，2 6 的平行四边形，参考像素坐标系，以图像最左上方的点为原点O，竖直向下方向为轴正方向，水平向右方向为轴正方向，建立二维直角坐标系.假设白色平行四边形区域的4个顶点像素坐标分别为A（，y），B（，y 2），C(，y），D（4,y 4），通过质心寻找法易得该平行四边形的中心像素坐标M(o，y o）.设中心平行四边形ABDC白色区域的点集合为Ro.o（，y），则所有的感兴趣区域都可通过对Ro.o（，y)沿向量AB和AC正反方向平移得到.定义AB，A C方向为正方向，则图2 中的感兴趣区域是由Ro.o（，y)先沿BA方向平移5a再向AC方向平移36 得到，可表示为R-5a.3（，y）.定义Rsun为提取的所有感兴趣区域内全部点的集合，则在内角点个数为2 mX2n的棋盘格中 Rmm(a,y)=Z=ZF R(2+1a(2+/a(r,y).扬州大学学报（自然科学版）第2 6 卷2a2bBMD图2 感兴趣区域及其位置变化示意图图1轮廓提取结果Fig.2Region of interest and theirFig.1The result of contour extractionposition changes diagram2本文算法2.1Harris 算法Harris算法原理：设置一个特征窗口，若该特征窗口往各方向移动时区域内灰度均无明显变化，则判断算子位于平坦区域；若该特征窗口在某一个方向移动时窗口内的图像灰度变化较大，而在其他方向上均未发生变化，则窗口可能位于图像中物体的边缘；若该特征窗口往任意方向移动时窗口内图像的灰度变化都很大，则判断该区域内存在角点.对于图像I(,)，当以点,)为中心的小窗口w(,y)沿方向平移u，沿方向平移时，产生灰度变化量E(u,）=（,)（I(u，）-（y).对该式进行泰勒级数展开，并对图像I（,y）在平移（u,）后进行一阶近似，则可简化E(u,）u,M，式中M=IIy(,y)，其中I，为图像I（，y）的灰度梯度.根据二次项函数特征值计算角I,I,点响应值R=detM一（t r M)来判断角点，其中detM为矩阵M的行列式，trM为矩阵M的迹，常数的取值范围为（0.0 4,0.0 6).据Harris算法原理可知，角点处R值较大，平坦区域R值趋近于O，边缘区域RO且全部候第4期选角点都位于图像轮廓上.为了降低噪声的影响，通常设置一个较小的正阈值T，当RT时，则判断该点为伪角点。传统Harris算法存在角点穴余、背景角点干扰现象以及耗时长等固有缺陷，并且对散焦模糊棋盘格图像角点检测的精度不够.针对上述不足，现对传统Harris算法进行如下调整：1）在对模糊图像进行检测时，适当增大特征窗口的大小.将特征窗口尺寸由默认的33像素调整为7 7 像素，以期在不增加算法耗时的情况下保留感兴趣区域内的全部候选角点.值得注意的是，若特征窗口过大会加剧角点穴余，故本文选择将特征窗口大小调整为7 7 像素.2）由于模糊图像的角点响应值R较小，故设置一个较小的阈值T=10-，以保证有效角点（即进行角点精定位时所需的角点)不丢失。2.2Harris-RANSAC算法针对如图3(a)所示的采用Harris算法对任一棋盘格图像的感兴趣区域进行角点检测时得到的大量穴余角点，利用传统非极大值抑制法剔除穴余角点，结果如图3（b）所示.通过对图3（b)中局部区域1，2，3放大后观察可见非极大值抑制并不能完全解决角点余的问题.袁野等：一种改进的Harris-RANSAC长焦相机标定算法39(a)Harris角点检测结果Fig.3Harris corner detection of non-maximum suppression由于穴余角点在每个感兴趣区域内都围绕模糊的角点分布，且分布规律近似一条直线.针对大量呈线状分布的点集，本文选择RANSAC算法13 替代非极大值抑制以剔除允余角点，通过直线模型拟合点集数据，找出拟合点集最准确的一条线.RANSAC算法处理穴余角点的耗时较非极大值抑制更短，在某一角点数量确定的感兴趣区域内可迅速获得拟合程度满足容差范围的若干直线方程，进而通过计算直线附近的灰度梯度即可得到直线上灰度梯度最大的整像素点坐标c（i，y）.理想情况下，RANSAC算法拟合所得直线方程便包含角点位置.2.3亚像素级角点提取利用Harris-RANSAC算法处理几余角点后，将会在每个感兴趣区域得到多个候选整像素角点c（,y），（2，），c（，y），c（，），n EZ*由于模糊图像中角点处响应较弱14，所以须根据其特点重新构造响应函数A=，并通过坐标加权平均法计算ROI内角点距离的平VT+I,方和D=Z,kis，式中ki,s;分别为ROI内角点权值和区域内角点与准确角点距离的平方，k；=A,，s,=l一l2+ly一yl，（，）和（i,）分别为准确角点坐标和ROI内角点坐标，进而以A为权重处理选取的角点来完成亚像素定位，(b）非极大值抑制结果图3Harris角点检测非极大值抑制结果40根据最小二乘法，使得D达最小值时的角点坐标理论上与准确角点的坐标一致，即aDaa*2,k;(.-k.)=0,=22,k(y.-)=0.求解可得 2,=,k,y.-,ky,则ayC*（*，y*）即亚像素级角点坐标.3实实验结果与分析运用PyThon编程，实验平台为6 4位Windows10操作系统，PyCharm2020.3.3（x 6 4），I n t e l(R）Core（T M）i 5-8 30 0 H C PU，内存为16 GB，H T-U B50 0 H 10 0 m m 工业相机.采集如图4所示的不同背景复杂度、光照条件、位姿和清晰度下6 40 48 0 像素的棋盘格图像进行实验分析.(a)扬州大学学报（自然科学版）(b)第2 6 卷()图4长焦相机采集的图像Fig.4 Image acquired by telephoto camera为验证本文算法的有效性，随机抽取清晰度和背景复杂度不同的3幅棋盘格图像，分别采用BW-Harris算法9、圆形相移图案改进算法11以及本文算法进行角点检测，并以小圆圈标注检测出的角点，角点提取结果如图5所示。由图5可见：文献9算法在提取模糊棋盘格图像角点时易受背景干扰，且出现较多穴余角点或发生角点丢失情况；文献11算法虽能精准识别角点位置，但在图像清晰度较低的情况下，棋盘格孔洞与手掌阴影处依然会受干扰导致角点误检测；而本文算法进行角点检测时算法定位准确，未出现误检、漏检或余角点。计算采用本文算法所得内角点的亚像素级坐标P(io，j。），再在OpenCV中使用张正友标定方法标定摄像机，根据calcBackProject函数求解对应的反投影坐标Q（o，o），通过角点的像素坐标与其反投影坐标的误差评估角点检测的误差，结果如表1所示.进一步地，根据误差计算式ep=Z u am）(-）,其中 为内像素点个数，可得 e.32.由此可见，文算法的角点精度达亚像素级别.第4期袁野等：一种改进的Harris-RANSAC长焦相机标定算法41B(a)图像1B(b)图像2(c)图像3A.原图像；B.文献9 算法；C.文献11算法；D.本文算法.图53种检测算法下的角点提取结果表1本文算法检测结果Fig.5Corner extraction results under three detection algorithmsTab.1The detection results of this algorithm内角点像素亚像素坐标P序号i01101.582200.26393.184507.33560.146372.867162.298378.229331.7810213.34对采集的棋盘格图像采用不同角点检测算法进行耗时对比，结果如表2 所示.由表2 可见：本文算法能在较短的时间内准确识别出棋盘格角点.其可能原因是本文Harris-RANSAC算法摒弃了非极大值抑制处理余角点的过程，从而降低了耗时，而文献9和文献11都在角点检测过程中采用了非极大值抑制.参考文献：1ZHANG Yujin.3-D computer vision:principles,algorithms and applications MJ.Singapore:Springer NatureSingapore,2023:37-65.2QIAO Jing,BUTT J A.Self-calibration of terrestrial laser scanner using a M3C2-based planar patch algorithmJJ.ISPRSJPhotogram Remote Sens,2023,197:335-345.3FU Wei,WU Lushen.Camera calibration based on improved differential evolution particle swarm JJ.Meas反投影坐标Qjo0118.67101.39127.39200.27352.5793.73184.48507.02313.6360.00122.71373.14256.61162.00249.25377.97405.18331.41231.17214.08坐标误差像素io-0jo-o118.330.19127.50-0.01352.26一0.55184.780.31313.980.14122.900.28256.520.29249.010.25404.750.37230.750.74表2 几种算法耗时对比Tab.2Comparison of time consuming ofseveral algorithms角点检测方法单幅图像最大耗时/s文献9算法4.852文献11算法6.022本文算法4.5770.34-0.110.31一0.3 0一0.35-0.190.090.240.430.4242Control,2023,56(1/2):27-33.4XING Zhenyuan,ZHANG Shuo,WANG Huan,et al.Addressable label-free photoelectric sensor array withself-calibration for detection of neuron specific enolase J.Anal Chem,2022,94(19):6996-7003.5YUAN Chongjian,LIU Xiyuan,HONG Xiaoping,et al.Pixel-level extrinsic self calibration of high resolutionLiDAR and camera in targetless environments J.IEEE Rob Autom Lett,2021,6(4):7517-7524.6高帅，贺伟，李涛，等。改进的Harris角点检测目标识别方法J探测与控制学报，2 0 2 2，44（6）：8 1-8 6.7MA Ruiqi,CHEN Chi,YANG Bisheng,et al.CG-SSD:corner guided single stage 3D object detection fromLiDAR point cloud JJ.ISPRS J Photogram Remote Sens,2022,191:33-48.8DAN Xizuo,GONG Qicheng,ZHANG Mei,et al.Chessboard corner detection based on EDLines algorithmJ.Sensors,2022,22(9):3398-3412.9刘飞飞，吴志刚，任舒琪，等复杂背景下改进的棋盘格内角点检测算法J计算机工程与设计，2 0 19，40(12):3474-3478.10陈贤儿，梁丹，傅云龙，等Harris与SURF特征点检测的手术器械机器视觉识别方法J传感器与微系统，2 0 2 3，42(2)：118-12 1.11WANG Yuwei,CHEN Xiangcheng,TAO Jiayuan,et al.Accurate feature detection for out-of-focus cameracalibration JI.Appl Opt，2 0 16,55(2 8):7 9 6 4-7 9 7 1.12CHOI H,HA H G,LEE H,et al.Robust control point estimation with an out-of-focus camera calibration pa-ternJ.Pattern Recognit Lett,2021,143:1-7.13SALEHI B,JARAHIZADEH S,SARAFRAZ A.An improved RANSAC outlier rejection method for UAV-derived point cloud JJ.Remote Sens,2022,14(19):4917-4941.14明月，黄言言，刘罡。基于迭代校正的视频图像亚像素角点检测仿真J.计算机仿真，2 0 2 1，38（11）：450-453,494.扬州大学学报（自然科学版）第2 6 卷An improved Harris-RANSAC calibration algorithm for telephoto camerasYUAN Ye,HU Xuelongl*,CHEN Shuhan,CHEN Jun?(1.School of Information Engineering,Yangzhou University,Yangzhou 225127,China;2.Yangzhou Ruikong Automotive Electronics Co.Ltd,Yangzhou 225100,China)Abstract:When a telephoto camera captures close-range checkerboard images,camera defocus iseasy to occur,resulting in defocusing blur in the checkerboard images,which greatly increases thedifficulty of camera calibration.At the same time,the traditional Harris corner detection algorithmstill has a large number of redundant corners in the corner detection of defocus blurred checkerboardimages even after non-maximum suppression.To solve the above problems,an improved HarrisRANSAC telephoto camera calibration algorithm based on random sampling consensus algorithm isproposed.Firstly,the region of interest is introduced to reduce the area of Harris corner detectionto a checkerboard area to avoid background interference.Secondly,the random sampling consisten-cy algorithm(RANSAC)is used to replace the traditional non maximum suppression method toremove redundant corners.Finally,a new response function is constructed based on the characteris-tics of fuzzy checkerboard images to perform sub pixel level corner localization and obtain accuratecorner coordinates.The results show that the improved Harris RANSAC algorithm takes less timeand has higher accuracy in corner detection of fuzzy checkerboard images,with a backprojectionerror of only 0.432 pixels for corner detection.Keywords:telephoto camera;Harris corner detect;random sample consensus algorithm;sub pixel(责任编辑林子）