基于图像梯度和改进椭圆拟合算法的视线追踪方法.pdf

第2 6 卷第4期2023年8 月扬州大学学报（自然科学版）Journal of Yangzhou University(Natural Science Edition)Vol.26No.4Aug.2023基于图像梯度和改进椭圆拟合算法的视线追踪方法王鹏1*，苑硕，董鑫，陶文杰1（1.常州工学院电气信息工程学院，江苏常州2 130 32；2 哈尔滨工程大学青岛创新发展基地，山东青岛2 6 6 0 0 0；3.哈尔滨理工大学电气与电子工程学院，哈尔滨150 0 8 0）摘要：针对单摄像机视线追踪系统检测精度低且速度慢等问题，提出一种基于图像梯度和改进的椭圆拟合算法的视线追踪方法.首先，利用改进的人脸识别算法和“三庭五眼”的人脸比例算法对预处理后的图像信息进行人脸和眼睛部位的检测定位；其次，采用图像梯度算法定位人眼的瞳孔中心点，再分别利用改进的星射线算法与椭圆拟合方法确定虹膜边缘和虹膜中心，通过中心坐标评判完成瞳孔中心定位；最后，使用坐标法判定视线方向.实验结果表明，该方法可有效降低头动、眼脸和眼镜等因素造成的检测误差，并且能够准确判断人眼视线方向，具有较好的鲁棒性和实时性.关键词：视线追踪；瞳孔中心定位；图像梯度；椭圆拟合；人脸检测中图分类号：TP391.41D0I:10.19411/j.1007-824x.2023.04.009文献标志码：A文章编号：10 0 7-8 2 4X(2023)04-0048-06视线追踪技术是一种通过测量眼晴注视点位置或眼球相对头部的运动实现对眼球运动追踪的技术，被广泛应用于人机交互、智能家居、医疗诊断、心理学和军事等领域1-2.视线追踪系统按使用方式可分为穿戴式2 和非穿戴式3两类，其中穿戴式视线追踪系统要求使用者佩戴头盔等设备，对使用者影响较大；而非穿戴式视线追踪系统无需用户穿戴任何设备，操作简单且用户体验好，逐渐成为视线追踪技术的研究热点4，非穿戴式视线追踪系统主要分为无光源单摄像机系统、单光源单摄像机系统、多光源单摄像机系统以及多光源多摄像机系统等四类5.在关于多摄像机视线追踪系统的研究中，鲁亚楠6 提出了一种由多个摄像机组成的小型视线跟踪系统，在近红外光源下通过两个小型双目立体视觉相机得到人眼三维空间参数，将场景相机和双目相机关联确定视线落点，该系统具有较高的检测精度，但设备复杂度相对较高，价格较昂贵.在关于单摄像机视线追踪系统的研究中，Morimoto等7 利用由1个摄像头及4个在屏幕四角的光源组成的视线追踪系统，使用从图像到角膜和从角膜到屏幕的双重投影方法，假设瞳孔中心和角膜反射的平面共面，通过二项式拟合方程将眼部参数与注视点之间形成函数映射关系，该方法具有较好的鲁棒性，但光源质量对视线追踪的影响较大；Saragih等8 应用均值偏移算法对人眼进行检测与定位，但其鲁棒性较差，提取脸部特征时易受眼镜和眉毛等因素的影响；Cheng等91通过神经网络将眼部图像输人系统进行训练，所得结果能有效降低光照条件和头部姿态对视线追踪的影响，但出现眼镜等干扰时的视线追踪准确率明显下降；Liu等10 提出了一种使用空间圆形目标3D重建来表示虹膜中心及其法向量的方法，在左右眼Kappa角近似相等的约束下校准虹膜半径，但该方法依赖于准确的虹膜检测，需要多点校准.上述研究表明，无光源单摄像机系统的硬件要求较低且无需其他辅助设备的配合，具有较好的发展前景，收稿日期：2 0 2 3-0 1-2 9.*联系人，E-mail：w a n g p c z u.c n.基金项目：国家自然科学基金资助项目（6 16 0 2 0 6 3）.引文格式：王鹏，苑硕，董鑫，等基于图像梯度和改进椭圆拟合算法的视线追踪方法J.扬州大学学报（自然科学版），2 0 2 3，26(4)：48-53,6 0.第4期但仍存在视线追踪精度较低和速度较慢等问题11.本文综合考虑算法的实时性、复杂度、检测精度和遮挡等因素，基于单摄像机系统，拟提出一种结合图像梯度算法和改进的椭圆拟合算法的视线追踪方法确定瞳孔中心，并基于坐标标定方法判定视线方向.1视线追踪算法设计1.1图图像预处理图1为视线追踪算法中的图像预处理过程.首先，利用摄像机采集原始图像信息，将采集到的视频流数据进行图像灰度化处理，减少数据量的同时降低光照对图像的影响；其次，采用直方图均衡化处理，增强图像的纹理，从而提高图像的对比度；再次，选用双线性插值法进行图像缩放，解决最近邻插值法灰度不具有连续性的问题；最后，采用高斯滤波进行消噪处理，使图像更为平滑.王鹏等：基于图像梯度和改进椭圆拟合算法的视线追踪方法49(a)原始图像(b)灰度图像(c)直方图均衡化处理后图像1.2人脸检测与定位选用基于Haar-like特征的改进型AdaBoost算法12 进行人脸检测与定位.Haar-like特征主要包括边缘特征、线性特征和中心环绕特征，三者组合形成特征模板，如图2 所示.特征模板内有白色和黑色两种矩形，表示白色矩阵像素和减去黑色矩阵像素和所得模板的特征值，反映检测对象特征局部灰度变化.传统的AdaBoost算法训练出的单阈值弱分类器效果一般，故本文采用双阈值弱分类器，同时控制阈值范围和训练参数，以降低误分率，减少训练时间。(d)双线性插值后图像图1图像预处理Fig.1 Image preprocessing(e)高斯滤波后图像(a)边缘特征本文所采用的训练样本图像集合为（iy;）（i=1,2，n），其中n为样本总数，；为图像样本，y；为图像样本类别.当；为人脸时，y；取值为1；;为非人脸时，y；取值为0.人脸检测与定位的具体步骤如下：(b)线性特征图2 Haar-like特征的3种形式Fig.2Three forms of Haar-like features(c)中心环绕特征501）寻找T个弱分类器h，（t=1,2，T），人脸图像的初始权重i,=1/2m，非人脸图像的初始权重W1,=1/2l，其中m为人脸图像的样本个数，1为非人脸图像的样本个数.2）将所使用的图像样本权重进行归一化处理，得到第t次分类循环中第i个样本的权重t：=Wt.i，t=1,2，T.令g,（）表示第i个图像中的第j个Haar-like特征，采用双阈值搜索方22.法对每个样本中的第j个Haar-like特征进行搜索，得到一个弱分类器hi，确定双阈值q和q2，求出分类器对应的加权偏差e;=,w|h,（a）一y:|，并从误分类率较低的e;中选出目标弱分类器ht，其中h,（a i）为弱分类器h,对于输人图像样本a；的第i个Haar-like特征的分类结果，l,gr(,)Eqj,q2);h;(,)=(0，其他，3）对完成弱分类器训练的图像样本权重进行调整，调整方法为w+1.;=w.bl-，其中e;为权重调整的指示参数，当人脸样本被分类器正确分类时，e；=0，反之ei=1；b,为权重调整系数，b,=e;/(1-e,).4）得到强分类器H（）=评价指标，t=ln(1/b,），,越小则h，（）的重要性越明显1.3人眼检测与定位采用三庭五眼分割法13进行人眼检测与定位.考虑个体差异及照片拍摄角度等因素的影响，对大量样本进行统计分析，确定并设计眼眶尺寸及位置，具体如图3所示.设定人脸矩形框宽为W，高为H，为确保所有样本都能剪裁到完整的人眼局部图像，设计眼眶尺寸大于实际眼睛在人脸中所占比例，则人眼矩形框宽为0.35W，高为0.30 H，人脸矩形框左右边缘到人眼矩形框及人眼左右矩形框之间的距离均为0.10 W，人脸矩形框上边缘到人眼矩形框上边缘的距离为0.2 5H.1.4瞳孔中心定位为减少计算负荷，将输入图像处理为眼晴图像后进行瞳孔中心定位，具体流程如图4所示.首先，通过图像梯度法14定位瞳孔中心点.将图像视为二维离散函数，两个相邻像素点之间的灰度差即图像梯度，对二维离散函数求导后，根据梯度向量与位移向量确定人眼的瞳孔中心。设图像中可能为瞳孔中心的任意点为c，轮廓边缘的任意点为zi，c 到z；的位移向量为d，z；处的图像梯度向量为g.为保证图像中全部像素点的权重相同，且在不同光照和对比度条件下的识别效果相同，将d，和g：缩放到单位向量.随机中心点与所有边缘像素点的内积和均值c*=（d g），其中N为人眼矩形框中所有像素点的数量。argmax其次，采用星射线法13提取虹膜边缘位置.利用图像梯度算法确定的瞳孔中心周围像素为2 020的眼部图像进行瞳孔提取，以拟合的瞳孔中心为原点，每隔0.5从原点发出射线，将每条射线上梯度值最大的像素点视为瞳孔边界点.为降低上眼脸和下眼脸对虹膜边缘点提取的影响，提高虹膜边缘检测速度，设置射线角度范围为一7 0 6 0 和一110 12 0（射线角度为射线与轴正方向的夹角，射线范围在第一、四象限和第二、三象限）.扬州大学学报（自然科学版）式中gr（）为图像特征值.(o，其他，0.10WFig.3The position of the eye socket第2 6 卷W0.25H0.10W0.30H0.35W图3眼眶位置0.10WH第4期再次，使用最小二乘椭圆拟合法定位虹膜中心.随机选取虹膜边缘上的6 个点进行椭圆拟合，得到多个椭圆边缘，利用非线性最小二乘法从多个椭圆边缘中找出与实际边缘的欧式距离最短的椭圆边缘.设虹膜实际边缘任意点坐标为（ui，U），图像梯度算法确定的瞳孔中心坐标为（uo，o），拟合椭圆边缘任意点坐标为（u，），则虹膜实际边缘到拟定瞳孔中心的欧式距离r;=（u;一uo）十（;一o），拟合椭圆边缘点到拟定瞳孔中心的欧式距离r=（u u o）十（一），拟合椭圆边缘到虹膜实际边缘的欧式距离R=|u;一uo）+（;一）-V（u 一uo）十（一）|，取所有虹膜实际边缘点到拟合出的椭圆边缘点距离的平方和最小的椭圆作为最优拟合椭圆.椭圆拟合公式F(,y)=A+Bay+Cy+Da+Ey+F=0，B-4AC0，长轴a=，短轴6=(A+C)-VB+(A-C)?2(A.c+Baoyo+Cy-F)虹膜中心坐标（，y）=V(A+C)-VB2+(A-C)BE-2CDBD-2AE4AC-B2,4AC-B2项系数，将曲线拟合问题转化为代数距离平方和求解，使目标函数 f(A,B,C,D,E,F)=,(Au+Bu,u;+Cu+Du,+Eo:+F)”为最小值，即%=%=BaCaD-EF0，求解线性方程组确定各系数值AF.A最后，通过中心坐标评判完成瞳孔中心定位.依据瞳孔和虹膜圆心的同一性，对比图像梯度算法和椭圆拟合算法得到的中心坐标，若两种算法所得的瞳孔中心和虹膜中心坐标位置相差的像素点数量小于等于3个，则确定最小二乘椭圆拟合法得出的虹膜中心坐标为瞳孔中心；反之，则椭圆拟合程度较低，须重新判断瞳孔中心。1.5视线方向判定采用坐标标定方法判定视线方向.先对测试者进行9点标定，标定点分布如图5所示.测试者保持头部不动，由左至右、由上至下依次注视9个标定点，分别记录标定时测试者右眼的坐标（ai，b,）（=1,2，,9），标定测试者脸框左上角坐标（m o，n o）及脸框长度l和宽度ho，相邻标定点之间的横、纵坐标差分别为i，y;（i,j=1，2，,9）.标定完成后，对测试者进行视线方向判定.为避免测试者头部移动及拍摄距离对视线判定的影响，通过脸框左上角坐标和脸框尺寸对视线判定过程进行补偿，瞳孔中心坐标补偿公式为中心坐标为（ao，b o），补偿后的瞳孔中心坐标为（a，b），判定过程中每次视线移动脸框左上角坐标为（mi，n i），脸框长度为li，宽度为hi.选取5号标定点与补偿后的瞳孔中心坐标进行对比，若瞳孔(as45)/2a(as56)/2,坐标(as，b s）满足(bsy25)/2bo(bs-y5s)/2,否则，重复以上步骤判断视线方向.王鹏等：基于图像梯度和改进椭圆拟合算法的视线追踪方法2(Ax+Bao yo+Cye)，其中AF分别为椭圆表达式的各f_af_af_afa=a+(mi一mo)（l/l.),(b=bo+(n;一no)（h o/h.),则判定图5中5号标定点为测试者的视线方向.51开始图像梯度法定位瞳孔中心改进星射线法提取虹膜边缘改进最小二乘椭圆拟合法定位虹膜中心瞳孔中心与虹膜中心坐标相差像素点数量是否小于等于3是视线标定结束图4瞳孔中心判定流程Fig.4Estimation process of pupil center图5视线标定定位图Fig.5Line of sight calibration map其中视线判定过程中的瞳孔52扬州大学学报（自然科学版）第2 6 卷2实验结果与分析2.1实实验环境实验环境为IntelCorei7-8750CPU，主频2.2 GHz，6 核12 线程，内存16 GB，操作系统为Windows10，摄像机分辨率为12 8 0 X960，采用C+和OpenCV在MicrosoftVisualStudio2017软件中进行实验。2.2实验数据集本文分别采用MIT和BioID人脸数据库中的人脸样本图像进行人脸检测与定位及人眼检测与瞳孔中心定位实验.MIT人脸数据库共包含2 415幅分辨率为2 0 2 0 像素的人脸样本图像，随机抽取2 18 5幅样本图像作为训练集，其余图像作为测试集.BioID人脸数据库为2 3位测试者正面角度的人脸图像，共计152 1幅分辨率为10 0 10 0 像素的灰度图像，所有图像均已手工标注人眼位置信息，随机抽取12 9 1幅样本图像作为训练集，其余图像作为测试集.此外，本文还收集了50 名志愿者的人脸图像进行补充测试。2.3实验结果分析图6 为测试者人脸与人眼检测实验结果.由图6 可知，本文方法能够准确定位人脸与眼眶位置，并且实现瞳孔中心点的精准定位.(b)瞳孔中心检测(c)瞳孔拟合(a)人脸及人眼定位图6 人脸与人眼检测实验结果Fig.6Results of face and eyes detection为了进一步验证本文所提算法的检测定位效果，分别采用基于传统AdaBoost算法的人脸检测方法、基于级联分类器算法的人眼定位检测方法、基于霍夫变换算法和虹膜检测算法15的瞳孔中心定位方法与本文所提检测定位方法进行对比实验，结果如表1所示.由表1可知，改进后AdaBoost算法的人脸识别准确率提高了3.17%，检测时间仅为传统AdaBoost算法的6 6.40%，误检率下降到1.2 9%，人脸检测效果优于传统AdaBoost算法；三庭五眼法与级联分类器算法的人眼定位的准确率和误检率相同，而三庭五眼法的人眼定位时间仅为级联分类器算法的3.0 3%，大大缩短了检测时间，提高了系统运行速度；基于图像梯度和改进椭圆拟合的视线追踪算法与霍夫变换算法和虹膜检测算法的瞳孔中心检测速度相近，而检测准确度较霍夫变换算法提高了6.6 7%，较虹膜检测法提高了 2.9 0%.(d)瞳孔中心定位第4期实验内容人脸检测与定位人眼检测与定位瞳孔中心定位分析为了检验本文所提算法的视线追踪效果，对50 名测试者进行视线追踪测试，其中佩戴眼镜与未佩戴眼镜的测试者各2 5人，每位测试者先在正常光照条件下进行10 次视线方向判定，再改变光照条件，在不同光照环境下分别进行10 次视线方向判定，实验结果如表2 所示.由表2 可知，本文提出的算法可有效降低眼镜遮挡和光照环境等因素造成的视线方向检测误差，在佩戴眼镜情况下视线方向判定准确率仅下降0.8 0%，暗光条件下视线方向判定准确率较亮光条件下仅下降1.6 0%.因此，本文算法具有良好的抗干扰能力和鲁棒性，满足实际应用需求.参考文献：1 LIU Jiahui,CHI Jiannan,YANG Huijie,et al.In theeye of the beholder:a survey of gaze tracking tech-niquesJ.Pattern Recogn,2022,132(3):108944.2王鹏，陈园园，邵明磊，等基于眼动跟踪的智能家居控制器J电机与控制学报，2 0 2 0，2 4（5）：151-160.3YOON H S,HONG H G,LEE D E,et al.Drivers eye-based gaze tracking system by one-point calibrationJJ.Multimed Tools Appl,2019,78(6):7155-7179.4ZHANG Xucong,SUGANO Y,FRITZ M,et al.MPIIGaze:real-world dataset and deep appearance-based gazeestimation JJ.IEEE T Parrern Anal,2019,41(1):162-175.5苟超，卓莹，王康，等眼动跟踪研究进展与展望J自动化学报，2 0 2 2，48（5）：117 3-1192.6鲁亚楠头戴式视线追踪系统结构设计与视线信息获取方法研究D.天津：天津大学，2 0 17.7MORIMOTO C H,COUTINHO F L,HANSEN D W.Screen-light decomposition framework for point-of-gazeestimation using a single uncalibrated camera and multiple light sources JJ.J Math Imaging Vis,2020,62(12):585-605.8SARAGIH J M,LUCEY S,COHNJ F.Deformable model fitting by regularized landmark mean-shift J.Int JComput Vision,2011,91(2):200-215.9CHENG Yihua,ZHANG Xucong,LU Feng,et al.Gaze estimation by exploring two-eye asymmetry JJ.IEEET Image Process,2020,29:5259-5272.10LIU Jiahui,CHI Jiannan,LU Ning,et al.Iris feature-based 3-D gaze estimation method using a one-camera-one-light-source system JJ.IEEE T Instrum Meas,2020,69(7):4940-4954.11WANG Xinming,ZHANG Jianhua,ZHANG Hanlin,et al.Vision-based gaze estimation:a review J.IEEET Cogn Dev Syst,2022,14(2):316-332.12YIN Shouyi,OUYANG Peng,DAI Xu,et al.An adaboost-based face detection system using parallel configu-rable architecture with optimized computation JI.IEEE Syst J,2017,11(1):267-271.13何光辉，张太平局部匹配的人脸识别方法J重庆大学学报，2 0 12，35（12）：133-138.14AHMED M,LASKAR R H.Evaluation of accurate iris center and eye corner localization method in a facial im-age for gaze estimation JJ.Multimedia Syst,2021,27(3):429-448.15GOU Chao,WU Yue,WANG Kang,et al.A joint cascaded framework for simultaneous eye detection and eyestate estimation J.Pattern Recogn,2017,67:23-31.王鹏等：基于图像梯度和改进椭圆拟合算法的视线追踪方法表1改进定位算法对比结果Tab.1Comparison results of improved localization algorithms算法传统AdaBoost算法改进AdaBoost算法级联分类器算法三庭五眼算法图像梯度和改进椭圆拟合算法霍夫变换算法虹膜检测53准确率/%检测时间/s95.540.12598.710.08396.350.16596.350.00597.320.39090.650.23094.420.267表2 视线方向判定结果Tab.2 Judgment result of line of sight direction%条件变量未戴眼镜佩戴眼镜亮光环境暗光环境误检率/%4.461.293.653.652.689.355.58准确率误检率98.002.0097.202.8097.402.6095.804.20(下转第6 0 页）60ratio,relative compaction,frequency and effective confining pressure.The variation trend of dy-namic shear stress-strain relationship,dynamic elasticity modulus and damping ratio of rubber-sandmixture are analyzed.The results show that the higher the content of rubber particles,the less liq-uefaction of rubber sand;the smaller the generalized shear strain,the less damage of rubber sand.Under the condition of the same rubber content,the failure cycle of the mixture decreases with thecyclic stress ratio.When the relative compactness and effective confining pressure increase,themixture shear strain decreases and the liquefaction resistance increases.But the liquefactionstrength of mixture decreases with the shear frequency.With the increase of shear strain and rubbercontent,the elastic modulus of the mixture decreases gradually,while the damping ratio increasesgradually.Keywords:rubber-sand mixture;cyclic torsional shear test;liquefaction characteristics;cyclicstress ratio;damping ratio扬州大学学报（自然科学版）第2 6 卷(责任编辑文采)(上接第53页）Line of sight tracking method based on image gradient andimproved ellipse fitting algorithmWANG Pengl*,YUAN Shuo,DONG Xin,TAO Wenjiel(1.School of Electrical and Information Engineering,Changzhou Institute of Technology,Changzhou 213032,China;2.Innovation and Development Center of Qingdao,Harbin Engineering University,Qingdao 266000,China;3.School of Electrical and Electronic Engineering,Harbin University of Science and Technology,Harbin 150080,China)Abstract:Aiming at the low detection accuracy and slow speed of single-camera line of sight track-ing system,a gaze tracking method based on image gradients and improved ellipse fitting algorithmis proposed.The method involves face and eye detection using an improved face recognition algo-rithm and the“three vertical,five horizontal face proportion algorithm.Eye center localization isachieved using the image gradient algorithm.The iris edge and center are determined using an im-proved starburst algorithm and ellipse fitting method.Gaze direction is determined using a coordi-nate-based approach.Experimental results demonstrate that this method can effectively reduce thedetection errors caused by head movements,eyelids,glassses and other factors.It can determinegaze direction with good robustness and real-time performance.Keywords:gaze tracking;pupil center positioning;image gradient;elliptic fitting;face detection(责任编辑符娜）