数字图像相关方法中基于改进IC-GN算法高精度形变测量研究.pdf

第42 卷第1期2024年1月数字图像相关方法中基于改进IC-GN算法高精度形变测量研究孙泽刚1，张奎1*，蒋强，黎军华31四川轻化工大学机械工程学院，四川宜宾6 440 0 2；2.乐山师范学院电子信息与人工智能学院，四川乐山6 140 0 0；3.乐山一拉得电网自动化有限公司，四川乐山6 140 0 0摘要：在数字图像相关方法对物体形变测量中，FA-NR算法实现了高精度测量，IC-GN算法在此基础上提高了测量效率。为进一步提升测量精度，提出了一种基于IC-GN的改进算法(GIC-GN)。在已知整像素初始位置上，通过梯度法求得更准确的亚像素位移，减小Hessian矩阵计算过程中产生的误差，同时加快选代的收敛速度，有效提高了测量精度和效率。仿真实验验证结果表明,GIC-GN算法误差能够稳定在10-410-3pixel之间，对比IC-GN算法精度提升了10%60%，耗时是FA-NR算法的0.1倍、IC-GN算法的0.8 倍，能够实现对物体形变信息的高精度、高效率测量。关键词：数字图像相关；IC-GN算法；Hessian矩阵；高精度；高效率doi:10.7517/issn.1674-0475.230804影像科学与光化学Imaging Science and PhotochemistryVol.42No.1Jan.,2024http:/www.yxkxyghx.orgResearch on High-precision Deformation Measurement Based onImproved IC-GN Algorithm in Digital Image Correlation MethodsSUN Zegang,ZHANG Kuil*,JIANG Qiang,LI Junhua1.School of Mechanical Engineering,Sichuan University of Science&Engineering,Yibin 644002,Sichuan,P.R.China;2.School of Electronic Information and Artificial Intelligence,Leshan NormalUniversity,Leshan 614000,Sichuan,P.R.China;3.Leshan ELECT Electrified Wire NetingAutomation Co.,Ltd.,Leshan 614000,Sichuan,P.R.ChinaAbstract:In the measurement of object deformation using digital image correlation methods,the FA-NR algorithm achieves high-precision measurement,while the IC-GN algorithm improves measurement efficiency on this basis.To further improvemeasurement accuracy,an improved algorithm based on IC-GN(GIC-GN)was proposed.By using the gradient method to obtain amore accurate sub pixel displacement at the known initial position of the entire pixel,the error generated in the Hessian matrixcalculation process is reduced,and the convergence speed of the iteration is accelerated,effectively improving measurementaccuracy and efficiency.The simulation experiment verification results show that the error of GIC-GN algorithm can be stablebetween 10-4-10-3 pixel,and the accuracy of IC-GN algorithm is improved by 10%-60%compared to FA-NR algorithm.The timeconsumption is 0.1 times that of FA-NR algorithm and 0.8 times that of IC-GN algorithm,which can achieve high-precision andefficient measurement of object deformation information.Key words:digital image correlation;IC-GN algorithm;Hessian matrix;high precision;high efficiency2023-08-07收稿，2 0 2 3-12-11录用四川省科技计划项目（2 0 2 2 YFG0075）*通讯作者910数字图像相关方法（digital image correlationmethod,DICM 或 DIC)1.21 根据物体变形前后的散斑图像,通过相关函数匹配散斑图像最相似子集的位置来获取物体的形变信息，也被称为数字散斑相关方法（digitalspecklecorrelationmethod,DSCM),由 Peters 等3 和 Yamaguchi4于 2 0 世纪80年代提出。因为其具有无损、非接触性、低成本、对测量环境要求低等优点5,DIC方法已在科学研究和工程实践中得到广泛应用，如土木工程6 、航空航天7 、工业制造8 、材料科学9、自主驾驶技术10 1等。在DIC方法中，提升测量精度的方法主要分为硬件和算法两个部分，通过提升硬件设施和改善环境对精度的提高是有限的，同时伴随着成本急剧增高、测量系统变得更加复杂，因此，从算法上提升精度成为了主要途径。DIC算法主要包括两个部分：整像素位移搜索和亚像素位移搜索。其中，亚像素位移搜索是影响DIC方法测量精度的主要因素。在亚像素位移搜索研究方面,通常有梯度法、曲面拟合法等非迭代亚像素算法和灰度梯度迭代法、迭代曲面拟合法、前向加性牛顿-拉弗森迭代法(for-ward additive Newton-Raphson,FA-NR)1、反向组合高斯-牛顿迭代法（inverse composition Gauss-Newton,IC-GN)12等迭代算法。在2 0 0 1年Zhou等13 根据物体表面变形前后灰度值保持不变的原理，通过灰度梯度对亚像素位移进行测量，首次提出了基于梯度算法求解亚像素位移，并通过模拟散斑进行了验证；在2 0 0 3年Hung等14 通过选定拟合窗口，根据参考子区和目标子区之间的相关系数峰值来确定亚像素位移，提出了二次曲面拟合法，通过求解二次曲面的最大值来确定峰值处的亚像素位移;2 0 0 7 年Meng等15 提出了一种基于迭代法和空间梯度的算法，即灰度梯度迭代法；2 0 2 1年李荣丽等16 通过比较不同的拟合曲面提出了一种迭代曲面拟合法；198 9年Bruck等17 将FA-NR算法应用到DIC技术中,其基本原理是通过迭代计算求解相关函数的极大(小)值，从而确定亚像素位移的位置，具有很高的精度；2 0 0 1年Baker等18.19 提出了IC-GN算法,并证明了逆合成算法和前向加性算法是影像科学与光化学等效的，并且IC-GN算法解决了FA-NR算法在迭代期间大量重复计算的问题，大大提高了算法的计算效率。在这之后,Pan等2 0 1在2 0 16 年研究比较了FA-NR算法和IC-GN算法，通过理论误差分析和数值模拟实验对比，证明了IC-GN算法具有更好的抗噪能力和更高的测量精度。至此,IC-GN算法奠定了在亚像素搜索算法中的重要地位。为了进一步提高 IC-GN算法的精准度和效率,本文在 IC-GN算法基础上，提出了一种基于灰度梯度的高斯-牛顿送代法。1相关工作1.1王理论基础数字图像相关方法在测量物体形变大小时，通过在被测物体表面投影或绘制随机散斑图案，并定义相关函数，通过形函数描述形变前后的图像中像素点的形变信息，对物体变形前后两张图像进行分析求解得出最大(小)相关系数,该位置即为目标点在形变后在图像中的对应位置，其基本原理如图1所示。x0参考子区Y变形前的图像图1DIC基本原理示意图在数字图像相关方法中，用形函数对图像变形前后的各个像素点位置关系进行描述，表达式如下：-1+urW(,P)=1+0y式中的参数记为P=u,ua,uy,Us,s其中,u和分别表示方向和方向的像素位移，和y分别表示子区中坐标,y)到子区中心坐标（co,yo)的偏移量；u和u分别是位移不同方向的梯度。由式（1）可以得到图像变形前后对应点的关系为第42 卷自标子区变形后的图像uyu-A.y(1)第1期yi-yLyo-在IC-GN算法中,零均值归一化差平方和函数(zero-mean normalized sum of squared difference,ZNSSD)21是最常用的相关函数,优点是收敛快、抗噪声、可靠性强等，表达式为f(ci.y,)-fm_g(i,yiAgi-1.j-1Af式中，I表示图像子区所包含的像素点个数；fm=（2 M+112之（），表示参考=1i1子区的灰度均值；孙泽刚等：数字图像相关方法中基于改进IC-GN算法高精度形变测量研究0+W(ric,0)yoAyiLAy;11含含g（a），表示目标1(2)gm(2M+1)2子区的灰度均值；+W(r r,P)(3)Ag1.2反向组合高斯-牛顿(IC-GN)算法FA-NR算法在形变子区的图像上对形函数参gm数进行迭代更新求出最优解，Jacobian向量和Hes-sian矩阵每次迭代需要重新计算，使得计算量非常（4)大,导致算法效率大大降低;IC-GN算法提出了新的思想，通过增量改变参考子区，匹配到与参考子区最相关的形变子区，得到新的形函数参数，再进行迭代优化求出最优解，示意图如图2 所示。参考图像PAPPAPPu-IAPa-1形变图像图2 IC-GN示意图用P来表示参考子区的形函数参数,Pae表示形变子区的形函数参数,参考子区的各个像素点可以表示为i=o+W(Arr,Pr)当P,=0代表新的参考子区与初始的参考子C(0)-224f(z+W(Atz,0)-fm_ g(a+W(Arr Pa)-gmAf(df(+W(Ars,0)dfdAPdPAff(r+W(Arir,o)-fm daf(f)2(f)2p/(a+W(Aa20,.)7.df(r+W(Ara,0)-dAP f(a*+W(Ara,0)-fm-g(+W(Ara,Pa)-gm.d f(+W(Arr,0)Ag在光照均匀，亮度一致且散斑随机分布的条件下，可以对式(5）、式(6)化简得：区重合，即为参考子区形函数参数的最优解，因此只要基于一组给定的形函数参数初始值Pdeo，不断迭代优化相关函数得到一个在P,=0的条件下的最优解Pde。此时Jacobian向量和Hessian矩阵表达式如下：(5)dP(6)(dP)2Ag12此时的Par与P的关系通过形函数表示为2改进IC-GN算法在对Hessian矩阵化简过程中，将式(6)的舍弃量记为A,则Af式(9)由两个无穷小量相乘组成，分别记为A1、A 2，则(dP)2A受整像素搜索所得的初始位置Pae影响，当GIC-GN算法主要分为三步,首先，由整像素搜Pde越接近最优解Pe，A i就越接近于O；A 2 与插值索算法得到与参考子区对应的整像素位置；然后，根函数相关,通过选择合适的插值函数降低误差。因据图像发生形变后图像中各点的灰度值不变的原此，可以用亚像素的位置来表示初始位置，这样使得理，即Pa更加接近最优解Pie，式(9)得到一个更高阶的小量。更加准确的初始位置在减小误差的同时，还能减少迭代次数，加速相关函数的收敛，改进的IC-GN算法(GIC-GN)基本流程如图3所示。开始获取整像素位移uo,Vo由梯度法计算u,Av给定初始位置P(uo+u,Vo+A v)并计算Hessian矩阵计算P是否满足收敛条件？是输出P*结束图3GIC-GN算法流程图影像科学与光化学f(a+W(Ara,0)-fm_ g(2+W(Arr,Pa)-gmVCZNsD(O)Afdf(+W(Ara,0)dPVVCZNssD(O)dPW(Arr,Pa)-W(Arr,Pa).W-1(Arr,AP)gA.=df(ctWArr.0)其中u和分别表示和y方向的整像素位移，r和分别表示和方向的亚像素位移，对g(，y;)进行一阶泰勒展开得g(,y)=g(a;+u,y;+)+g(+u,y,+o)+gy(x;+u,y,+o)Ay将其代人最小距离平方和函数：Casp=22(ai,y.)-g(al i)更新P*用最小二乘法可以求得.-22g;2(f-g)g.LAy使用Barron算子对图像的梯度ggy进行计算,Barron算子表达式如下：第42 卷Ag(7)(8)dP(9)(dP)?Agf(xi,yj)=g(i,y:)=a;+u+Ary/=y+u+Ay第1期由此可以得到亚像素位置的迭代初始值P。=u十r,00,u十y,0,o；最后将这个迭代初始值代入IC-GN算法进行送代优化，直至得到最优解Pi。3仿真实验为验证GIC-GN算法能够实现对物体形变信息的高精度测量，本文通过计算机生成不同形变量的模拟散斑图像进行验证分析。首先，通过Matlab生成一幅512 X512像素大小的参考图像，其散斑数量为2 0 0 0，散斑大小为2 pixel,亮度为1。并通过设置参数生成了2 0 幅从0.0 51pixel形变量的参考图像。为了确定子区大小对算法精度的影响，分别对2 1X21、31X 31、41X 4151X 51、6 1X 6 1五种子方法梯度法FA-NRIC-GNGIC-GN方法梯度法FA-NRIC-GNGIC-GN方法梯度法FA-NRIC-GNGIC-GN孙泽刚等：数字图像相关方法中基于改进IC-GN算法高精度形变测量研究2g(a,)=g(-2,)_8g(-1,)+8g(+1,_g(+2,)12ag(a,)=g(r,-2)_8g(a.-1)+8g(ay+1)_g(a,y+2)ay为不同算法测量所耗时间的结果。从表1、表2、表3可以看出，随着子区的增大，算法的稳定性越来越高，所耗时间也随之增加,结合精度与效率的影响，在子区大小为41X41时，算法精度变化比较明显，此时 GIC-GN算法相对常规的FA-NR算法和IC-GN算法精度提升了0.0 0 5pixel，所消耗的时间仅仅是FA-NR算法的10.6 9%，是IC-GN算法的 8 4.2 8%。表1四种亚像素搜索算法的误差均值结果位移测量均值误差（pixel)子区大小21X2131X31-0.012679-0.0120830.0048640.0080350.0048810.0080090.0040560.003401表2 四种亚像素搜索算法的标准差结果位移测量标准差子区大小21X2131X310.0172740.0114030.0434210.0119040.0446590.0118800.0345180.011723表3四种亚像素搜索算法的消耗时间位移测量耗时(ms)子区大小21X2131X31328604409566554738364597651312121212区大小在形变量为0.3pixel 的情况下进行了验证分析,为了保证实验结果的可靠性，本文对一个大小为10 0 X100的子区，步进长度为10 pixel的10 0 个像素点进行了测量，表1为不同算法测量的误差均值结果，表2 为不同算法测量的标准差的结果，表341X4151X510.0128600.0117220.0086490.0096790.0086390.0096710.0033170.00386441X4151X510.0069980.0050370.0091970.0072170.0092260.0072240.0076710.00541641X4151X5192813711093716394138718921169163712121261X61-0.0132600.0094240.0094230.00418861X610.0045730.0059720.0059690.00417261X611872228542694220214在确定所选子区大小后，本文对四种亚像素搜索算法从0.0 51 pixel 形变量测量结果的误差均值和标准差进行了比较分析，表4为四种亚像素算方法0.05梯度法941FA-NR10578IC-GN1305GIC-GN1085从表4、图4和图5可以看出，FA-NR算法和IC-GN算法几乎拥有相同的误差和标准差，证明了FA-NR算法和 IC-GN算法的等效性,而 GIC-GN算法在精度和稳定度上比两种传统迭代方法都更加优秀，其均值误差能够稳定在10-410-3pixel,并且整个算法稳定性也能保持在10-3pixel,曲线相较于FA-NR算法与IC-GN算法更加平稳,同时在效率上相对IC-GN算法也有所提升。影像科学与光化学法测量的消耗时间，图4表示四种亚像素搜索算法的误差均值结果，图5表示四种亚像素算法测量的标准差。表4四种亚像素搜索算法的消耗时间位移测量耗时(ms)实际位移0.10.151024927105181033612841286105610380.040.030.020.010-0.01-0.020.03-0.0400.10.20.30.40.50.60.70.80.91.0实际位移(pixel)图4四种亚像素搜索算法的误差均值结果0.0300.025(xId)0.0200.0150.0100.005000.10.20.30.40.50.60.70.80.9 1.0实际位移(pixel)图5四种亚像素搜索算法的标准差结果4结论本文通过对IC-GN算法的原理介绍,提出了一种基于 IC-GN算法的改进算法 GIC-GN。通过分析Hessian矩阵计算过程中误差产生的原因，在已知整像素初始位置的基础上，使用梯度法求得亚像素位移代替整像素初始位置，减小Hessian矩阵计算过程中舍弃量过大产生的误差，提高对物体形变的测量精度，加快算法的收敛速度，提升算法的效第42 卷0.20.8593591410508103611249132310331093梯度法-FA-NRIC-GNGIC-GN梯度法-FA-NR-IC-GN+GIC-GN0.993410487132910420.95912112751309108319311034113031047第1期率。并通过软件编程搭建了仿真实验平台，验证了本文提出的GIC-GN算法的可行性和精度,实验结果表明:GIC-GN算法精度比IC-GN算法提高了10%6 0%,效率提高了2 0%。参考文献：1McCormick N,Lord J.Digital image correlationJJ.Materi-alsToday,2010,13(12):52-54.2Pan B.Recent progress in digital image correlationJJ.Er-perimental Mechanics,2011,51(7):1223-1235.3Peters W H,Ranson W F.Digital imaging techniques in ex-perimental stress analysisJ.Optical Engineering,1982,21(3):427-431.4Yamaguchi I.A laser-speckle strain gaugeJ.Journal ofPhysics E:Scientific Instruments,1981,14(11):1270-1273.5Chen Q,Tie Z X,Hong L,et al.Improved search algorithmof digital speckle pattern based on PSO and IC-GNC.Pho-tonics,2022,9(3):167.6魏康，员方，董志强，等。基于标志点的多相机数字图像相关方法精度分析及土木工程中的应用东南大学学报（自然科学版），2 0 2 1，51（2）：2 19-2 2 6.7王翔，郭广平，赵澎涛，等数字图像相关方法在航空材料高温变形测量中的应用研究C。中国力学学会，上海交通大学(SHANGHAI JIAO TONG UNIVERSITY).中国力学大会一2 0 15论文摘要集.北京：中国力学学会，2 0 15：36 6.8 Dutta S,Pal S K,Mukhopadhyay S,et al.Application ofdigital image processing in tool condition monitoring:AreviewJ.CIRP Journal of Manufacturing Science andTechnology,2013,6(3):212-232.9邵新星，陈捷，马沁巍，等。实时三维数字图像相关方法在材料力学教学中的应用J力学与实践，2 0 2 1，43（5）：7 7 6-782.1o Basterretxea K,Martinez V,Echanobe J,et al.HSI-drive:A dataset for the research of hyperspectral image processingapplied to autonomous driving systemsCJ.2021 IEEE Intel-ligent Vehicles Symposium(IV).IEEE,2021:866-873.11 Lucas B D,Kanade T.An iterative image registration tech-nique with an application to stereo visionC.IJCAI81:7thinternational joint conference on Artificial intelligence.Van-couver,BC,Canada.New York:ACM,1981,2:674-679.12 Passieux J C,Bouclier R.Classic and inverse compositionalGauss-Newton in global DICJJ.International Journalfor Numerical Methods in Engineering,2019,119(6):453-468.13Zhou P,Goodson K E.Subpixel displacement and deforma-tion gradient measurement using digital image/speckle corre-lation(DISC)JJ.Optical Engineering,2001,40(8):1613-孙泽刚等：数字图像相关方法中基于改进IC-GN算法高精度形变测量研究151620.14Hung P C,Voloshin A S.In-plane strain measurement bydigital image correlationJ.Journal of the Brazilian Socie-ty of Mechanical Sciences and Engineering,2003,25(3):215-221.15Meng L B,Jin G C,Yao X F.Application of iteration and fi-nite element smoothing technique for displacement and strainmeasurement of digital speckle correlation J.Optics andLasers in Engineering,2007,45(1):57-63.16李荣丽，郭琦，刘小勇，等数字图像相关亚像素位移测量中送代相关系数曲面拟合算法研究门机床与液压，2021,49(12):29-32,189.17Bruck H A,McNeill S R,Sutton M A,et al.Digital imagecorrelation using Newton-Raphson method of partial differen-tial correctionJ.Experimental Mechanics,1989,29(3):261-267.18Baker S,Matthews I.Equivalence and efficiency of image a-lignment algorithmsCJ.Proceedings of the 2001 IEEE Com-puter Society Conference on Computer Vision and PatternRecognition.CVPR 2001.IEEE,2001,1:I.19Baker S,Matthews I.Lucas-kanade 20 years on:A unifyingframeworkJ.International Journal of Computer Vision,2004,56(3):221-255.20Pan B,Wang B.Digital image correlation with enhanced ac-curacy and efficiency:A comparison of two subpixel registra-tion algorithmsJ.Eaperimental Mechanics,2016,56(8):1395-1409.21Pan B,Xie H M,Wang Z Y.Equivalence of digital imagecorrelation criteria for pattern matchingJJ.Applied Optics,2010,49(28):5501-5509.22Fadnavis S.Image interpolation techniques in digital imageprocessing:An overviewJ.International Journal of Engi-neering Research and Applications,2014,4(10):70-73.23卢宇，陈果，申远，等连续全场数字图像相关的反向组合高斯-牛顿算法.传感技术学报，2 0 2 1，34（4）：515-521.24董一，王桂荣，洪亮基于改进梯度法的数字图像相关亚像素位移求解算法J。现代电子技术，2 0 2 2，45（17)：2 9-34.25李开平，蔡萍数字图像相关方法的亚像素算法性能研究J.仪器仪表学报，2 0 2 0，41（8)：18 0-18 7.26熊磊，刘国栋，刘小勇，等数字图像相关中基于非线性灰度改变模型的灰度梯度迭代算法J机床与液压，2 0 12，40(13):70-72.27邵新星，陈振宁，戴云彤，等。数字图像相关方法若干关键问题研究进展J.实验力学，2 0 17，32（3）：30 5-32 5.28张顺庆，高晨家，张龙数字图像相关技术在应力应变测量中的发展与最新应用J影像科学与光化学，2 0 17，35(2):193-198.