AGV机器人多角度静态识别图像智能拼接方法.pdf

Microcomputer Applications Vol.39,No.9,2023文章编号：10 0 7-7 5 7 X（2 0 2 3)0 9-0 18 5-0 42.国网江西建设公司，江西，南昌330 0 0 1；3.安徽继远软件有限公司，安徽，合肥2 30 0 8 8）摘要：传统多角度静态图像识别拼接方法存在图像拼接精准度低、识别准确率低和拼接时间、识别时间长的问题，对此，文章提出了AGV机器人多角度静态识别图像智能拼接方法。对中心矩进行了归一化处理，获得多角度不变矩，利用不变矩对静态图像进行特征提取；采用对数几率回归分类算法进行分类；采用最大似然法估算图像中的参数；利用梯度下降法判定参数最小值，得到图像识别结果；利用AGV机器人，将图像的识别结果投影到变换矩阵中，将矩阵中的重叠图像划分成一个缝合部分和两个过渡部分；通过多分辨率图像融合算法和加权平均图像融合算法对这三个部分进行融合，得到完整的图像，实现静态图像智能拼接。实验结果表明，该方法的拼接精准度较高、识别准确率始终在8 0%以上，拼接时间最高仅为36 S，识别时间始终低于2 0 s，该方法的准确性高、实时性强。关键词：AGV机器人；多角度静态识别图像；图像拼接；不变矩中图分类号：TP75Intelligent Splicing Method of Multi-angle Static Recognition Image(1.State Grid Jiangxi Procurement Co.,Ltd.,Nanchang 330077,China;2.State Grid Jiangxi Construction Company,Nanchang 330001,China;3.Anhui Jiyuan Software Co.,Ltd.,Hefei 230088,China)Abstract:The traditional multi angle static image recognition and stitching method has the problems of low image stitching ac-curacy,low recognition accuracy,long stitching time and recognition time.Therefore,this paper proposes an intelligent stitc-hing method for multi-angle static recognition image of AGV robot.The central moment is normalized to obtain the multi-angleinvariant moment,and the invariant moment is used to extract the features of the still image.Logarithmic probability regres-sion classification algorithm is used for classification.The maximum likelihood method is used to estimate the parameters in theimage.The minimum value of parameters is determined by gradient descent method,and the image recognition result is ob-tained.Using AGV robot,the recognition result of the image is projected into the transformation matrix,and the overlappingimage in the matrix is divided into a stitching part and two transition parts.The three parts are fused by multi-resolution imagefusion algorithm and weighted average image fusion algorithm to obtain a complete image and realize the intelligent splicing ofstatic images.The experimental results show that the stitching accuracy of this method is high,the recognition accuracy is al-ways more than 80%,the highest stitching time is only 36 s,and the recognition time is always less than 20 s.This methodhas high accuracy and strong real-time performance.Key words:AGV robot;multi-angle static recognition image;image stitching;invariant moment0引言机器人技术在中国机械领域处于领先地位，是中国高技术水平的重要体现。其中，AGV机器人是一种具有一定感知功能和行为自主性的机器人2 ，它可以自行处理静态图像或拼接图像。然而，由于技术的不完善，AGV机器人容易出现故障，导致拼接图像不完整。为了解决这一问题，需要作者简介：万安（197 3一），男，本科，高级经济师，研究方向为电力工程、物资管理；朱婉仪（1994一），女，硕士，助理工程师，研究方向为电力工程；乐年华（197 4一），男，硕士，高级工程师，研究方向为电力工程、信息技术；胡皓月（198 2 一），女，硕士，经济师，研究方向为物资管理；王超（198 5 一），男，本科，助理工程师，研究方向为物资管理。开发应用AGV机器人多角度静态识别图像智能拼接方法万安1，朱婉仪，乐年华1，胡皓月1，王超3（1.国网江西省电力物资有限公司，江西，南昌330 0 7 7；文献标志码：Aof AGV RobotWAN An,ZHU Wanyi?,LE Nianhua,HU Haoyue,WANG Chao对AGV机器人多角度静态识别图像的智能拼接方法进行有效地研究。文献3 提出一种隧洞探测性自主式水下机器人及其图像拼接方法，利用AUV机器人对隧洞进行探查和拍摄，采用基于加速稳健特征算法的AUV水下图像拼接方法对拍摄的图像进行处理，以此解决图像噪声严重和对比度低的情况，同时将上述算法与RANSAC算法相结合，应用于图像中，对图像中的特征点进行匹配。文献4 提出基于网格185微型电脑应用2 0 2 3年第39 卷第9 期Microcomputer Applications Vol.39,No.9,2023运动统计算法和最佳缝合线的密集重复结构图像快速拼接方法，提取了重叠图像的匹配点，利用GMS算法估算变换模型拼接图像。文献5 提出基于改进SIFT的时间序列图像拼接方法，简化了图像特征构造方法，从而产生特征描述符，增强了该算法的运算速度，在特征点配准的过程中引用BBF技术，再通过RANSAC算法对已经配准的特征点实行二次处理并对其拼接。本文整合以往研究经验，提出AGV机器人多角度静态识别图像智能拼接方法。首先对中心矩进行了归一化处理获得不变矩，利用不变矩提取静态图像特征；然后采用对数几率回归分类算法对图像提取特征数据进行分类；采用最大似然法和梯度下降法完成图像识别；最后通过AGV机器人将识别结果投影到矩阵中，将矩阵中的重叠图像划分成3个部分；通过多分辨率图像融合算法和加权平均图像融合算法对其进行融合，实现静态图像的智能拼接。1AGV机器人多角度静态图像特征提取1.1提取多角度静态图像特征AGV机器人在运行过程中需要从多个角度采集静态图像，通过特征提取和图像分类实现图像识别。由于特征提取是图像识别的核心，利用矩阵提取图像特征。这是因为图像在矩阵中进行位移、旋转、展开等操作，仍能保持像素频度平衡，特征不变6 。（1）矩变换和不变矩在各个图像特征提取方法中，矩具有强大的不变性特点，即比例不变性、旋转不变性等，因此，设f（，y)为二维连续图像函数，那么力十q阶的原点矩阵方程定义如下：mm=J-J-ayf(a,y)dady式(1)中，m表示f(,y)函数在单项式中的投影，p表示p阶的原始图像，y表示q阶的去噪图像，d表示常数。由此可见，mp的值取决于f（，y）函数。因为投影m网并不存在图像平移不变性，此时的十q阶的中心矩网定义如下：(-z)(y-y)f(r,y)drdy式（2)中，和分别表示低阶矩，即=m1o/moo，y=m o 1/moo,p,q=0,1,2,.。在静态图像中，存在离散化像素点，对其求和，代替原有像素点，则投影m和中心矩网变换为Mmm=22ayf(a.y)m=1n=122(-2)(y-)f(a.y)MN(A网=m-1-1式（3)中，M和N分别表示图像尺度，f(，y)表示灰度，和y分别表示重心坐标。在静态图像区域R中，其灰度可以通过中心矩网来反映，其中，静态图像灰度是灰度重心的分布度量。此时，中心矩只有平移不变性的特点门，为了获取到其他不变性优点，需要归一化处理中心矩，即nm=m/oo，n m表示归一化中心矩，表示度量。开发应用归一化中心矩可以构造出不变矩，且符合其余不变性的特点，同时，静态图像在不变矩中经过任何操作都可以保持原始图像状态。根据上述分析，导出十q3的七个不变矩91一7 定义如下：(9i=n2o+n0i9=(no+np2)+4nhi9s=(mo+3 m2)+(3m1+ps)29=(no+n2)+(pi+pa)2=(o-3m2)(o+ni2)(o+n2)2-3(m1-3m0s)+(3mp1-ps)(m1+ps)3(o+n2)3(mp1 3 ms)g=(mo-pe2)(npo+n2)-(mi+pa)+4 m1(mo+n/2)(mi+mp3)=(3 m1-ps)(o+ni2)(o+n2)2-3(m+3mpa)-(o-3m2)(m1+ms)3(o+m2)2-(m1+p3)式（4)中的7 个不变矩满足任意图像修改操作及多角度静态图像特征提取，具有较强的多角度不变性，同时也对离散图像存在较好的鲁棒性。（2）不变矩提取图像总体特征在上述不变矩公式中，不变矩的方程量巨大，需要计算的次数较多，导致在提取图像的过程中应用时间较长，为了避免这种情况，采用M=|lg|作为不变矩，k=1,2，7，p 表示第k个不变矩。多角度静态图像中，AGV机器人识别目标图像的几何矩m和中心矩可以通过式(3)求取，由于式(3)中和分别表示静态图像区域R中的边缘重心坐标，以此求和、y,此时,不变矩仍具有静态不变性，与式（4)相同，具有一定目标的区域矩特性，即应用式（4)中的不变矩，生成图像特征数据。(1)1.2图像特征数据分类通过对图像特征数据进行提取后，需要对图像特征数据进行分类，实现AGV机器人多角度静态图像的识别。采用对数几率回归分类算法对图像提取特征进行分类8 ，首先，从图像特征数据中获取样本数据，利用one-to-all(2)策略对图像样本数据进行训练，选取任意一个静态图像，其标签用c描述。识别函数用方程表达为y（t=c lX）=1+六回归系数向量用*表示，（-clX)表示类别c1T表示类别标签，X表示全局特征C。那么由多个特征向量组成的融合特征向量方程X定义为X=C,O,S,C=Ci,C2,.,Cn,O1,O2,.On,S1,S2,(3)(5)式（5)中，C表示图像预判向量，O表示图像静态向量，S表示原型信度向量。图像特征数据训练集N采用极大似然法对各类图像中的参数r。进行估算，利用梯度下降法求取参数最小值，即L(r.)=M(-yirtai+In(1+et)(6)式(6)中，L(r.)表示最小参数值，T表示向量，et*表示特征函数。那么其最终识别图像判定结果为186微型电脑应用2 0 2 3年第39 卷第9 期(4)Microcomputer Applications Vol.39,No.9,2023式（7)中，hLR（)表示图像最大置信度的类别标记，即图像识别结果。从图像特征数据中提取样本数据并进行训练，获取图像特征向量，用最大似然法估计图像中的参数，用梯度下降法得到参数的最小值，确定参数的最小值，得到图像最大置信度的类别标记，从而完成图像识别。2AGV机器人多角度静态图像智能拼接2.1多分辨率图像拼接通过AGV机器人，将上节图像识别匹配结果中的图像投影到变换矩阵中，矩阵内的重叠区域为待处理图像，对其进行计算。对待处理图像进行映射，并拓展重叠图像，将其分成三部分，分别为一个缝合部分及两个过渡部分，在缝合区域中找出最佳缝合线，对其进行融合，具体过程如下所示。假设H表示两幅图像间的投影变换矩阵，对投影变换矩阵H进行计算，从中取得像素量，并对像素量进行归一化处理，将其坐标系放到单位坐标系中，同时，利用差分运算法对图形的重叠部分进行计算9，通过动态规划思想获取图像内的最佳缝合线，使用多分辨率融合算法对最佳缝合线进行拼接10 ：（1）首先，构建一个与AGV机器人多角度静态识别图像大小尺寸相同、且经过完整拼接后的模板图像M,用0 表示图像缝合线左侧区域，2 5 5 表示缝合线右侧区域，从而建立一个黑白图像。（2）设置A和B分别表示待拼接图像，首先对A、B两个图像进行扩展，扩展到与拼接后的图像尺寸相同即可，而0表示扩展部分。（3）构建一个以高斯图像GR为主的模板图像R和待拼接图像扩展后的拉普拉斯图像LA、LB。（4）在每层对图像进行融合，此时，融合图像处理后的拉普拉斯图像Lrusion的方程定义如下：Lfusion=(Gr(i,j)L,(i,j)+255-Gr(i,j)JLB(i,j)/255(8)式（8)中，l表示第几层，（i，j）表示像素点坐标。（5）对拉普拉斯图像Lftusion进行融合处理后，从最顶层对其进行差值扩展，同时，与下层图像相加，重复此步骤，直到相加处理到最后一个层次的图像，从而取得最终融合成功的图像。静态图像识别完成后，利用AGV机器人将图像识别匹配结果投影到变换矩阵中，出现的重叠图像可以划分为缝合部分和过渡部分，采用多分辨率图像融合算法和加权平均图像融合算法分别对缝合部分和过渡部分进行融合，最终取得融合图像，完成对静态图像的智能拼接。3实例测试与分析为了验证基于AGV机器人多角度静态识别图像智能拼接方法的整体有效性，需要对AGV机器人多角度静态识别图像智能拼接方法进行实例测试。以TMR500-HB复合式AGV机器人为实例测试对象，开发应用T其集移动平台和机械臂于一体，可适配主流的机械臂，最大htr()=arg maxeTk=1微型电脑应用2 0 2 3年第39 卷第9 期(7)速度为0.8 m/s，导航精度为士10 mm，重复精度为士5 mm，且配置急停按钮，如图1所示。图1TMR500-HB复合式AGV机器人基于图1，采用AGV机器人多角度静态识别图像智能拼接方法作为方法1（本文方法）、基于网格运动统计算法和最佳缝合线的密集重复结构图像快速拼接方法作为方法2（文献4 方法）和基于改进SIFT的时间序列图像拼接方法研究作为方法3（文献5 方法)进行有效测试。（1）为了验证AGV机器人多角度静态图像拼接的精准度，采用方法1、方法2 和方法3对不完整图像进行拼接，拼接效果如图2 所示。(a）原始图像(c）方法2图2 不完整图像拼接精准度对比根据图2 可知，原始图像A中的网格出现弯曲、网格线路不在同一条直线的情况，图像不完整，所以利用3个方法分别对原始图像A的弯曲网格进行拼接。其中，方法1应用后，其网格形状恢复正常，网格弯曲情况消失；方法2 和方法3应用后，两种方法的拼接效果相同，没有将弯曲的网格修正，由此可知，方法1的拼接效果要高于方法2 和方法3，拼接图像的精准度较优。这是因为方法1采用不变矩对静态图像的特征进行提取，使图像特征数据具有多角度不变性的特点，提升了静态图像的拼接效果。（2）选取10 0 个静态图像，分别采用方法1、方法2 和方法3对此类图像进行有效识别，具体识别结果如图3所示。187.(b)方法1(d)方法 3Microcomputer Applications Vol.39,No.9,2023-0100静态图像数量/个图3静态图像识别准确率对比分析图3可知，受到图像增加的影响，方法2 在测试后期出现波动轨迹不稳定的情况，其识别准确率时而上升时而下降，而方法3因图像数量的增加，波动轨迹逐渐下降，识别准确率要低于方法1和方法2，方法1在测试期间并没有因为静态图像数量的增加而降低识别准确率，反而呈现出缓慢上升趋势，识别准确率始终在8 0%以上，可见方法1的识别准确率要优于方法2 和方法3。（3）利用方法1、方法2 和方法3对AGV机器人多角度静态图像进行两个阶段测试，分别为拼接时间测试和识别时间测试，设置时间限制为6 0 S，那么第一阶段拼接时间测试如表1所示。表13种方法的拼接时间对比不同方法的拼接时间对比测试/s静态图像数量/个方法1520102115222023252430253526403045345036根据表1中的数据可知，在测试期间，方法1的拼接时间始终低于方法2 和方法3，可见方法1的拼接速度是3个方法中最快的，最高仅为3 6 s；方法1和方法2 在测试期间，拼接时间会随着静态图像数量的增加而上升，反之方法3测试过程中，拼接时间不够稳定，可见方法3的拼接速度低于方法1。（4）3种方法在第二阶段对静态图像识别时间测试如图4所示。60方法1图方法2方法330150100200300400500静态图像数量/个图4三种方法的识别时间测试开发应用100r由图4可知，三种方法在识别过程中，识别时间都在持续上升，但从总体上看，方法1的识别时间最低，始终低于2 080FS。同时,方法2 的波动轨迹与方法1的波动轨迹差距小于60F方法3，方法2 的识别时间仅次于方法1。40一方法1一方法220方法3200300400500600方法2方法33739374938375639404243484950微型电脑应用2 0 2 3年第39 卷第9 期4总结1为了提高多角度静态图像识别和拼接精准度，减少拼接和识别时间，本文提出AGV机器人多角度静态识别图像智能拼接方法。对AGV机器人多角度静态采集图像进行特征提取，采用对数几率回归分类算法分类提取的特征，完成对静态图像多角度识别；利用AGV机器人，将图像识别结果投影到变换矩阵中，在变换矩阵中，对重叠图像进行融合，取得最终融合图像，实现对静态图像的智能拼接，解决了图像拼接精度低、识别准确率差、拼接时间和识别时间长的问题，提升了AGV机器人多角度静态识别图像智能拼接方法的有效性、实用性。但由于条件所限，该方法的图像拼接时间降低得不够明显，如何进一步缩短拼接时间，实现实时拼接，可以作为未来的研究方向。1岳秋琴，张伟，谷明信，等.“专本贯通 高端应用型人才培养模式研究与实践：以机器人技术专业为例J.职业技术教育，2 0 2 0,41(2 9）：11-13.2 冯亚丽，李敏，张玉华.采摘机器人AGV控制系统研究一基于云平台分布式远程监控技术J.农机化研究，2 0 2 0,42(8)：2 49-2 5 3.3陈舟，唐松奇，石磊，等，一种隧洞探测型自主式水下39机器人及其图像拼接方法J.船舶工程，2 0 19，4160(3):115-121.384牟琦，唐洋，李占利，等.基于网格运动统计算法和最44佳缝合线的密集重复结构图像快速拼接方法J.计49算机应用，2 0 2 0,40（1）：2 39-2 44.555 卢鹏，卢奇，邹国良，等.基于改进SIFT的时间序列图像拼接方法研究J.计算机工程与应用，2 0 2 0，5 6(1):196-202.6 李向阳，高志强.抗扰控制中的不变性原理J.控制理论与应用，2 0 2 0，37（2）：2 36-2 44.7 MARYC.WRIGHT.教与学中心评估矩阵JI.中国大学教学，2 0 19（12）：5 7-6 0.8陈文凤，练开明，刘江洪，等.基于多酚类物质的红茶滋味特征分类与判别J.天然产物研究与开发，2019,31(6):986-994.9 查晓民，谢国大，沙威，等.电磁计算中辛时域有限差分算法研究进展J.电波科学学报，2 0 2 0，35（1）：43-54.10么鸿原，林雪原，王海鹏，等.针对高分辨率遥感图像的融合拼接算法J.计算机工程与设计，2 0 19，40600(11):3230-3235.188.参考文献（收稿日期：2 0 2 1-0 8-2 4）