基于虚拟现实技术的图像多特征点匹配拼接方法.pdf

现代电子技术Modern Electronics Technique2023年10月1日第46卷第19期Oct.2023Vol.46 No.190 引 言在实际应用中，人们对于图像的需求通常会超出普通摄像设备的视角范围，高清、大视角图像成为必然的需求13。为了降低成本，获得高品质图像，图像拼接技术应运而生，其应用范围也愈来愈广泛，如地质勘测、电力巡检、气象监控、空间探索、医疗诊断、虚拟仿真等方面，具有广阔的发展前景与较高的研究价值46。国内外诸多学者关于图像拼接问题进行了研究，如文献7利用数码相机对原始图像采集，提取特征点，通过凝聚层次聚类方法对特征点分割，找出误匹配点并消除，利用网格信息求得所有特征点的权重，通过线性变换的方法获取变换矩阵对图像拼接，并采用多频率融合算法得到高清图像；文献8通过 ORB 算法与 DBSCAN聚类算法获取图像重合区域，通过二值化互信息的方式完成特征点粗匹配，采用 RANSAC算法求得变换矩阵，基于虚拟现实技术的图像多特征点匹配拼接方法董 句，陈小丽，刘 媛，屠增辉（华中科技大学，湖北 武汉 430074）摘 要：为解决图像局部区域重叠问题，获取高质量图像，提出基于虚拟现实技术的图像多特征点匹配拼接方法。采用深度图像渲染技术去除原始图像的噪声，减少空洞数量；通过可视化方式确定相邻图像的重叠区域，采用二进制局部特征描述符算法得到重叠区域内的所有特征点；依据夹角反余弦算法粗匹配图像中所有特征点，利用RANSAC算法删掉误匹配点，获得正确匹配点，精准匹配图像多特征点；通过转换矩阵坐标变换正确匹配点实现图像拼接，并通过加权平滑融合方法融合图像拼接过程中产生的痕迹，获取最佳的图像虚拟现实呈现结果。实验结果证明：该方法能够有效实现图像的拼接，消除图像中重叠与错位部分，使拼接后的图像可以达到无缝平滑的效果。关键词：图像拼接；虚拟现实技术；多特征点；粗匹配；精准匹配；深度图像渲染；RANSAC算法；痕迹融合中图分类号：TN911.7334；TP751.1 文献标识码：A 文章编号：1004373X（2023）19004504Image multiple feature point matching and stitching method based on virtual reality technologyDONG Ju,CHEN Xiaoli,LIU Yuan,TU Zenghui(Huazhong University of Science and Technology,Wuhan 430074,China)Abstract：An image multiple feature point matching and stitching method based on virtual reality technology is proposed to eliminate overlapping region of images and obtain highquality images.The depth image rendering technology is used to remove the noise of the original image and reduce the number of holes.The overlapping region of adjacent images is determined by means of visualization.All of the feature points in the overlapping region are obtained by the binary local feature descriptor algorithm.All of the feature points in the image are matched roughly according to the included angle arccosine algorithm.The wrong matching points are deleted with RANSAC(random sample consensus)algorithm to obtain the correct matching points,so as to accurately match multiple feature points in the image.The correct matching points are transformed by the transformation matrix coordinates to achieve image stitching.The traces generated in the process of image stitching are fused with the weighted smooth fusion method to obtain the optimal image virtual reality rendering results.The experimental results shows that the method can realize image stitching effectively,eliminate the overlapping and dislocation of the image,and make the stitched image seamless and smooth.Keywords：image stitching;virtual reality technology;multiple feature points;rough matching;accurate matching;depth image rendering;RANSAC algorithm;trace fusionDOI：10.16652/j.issn.1004373x.2023.19.009引用格式：董句，陈小丽，刘媛，等.基于虚拟现实技术的图像多特征点匹配拼接方法J.现代电子技术，2023，46（19）：4548.收稿日期：20230217 修回日期：202303134545现代电子技术2023年第46卷利用该矩阵完成图像拼接。上述两种方法虽然可以在一定程度上实现对图像的拼接，但是拼接后的图像效果不理想。因此，本文提出基于虚拟现实技术的图像多特征点匹配拼接方法，通过图像多特征点匹配拼接实现全景图像场景的虚拟现实呈现。1 图像多特征点匹配拼接的虚拟现实技术虚拟现实技术中图像拼接是一种匹配对准方法，作用的对象为多张存在局部重叠的图像。关于图像多特征点匹配拼接主要可以分为四部分，即图像采集预处理、多特征点检测、多特征点匹配以及图像拼接。1.1 图像采集与预处理原始图像的优劣会对后续图像的匹配拼接效果产生较大影响，通过数码摄像机对原始图像采集，使用深度图像渲染（DIBR）技术预处理图像。DIBR 技术可以对图像深度映射和平滑处理，达到降低噪声、减少图像空洞的目的9。利用线性与反比例映射完成深度映射操作。设定S代表线性映射，则S可以描述为：S=So+s(Sq-So)255（1）式中：在投影变换时近剪切与远剪切值分别用Sq和So描述；线性映射用s 0,255描述，s能够还原实际深度值。利用S的反比例映射实现图像的深度映射，描述为：1 S=1 So+(s 255)()1 Sq-1 So（2）通过二元高斯函数实现图像的深度平滑，利用该函数使图像在旋转后保持其对称性，该函数可以描述为：f(x,y,)=122ex2+y22（3）式中：图像像素用(x,y)描述；高斯分布参变量用描述；图像边缘高斯阈值用e描述。设定与(x,y)对应的深度值用h(x,y)描述，通过f(x,y,)对(x,y)滤波平滑后，得到其对应的深度值H(x,y)，描述为：H(x,y)=w=1w 2cw()h(x-c1),(y-c2)f(x,y,)w=1w 2cwf(x,y,)（4）式中：平滑窗口数量用w描述；窗口长度内数据点用cw描述；不同的不归零常数用c1、c2描述。利用式（2）、式（4）实现图像的深度映射与平滑操作，有效降低图像中的噪声与空洞数量。1.2 图像多特征点检测为了能更加快速、准确地检测到特征点，利用虚拟现实技术中的可视化方式确定相邻图像的重叠区域，在该区域中对特征点检测。二进制局部特征描述符（ORB）算法可以提高收敛速度，检测的特征点就是FAST关键点，属于图像角点的一个种类。设定一个圆周用Q描述，其圆心是灰度图像素点p，半径长度是3个像素，并在Q上设置数量是 16 的像素点，FAST 关键点的检测描述为：Gpn=d,Ipn Ip-vz,Ip-v Ipn Z，说明A与B匹配正确；反之，则说明没有匹配成功。另外，阈值的大小与匹配点对的数量呈正相关性。通过上述操作，可以实现关于图像的多特征点粗匹配。1.3.2 图像多特征点的精准匹配图像经过粗匹配后，通常会包含误匹配点，为获取高质量的图像，通过RANSAC算法将其去除。所有样本通过RANSAC算法采样，预测出存在于变换模型中的参变量，获取计算模型，并将特征点数据导进其中，求得经过变换之后的数值u。计算u和实际值的差，并获取其绝对值l，比较l和事先设置好的阈值的大小，如果l ，那么其对应的数据点则是内点，将该点存储在计算模型中；反之，则是无效数据点，应予以46第19期去除。反复进行以上操作，直到算法结束，此时内点个数最多的模型即是最佳模型，利用该模型实现图像多特征点的精准匹配。1.4 图像拼接与痕迹融合设 定 某 两 幅 图 像 内 任 意 一 对 正 确 的 匹 配 点 用(a1,g1)与(a2,g2)描述，那么转换矩阵T描述成：a1g11=T a2g21=t1 t2 t3t4 t5 t6t7 t8 1 a2g21（7）式中：旋转变换参变量用t1、t2描述；平移参变量用 t3、t6描述；尺度变换参变量用t4、t5描述；透视变换参变量用t7、t8描述。通过转换矩阵T对获取的正确匹配点实施坐标变换运算，实现图像的拼接。拼接后的图像有时会出现拼接痕迹，使用加权平滑融合方法融合图像拼接过程中产生的痕迹。2 实验分析以某个 35 kV变电所为实验对象，该变电所为综合性变电所，主要负责其周边生产厂区、居民小区以及其他商务公司的电力供应。为了验证所提方法的有效性，在该变电所巡检机器人上安装了具有防爆性能的 kba 7.4 本安型数码摄像机，对变电所图像进行采集并预处理，获取待拼接图像如图 1所示。该摄像机分辨率为3 840 2 160，变焦为20X光学和 250X数码。采用所提方法对该待拼接图像进行了特征点检测以及匹配拼接操作，得出结果如图2、图3所示。图1 待拼接图像图2 图像多特征点检测图3 匹配拼接后图像由图1可知，待拼接图像1和图像2存在重叠部分，且有明显的错位现象，影响展示效果。从图 2 可以看出，所提方法提取的特征点分布较为均匀，没有产生重叠的特征点，很好地控制了特征点的聚集。从图 3 可知，利用所提方法对图像匹配拼接后，消除了重叠与错位现象，达到了无缝平滑的效果。由此说明，所提方法有效且可操作性强。对于图像匹配拼接问题来说，特征点的提取非常重要，它关系到后续匹配的速度与效果，为此实验在不同光线亮度情况下，对所提图像多特征点检测方法在查全率与重复率方面的表现进行测试，得出的结果如图4所示。图4 多特征点检测方法性能测试由图 4可知，所提图像多特征点检测方法在不同光线亮度情况下，在查全率与重复率方面表现较为理想，尤其是在对原图中的特征点检测时，查全率更是接近1，重复率也趋于 0。即使是在原图像基础上光线亮度增加或降低 40%时，图像特征点的查全率与重复率也没有太大波动，仍保持在较好的状态。由此可见，应用所提图像多特征点检测方法检测到的特征点具有不重叠性与全面性。为了衡量所提图像多特征点匹配方法的性能，实验在具有不同数量的特征点条件下，从特征点匹配额度值方面分析。该数值越大，说明匹配特征点的能力越强，董 句，等：基于虚拟现实技术的图像多特征点匹配拼接方法47现代电子技术2023年第46卷方法的性能越好，实验结果如图5所示。图5 多特征点匹配性能由图5可知，随着迭代次数的增加，特征点匹配额度值也在不断增大。当迭代次数为50、特征点数为30时，匹配额度值已达到0.6。由此说明，所提图像多特征点匹配方法在特征点匹配方面有着较好的表现，功能性较强。3 结 论为了提高图像拼接效果，获取高质量的图像，本文提出一种基于虚拟现实技术的图像拼接方法，利用虚拟现实技术中的 DIBR技术去除原始图像的噪声，减少空洞数量，得到品质较优的待拼接图像，为后续的图像拼接打下基础，进而达到更好的拼接效果。通过实验证明，所提方法在图像拼接方面有着较好的表现，能够达到理想的拼接效果。注：本文通讯作者为陈小丽。参考文献1 王才东，刘丰阳，李志航，等.基于双目视觉特征点匹配的图像拼接方法研究J.激光与光电子学进展，2021，58（12）：357365.2 杨弘凡，李航，陈凯阳，等.基于改进 ORB 算法的图像特征点提取与匹配方法J.图学学报，2020，41（4）：548555.3 黄思炜，王峰，曹祺炜，等.基于聚类算法的多目标快速特征点匹配算法J.计算机仿真，2019，36（2）：201204.4 王运成.光束干扰下多源遥感图像拼接缝阴影消除方法J.现代电子技术，2020，43（14）：128130.5 杨明东，石英，华逸伦，等.基于匹配策略融合的低误差快速图像拼接算法J.计算机应用研究，2019，36（4）：12221227.6 卢鹏，卢奇，邹国良，等.基于改进 SIFT的时间序列图像拼接方法研究J.计算机工程与应用，2020，56（1）：196202.7 谢从华，张冰，高蕴梅.特征点聚类高精度视差图像拼接J.中国图象图形学报，2020，25（6）：11801189.8 张美玉，王洋洋，吴良武，等.结合DBSCAN聚类与互信息的图像拼接算法J.小型微型计算机系统，2020，41（4）：825829.9 修春波，马云菲，潘肖楠.基于距离融合的图像特征点匹配方法J.计算机应用，2019，39（11）：31583162.10 朱杰，吴树芳.基于多尺度特征映射匹配的图像表示方法J.计算机应用研究，2020，37（9）：28662870.11 张琳娜，陈建强，吴妍，等.基于双匹配配准算法的多重复纹理图像拼接J.数据采集与处理，2021，36（2）：334345.12 黄春凤，刘守山，别治峰，等.改进的 SURF 算法在图像匹配中的应用J.现代电子技术，2020，43（10）：111115.13 黄蓓.基于虚拟现实的包装视觉图形元素整合系统设计J.现代电子技术，2021，44（6）：144148.作者简介：董 句（1985），女，湖北咸宁人，硕士研究生，讲师，研究方向为信息技术。陈小丽（1974），女，湖南靖州人，硕士研究生，副研究员，研究方向为教学管理、教育技术等。刘 媛（1982），女，四川内江人，硕士研究生，工程师，研究方向为教育教学领域的图像识别与智能系统。屠增辉（1984），男，安徽霍邱人，硕士研究生，工程师，研究方向为教育技术。48