一种面向无人机航拍图像的快速拼接算法.pdf

第 41 卷 第 3 期2023 年 5 月 广西师范大学学报(自然科学版)Journal of Guangxi Normal University(Natural Science Edition)Vol.41 No.3May 2023DOI:10.16088/j.issn.1001-6600.2022060202http:梁镇锋,夏海英.一种面向无人机航拍图像的快速拼接算法J.广西师范大学学报(自然科学版),2023,41(3):41-52.LIANG Z F,XIA H Y.A fast stitching algorithm for UAV aerial imagesJ.Journal of Guangxi Normal University(Natural Science Edition),2023,41(3):41-52.一种面向无人机航拍图像的快速拼接算法梁镇锋,夏海英(广西师范大学 电子工程学院,广西 桂林 541004)摘 要:针对现有图像拼接方法对分辨率高、影像信息复杂的无人机航拍图像处理速度慢、匹配精度差的问题,提出一种面向无人机航拍图像的快速拼接算法。首先,利用 FM(Fourier-Mellin)算法求出图像的重叠区域,并获取图像重叠区域内的感兴趣区域,结合区域分块以及图像信息熵得到最终的特征提取区域,设置为图像掩膜;接着,在特征提取区域提取特征点,并且对特征点匹配对进行两轮筛选,减少 RANSAC 算法迭代次数;最后用改进的 RANSAC 算法进行误匹配点对的剔除以筛选出准确度较高的匹配点对。比较该算法与其他算法的运行效率以及图像的拼接质量等相关指标。实验结果显示该算法较 SURF、SIFT、区域分块算法,航拍图像拼接时间分别降低 35%、56%、57%,满足航拍图像对拼接精度以及实时性的要求。关键词:航拍图像;图像拼接;特征提取区域;傅里叶-梅林变换;图像掩膜中图分类号:V19;TP391.41 文献标志码:A 文章编号:1001-6600(2023)03-0041-12随着无人机航拍技术的快速发展,其在地质灾害评估、监控巡查、森林火灾检测等相关领域得到广泛应用1-5。对于大范围区域的巡查,无人机拍摄到的图像往往得不到该区域的全局信息,因此需要通过图像拼接技术以获得所需目标的完整场景6。如今,无人机搭载的相机分辨率越来越高,单张航拍图像分辨率通常为 4k 及以上,现有图像拼接算法对这类场景图像处理速度较慢,无法满足无人机对图像处理实时性的要求。Brown 等7提出 SIFT(scale invariant feature transform)算法,该算法提取的特征点较多,耗时长。Rublee 等8提出 ORB(oriented fast and rotated BRIEF)算法,虽然 ORB 算法在特征检测的实时性方面有着显著的效果,但存在特征匹配精度低和特征提取稳定性差的问题。Bay 等9提出加速鲁棒性特征(speeded-up robust features,SURF)算法,减少了特征检测的计算量,但仍存在时效性差、匹配精度低等问题。张红民等10提出区域分块的思想,对整个图像进行分块,对航拍图像而言特征提取时间仍然较长。随后兴起的基于网格的图像拼接算法,如 Zaragoza 等11提出的 APAP(as-projective-as-possible)算法、Lin等12提出的 AANAP(adaptive as-natural-as-possible)算法、Chang 等13提出的 SPHP(shape-preservinghalf-projective)算法、Chen 等14提出的 GSP(global similarity prior)算法,这些算法需要将图像划分为密集网格,同时每个网格都用一个单应性矩阵对齐,导致图像拼接时间大幅度增加,对高分辨率的航拍图像并不适用。杨明东等15提出的基于重合区域的快速特征检测算法,其标注每一幅图像的左右各 1/3 区域为检测区域,但寻找重叠区域的方法不适用于具有旋转角度的无人机航拍图像。目前在大视差场景的拼接方法中,Lin 等16提出的 SEAGULL(seam-guided local alignment)方法,通过寻找最优的接缝引导局部对齐,进而消除由于图像视差存在所导致的伪影;Jia 等17提出的利用线点一致性保留宽视差图像拼接结构,设计一种新的匹配策略,利用射影不变量探索共平面子区域来获得一致的点对和线对。但是这类大视差方法并不适用于航拍图像中,其没有充分考虑航拍图像的特点,目前大部分无人机在采集鸟瞰图像时,由于航迹规划的需要,飞行高度相对稳定,采集数据所用云台相机的焦距也固定不变。因此,航拍图像具有视差小的特性,一般相邻序列航拍图像不存在显著的尺度变化。在基于深度学习的拼接方法中,由于缺收稿日期:2022-06-02 修回日期:2022-08-30基金项目:国家自然科学基金(61762014,62106054);广西科技重大专项(桂科 AA20302003)通信作者:夏海英(1983),女,山东聊城人,广西师范大学教授,博士。E-mail:广西师范大学学报(自然科学版),2023,41(3)乏标记数据,使得监督方法不可靠,在有监督的解决方案中,由于在实际场景中无法获得拼接标签,所以目前还没有真正的航拍数据集用于深度图像拼接。Nie 等18-19提出了 VFISNet 和 UDISNet,其中 VFISNet是第 1 个可以在一个完整的深度学习框架中从任意视图进行图像拼接的深度图像拼接工作;UDISNet 是首个无监督图像拼接框架。这些网络在合成数据集上训练,导致在真实场景中的应用效果不理想。针对现有算法应用场景的不同或不足,本文提出一种基于无人机航拍场景下的图像快速拼接算法,最后设计多组航拍图像拼接测试,验证本文算法的可行性。1 一种面向无人机航拍图像的快速拼接算法1.1 算法完整流程本文航拍图像拼接算法总框架分为图像预处理、特征点提取、特征匹配、投影变换矩阵的计算以及图像拼接 5 个部分。首先,在图像预处理阶段,对输入的待拼接图像基于直方图均衡化进行增强,增加图像的对比度,并且利用无人机姿态信息对航拍图像进行校准;接着,需要确定基准图像与待配准图像的特征提取区域,先通过 Fourier-Mellin 算法求出图像的重叠区域,并获取图像重叠区域内的感兴趣区域,再结合区域分块以及图像信息熵得到最终的特征提取区域,设置为图像掩膜;然后,采用基于 SURF 的算法提取位于图像特征提取区域内的特征点,采用改进的匹配算法对特征点进行匹配并且对特征点匹配对进行两轮精筛选得到高精度的匹配点对;最后用改进的 RANSAC 算法计算出高精度的投影变换矩阵,完成图像的拼接。图像拼接算法框架如图 1 所示。D,=+*0F8F+B4&+%FP1+%FE+RANSAC-KFEDE2%FD0E4BF%FFM)图 1 图像拼接算法框架Fig.1 Framework of image stitching algorithm1.2 特征点提取区域的生成传统 SURF 算法是在整幅图像中提取特征点,但在特征匹配以及图像拼接阶段,只会用到基准图像与待配准图像重合部分的特征点,非重合区域的特征点则成为冗余特征点。由于航拍图像信息复杂、图像分辨率高,使用 SURF 算法提取到的特征点数目通常为几十万个。大量冗余的特征点会增加时间成本,降低算法性能,并且在图像非重合区域内的无效特征点在特征点匹配阶段会导致误匹配的可能性增加。鉴于此,本文在提取 SURF 特征点之前先确定图像中用于特征点检测的区域。1.2.1 重叠区域的计算基于傅里叶-梅林变换20的图像配准利用了全局相位相关的方法,主要是依据傅里叶变换和对数极变换。通过傅里叶变换将图像信息从空间域变换到频率域,以获取待配准图像和基准图像间的旋转角度24http:以及平移量21。根据计算得到的旋转角度、缩放比例以及平移量可确定 2 幅图像之间的重叠区域,并将计算得到的重叠区域记为 R1。计算重叠区域 R1的步骤如下:1)平移、旋转、缩放参数计算。对存在平移、旋转、缩放的 2 幅图像,它们之间的相对关系为f2(x,y)=f1a(xcos+ysin)-x,a(-xcos+ysin)-y。(1)式中:f1(x,y)、f2(x,y)表示需要拼接的 2 幅图像;和 a 分别表示旋转角度以及缩放比例;x 和 y 表示图像在水平和竖直方向上的平移量。对式(1)进行傅里叶变换,则有F2=exp(-2j(x+y)a-2F1a-1cos+sin(),a-1-cos+sin(),(2)式中:F1(,)为 f1的频谱;F2(,)为 f2的频谱。由式(2)可以看出,傅里叶变换后图像缩放系数 a 变为原来值的倒数,旋转角度 保持不变。忽略 2 幅图像之间的平移量时,F1、F2的幅值关系为F2(,)=a-2F1a-1(cos+sin),a-1(sin-cos)。(3)将式(3)转换到极坐标系中,结果为Sp(,)=a-2rPacos(-0),asin(-0)。(4)式中:rP和 sP分别代表 F1、F2在极坐标下的频谱;0代表 f1、f2对应的旋转角度。化简式(4)得Sp(,)=a-2rP(-0),a,(5)令=lg,b=lg a,并定义 rP1(,)=rP(,),SP1(,)=SP(,)则有SP1(,)=a-2rP1(-0),-b。(6)对式(6)做傅里叶变换,根据交叉能量谱公式22得C(,)=SP1(,)RP1(,)SP1(,)RP1(,)=exp(-2j(b+0)。(7)对式(7)做傅里叶逆变换,得到二维冲激函数 C(,),即C(,)=(-b,-0)。(8)图 2 重叠区域 R1Fig.2 Overlapping area R1根据冲激函数的特性,只需搜索冲激函数峰值的位置即可求得旋转角度 0和 b,根据 b=lg a 可以确定缩放比例 a。对图像 f1(x,y)旋转0角度,并尺度变换 a 倍,可以得到相对于 f2(x,y)仅存在(x,y)平移的图像,再次利用上述步骤即可求出平移量 x、y。2)ROI 参数设置。根据步骤 1)求得的平移参数不仅可以判断 2 幅图像排列顺序,也决定着图像移位特性,即:x 为负时,图像左移,反之,图像右移;y 为负时,图像上移,反之,图像下移。将 2 幅图像水平显示在同一个图形窗口内,根据平移参数 x、y 以及正负性得到图像 f1(x,y)和 f2(x,y)的重叠区域 R1,如图 2 所示。1.2.2 图像重叠区域内感兴趣区域的获取为了最大程度地减小图像特征检测范围,本文对图像的重叠区域进一步处理。获取图像感兴趣的区域即图像纹理信息丰富的区域,并设置图像掩膜。对图像中不感兴趣的区域,掩膜图像的值设置为 0,即黑色。根据均方差的定义可以知道,均方差反映了数据的离散程度,纹理信息越丰富的区域,其均方差越大;而纹理信息不丰富的区域,即平坦区域,均方差较小。据此,算法的具体思路为:首先对需要拼接的航拍图像 f1(x,y)、f2(x,y)进行标准化处理;然后使用 2121 大小的中值滤波器(滤波器大小取经验值)对图像进行滤波处理,得到新的图像 f1(x,y)、f2(x,y);根据式(9)求得图像的边缘轮廓即图像细节信息丰富的区域。(f(x,y)=f2-f(x,y)2。(9)34广西师范大学学报(自然科学版),2023,41(3)式中:f 为图像中各点的均值;f(x,y)为经标准化处理的图像。最后对图像进行二值化,设置图像掩膜,其定义如式(10)所示。f(x,y)=0,f(x,y)f,255,f(x,y)f。(10)将得到的该区域记作 R2,如图 3 所示,其中:(a)为待拼接图像原图,(b)中红色方框为图像的重叠区域,位于红色方框内的白色掩膜部分即为图像特征提取区域 R2。图 3 重叠区域内的感兴趣区域 R2Fig.3 Area of interest within the overlapping area R21.2.3 图像重叠区域分块通常情况下,在一幅航拍图像中,图像信息分布不尽相同,将其划分为纹理信息丰富区及纹理信息不丰富区。在图像细节信息不明显的区域提取特征点时,这些特征点在特征匹配阶段容易产生误匹配。本文结合信息熵与图像区域分块思想,进一步减小图像特征提取区域。首先将计算得到的图像重叠区域 R1平均分割为若干个子区域,只在包含图像细节信息较多的子块上进行特征检测。本文根据图像信息熵23记录每个子块所含的信息量。信息熵可以表示为E=-N-1i=0Pilg(Pi)。(11)式中:Pi表示第 i 级灰度出现的概率;N 表示灰度级总的个数。图像区域分块算法的具体步骤是:1)首先将基准图像与待配准图像的重叠区域 R1均匀地分割成 66 个子图(根据航拍图像数据分布图 4 特征提取区域 RegionFig.4 Feature extraction area Region特点,将图像分割成 36 个子图,其特征分布较为均匀)。计算重叠区域的方法已在 2.1 节中详细阐述。2)分别计算出这 36 块子图信息熵,将其与本文设定的阈值(经验值为 6.7)比较。将大于或等于阈值的子图图像标记为特征提取区;小于阈值的子图图像标记为特征抑制区。3)将 36 块包含信息熵的子图像进行合并,得到原图像的信息分布,将所有被判定为特征提取区域的子图区域记作 R3。综上,对所求得的图像重叠区域 R1、重叠区域内的感兴趣区域R2、判定为特征提取区域的子图块 R3求交集,就得到最终的特征点检测区域 RRegion=R1R2R3,如图 4 所示:其中白色掩膜部分即为最终的特征点检测区域,左图为基准图像,右图为待配准图像。1.3 图像配准算法的研究与改进本文基于 FLANN 算法24,即快速最近邻搜索对特征点进行匹配,FLANN 算法复杂度低,但是找到的结果是最近邻近似匹配。针对使用 FLANN 算法匹配后误匹配概率很高的问题25,对图像匹配算法进行改进,将特征点匹配对进行两轮筛选,剔除错误匹配点对并减少 RANSAC 算法的迭代次数。1.3.1 特征点匹配算法的改进首先,在图像特征提取区域中提取特征点,接着对特征点进行匹配,最后对特征点匹配对进行两轮44http:筛选。1)第一轮筛选。首先以参考图像 f1(x,y)为基准图像,遍历 f1(x,y)中所有特征点并计算其与待配准图像 f2(x,y)中每个特征点之间的欧氏距离 D。假设最近距离 Dmin与次近距离 Dsec的比值为。如果 低于设定的阈值 T(SIFT 的作者 Lowe 通过对大量任意存在尺度、旋转和亮度变化的 2 幅图片进行匹配,结果表明 T 取值0.40.6 最佳,小于 0.4 的很少有匹配点,大于 0.6 的则存在大量错误匹配点,因此本文阈值取0.6),则判定为匹配点对,并且保存 的值。最终得到匹配点对集记为 Ca,将比值的集合记为 Rd;同理,将图像 f2(x,y)作为基准图像根据上述准则得到匹配点对集记为 Cb。最后判断集合 Ca中的某一对匹配对与集合 Cb相对应的一对匹配点是否一致,如果相同,则保留这对匹配点;否则剔除,同时剔除对应的 值。最后将得到的匹配点对集合记为 G1。根据式(12)计算每对特征点匹配对的影响因子Q=1Dmin。(12)将集合 G1中的匹配点与影响因子 Q 相结合,将特征点匹配对根据 Q 的大小进行降序排列,并剔除后 15%的数据,将剩余数据组成新的集合记为 G2。第一轮筛选过后,大部分错误匹配对将被过滤掉。2)第二轮筛选。经过第一级筛选之后,仍会存在错误匹配点。根据 2 个特征向量构成的余弦值不易受到缩放以及旋转等因素的影响,因此,加入余弦约束项可以进一步筛选出其中的误匹配特征点对。通过式(13)可以求得每对特征向量的余弦值。cos(p,q)=(p,q)pq=64i=1piqi64i=1p2i64i=1q2i()。(13)式中 p、q 分别是特征点对应的特征向量。首先计算集合 G2中所有特征点对的余弦值,将其与设定的阈值比较,若计算得到的余弦值大于设定阈值,则接受对应的特征点为候选匹配点;接着将得到的所有候选匹配点集合记为 G3;最后将集合 G3中的特征点对连成直线通常情况下,邻域内匹配的点直线间斜率相等或相差很小,错误的匹配点间直线斜率相差较大。通过特征点对的坐标求出直线斜率,计算任意一对匹配点的斜率,其斜率公式为Ki=yi-yixi-xi。(14)如果 Ki小于设定的经验阈值 KT,则认为这对匹配点是正确的,相反,则认为是错误匹配点,应该剔除。最终得到经过两轮筛选过后的匹配点对集合记为 G4。1.3.2 改进的 RANSAC 算法RANSAC 算法26的核心内容是:通过查找一组既有正确数据又有异常数据的样本数据集,建立一个数据模型,并计算出此数据模型的参数。利用得到的参数模型去检测所有数据集,若符合这个数学模型就将这个检测点标记为“内点”,否则称其为“外点”。通过 RANSAC 算法,寻找一个最优的单应性矩阵,即局部最优模型,参数线性方程如式(15)所示。xy1 =Hxy1 =h11h12h13h21h22h23h31h32h33xy1 。(15)式中:坐标(x,y)表示基准图像的特征点位置;坐标(x,y)表示待配准图像的特征点位置。虽然 RANSAC 算法可以很好地消除错误匹配点,但它仍有不足之处:传统的 RANSAC 迭代次数并没有固定的上限值,计算复杂度高;并且由于随机选取的点无法确定是否为准确特征点,所以一开始求得的初始变换矩阵 H 往往不会是最优的参数矩阵,用该矩阵进行迭代会增加不必要的时间成本,降低算法运54广西师范大学学报(自然科学版),2023,41(3)行性能。针对以上不足,本文对传统的 RANSAC 算法进行改进,具体如下:1)从集合 G4中先选取前 m 对匹配点作为测试集记为 Gm,式(15)中单应性变换矩阵大小为 33,含有 8 个未知数,在求解时至少需要 8 个线性方程组,则至少需要 4 对匹配点对方可求出单应性变换矩阵H。因此从集合 Gm中随机选取 4 对特征点匹配对,并估计初始变换模型 H0。2)理论上只要选用 4 组匹配点就可以算出变换矩阵 H,但为了得到最准确的变换矩阵,从图像特征匹配点对集 G4中再随机选取 6 组点对,记为 P 集合(P1,P2,P3,P4,P5,P6)。3)判断 P 集合中的特征点匹配对是否满足初始模型 H0。判断方法为:设(x,y,1)为特征点在基准图像上的坐标,称为原坐标;(x,y,1)为特征点在待配准图像上的坐标,称为实际坐标。理论坐标为 H0(x,y,1),判定理论坐标与实际坐标的距离是否小于阈值 DT(本文设定的阈值为 2),如果小于阈值 DT,则认为该匹配点对满足变换模型 H0,反之,不满足。假如 P 集合中有 3 组以及 3 组以上的特征点对符合变换模型 H0,那么就将该 H0标记为候选变换模型。其中第一次出现满足条件的 H0时,计算检验误差,按照误差大小将特征点匹配对从小到大排序,按顺序取前 80%的样本作为新的数据集进行下一个循环的迭代。最后判断特征点对集 G4中所有剩余匹配点对是否符合变换模型 H0,若符合则将该匹配点标记为内点;若满足点对数低于 3 组,则剔除该初始模型 H0,并重复步骤 2),重新估计初始变换模型 H0。4)本文设定的迭代次数最高为 5 000,并且最终只统计 120 个 H0和其对应的内点个数,满足设定的阈值即统计完 120 个 H0就可提前跳出迭代(阈值设置原则:文中通过实验统计分析,当数值设置在 100150 次算法效果最好。当次数小于 100 时,得到的单应性变换矩阵可能出现错误,次数大于 150 时,虽然得到的变换矩阵精度较高,但算法运行时间倍增,因此本文阈值设置为 120,即只统计 120 个 H0)。5)提取最多内点数所对应的 H0作为最优变换矩阵。改进的 RANSAC 算法缩短了寻求最优结果的时间,提高了算法的执行效率。运用本文改进的RANSAC 算法求得基准图像与待配准图像的变换矩阵 H,通过式(15)进行图像变换,生成变换后的图像,最后对图像进行拼接得到全景图。2 实验结果分析与对比2.1 实验环境实验环境为:Windows 10 系统,Intel Corei7-12700K,32 GiB 内存,实验平台为 PyCharm 2021;图像数据由无人机拍摄所得,无人机型号为穿云鸟。通过对多组高分辨率的无人机航拍图像进行实验分析,验证本文方法可行性。实验以 3 组无人机航拍图像为例,分别对算法的匹配性能、特征点提取时间、图像拼接时间以及图像拼接质量进行分析。3 组无人机航拍图像大小分别为 4 000 pixel6 000 pixel,6 000 pixel4 000 pixel,7 360 pixel4 912 pixel,如图 5 所示。2.2 算法时间效率统计分析使用传统的 SURF 算法、SIFT 算法、APAP 算法、文献10的特征提取方法以及本文方法对图 5 中的3 组航拍图像进行特征提取。特征点检测阶段效率的比较如表 1 所示。通过表 1 对比可知,本文算法对 3 组图像的特征提取时间总用时 5.03 s,平均用时 1.67 s;SURF 算法平均用时 7.61 s,是本文算法的 4.6 倍;APAP 算法平均用时 40.52 s,是本文算法的 24 倍;文献10特征提取方法平均用时 4.91 s,是本文算法的 2.9 倍;SIFT 算法平均用时 9.21 s,是本文算法的 5.5 倍。以上结果说明,本文方法对图像特征点提取速率最快,具有较高的实时性。图 6、图 7 分别为使用 SURF 算法、SIFT 算法、文献10方法以及本文方法对 A 组航拍图像提取特征点的结果。从图 6、图 7 可以看出,本文优化算法提取的特征点集中在图像重叠且纹理信息丰富的区域;传统的 SURF 算法、SIFT 算法均在整幅图像中检测特征点,并且大多数是冗余特征点;文献10主要采用区域分块的思想,其对整幅航拍图像进行分块会导致子块的信息分布较为复杂,且减少的特征点数目有限。64http:图 5 3 组待拼接航拍图像Fig.5 Three groups of images to be stitched表 1 本文算法与其他算法对比Tab.1 Comparison of our algorithm with other algorithms图像组算法特征点数目(图 5 左)特征点数目(图 5 右)特征提取总时间/sA 组SURF167 954173 9255.01文献10149 732111 4463.78SIFT146 712148 0956.59APAP128 705126 92432.76本文方法9 4998 4031.40B 组SURF170 098189 8516.03文献10146 408169 7523.70SIFT205 833247 7797.95APAP124 835130 80431.78本文方法8 2997 8381.39C 组SURF405 593387 35411.08文献10344 569332 8397.24SIFT647 218565 31713.08APAP226 150221 51757.02本文方法18 99421 4112.24图 6 SURF、SIFT 算法特征点检测结果Fig.6 SURF,SIFT algorithm detection results为验证本文方法在图像配准精度、正确匹配率以及图像拼接速率上具有有效性,将本文方法与传统SURF 算法、SIFT 算法以及文献10方法进行图像配准性能的比较。采用匹配正确率 CMR27、均方根误差 RMSE28、图像拼接时间 3 个客观指标进行比较。其中:CMR 值越大,代表特征点匹配正确率越高;RMSE 值越小代表图像配准精度越高,CMR 和 RMSE 的计算公式为:CMR=Ma/M,(16)RMSE=1MMi=1(xi,yi)-H(xi,yi)2。(17)式中:Ma表示特征点的正确匹配对数;M 表示特征点匹配对数;(xi,yi)表示基准图像中的特征点坐标;(xi,yi)表示待配准图像中的特征点坐标;H()表示图像变换模型。表 2 列出 4 种算法的正确匹配率、图像配准精度以及图像拼接时间。由表 2 可知,本文算法图像拼接74广西师范大学学报(自然科学版),2023,41(3)图 7 文献10方法、本文算法特征点检测结果Fig.7 Results of feature point detection by the method of literature 10,algorithm of this paper时间较传统 SURF 算法降低了 35%,较 SIFT 算法降低了 56%,较文献10方法降低了 57%。对比 3 组航拍图像可以发现,随着图像分辨率的增大,本文方法相比于其他 3 种算法图像拼接效率会更加显著。鉴于此,若将多张高分辨率航拍图像进行连续拼接,本文算法相比于其他 3 种算法,图像拼接时间将会得到很大程度地降低。为验证本文算法性能的可靠性,本实验以匹配正确率(CMR)和均方根误差 RMSE 对图像配准性能进行评估。本文方法较传统的 SURF 算法,均方根误差(RMSE)减少了 36%,匹配正确率(CMR)提高了23%;与 SIFT 算法相比,均方根误差减少了33%,匹配正确率提高了19%;较文献10方法,均方根误差减少了 30%,匹配正确率提高了 21%。从各项指标来看,本文算法就图像特征点提取时间、图像配准性能以及图像拼接速率综合考虑较为理想,可以满足当今无人机的实际应用。表 2 图像配准性能的比较Tab.2 Comparison of Image Registration Performance图像组算法正确匹配点对数匹配点对数正确匹配率/%匹配精度/pixel图像拼接时间/sA 组SURF9781 447672.0611.73SIFT1 1101 669672.0814.05文献10方法7381 186621.9115.78本文方法136150901.197.02B 组SURF4 1377 657542.4213.58SIFT5 5248 209671.9518.75文献10方法3 1555 168612.1918.63本文方法406460881.4710.52C 组SURF10 40613 664761.8730.08SIFT14 27719 884722.0848.81文献10方法10 11713 051771.7536.89本文方法1 2951 495861.4118.192.3 图像拼接结果分析图 8、图 9、图 10 是 3 种不同算法对 3 组无人机航拍图像的拼接效果图。其中:拼接效果图下方是各个算法拼接图像变形处的局部放大图。从图 8 可以看出,SURF 算法在图像拼缝处出现了无法精准对齐84http:的问题;从图 9 的 APAP 算法拼接结果中可以看出 2 幅图像重叠部分以及拼接缝处都产生了明显的重影和模糊;从图 10 的本文算法拼接结果中可以看出,由于图像配准精度以及特征点正确匹配率的提高,本文方法图像拼接效果较好,能够更好地对齐图像并且消除图像拼接缝处不平滑的现象。图 8 传统 SURF 算法拼接结果Fig.8 Stitching results of traditional SURF algorithm图 9 APAP 算法拼接结果Fig.9 Stitching results of APAP algorithm为了客观地评估本文算法的拼接质量,将本文算法与基于深度学习的图像拼接方法(VFISNet18,UDIS19)进行比较。VFISNet 图像拼接方法是有监督的深度学习解决方案,但是它有一个不可忽视的缺点:只能拼接 128128 的图像,这对于高分辨率的航拍图像来说显然是不够的,且其只能在“无视差”的合成数据集上训练,网络泛化能力差,因此从图 11 中可以看出其在真实场景中的应用效果不理想,拼接结果图出现严重失真并且无法对齐;图 12 中的 UDIS 是 Nie 等18-19提出的无监督图像拼接框架,虽然采用无监督方法,且在真实数据集上进行了微调,但在航拍场景下的拼接结果仍然不够理想。UDIS 的拼接结果如图 12 所示,可以看出拼接图像出现伪影并有一定程度的失真。当无人机飞行时,其拍摄到的航拍图像内容并非是静态的,需要考虑地面目标变化(行人、汽车、烟雾等)对拼接质量的影响。当对具有目标变化的图像进行拼接时必定会产生伪影,因为这 2 个伪影都是真实的物体。首先,这类动态物体是一个工程问题,并不是本文研究的重点;其次,对于这类问题其实可以很容易做到,只要使用 seam-cutting 方法16即通过寻找最优的接缝引导局部对齐进而消除伪影,但是没有使94广西师范大学学报(自然科学版),2023,41(3)图 10 本文算法拼接结果Fig.10 Stitching results of our proposed algorithm图 11 VFISNet 拼接结果Fig.11 Stitching results of VFISNet图 12 UDIS 拼接结果Fig.12 Stitching results of UDIS图 13 航拍原图和 seam-cutting 拼接结果Fig.13 Original image and stitching results of seam-cutting05http:用 seam-cutting 是为了突出本文算法的对齐性能。如图 13(a)是输入的 2 张具有目标变化的待拼接航拍图像,图 13(b)是使用 seam-cutting 方法对 2 幅航拍图像进行拼接的结果。3 结语针对航拍图像分辨率高、信息复杂的特点,本文提出消除冗余特征点的策略,即只在图像的指定区域提取特征点;并且对图像配准算法进行改进,筛选出准确度较高的匹配点对。实验结果表明本文方法加快了特征点检测以及图像拼接的速度,并且提高了特征匹配点对的准确率和配准精度,拼接效果更好。在本文方法的基础上,若将多幅航拍图像进行连续拼接,则所产生的累积误差将会更小,时间成本也将得到很大程度地降低,为无人机能够更加高效运用提供了方法。本文提取图像特征点是采用基于 SURF 的算法,后续研究可以考虑使用深度学习算法提取出更加稳定的特征点,加快特征点提取速度。参 考 文 献1 陈林奇,李廷会.基于双空间 PSO 算法的四旋翼无人机自抗扰控制器优化设计J.广西师范大学学报(自然科学版),2019,37(3):42-49.DOI:10.16088/j.issn.1001-6600.2019.03.005.2雷荣智,杨维芳,苏小宁.基于改进 YOLO-v3 的无人机遥感图像农村地物分类J.电子设计工程,2023,31(3):178-184.DOI:10.14022/j.issn1674-6236.2023.03.037.3洪梓铭.电力巡检的移动作业无人机倾斜影像三维采集模型J.电子设计工程,2023,31(6):149-152,157.DOI:10.14022/j.issn1674-6236.2023.06.031.4孟现彪,刘盛庆,史雅茹,等.无人机激光雷达高程测量精度评定分析J.桂林理工大学学报,2022,42(2):438-442.5徐俊辉,欧阳缮,廖可非,等.基于相关检测的旋翼无人机检测与识别方法J.桂林电子科技大学学报,2021,41(6):431-436.DOI:10.16725/45-1351/tn.2021.06.002.6李加亮,蒋品群,夏海英.基于网格变形和余弦函数权重的图像拼接方法J.广西师范大学学报(自然科学版),2020,38(4):42-53.DOI:10.16088/j.issn.1001-6600.2020.04.005.7BROWN M,LOWE D G.Automatic panoramic image stitching using invariant features J.International Journal ofComputer Vision,2007,74(1):59-73.DOI:10.1007/s11263-006-0002-3.8RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:an efficient alternative to SIFT or SURFC 2011 InternationalConference on Computer Vision.Piscataway,NJ:IEEE,2011:2564-2571.DOI:10.1109/ICCV.2011.6126544.9BAY H,ESS A,TUYTELAARS T,et al.Speeded-up robust features(SURF)J.Computer Vision and ImageUnderstanding,2008,110(3):346-359.DOI:10.1016/j.cviu.2007.09.014.10张红民,张见双,罗永涛,等.一种基于图像区域分块的 SIFT 快速配准方法J.红外技术,2017,39(4):341-344.11ZARAGOZA J,CHIN T J,TRAN Q H,et al.As-projective-as-possible image stitching with moving DLTJ.IEEETransaction on Pattern Analysis and Machine Intelligence,2014,36(7):1285-1298.DOI:10.1109/TPAMI.2013.247.12LIN C C,PANKANTI S U,RAMAMURTHY K N,et al.Adaptive as-natural-as-possible image stitching C 2015 IEEEConference on Computer Vision and Pattern Recognition(CVPR).Piscataway,NJ:IEEE,2015:1155-1163.DOI:10.1109/CVPR.2015.7298719.13CHANG C H,SATO Y,CHUANG Y Y.Shape-preserving half-projective warps for image stitching C 2014 IEEEConference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE,2014:3254-3261.DOI:10.1109/CVPR.2014.422.14CHEN Y S,CHUANG Y Y.Natural image stitching with the global similarity prior C Computer Vision-ECCV 2016.Cham:Springer,2016:186-201.DOI:10.1007/978-3-319-46454-1_12.15杨明东,石英,华逸伦,等.基于匹配策略融合的低误差快速图像拼接算法J.计算机应用研究,2019,36(4):1222-1227.DOI:10.19734/j.issn.1001-3695.2017.11.0772.16LIN K M,JIANG N J,CHEONG L F,et al.SEAGULL:seam-guided local alignment for parallax-tolerant image stitchingC Computer Vision-ECCV 2016.Cham:Springer,2016:370-385.DOI:10.1007/978-3-319-46487-9_23.15广西师范大学学报(自然科学版),2023,41(3)17JIA Q,