一种概略位置与姿态条件下的无人机影像拼接方法_林建静.pdf

第 39 卷第 2 期2023 年 6 月测 绘 标 准 化Standardization of Surveying and MappingVol 39No 2Jun 2023收稿日期:2022 07 06作者简介:林建静，工程师，现主要从事工程测量、地理信息系统工程、摄影测量等方面的生产与研究工作。一种概略位置与姿态条件下的无人机影像拼接方法林建静(温州东纬测绘信息有限公司浙江温州325000)摘要:为解决现有无人机影像拼接方法对位置与姿态信息需求高、对拍摄条件要求严和不易满足拼接精度要求的问题，本文提出一种新的无人机影像拼接方法。该方法先构造一个特征对应能量项，使匹配特征对之间的平方距离之和最小，以几何方式对齐影像;再建立一个正则化项，通过保持所有变换尽可能刚性来直接约束影像变换参数，以避免最终拼接中的全局失真。试验结果表明，本文提出的影像拼接方法能有效消除直接、间接定向过程所产生的误差，处理速度显著加快，拼接精度是基于 Capel 影像拼接方法的二倍。关键词:无人机;影像拼接;变换模型;质量分析中图分类号:P231 2DOI:10 20007/j cnki 61 1275/P 2023 02 17A method of UAV image mosaic under the condition of approximateposition and postureLIN Jianjing(Wenzhou Dongwei Surveying and Mapping Information Co，Ltd，Wenzhou，Zhejiang 325000，China)Abstract:The existing UAV image mosaic methods require high demand for position and postureinformation，strict requirements for shooting conditions and difficult to meet the mosaic accuracy In orderto solve the problems above，this paper proposes a new UAV image mosaic method In the method，afeature corresponding energy term is constructed to minimize the sum of square distances between mosaicfeature pairs and align the image geometrically Then a regularization term is established to directlyconstrain the image transformation parameters by keeping all transformations as rigid as possible to avoidglobal distortion in the final mosaicThe experimental results show that the image mosaic methodproposed in this paper can effectively eliminate the errors caused by direct and indirect orientationprocesses，significantly accelerate the processing speed，and the mosaic accuracy is twice that of Capelimage mosaic methodKeywords:UAV;image mosaic;transformation model;quality analysis无人机可以携带摄像机、红外仪和其他传感器等有效载荷，快速获得一个地区的地理环境，实现在跟踪调查、环境监测、灾害评估和管理等领域的应用。但无人机摄像头拍摄的单景影像仅能覆盖有限区域，因此在许多数字地球应用中，有必要将数百甚至数千景影像拼接在一起，以创建一幅更大的影像，从而提供良好的整体感知态势1。影像拼接是将覆盖重叠区域的两景或多景影像合并为一幅影像的过程，并使拼接后的影像在几何结构和色调方面尽可能连续2。其中，影像拼接的第一步是影像匹配，即将影像精确对齐到统一的坐标系中，影像匹配直接影响拼接质量。现有的影像测 绘 标 准 化第 39 卷拼接方法大致可以分为两类:一是单视点拼接，是像机围绕其光学中心旋转所拍摄的影像，待拼接影像之间仅包括旋转参数;二是多视点拼接，此时像机在拍摄影像时不仅旋转，而且还会发生平移，使得影像拼接更为复杂。无人机影像拼接符合多视点拼接情形。为获取高精度影像拼接图，重要的是选择合适的变换模型，国外曾有学者提出了利用不同的模型将像素坐标从一景影像映射到另一景影像上，例如:平面变换模型、三维模型、圆柱模型和球形模型等，然后用这些模型构建完整的影像配准系统3。经探索发现，单应性变换是一种严格的配准模型，可较好地描述从三维空间或固定投影中心捕获的两景影像间的关系。也有学者为了处理具有视差的影像，使用局部加权方法为每个像素或网格创建局部单应性，该方法非常精确，可以显著减少重影影响4。然而，为了适应各种复杂环境，大多数现有方法均需额外的信息，如摄像头校准参数、GNSS/IMU 的位置和方向数据、地面控制点或参考地图等5。当GNSS/IMU 数据不够精确，无法直接确定方向时，通常使用三维重建的方法进行姿态估计，以优化像机姿态，但这会带来额外的计算成本6。受 Sumner 等人提出的嵌入式网格变形模型的启发，由于在该模型中空间变形由一组仿射变换定义，每个仿射变换都会在附近的空间上引起局部变形7。目标函数通过指定的仿射变换来实现旋转和平移，能使局部特征以尽可能刚性的方式变形。基于上述方法，将局部刚性变形约束引入到无人机影像拼接上，可最大限度地保持影像中物体的原始形状。因此，本文提出了一种新的影像拼接方法，不需要摄像机标定参数、精准位置与姿态信息或任何三维重建过程，仅使用从无人机拍摄的原始二维影像即可自动生产出在视觉上令人满意的影像拼接结果，提高了影像拼接的精度与效率。1模型构建本文利用基于特征的方法进行影像配准，即针对无人机三维运动时拍摄的影像，采用包含 8 个自由度的单应性变换矩阵 Hi表示第 i 景影像的变换参数 8。Hi=aibieicidifigihi1(1)式中:ai、bi、ci、di、ei、fi、gi、hi均为变换矩阵系数，若将 gi、hi设置为 0，则 Hi变成仿射变换矩阵，进一步假设子矩阵aibicidi为正交矩阵，则 Hi变为刚性变换矩阵。对于影像中的点 x，经单应性变换矩阵 Hi转换后的变换坐标 x为x=Hix(2)假设在 M 景影像中存在 N 个特征点对，第 i 景影像的变换参数由 Xi表示，Xi为单应性变换矩阵 Hi的8 个独立参数组成的列向量，则 M 景影像所有变换参数可表示为 X=xT1，xT2，xTMT，本文构建了一个目标函数 E(X)，其计算公式如下:E(X)=Ecor(X)+wEreg(X)(3)其中，Ecor(X)是基于特征匹配的能量项，用于表示最小化特征点对的距离平方和，并以几何方式对齐影像，该能量项取值的大小直接影响拼接后地物的连续性，其具体定义为Ecor(X)=Ni=1eTiei+Ni=1Tii(4)式中:ei=Tm(pi，m)Tn(pi，n)，1m，nM，Tm和 Tn分别表示影像 m、n 的变换模型，i=Tn_ref(pi，n_ref)pi，n_ref，(pi，m，pi，n)，表示第 i 个特征点对，n_ref 表示参考影像的索引，N 为特征点对数量，?N 为参考影像中特征点对数量。式(4)中的第二项主要是用来约束参考影像原始特征的。正则化项 Ereg(X)使影像 i 的变换模型尽可能刚性，以避免拼接结果出现全局失真，该值的大小直接影响拼接影像的变形程度。Ereg(X)的表达式为Ereg(X)=Ni=1piEreg(Xi)(5)Ereg(Xi)=(aibi+cidi)2+(a2i+c2i1)2+(b2i+d2i1)2+(g2i+h2i)2(6)式中:pi表示权重因子，由第 i 景影像中的特征点对数量确定;ai、bi、ci、di、gi、hi为不同变换参数。随着影像特征点数量的增加，Ecor(X)中关于影像的能量项数值相应增加，Ereg(X)中的权重 pi48第 2 期林建静:一种概略位置与姿态条件下的无人机影像拼接方法也会更大。w 是恒定权重因子。目前，其值是通过启发式确定的。当 w 值很小时，拼接结果看起来是无缝的，但可能出现全局失真。随着 w 值的增加，全局失真被消除，但特征的对齐误差可能同时增加。因此，有必要为 w 选择适当的值。当无人机的俯仰角和横滚角在飞行过程中发生变化时，正则化项试图保持影像中物体的原始形状，同时能量项试图改变影像的形状，使其几何对齐。这两个项的组合效应产生了优化的镶嵌结果。因此，式(3)是一个典型的非线性最小二乘问题，涉及的 8 个未知参数可以通过 Levenberg Marquardt(L M)算法求解。2影像拼接流程影像拼接步骤包括:影像输入、特征提取与匹配、初始化转换、全局优化、影像融合、影像拼接图输出9。影像拼接流程如图 1 所示。图 1无人机影像拼接流程Fig 1UAV image mosaic process2 1特征提取与匹配考虑到无人机在飞行过程中的高度、位置与姿态变化，本文应用尺度不变特征变换(SIFT)算法提取、匹配特征点。这些特征在一定程度上不随比例变化和仿射失真而发生变化10。为提高影像匹配精度，利用随机样本一致性(ANSAC)算法去除错误匹配点，具体实施步骤如下:1)在进行误匹配剔除过程中，采取单应性矩阵作为约束条件，即在同名像点间建立如下联系。m=Hm(7)式中:m、m为目标 M 在两景影像上的齐次坐标，H为单应性矩阵，可表述两景影像间的平移、旋转、缩放和变形等特征，具体表达形式为H=m0m1m2m3m4m5m6m71(8)2)为求解单应性矩阵中的 7 个未知参数，从匹配点集中选取 4 对数据作为内点，保证其中 3 点不共线，计算得到初始单应性矩阵 H0;与此同时，根据变换关系 H0计算其余特征点对应的重投影误差 d;当绝大多数特征点的重投影误差 d 满足限差后，将其添加到内点集当中。3)当内点集中匹配点数量达到最优值时，外点集中的数据即为误匹配点，应用最小二乘，对所有内点平差，即可求解出最终单应性矩阵 H。2 2初始化转换将某景影像设为参考影像，其所在平面作为影像拼接的参考平面，其余影像以单应性变换的方式向参考平面投影变换。在实践中，本文根据机载定位测姿系统记录的 GNSS/IMU 数据，选择主轴近似垂直于地面时所拍摄的影像作为参考影像。为了快速获取所有影像的初始变换结果，将包含 8 个自由度的单应性变换简化为包含 6 个自由度的仿射变换，并忽略式(3)中的正则项 Ereg(X)，将式(3)转化为线性最小二乘方程式。2 3全局优化由于所有影像向参考平面变换时，待拼接影像距离参考影像越远，所需要的矩阵变换次数越多，累积误差也会随之变大，会导致拼接结果错位、模糊等。因此，在完成特征匹配和转换参数初始化后，可58测 绘 标 准 化第 39 卷对式(3)应用稀疏 L M 算法进行全局优化，重新调整每景影像向参考平面转换的变换矩阵，以达到误差和最小。2 4影像融合所有影像完成几何变换后，可以采用多种融合算法处理几何对齐误差所产生的伪影。经实践发现，过度重叠的影像不利于创建最终的拼接结果，因为影像越多，包含的矩阵计算次数就越多，出现的累积误差也就越大。为了提高影像拼接精度，本文通过构建最小生成树以达到降低待拼接影像数量的目的。首先，根据特征提取与匹配，建立影像之间的关联程度，即匹配点数量越多，权重越大，当权重小于阈值时，可忽略其关联性;其次，以参考影像为根，构建待拼接影像的最小生成树，如图 2 所示;最后，经最小路径搜索算法，完成从起始影像到末尾影像的遍历。实现待拼接影像由原始的 7 景(A、B、C、D、E、F、G)变为了最终的 4 景(A、C、F、G)。图 2构建最小生成树Fig 2Build minimum spanning tree当消除不必要的影像后，一方面有效提升了影像的拼接精度，另一方面，可以节省计算机内存和CPU 处理时间，使得拼接效率大大提升(图 3)。图 3重叠影像选择策略Fig 3Overlapping image selection strategy3试验与分析3 1试验数据为验证本文所提出的影像拼接函数和工作流程的可行性，应用小型电动固定翼无人机 KC1600 对某地区实施拍摄，共获取 3 组数据集，分别包含 61、182和51 景影像，每景影像的分辨率为3 680 2 456 pix，地面分辨率为 20 cm，飞行高度分别为550 m、400 m和 1 000 m。其中，数据集 1 的高程范围为 60 170 m;数据集 2 的高差小于 25 m;数据集 3 的高程范围为 350 500 m。因此，数据集 1 和数据集 3 的地形高程变化明显，数据集 2 的高程变化相对较小。3 2结果与讨论选用笔记本电脑，借助 MATLAB 2016 仿真软件对 Capel 提出的基于对齐与优化的影像拼接方法(以下简称 Capel 方法)和本文方法进行编程，分别对上述 3 组数据集进行影像拼接处理。经影像拼接试验得知，2 种方法均完成了影像的旋转、平移变换，但 Capel 方法需要将影像与GNSS/IMU 数据进行集成，而本文方法在确定参考影像后，不需要过多依赖这些额外信息。从拼接效果看，由于本文方法选择了最佳的参考影像，并在每次添加新影像时，所有影像的变换参数和二维特征位置同时重新优化。因此，影像拼接图的整体变形更小，且避免了重影现象的发生。3 3质量分析在每组数据集的实地区域均匀布设 30 个检查点，应用 TK 控制测量手段记录各检查点坐标。与此同时，针对每个数据集的 2 种拼接结果，使用包含4 个自由度的相似变换模型对齐 2 组控制点，并在拼接图上手动拾取检查点点位，记录各点位坐标。将点位拾取坐标与实测坐标进行比较，依据式(9)统计检查点对准精度的均方根误差(MS)、最小误差(MIN)和最大误差(MAX)。MS=ni=1VTiVinMIN=min(VTiVi)MAX=max(VTiVi)Vi=(xi x0i)(yi y0i)(zi z0i)T(9)式中:xiyiziT为内业拾取的第 i 个检查点坐标，x0iy0iz0iT为第 i 个检查点的实测坐标，Vi为检查点坐标差组成的向量，n 为检查点个数。各误差统计结果如表 1 所示，通过对 2 种方法的精度对68第 2 期林建静:一种概略位置与姿态条件下的无人机影像拼接方法比发现，本文方法的均方根误差仅为 Capel 方法的一半左右，影像拼接精度相应提升了一倍。表 1本文方法与 Capel 方法的拼接误差Tab 1Mosaic error for proposed method and Capel method数据集本文方法/mMSMINMAXCapel 方法/mMSMINMAX数据集 110 45 516 425 73 639 7数据集 25 10 412 712 60 922 4数据集 313 33 824 522 410 757 1在效率上，2 种方法完成所有影像集拼接的运行时间如表 2 所示。结果表明，对于 3 组试验数据集，本文方法所用时间均少于 Capel 方法，且随着影像数量的增加，效率可从数倍增至数十倍。表 2本文方法与 Capel 方法的拼接时间Tab 2Mosaic time for proposed method andCapel method数据集本文方法/sCapel 方法/s数据集 112 241 2数据集 255 1971 3数据集 36 428 4因此，本文在影像拼接过程中，通过求解线性最小二乘问题，以及减少待拼接影像数量，减少了优化的未知参数个数，不仅有效降低了拼接误差，还大大提升了影像拼接效率。4结语本文在没有差分 GNSS 和精准 IMU 系统的情况下，为提高无人机影像拼接效率，提出了一种新的拼接函数。拼接函数由特征匹配能量项和正则化项组成。其中，特征匹配能量项用于几何对齐，正则化项用于避免全局失真。在影像拼接中，进一步提出了线性化最小二乘的初值计算方法和重叠影像选择的全局优化策略，大大提升了影像的拼接精度与效率。经试验验证，本文方法可以有效地避免全局失真，并使多个不同的数据集生成出视觉上令人满意的拼接图。经与 Capel 拼接方法相比，本文方法精度提升了一倍，效率提升了数倍甚至数十倍，但本文方法假设地面近似为平面，不适于地形起伏大的地面。因此，当不需要高精度拼接，特别是当 GNSS/IMU 数据精度较差时，本文能为无人机影像拼接提供一种有效而实用的方法。参考文献 1 马潇潇，于刚，李长春 基于 SUF 和 SVM 的无人机影像处理算法 J 河南理工大学学报(自然科学版)，2017，36(6):69 74 2 李瑞祥，赵海涛，葛小三，等 多匹配策略融合的无人机影像匹配方法 J 测绘科学，2021，46(3):87 95 3 曹雪峰，王庆贺，谢理想 融合低精度 GPS/IMU 参数的无人机影像批处理三维重建方法J 系统仿真学报，2015，27(10):2 409 2 415 4 范军，左小清，李泽，等 单应性矩阵的无人机遥感影像拼接方法 J 测绘科学，2018，43(6):99 105 5 赵俊峰，代亚贞，范玉茹 无人机影像快速拼接改进 J 测绘与空间地理信息，2016，39(9):182 185 6 邸健，杨国东，张旭晴 改进组合差分定位算法在无人机上的应用 J 测绘工程，2021，30(4):44 52 7 王勃，龚志辉，靳克强，等 一种改进的无人机影像拼接方法 J 计算机工程与应用，2011，47(35):184 187 8 程争刚，张利 一种基于无人机位姿信息的航拍图像拼接方法 J 测绘学报，2016，45(6):698 705 9 Ge Y，Wen G，Yang X A fast mosaicking method for small UAV image sequence using a small number of ground control points C IEEE(2016):90 94 10 Jia Y，Su Z，Zhang Q，et al esearch on UAV remote sensing image mosaic method based on SIFT J International Journal ofSignal Processing，Image Processing and Pattern ecognition，2015，8(11):365 37478