基于无监督学习的多视无人机航拍图像配准方法研究.pdf

浙江测绘 2023 年第 3 期基于无监督学习的多视无人机航拍图像配准方法研究段梦珂1袁王昆2渊1.宝略科技渊浙江冤有限公司袁宁波315200曰2.宁波海大工程勘察设计有限公司袁宁波315200冤摘要院 无人机航拍图像配准是从不同视角的图像中获得有用的信息进行互补袁针对传统从端到端的神经网络配准方法直接预测图像间的空间对应关系袁未充分考虑到图像配准后的局部变形问题袁本文提出一种基于无监督学习的多视航拍图像配准方法袁框架是由两个卷积神经网络组成的级联遥 首先袁第一个网络直接预测参考图像和待配准图像之间的刚性转换参数袁并恢复它们之间的全局转换曰其次袁第二个网络使用第一个网络的参考图像和配准图像作为输入袁预测位移场并对位移场进行限制曰最后袁利用有限的位移场来补偿两幅图像之间的局部变形遥 实验结果表明袁本文提出的算法在航拍图像配准中具有较高的鲁棒性袁优于现有的图像配准方法遥关键词院 无监督学习曰神经网络曰多视航拍曰图像配准学术研究ZHEJIANGCEHUI1 引言无人机航拍图像配准是无人机目标检测过程中尧区域监测应用的关键技术袁在军用和民用1领域得到了广泛的应用遥 无人机图像具有良好的分辨率袁可以节省大量的人力和物质资源袁使其在图像采集中更加方便遥 由于无人机斜向序列图像在透视图上的差异较大袁因此使用传统的图像配准方法2很难实现全自动尧高精度的配准遥传统的配准方法可分为基于区域的和基于特征两类遥 基于区域的方法通过优化相应窗口对中的相似性度量来找到图像之间的对应关系3遥相似性度量包括归一化互相关4尧互信息以及差值的平方和5袁然而袁这些方法通常与高计算负载相关联遥 基于特征的方法通过提取关键点的局部特征并计算特征的距离来配准图像袁如尺度不变特征变换渊SIFT冤6袁加速鲁棒特征渊SURF冤7等袁此类算法通过估计变换模型的参数袁 如刚性变换尧相似变换或仿射变换袁来恢复图像之间的全局变换袁虽然全局变换得到了校正袁但在两个不同视角的图像之间往往存在局部变形遥近年来袁卷积神经网络渊CNN冤已成功地应用于图像配准袁 一般基于神经网络的图像配准方法步骤如图1所示8袁S.Miao提出将图像配准视为一项回归任务9袁并训练一个CNN来预测合成图像的刚性配准的变换矩阵遥X.Yang认为CNN用于学习从一对输入图像到一个输出变形场的映射10遥然而袁这些基于监督学习的方法袁都必须依赖于大量来自模拟或真实传的标签图像遥 最近袁基于无监督的CNN的方法被开发出来用于图像配准11-13遥他们通过优化图像相似度和通常结合平滑约束的图像相似度来估计图像之间的变形参数遥 然而袁当使用CNN直接估计位移场时袁会忽略航拍图像的几何变化和光度变化袁导致配准精度不高遥综上袁本文提出了一种基于无监督学习的无人机多视航拍图像配准算法袁采用从粗到细的策略对两幅图像进行配准遥 包括全局变换校正和局部变形补偿袁设计的框架是两个CNN的级联遥 我们通过第一个CNN来修正全局变换袁 并准确地估计残差位移由第二个CNN进行的局部变形补偿遥 实验结果表明袁本文提出算法提升了图像配准精度遥图 1 卷积神经网络图像配准流程1窑窑浙江测绘 2023 年第 3 期2.2 初步配准网络由于参考图像和待配准图像之间的全局变换袁像素位移通常较大袁因此很难直接使用CNN来预测补偿局部变形的位移遥 因此袁在进行局部变形补偿之前袁 需要校正图像之间的全局变换袁即进行第一次初步配准遥初步的配准网络与传统的图像配准网络相似遥 它对图像间的变换模型的参数进行估计袁然后根据这些参数恢复全局变换遥 与传统的图像配准方法不同袁 本文使用CNN直接估计变换模型的参数遥 由于无人机航拍图像中不同视角的图像大小相同袁因此两幅图像之间的可以看作是一种刚性变换遥 因此袁初步的配准网络只需要预测两幅图像之间的水平平移 x尧 垂直平移 y和旋转角遥 然后袁通过双线性插值得到初步配准后的图像袁表达式为院其中袁渊x1尧x2冤和渊y1尧y2冤分别表示待配准图像和初步配准后图像平面上的二维位置遥 需要指出的是袁双线性插值可以使初步的配准网络完全可微遥 最后袁通过最小化初步配准后的图像与参考图像之间的图像差来训练初步配准网络遥初步配准网络将参考图像和待配准图像的x2x1cos+y1sin+xy2-x1sin+y1cos+y嗓学术研究ZHEJIANGCEHUI2 算法实现深度学习在图像配准领域的应用日趋成熟袁现有的大多数配准算法都证明了多尺度图像金字塔有利于提高配准速度袁从而提高图像配准的鲁棒性遥 基于此袁本文另提出一种改进ResNet-50网络14作为训练模型袁所提出的级联网络融合了深度学习方法中的多分辨率概念和多尺度金字塔模型袁测试结果表明袁该算法充分做到配准过程中全局变换校正和局部变形补偿袁提高了图像配准率遥2.1 算法流程本文提出了一个基于无监督学习的全局变换校正和局部变形补偿框架袁该框架是一个初步配准网络和一个精细配准网络的级联结构袁如图2所示遥Step1袁给定参考图像和待配准图像袁初步配准网络估计两幅图像之间的转换模型参数曰Step2袁根据这些参数袁通过将待配准的图像对应转换到参考图像中袁可以获得初步配准后的图像曰Step3袁精细配准网络以一对参考图像和初步配准图像作为输入袁预测一个位移场袁该场表示两幅图像中对应像素的位移袁并且对预测的位移场进行限制曰Step4袁基于位移场袁通过将初步配准图像配准到参考图像中袁得到经过精细配准后的图像遥图 2 算法流程图渊1冤2窑窑浙江测绘 2023 年第 3 期学术研究ZHEJIANGCEHUI串联对作为输入袁输出两幅图像之间转换模型的参数袁如图2所示遥 初步配准网络是一个全卷积神经网络袁由4个卷积层和一个全局平均池化层组成遥前两个卷积层的核大小分别为7*7和5*5袁后两个均为3*3遥4个卷积层的滤波器数分别为32尧64尧128尧256遥 最后一个卷积层的步幅为1袁其他的都为2遥 在整个网络中袁 整流线性单元渊Re-LU冤用于激活袁除了最终的卷积层袁它有一个线性输出遥互相关渊CC冤常用于测量图像的相似度遥CC值越高表示参考图像和初步配准后的图像更好地对齐遥 因此袁可以将初步配准网络的损失函数定义为院11-渊 袁 冤渊2冤其中袁 表示参考图像袁表示初步配准后的图像遥2.3 精细配准网络经过全局变换校正后袁图像之间仍存在一些局部变形遥 对于局部变形补偿袁我们首先使用精细配准网络从一对参考图像和初步配准后的图像中学习复杂的非线性映射遥位移场D由两个二维矩阵Dx和Dy组成袁分别表示两个图像中同一目标对应的像素的水平和垂直位移遥 然后袁根据位移场D袁对初步配准后的图像进行变形袁通过双线性插值与参考图像进行匹配袁得到精细配准后的图像袁可表示为院渊x袁y冤渊x+Dx渊x袁y冤袁y+Dy渊x袁y冤冤渊x袁y冤其中袁 表示精细配准后的图像袁渊x袁y冤 表示图像平面中的二维位置遥 通过最小化精细配准后的图像与参考图像之间的图像差袁来优化精细配准网络遥精细配准网络由编码器模块和解码器模块组成袁如图2所示遥 将参考图像和初步配准后的图像串联起来作为输入输出位移场袁编码器从输入的图像中提取特征遥它具有ResNet-5014的基本结构袁在特征表示方面具有良好的性能遥 由于最初的ResNet-50是为图像识别而设计的袁 所以我们对其进行了轻微的修改以进行图像配准遥 我们去掉了结束的平均池化层和全连接层袁所有卷积层的滤波器都减少了一半袁从而降低了参数和计算成本遥 解码器模块从特征中输出预测的位移场袁该特征由4个反卷积层组成遥 最后一个反卷积层的核大小为7*7袁其余的为3*3遥4个反卷积层的滤波器数分别为512尧256尧128和2遥 为结合高级和低级特性袁本文在不同分辨率的编码器和解码器模块之间使用跳跃式连接遥精细配准网络的损失函数包括局部强度损失尧结构损失和光滑度损失袁可以写为院LOSS+渊渊 冤袁渊 冤冤渊渊 冤冤-渊 冤鄣xD-鄣x渊 冤+鄣yD-鄣y渊 冤其中袁表示局部互相关袁 表示参考图像与经过精细配准后的图像之间的局部图像相似性遥操作符表示边缘检测遥 和 都是超参数袁默认设置为10和0.1遥为3*3大小的平均滤波器袁可以减轻噪声的影响遥 鄣x和鄣y表示沿水平方向和垂直方向的偏导数遥 结构损失和局部强度损失使精细配准图像看起来与参考图像相似遥通常需要平滑损失来估计的位移场的局部平滑遥 由于局部变形经常发生在边缘袁因此图像中梯度较大袁位移较大遥 因此袁在平滑性损失中袁位移场的梯度被图像梯度加权遥为了便于目标检测袁不应该对齐两幅图像中的目标阴影遥 因此袁我们对精细配准网络预测的位移场进行了限制袁使得暗区域的位移较小袁最终的位移场为院其中袁表示初步配准图像的平均值袁是一个位移的阈值袁默认设置为3遥3 实验数据集和评估指标为验证本文所提算法的鲁棒性袁需对配准结果进行定性和定量比较分析遥3.1 实验数据集参考图像和待配准图像集由Sandia数据集和实验区域的图像集共同构成袁共80000张且将所有的实验图像都采用相同的方法进行预处理袁调整为512*512的图像遥 数据集包括一个训练集D1渊x袁y冤袁 渊x袁y冤orD1渊x袁y冤0袁嗓D渊x袁y冤渊5冤渊3冤渊4冤3窑窑浙江测绘 2023 年第 3 期和两个测试集袁其中一个测试集对应于与训练集相同的场景袁另一个与训练集不同袁利用这两个测试集验证了该方法的图像配准性能遥3.2 评估指标为了客观比较不同方法的配准性能袁使用归一化互相关15渊NCC冤和绝对强度误差渊AIE冤15对配准结果进行定量评价袁具体定义如下院归一化互相关用于检查配准后的图像相似性遥 参考图像和待配准图像都是使用相同的成像方式获得的袁因此可以直接比较体素强度遥 设表示参考图像袁表示待配准图像袁NCC计算为院式中袁 和分别为图像和的平均强度袁 和定义为院式中袁分别为和中的像素总数遥在0到1之间变化袁其中0表示完全不匹配袁1表示图像是相似的遥本文中另一种图像配准的定量测量方法是绝对强度误差渊AIE冤袁定义为曰其中袁AIE=0表示图像无差异袁 代表是对齐的曰AIE=1表示图像差异较大且对齐错误遥4 实验结果及分析为了验证本文提出的无人机航拍多视图像配准算法的性能袁进行数值实验袁并将结果与一些最先进的算法进行比较袁 所有的仿真都是由MATLAB渊R2010a冤实现的遥无监督深度学习网络分为两个阶段进行训练遥 第一阶段袁初步注册网络采用Adam优化器优化袁 批次大小为16遥 在前80000次迭代和后20000次迭代中学习率分别设置为210-4和210-5遥 第二阶段袁 确定初始配准网络中的权重袁用Adam优化器训练批次大小为2的精配准网络袁且在前80000次迭代和后20000次迭代中学习率分别设置为210-4和210-5遥随机抽取两组多视航拍图像的配准结果与U-Net网络算法尧ResNet-50网络算法进行对比说明本文算法的性能遥 本文算法效果图如图3所示袁通过对其性能目视检查袁发现每组的第三张图袁即初级配准结果可以找到参考图像和待配准图像间的空间转换参数曰第四张图袁即精细配准网络对初级预测的位移场有较好的限制遥 同时袁从效果图中也能看出配准后的图像更加丰富了图像的细微特征遥利用归一化互相关渊NCC冤和绝对强度误差学术研究ZHEJIANGCEHUINCC渊 袁 冤移渊 渊x0袁y0冤-冤渊 渊x0袁y0冤-冤滓 滓x0 x袁y0y渊6冤渊9冤AIE1N0移-蓘蓡图 3 本文算法效果图渊7冤渊8冤滓1N0移渊 渊x0袁y0冤-冤2滓1N0移渊 渊x0袁y0冤-冤2x0 x袁y0yx0 x袁y0y4窑窑浙江测绘 2023 年第 3 期学术研究ZHEJIANGCEHUI渊AIE冤两项图像配准评估参数对配准图像质量作客观评价遥 选取U-Net网络尧ResNet-50网络算法与本文算法配准结果进行对比袁评估结果对比表如表1所示袁I1-I2表示图3中随机抽取的前两组图像对袁从表中评估数据来看袁本文所提算法在NCC和AIE两方面比U-Net网络和ResNet-50网络都具有明显优势袁可以自动发现不同视角可见光图像之间的复杂关系袁从而获得更好的精度遥5 结论针对不同视角的无人机航拍图像配配准困难且传统CNN配准网络只考虑图像间的空间对应关系袁提出了一种无监督学习的多视无人机航拍图像配准网络遥 该网络包括初步配准网络和精细配准网络遥 初步的配准网络预测了两幅图像之间的刚性变换模型的参数袁并对两幅图像进行了相应的配准曰精细配准网络可以准确地估计目标的剩余位移袁 以补偿除两幅图像之间的所有差异遥 对真实图像数据的处理结果表明袁该算法可以获得更好的配准结果袁在图像配准方面具有良好的性能遥参考文献院1 Song K T袁Wang S C袁Han M J袁et al.Pose-variant facerecognition based on an improved Lucas-Kanade algorithmC/Advanced Robotics&Its Social Impacts.IEEE袁2009.2 Argyriou V袁Vlachos T.A study of sub-pixel motionestimation using phase correlationJ.Proc Bmvc袁2006袁7渊October冤院1.3 Subramanian P袁Leerar K F袁Ahammed K袁et al.Imageregistration methodsJ.2016.4 Ye Y袁Bruzzone L袁Shan J袁et al.Fast and Robust Matchingfor Multimodal Remote Sensing Image RegistrationJ.IEEE Transactions on Geoscience and Remote Sensing袁2019袁PP渊99冤院1-12.5 Heiko Hirschm ller.Hirschm ller袁H.Stereo processingby semiglobal matching and mutual information.IEEEPAMI 30渊2冤院328-341J.IEEE Transactions on PatternAnalysis and Machine Intelligence袁 2008袁30渊2冤院328-341.DOI院10.1109/TPAMI.2007.1166.6 Zawistowski J袁Kurzejamski G袁Garbat P袁et al.Productsrecognition on shop-racks from local scale-invariant featuresC/Optics袁Photonics&Digital Technologies for ImagingApplications IV.International Society for Optics andPhotonics袁2016.7 Kalia R袁Lee K D袁Samir B袁et al.An analysis of the effectof different image preprocessing techniques on theperformance of SURF院Speeded Up Robust FeaturesC/2011 17th Korea-Japan Joint Workshop on Frontiers ofComputer Vision 渊FCV冤.0.8 牟海维袁段朝辉袁李林袁万川袁郭颖.基于边缘特征和 CNN联合的多视航拍图像配准方法J.工业仪表与自动化装置袁2021渊04冤院87-91.9 Miao S袁Wang Z J袁Rui L.A CNN Regression Approachfor Real-Time 2D/3D RegistrationJ.IEEE Transactionson Medical Imaging袁2016袁35渊5冤院1-1.10Yang X袁Kwitt R袁Styner M袁et al.Quicksilver院FastPredictive Image Registration-a Deep LearningApproachJ.Neuroimage袁2017袁158院378.11Vos B袁Berendsen F F袁Viergever M A袁et al.End-to-EndUnsupervised Deformable Image Registration with aConvolutional Neural NetworkJ.2017.12Balakrishnan G袁Zhao A袁Sabuncu M R袁et al.AnUnsupervised Learning Model for Deformable MedicalImage RegistrationC/2018 IEEE/CVF Conference onComputer Vision and Pattern Recognition.IEEE袁2018.13Niethammer M袁Kwitt R袁Vialard F X.Metric Learningfor Image RegistrationC/2019 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition渊CVPR冤.IEEE袁2020.14Yao H袁Dai F袁Zhang D袁et al.DR2-Net院Deep ResidualReconstruction Network for Image Compressive SensingJ.2017.DOI院10.1016/j.neucom.2019.05.006.15Holden M袁Hill D.Voxel similarity measures for 3-Dserial MR brain image registrationJ.IEEE Transactionson Medical Imaging袁2000袁19渊2冤院94.作者简介院段梦珂渊1992-冤袁女袁安徽宿州人袁助理工程师袁学士袁主要从事航空摄影测量尧土地资源管理尧不动产测绘等遥Email院遥表 1 不同算法对第一组图像的定量结果I2NCCAIE0.13230.07680.0460U-NetResNet-50本文算法0.81310.92340.9801表 2 不同算法对第二组图像的定量结果I2NCCAIE0.10020.06580.0322U-NetResNet-50本文算法0.74530.79650.89755窑窑