顾及场景连通性的混合式SfM方法.pdf

第 卷第期测绘学报V o l ,N o 年月A c t aG e o d a e t i c ae tC a r t o g r a p h i c aS i n i c aJ u n e,引文格式:屈文虎,刘振东,蔡昊琳,等顾及场景连通性的混合式S f M方法J测绘学报,():D O I:/j A G C S QU W e n h u,L I UZ h e n d o n g,C A IH a o l i n,e ta l Ah y b r i dS f M m e t h o dc o n s i d e r i n gs c e n ec o n n e c t i v i t yJ A c t aG e o d a e t i c ae tC a r t o g r a p h i c aS i n i c a,():D O I:/j A G C S 顾及场景连通性的混合式S f M方法屈文虎,刘振东,蔡昊琳,张帅哲中国测绘科学研究院,北京 ;山东科技大学测绘与空间信息学院,山东 青岛 AAhh yy bb rr ii ddSS ff MMmm ee tt hh oo ddcc oo nn ss ii dd ee rr ii nn ggss cc ee nn eecc oo nn nn ee cc tt ii vv ii tt yyQQ UUWW ee nn hh uu,LL II UUZZ hh ee nn dd oo nn gg,CC AA IIHH aa oo ll ii nn,ZZ HH AA NN GGSS hh aa ii zz hh ee C h i n e s eA c a d e m yo fS u r v e y i n ga n d M a p p i n g,B e i j i n g ,C h i n a;C o l l e g eo fG e o d e s ya n dG e o m a t i c s,S h a n d o n gU n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y,Q i n g d a o ,C h i n aAA bb ss tt rr aa cc tt:S f Mm e t h o dh a sa c h i e v e dg r e a ts u c c e s s i n Ds p a r s er e c o n s t r u c t i o n,b u t i ts t i l lm e e t ss e r i o u sc h a l l e n g e s i n l a r g e s c a l es c e n e r e c o n s t r u c t i o n A i m i n ga t s o l v i n gt h ep r o b l e mo f l o o s e i m a g ed i s t r i b u t i o n,l o we f f i c i e n c yo fs u b c l u s t e re x p a n s i o na n dw e a kr o b u s t n e s so fs u b c l u s t e rm e r g i n gi ne x i s t i n gh y b r i dS f Mm e t h o d s,a h y b r i d S f M m e t h o d c o n s i d e r i n gs c e n ec o n n e c t i v i t yi s p r o p o s e di nt h i sp a p e r F i r s t l y,am u l t i f a c t o r j o i n t s c e n ed i v i s i o na l g o r i t h mb a s e do nn o r m a l i z e dc u t i sp r o p o s e d,w h i c he f f e c t i v e l y s o l v e s t h ep r o b l e mo fl o o s ei m a g es p a c ed i s t r i b u t i o ni ns u b c l u s t e r sa f t e rs c e n ed i v i s i o n;S e c o n d l y,as u b c l u s t e rb a l a n c e de x p a n s i o na l g o r i t h mc o n s i d e r i n gp a r t i t i o nc o n n e c t i v i t yi sp r o p o s e dt oi m p r o v et h ee x p a n s i o ne f f i c i e n c ya n dc o n n e c t i v i t yb e t w e e ns u b c l u s t e r s;T h e n,aq u a l i t yc h e c ka n ds e c o n d a r yr e c o n s t r u c t i o nm e c h a n i s mi n t h el o c a l r e c o n s t r u c t i o ns t a g ea r ei n t r o d u c e dt oe l i m i n a t et h ei n f l u e n c eo fs u b c l u s t e r sw i t hu n q u a l i f i e d l o c a l r e c o n s t r u c t i o nq u a l i t yo nm e r g i n g,a n das u b c l u s t e rm e r g i n ga l g o r i t h mc o n s i d e r i n gt h ec o n n e c t i v i t yb e t w e e nc l u s t e r si sp r o p o s e dt oi m p l e m e n tt h er o b u s tm e r g i n ga m o n gs u b c l u s t e r s F i n a l l y,e x p e r i m e n t a l v a l i d a t i o n i s c o n d u c t e du s i n gm u l t i p l eo p e nd a t a s e t sa n dm u l t i v i e wd a t a s e t s,a n d t h e r e s u l t ss h o wt h a t t h em e t h o dp r o p o s e d i n t h i sp a p e r i ss u p e r i o r t os t a t e o f t h e a r tm e t h o d s i nt e r m so f r o b u s t n e s sa n de f f i c i e n c y,a n dh a sb e t t e r f e a s i b i l i t ya n da d v a n c e m e n t KK ee yyww oo rr dd ss:h y b r i dS f M;c o n n e c t i v i t y;s c e n ep a r t i t i o n i n g;s u b c l u s t e rm e r g i n gFF oo uu nn dd aa tt ii oo nnss uu pp pp oo rr tt:B a s i cS u r v e y i n ga n dM a p p i n gP r o j e c t o f t h eM i n i s t r yo f N a t u r a l R e s o u r c e s(N o A );B a s i cS c i e n t i f i cR e s e a r c hB u s i n e s sF e eo f t h eC h i n e s eA c a d e m yo f S u r v e y i n ga n dM a p p i n g(N o A R )摘要:S f M方法在三维稀疏重建方面获得了巨大的成功,但面对大规模场景重建问题时,该方法仍面临着严重的挑战.针对现有混合式S f M方法场景划分影像分布松散、子簇扩展效率低,以及子簇合并稳健性差等问题,本文提出一种顾及场景连通性的混合式S f M方法.首先,提出一种基于归一化割的多因子联合场景划分算法,有效地解决了场景划分后子簇内影像空间分布松散的问题;其次,提出一种顾及分区连通性的子簇均衡扩展算法,提高了扩展的效率及子簇间的连通程度;然后,通过在局部重建阶段引入质检及二次重建机制,消除了局部重建质量不合格子簇对合并的影响,并提出一种顾及簇间连通性的子簇合并算法,实现子簇间的稳健合并;最后,利用多组公开数据集和多视倾斜摄影数据集进行试验验证.结果表明:本文方法在稳健性和效率等方面均优于目前先进的方法,具有较好的可行性和先进性.关键词:混合式S f M;连通性;场景分区;子簇合并中图分类号:P 文献标识码:A文章编号:()基金项目:自然资源部基础测绘项目(A );中国测绘科学院基本科研业务(A R )运动恢复结构(s t r u c t u r e f r o m m o t i o n,S f M)方法与摄影测量中空中三角测量方法相似,均可第期屈文虎,等:顾及场景连通性的混合式S f M方法从一组具有重叠的影像中同时恢复相机位姿及结构信息,目前被广泛用于三维场景稀疏重建.学者们在S f M相关领域取得了卓有成效的研究成果 ,但面对动辄如今几万甚至几十万影像规模的城市级三维稀疏重建问题,S f M方法仍然在计算效率和稳健性等方面面临着严重的挑战.根据初始姿态估计方式的不同,传统S f M方法分为增量 式S f M方 法 及 全 局 式S f M方法 .增量式S f M从初始像对或者三元组的最小 重 建 开 始,渐 进 地 添 加 新 影 像,并 使 用R AN S A C或估计三焦张量过滤异常值,同时执行局部光束法平差(b u n d l ea d j u s t m e n t)优化相机姿态及场景结构信息,直至无影像添加为止.频繁的局部光束法平差保证了增量式S f M重建结果稳健且准确,但该步骤耗时较多,且重建误差随迭代次数的增加不断累积,使得增量式S f M在处理大规模场景重建问题时,效率较低且易发生模型漂移.不同于增量式S f M,全局式S f M尝试对所有影像进行整体求解,这使得误差分布更加均匀,避免了误差累积,并且全局式S f M无须进行频繁的光束法平差,因此该方法具有更高的处 理 效 率;然 而 该 方 法 对 异 常 值 十 分 敏感,虽然文献 通过提出一种去除重复结构和极短基线引起的错误相对定向方法来试图消除异常值对全局式S f M的影响,但面对大规模场景的稀疏重建问题,全局式S f M的稳健性仍有待进一步改善.为克服传统S f M方法在处理大规模场景稀疏重建时面临的效率低及稳健性差问题,有学者引 入 分 割合 并 策 略,提 出 了 混 合 式S f M方法 ,通过将原始场景划分为若干子集(下文简称“子簇”),使单个问题规模大幅度减小,避免了大量参数同时求解,因此其稳健性及处理效率大幅提升.然而,现有混合式S f M方法至少还存在两个方面的问题:场景分区阶段,子簇聚类后,子簇内影像空间分布较为松散;子簇扩展时,扩展效率较低且未顾及子簇间的连通性;子簇合并阶段,现有方法未考虑相机参数的全局一致性,且重建精度较低甚至可能发生合并失败.鉴于此,本文提出一种顾及场景连通性的混合式S f M方法.主要贡献如下:()空间分布紧凑的子簇聚类.为避免子簇聚类结果内部影像空间分布松散甚至割裂的问题,采用像对间的同名点数量、重叠面积及场景关联度等联合构建新的权重函数.()顾及连通性的子簇扩展.为提高图像扩展效率,并尽可能保证子簇间的连通性,引入影像的预分配机制,提出一种顾及分区连通性的子簇均衡扩展算法.()稳健的子簇合并.为避免子簇的合并路径过长导致误差累积问题,提出一种顾及簇间连通性的子簇合并规则,动态选择最佳待合并簇对;在合并过程中动态选择最佳相机参数作为新簇的相机参数,保证了相机参数的全局一致性,提升了重建精度.研究现状根据场景分区及子簇合并策略的不同,混合式S f M方法可划分为多层级混合式S f M方法与平面混合式S f M方法两种.多层级混合式S f M方法 ,将分层聚类算法引入场景划分及合并之中,通过将原场景划分为层次树簇,然后各节点独立重建进行加速,但该方法场景划分后的单个节点规模较小,节点内部场景有效信息保留较少,子簇局部重建质量较差,自下而上的重建及合并策略缺乏全局视角,导致该类方法子簇重建稳健性较差.不同于多层级混合式S f M,文献 提出一种平面混合式S f M方法,该方法首先利用归一化割将场景直接划分为多个平面子图,并根据相关性对子图进行扩展,然后对每个子图进行局部重建,最后利用连接图像之间的核线关系合并子簇的局部重建结果形成整个场景的稀疏重建;在此基础上,文献 将分布式摄像机模型引入场景划分,提高了算法的稳健性;文献 通过在子簇扩展阶段引入完备率约束及规模约束,在限制子簇规模的同时保证了子簇间足够的连通性.然而上述方法多局限于单一的场景划分或合并,缺乏全局性考虑.针对该问题,文献 提出了一种基于图的并行S f M方法,将大规模S f M看作一个图的问题.首先,利用图结构将大规模数据集划分为若干子簇;然后,通过沿最大生成树遍历断裂边寻找最佳扩展影像的策略完成子簇扩展,提高了场景分区的算法效率;最后,在子簇合并过程中,通过最小高度树筛选最佳基准簇,并通过最小生成树选择子簇间的最佳合并路径,提升了子簇合并的稳健性.然而,文献 采用以像对的同名点数量为J u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o m权重的子簇聚类算法进行子簇划分,划分后子簇内部影像空间分布松散甚至割裂,导致子簇局部重建可能失败,影响子簇合并的稳健性;同时,子簇扩展效率较低,且动态添加影像时未考虑子簇间重复影像数量的均衡问题,可能导致子簇合并失败;同时子簇合并过程中沿单一路径进行合并可能出现误差累积,且未考虑相机参数的全局一致性,导致场景的稀疏重建精度较低.顾及场景连通性的混合式S f M方法针对现有算法的不足,本文提出了一种顾及场景连通性的混合式S f M方法.主要内容如下:场景分区阶段,提出了一种基于归一化分割的多因子联合子簇聚类算法,以及顾及分区连通性的子簇均衡扩展算法,保证子簇内影像空间分布的紧凑性,提升场景分区的效率和子簇间的连通性;局部重建阶段,利用高效的全局式S f M方法完成局部重建,同时引入质量检查与二次重建机制,以提升局部重建稳健性;子簇合并阶段,提出一种顾及簇间连通性的子簇合并规则,动态选择最佳待合并簇对,并对相机参数进行动态调整,以提升子簇合并的精度和稳健性.本文方法流程如图所示.图本文方法流程F i g F l o w c h a r to f t h ep r o p o s e dm e t h o d场景分区场景分区是混合式S f M方法的第一步,其目的是将原有场景划分为若干存在关联的小场景.场景分区包括子簇聚类与子簇扩展两步.子簇聚类是通过影像聚类算法将原有场景划分为互不重叠的N个子簇;子簇扩展是通过对子簇添加重复影像,使相邻子簇间存在足够的重叠影像,增强子簇间的连通性.基于归一化割的多因子联合子簇聚类子簇聚类需要将场景划分为若干互不重叠的子簇,本文的子簇聚类算法与现有方法 相似,也是在图上进行的,详细步骤如下.步骤:图的构建.以影像作为图的节点,影像间的连接作为图的边,构建相机图GV,E,其中节点ViV,表示相机CiC,Ei jE及边权w(Ei j)表示像对Ci和Cj间的连接关系.子簇聚类就是将图GV,E 表示的所有相机划分成一组由Gk|GkVk,Ek 表示的N个子簇,且子簇间互不重叠.步骤:边权的构建.构建图GV,E 中的边权w(Ei j),以衡量两个节点的连接关系,现有方法以像对的同名点数量作为权重,其归一化后的同名点数量权重函数为wpi jpn u mm i n(f e a ti,f e a tj)()式中,f e a ti、f e a tj分别为像对i、j各自的特征点数量;pn u m为匹配对i、j同名点数量.一般认为,像对间的同名点数量越多(wpi j越大),像对间的相关性越强.但如图所示,面对多视倾斜摄影数据集时,由于影像间的拍摄视角与地面垂直方向间的夹角可能会很大,导致像对A B的同名点数量多于像对A C间的同名点数量,若仅采用同名点数量计算边权则可能会将影像A和影像B划归到同一子簇中,而影像C不能与影像A划归到同一子簇中,导致子簇内部影像空间分布较为松散甚至割裂的问题(图),可能进一步导致子簇的局部重建自由网断裂.为解决上述问题,本文在式()的基础上,引入像对的重叠面积、场景关联度信息等因子联合构建新的权重函数w(Ei j),具体如下所示.第期屈文虎,等:顾及场景连通性的混合式S f M方法注:S为像对A B共同观测区域,红色虚线表示像对A B间的同名点在各自影像上的分布;S为像对A C共同观测区域,蓝色虚线表示像对A C间的同名点在各自影像上的分布.图多视倾斜摄影数据同名点分布F i g D i s t r i b u t i o no fh o m o n y m o u sp o i n t so f m u l t i s c a l ea e r i a l d a t a s e t s图现有方法的子簇聚类结果(同一颜色表示同一子簇)F i g S u b c l u s t e r c l u s t e r i n gr e s u l t s f o re x i s t i n gm e t h o d s(s a m ec o l o r i n d i c a t e ss a m es u b c l u s t e r)()像对的重叠面积因子wai jm a xpa r e aia r e ai,pa r e aja r e aj()式中,pa r e ai、pa r e aj表示像对i、j间的同名点在各自影像上的分布范围的外接多边形所占用的像素数(图所示红框区域),受限于视角不同,同名点在同一像对上左右视影像上的分布范围可能略微不同,为 方 便 计 算,本 文 统 一 取 其 最 大 值;a r e ai、a r e aj代表影像i、j各自的像幅面积.像对的重叠面积因子越大,则认为该像对为强连接关系的可能性越大.()场景关联度因子wmi jc o mn u mm a x(m a t c hn u m)()式中,c o mn u m为像对i、j共有关联影像数(如图所示,影像A与影像C构成像对,若影像A同影像D也构成像对,影像C同影像D也构成像对,则称 影 像D为 像 对A C的 共 有 关 联 影 像);m a t c hn u m为场景中所有像对间的共有关联影像数.像对左右视影像在整个场景中的共有关联影像数越多,则表明该像对的连接关系越强.本文将以上个指标进行联合并正则化,构建如下新的权重函数w(Ei j)wpi jwai j wmi j()式中,、分别为上述个不同因子的权重(本文选取、的经验值).步骤:子簇聚类.首先,确定子簇影像规模,以确定需划分的子簇个数,考虑计算机内存的限制及计算效率,子簇影像规模不应太大;然后,采用归一化割 对已建立的图进行划分;最后,为方便下一阶段的子簇扩展,收集各子簇间聚类过程中断开的边,并按权重进行降序排列,构建断裂关系表El o s tEl o s tEkk|k,kN()式中,k、k表示不同的子簇;Ekk表示子簇k、k在分割过程中断开的边;N代表子簇数量.注:一个栅格表示一个像素.蓝点表示像对间的同名点,绿点表示影像中其余的特征点,红色框线区域表示影像的重叠面积.图像对间的重叠面积因子计算示意F i g S c h e m a t i cc a l c u l a t i o no ft h eo v e r l a pa r e af a c t o rb e t w e e n i m a g ep a i r s顾及分区连通性的子簇均衡扩展子簇扩展的目的是通过添加重复影像的方式来增强子簇之间的连通性.现有方法 在子簇扩展阶段至少还存在两方面问题:扩展效率低.现有方法在每次添加重复影像后,都会计算子簇包含的影像规模及完备率,并判断是否达到终止条件,导致扩展效率较低.未顾及子簇间的连通性.现有方法优先将重复影像添加到影像规模较小的子簇中,可能导致当前子簇与邻居中的个别子簇的重复影像数量很多,而与其他邻居子簇的重复影像数量特别少甚至不存在,导致子簇间连通性的均衡度较差.J u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o m为解决上述问题,本文在文献 的基础上,提出一种顾及分区连通性的子簇均衡扩展算法,通过引入一种影像均衡分配机制,对所有待扩展影像进行预分配,在提升子簇扩展效率的同时保证了子簇间的连通性,具体步骤如下.步骤:待扩展比率计算.计算目标子簇与各邻域簇待扩展数量的比值rkikjEkikjs u m(El o s t|ki)()式中,El o s t|ki表示子簇i在分割过程中断开边的总数;Ekikj表示子簇i同其邻域簇j在分割过程中断开边的数量.步骤:待扩展影像数计算.结合完备率i及式()所计算的分配比值,计算目标簇i同其邻域簇j的扩展影像数Nkikjrkikj(ic l u s t e rkie x p a n dki)()ijiGiGjGi()e x p a n dki子簇i未参与过扩展ijNkikj子簇i曾参与扩展()式中,c l u s t e rki表示子簇i当前的影像数量;e x p a n dki表示当前子簇i已扩展的影像数;Gi、Gj表示两个不同的子簇.步骤:影像添加.利用式()计算待扩展数量Nkikj,并在待扩展簇对中选择规模较小的一方,对Ekikj中权重最高的前Nkikj条边进行恢复,以平衡子簇规模.结合节、节,本文方法场景分区流程如图所示.首先,结合节,将整个场景划分为N个子簇;然后,计算子簇间的待扩展影像数,以子簇A与子簇B扩展过程为例,结合节步骤及步骤可知,子簇A、B间的待扩展比率rkAkB,则该簇对间的待扩展影像数NkAkB;最后,结合节步骤进行子簇扩展,选择El o s t中子簇A、B间权重值最高的前个影像添加到子簇A中,循环迭代直至所有子簇间均被扩展完毕;图(c)展示了场景分区的最终结果.基于全局式S f M方法的局部重建不同于现有混合式S f M,增量式局部重建的策略,本文局部重建采用全局式S f M方法.相较于增量式局部重建策略,本文局部重建策略具有以下优点:图子簇扩展F i g S u b c l u s t e re x p a n s i o n()全局式S f M方法无须频繁地进行光束法平差,因此子簇的局部重建效率更高.()无须考虑增量式S f M方法局部重建带来的模型漂移风险,因此,本文的场景分区的子簇影像规模可以设置为较大数值,减少了数据冗余及合并次数.()无须考虑子簇局部重建误差累积对子簇合并的影响,因此,子簇合并过程时,只需进行一次全局光束法平差,提高了子簇合并效率.本文采用文献 所提出的L I R L S求解器求解各簇的相机全局旋转信息,并利用文献 所提供的方法对各簇的相机全局平移信息进行稳健求解.在获取相机初始姿态信息后,应用局部光束法平差对所获取的初始姿态信息进行调第期屈文虎,等:顾及场景连通性的混合式S f M方法整优化.由于存在影像匹配精度、飞行传感器检校特性等不确定性因素,影像并不一定能够全部校准.若子簇局部重建结果的质量较差,则可能导致子簇合并失败,出现整个自由网断裂的现象.因此,本文在局部重建后有必要对子簇局部重建的结果进行质量检查,具体规则如下:()影像校准率条件.如果校准率(成功校准的影像数量占总数的比例)小于阈值(本文取 作为 阈 值),则 认 为 子 簇 局 部 重 建 结 果 不可靠.()相机参数条件.如果子簇局部重建后同其邻域簇间同源相机的相机参数(包括焦距、像主点和畸变参数)差异很大,则认为子簇局部重建结果不可靠.()重投影误差条件.如果子簇的重投影误差大于阈值(本文取作为阈值),则认为子簇局部重建结果不可靠.若某子簇的局部重建结果不能满足上述任意一个条件,则判定该子簇的质量检查结果为不合格.针对质量检查不合格的子簇,查找邻域簇中重投影误差最小的一组相机参数作为其相机参数的初始值进行二次局部重建,尝试提高子簇局部重建的质量.顾及簇间连通性的子簇合并在所有子簇局部重建之后,混合式S f M方法应对子簇重建结果进行合并,以形成整个场景的自由网.现有方法 在面对大规模图像数据集时,由于某些子簇在合并过程中,相邻子簇间的公共地面点过少或合并路径过长,现有方法容易出现误差累积较大甚至合并失败的情况.针对上述问题,本文提出了一种顾及簇间连通性的子簇合并规则,动态选择最佳待合并簇对;同时考虑相机参数的全局一致性,合并过程中对合并后新簇的相机参数进行动态调整.具体步骤如下.步骤:待合并簇对的选择.首先,从待合并子簇集合中选择连通性最好(即邻域簇数量最多)的子簇作为基准簇;然后,收集同该子簇构成簇对的所有邻域簇,并根据各邻域簇同基准簇间的相关性强弱排序,选出相关性最强的邻居子簇同基准簇构成待合并簇对.步骤:簇对的合并.首先,使用R AN S A C去除待合并簇对间公共地面点中的噪声点;然后,结合文献 迭代计算待合并簇对间的三维线性变换参数,将邻域簇的坐标系及比例尺统一至基准簇坐标系下.步骤:相机参数的动态优化.首先,收集新簇中的所有同源相机影像;然后,利用合并前两子簇的相机参数分别计算上述影像组的重投影误差,选择重投影误差较小的相机参数作为合并后新簇的相机参数.步骤:重复执行步骤,直至所有子簇被合并.以图为例,详细说明子簇合并过程,整个数据集被划分为个子簇k,k,k.首先在所有待合并子簇集合中,选择连通性最好的k作为合并基准簇,并同其相关性最强的子簇k构成待合并簇对,执行合并操作形成新簇B,同理,第轮合并时,根据步骤选择k、k构成待合并簇对,并执行合并操作形成新簇B;第轮合并,B作为基准簇同k构成待合并簇对进行合并,构成新B.子簇循环合并,直至所有子簇被合并形成B,即整个场景的自由网.注:蓝色表示未合并簇,红色表示合并后的新簇.图子簇合并F i g S u b c l u s t e rm e r g i n g试验与分析试验数据与环境本文方法已被集成到自动化三维重建软件I M S中,该软件由中国测绘科学研究院地图学与地理信息系统研究所研制,是一款结合摄影测量、计算机视觉等领域最新研究成果的全自动、自主国产的集群并行三维重建软件.为验证本文方法的有效性,本文选取多种不同类型的数据集进行试验分析,包括组来自公开数据集,的近景J u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o m摄影数据及组不同规模的多视倾斜摄影数据集;此外,为评估本文方法在大规模数据集上的性能表现,本文另外选取了组不同地物场景类型的大规模航空摄影数据集进行试验验证,各数据集详细参数见表.本文搭建了一个具有一个主节点、个子节点组成的计算集群,其中主节点为一台配置I n t e lC o r e i XC P U及 G B内存的 工 作 站;子 节 点 为台 配 置I n t e lC o r eG o l d C P U及 G B内存普通台式机,运行环境为W i n d o w sx 系统.表数据集参数信息T a b D a t a s e tp a r a m e t e r s i n f o r m a t i o n类别数据传感器数量图像分辨率地面分辨率/c m面积/k m近景摄影数据G r a h a m H a l lC a n o nE O S D M a r k 万S o u t h B u i l d i n gP a n a s o n i cDMC T Z 万P e r s o n H a l lC a n o nE O S D M a r k 万E c h i l l a i s C h u r c hC a n o nE O S D M a r k 万G e r r a r d H a l lC a n o nE O S D M a r k 万多视倾斜摄影数据集D a t a D J IF C R 万D a t a D J IF C R 万D a t a D J IF C R 万D a t a S ONYI L C E 万D a t a S ONYI L C E 万D a t a S ONYI L C E 万大规模航空摄影数据集A e r i a l S ONYI L C E 万 A e r i a l S ONYI L C E RM 万 A e r i a l S ONYI L C E 万 A e r i a l V e x c e lU C O P 万 场景分区紧凑性及效率分析分别选取两组不同类型的多视倾斜摄影数据集对本文场景分区方法与现有方法 进行对比分析,其中第组数据为组不同规模的典型复杂场景数据集,用于验证本文子簇聚类算法的紧凑性;第组为组中大规模场景数据集,用于验证本文子簇扩展算法高效性.()子簇聚类紧凑性对比分析.图展示了组不同规模的典型复杂场景数据集子簇聚类结果,可以看出:在子簇数量完全相等的情况下,使用现有方法进行子簇聚类,组数据均出现了不同程度的空间割裂现象(矩形框区域),其中第组数据最为严重(图(b)B l o c k、B l o c k).而本文方法在组数据中均未出现空间割裂现象且子簇内影像的空间分布较为紧凑.这主要是因为现有方法中权重函数仅利用同名点数量构建,对多视倾斜摄影数据适用性差,导致聚类后子簇内影像空间分布较为松散;而本文的子簇聚类算法利用像对间的同名点数量、重叠面积及场景关联度等因子联合构建新的权重函数,因此,子簇内部影像间更加紧凑.为了进一步验证本文子簇聚类算法对子簇局部重建精度的影响,选取图(b)的试验数据进行注:左侧为现有方法,右侧为本文方法.图各数据集场景划分结果对比F i g C o m p a r i s o no f s c e n a r i oc l a s s i f i c a t i o nr e s u l t s f o re a c hd a t a s e t第期屈文虎,等:顾及场景连通性的混合式S f M方法试验对比与分析,结果见表:由于现有方法生成的子簇B l o c k及B l o c k出现空间割裂问题,导致大面积影像姿态估算错误,已校准影像数量仅为子簇影像数量的 ,而本文方法的图像校准率及重投影误差表现均优于现有方法,表明了本文子簇聚类方法的有效性.表图(b)数据子簇聚类算法改进前、后的子簇局部重建结果精度对比T a b F i g(b)d a t ac o m p a r i s o no fa c c u r a c yo f s u b c l u s t e rl o c a lr e c o n s t r u c t i o nr e s u l t sb e f o r ea n d a f t e rt h ei m p r o v e m e n t o f s u b c l u s t e rc l u s t e r i n ga l g o r i t h m子簇现有方法 本文方法子簇聚类影像数局部重建精度指标校准影像数重投影误差/像素子簇聚类影像数局部重建精度指标校准影像数重投影误差/像素B l o c k B l o c k B l o c k B l o c k B l o c k B l o c k B l o c k B l o c k 注:粗体为使用改进前的子簇聚类方法出现影像空间分布割裂子簇.()子簇扩展效率对比分析.如表所示,由于本文子簇扩展算法在扩展前已完成对待扩展影像的预分配,扩展过程中根据预分配结果直接添加影像,避免了扩展过程中的频繁计算和调整,因此,本文子簇扩展算法的效率较现有子簇扩展算法提升明显.表子簇扩展效率对比T a b C o m p a r i s o no f s u b c l u s t e r e x p a n s i o ne f f i c i e n c ym s数据集数据规模簇规模G r a p hS f M 本文算法D a t a D a t a A e r i a l A e r i a l 为了进一步验证本文子簇扩展算法对子簇局部重建精度的影响,选取表中的A e r i a l 数据进行对比试验和分析,试验结果如图所示,子簇扩展算法改进前后,重投影误差精度指标表现基本一致,验证了本文子簇扩展算法在提升效率的同时保证了局部重建精度.性能对比试验分析本节分别评估了本文方法同两种传统S f M方法(O p e n MVG(全局式方法)、C o l m a p(增量式 方 法)及 两 种 先 进 的 混 合 式S f M方 法(D f、G r a p hS f M)在两组不同类型数据集上的性能表现,为了试验的公平性,所有试验均使用S I F T G P U 完成特征提取工作,并使用单个计算节点进行试验.其中,D f为商用软件,版本号为V ,试验过程使用默认设置进行;其余种方法为开源代码,本文使用V S 进行重新编译,试验过程中本文方法同G r a p hS f M子簇影像规模设置相同.试验结果见表表.图A e r i a l 子簇局部重建的精度(重投影误差)对比F i g C o m p a r i s o no f a c c u r a c y(RM S E)o f l o c a l r e c o n s t r u c t i o no fA e r i a l s u b c l u s t e r sJ u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o m表公开数据集精度评定T a b A c c u r a c ya s s e s s m e n t o fp u b l i cd a t a s e t数据集影像数C o l m a pO p e n MV G D f G r a p hS f M 本文方法NcNpE r r/像素NcNpE r r/像素NcNpE r r/像素NcNpE r r/像素NcNpE r r/像素G e r r a r d H a l l S o u t h B u i l d i n g P e r s o n H a l l E c h i l l a i s C h u r c h G r a h a m H a l l 注:Nc表示成功注册影像数;Np表示结构点数;E r r表示重投影误差(M S E);表示重建失败;粗体表示该方法该组数据精度表现最佳.表多视倾斜摄影数据集精度评定T a b A c c u r a c ya s s e s s m e n t o fm u l t