一种基于深度图改进的分块密集匹配方法_王岩.pdf

测 绘 通 报 年 第 期引文格式：王岩，张婷婷，王飞，等 一种基于深度图改进的分块密集匹配方法 测绘通报，（）：一种基于深度图改进的分块密集匹配方法王 岩，张婷婷，王 飞，刘振东（沈阳建筑大学，辽宁 沈阳；北京泰豪科技有限公司，北京；山东科技大学，山东 青岛；中国测绘科学研究院，北京）摘要：倾斜摄影建模往往需要几百张甚至上万张图像，通常需要分块密集匹配重建。然而，常用的分块密集匹配方法只能对每个块单独建模，块间的重复图像会多次参与匹配计算，导致计算冗余、耗时长。因此，本文提出了一种改进的分块密集匹配方法，避免块间重复图像的冗余计算。首先，利用图像关联算法为场景中的每张图像计算邻域图像集合，同时初始化图像的重建状态对象；然后，对整个场景进行空间立体自动聚类完成分块，并抽取子块重建时所需的匹配对图像；最后，根据图像的重建状态对象估计、过滤深度图及深度图融合生成密集点云。试验结果表明，该方法在倾斜影像三维重建时，效率显著提升。关键词：倾斜摄影；建模；分块；密集匹配；三维重建中图分类号：文献标识码：文章编号：（），（，；，；，；，）：，：；倾斜摄影是近年来航测领域逐渐发展起来的新技术。相对于传统航测采集的垂直摄影数据，通过新增多个不同角度镜头，获取具有一定倾斜角度的倾斜影像，可获得同一位置多个不同角度的高分辨率影像，从而采集丰富的地物侧面纹理与位置信息。倾斜摄影技术成为快速获取大范围高精度三维模型技术之一。大范围倾斜三维重建往往需要采集几百张甚至上万张高分辨率影像，需要经过稀疏重建、多视密集匹配、几何表面重建、纹理重建等步骤，然而密集匹配属于计算密集型阶段，对算力和内存要求较高，一般单机难以完成。因此，通常采用分块密集匹配方式进行处理。分块密集匹配方法是对稀疏重建结果进行分割，产生一定数量的子块，并对每个子块独立进行密集匹配。文献提出一种基于八叉树划分的处理海量点云的可扩展方法。但是八叉树结构需要多次重复计算以获得足够的重叠，增加了时间消耗和内存使用。文献对文献的方法进行改进，将整个场景沿着 轴和 轴分成几个相互重叠的块，采用基于 的优化方法并行提取各块的网格，通过解决块体重叠区域的局部不一致性，将局部网格融合在一起。文献 通过使用收稿日期：基金项目：国家重点研发计划（）；空地多源数据融合的建筑物三维重构关键问题研究（）作者简介：王 岩（），男，硕士，副教授，主要研究方向为精密工程测量。：通信作者：刘振东。：年 第 期王 岩，等：一种基于深度图改进的分块密集匹配方法图论方法从冗余、多分辨率的无序图像集中找到近似于全部图像重建质量的图像骨架集，大大减少冗余图像，提高重建速度。文献先合并稀疏点云并去除图像冗余，然后将剩余图像共享特征点作为关联权重构建图形结构，通过归一化图割算法和分割簇大小约束聚类分割为多个视图簇。文献对文献方法进行改进，提出了（）算法。该方法可以得到高质量的密集点云，能够满足倾斜模型的重建精度要求，是常用的分块密集匹配方法之一。但该方法耗时较长、效率较低，主要原因是不同子块中包含了一些相同的图像，将其称之为重复图像，而这些重复图像在深度图的估计、过滤阶段会被重复计算。有鉴于此，本文提出一种改进的分块密集匹配方法。首先基于整个场景按照图像关联算法为每张图像计算邻域图像集合作为该图像的匹配，同时生成每张图像的重建状态对象；然后，利用空间立体自动聚类方法进行分块，并基于已计算的邻域图像集合抽取该子块密集匹配所需的匹配对；最后结合图像的重建状态对象，利用 算法进行深度图的估计、过滤及融合，生成密集点云，避免子块间相同图像的重复计算，以提高密集匹配的效率。研究方法由于大范围倾斜摄影数据一次无法完成密集匹配，需要进行分块处理。目前，分块密集匹配方法存在重复计算的问题，影响效率。结合图 进行详细说明，像片 投影平面在空 间 上 与 两 个 子 块（和）相交，因此该像片会被包含在这两个子块中。两个子块都会对像片 作深度图的估计和过滤。比如，面积为.的测区采用该方法进行密集匹配，耗时为 。本文针对计算效率的问题提出改进的分块密集匹配方法，主要分为全局场景邻域图的选择、空间立体自动聚类和基于深度图的密集匹配 个步骤。图 空三分块示意.全局场景邻域图的选择为提高大范围场景重建的效率，需对整个区域进行分块密集匹配。考虑到文献方法中每个子块独立进行图像邻域图的选择耗时较长，本文提出了一种基于全局场景的邻域图像集合选择方法。该方法对整个场景只做一次选择，即可为每张图像选择出邻域图像集合。在选择邻域图像时，如文献所述，像对之间的共享区域能够很好地表示两者的关联度，区域面积越大则表明相似场景越大，但为保证每个像对的匹配精度，往往需要满足以下条件：（）角度足够大，图像对具有宽基线。如图 所示，视图夹角是两个邻域像平面之间的平均剖分角。基线是相邻两张像片主点之间的连线。图 视图夹角示意（）特征点越多，图像重叠面积越大。如图 所示，重叠面积是基于步骤（）的平面拟合和重建范围，利用投影矩阵将图像投影到拟合平面，并求交得出面积。倾斜摄影以城市地区为主要创建范围，区域整体呈面状分布，采用随机抽样一致（，）算法进行平面拟合。重叠面积占比 的计算公式为（）（）（）式中，（）为共享面积；（）为单个子块面积。本文设置 的阈值大于.。（）尺度相似，图像分辨率一致。图像尺度指当前特征点下的图像分辨率。图像间的分辨率越相近，场景细节越相似，采用归一化互相关指数的匹配精度越高，因此通过图像尺度的比值衡量图像分辨率是否具有一致性。采用视图夹角、重叠面积和尺度因子等参数选择邻域图像，将重叠面积占比与相机角度和相机尺度乘积和的平均值作为邻域图像选择的得分。按照投影方向和相机位置，分为前后左右 个方向，并测 绘 通 报 年 第 期根据得分高低排序。图像选择得分（，）的计算公式为（，）（）（）（）（）（）（）式中，为稀疏点的数量；（）为尺度因子；（）为角度因子。图 重叠面积示意为保证每张图像的深度图只计算一次，在全局视图选择时为每张图像创建重建状态对象并对其初始化。重建状态对象（，）是指在密集匹配过程中图像的处理状态值。本文将 设置为 种状态，分别为：表示 当 前 图 像 只 初 始 化 并 未 进 行 任 何 处 理；：表示当前图像正在进行深度图像估计；：表示当前图像已经完成深度图像估计；：表示当前图像正在进行深度图像过滤；：表示当前图像已经完成深度图像过滤。.空间立体自动聚类基于.节的平面拟合和重建范围，根据自定义格网大小和重叠距离生成规则空间格网。格网大小根据计算机内存的大小自主选择，为了保证重建后的倾斜三维模型无缝衔接，块间设置一定重叠距离，一般设置为.。具体步骤如下。（）依据重建范围和格网大小，对整个场景进行空间划分，计算每个子块的行列号及空间范围。（）依次遍历子块，将其空间范围按照重叠距离向四周扩张，得到具有一定重叠度的空间范围，作为每个子块的密集匹配有效范围。（）依据图像中心点的投影原则，找到位于子块空间范围内的所有图像，得到该子块的图像簇。具体投影原则为|（）式中，（，）为图像投影中心对应的世界坐标；为相机内参；、为相机外参；为投影中心深度值；（，）为图像投影中心坐标。（）遍历该子块图像簇中的图像，基于.节中的全局场景邻域图选择结果，判断每张图像的邻域图是否已经在该子块的图像簇中，若不在则将其邻域图追加到图像簇中。.基于深度图的密集匹配在全局场景邻域图选择及空间立体自动聚类后，需要对每个子块进行密集匹配。本文采用基于深度图的密集匹配。密集匹配阶段主要分为 个步骤：深度图估计、深度图过滤、深度图融合。然而，常用的分块密集匹配方法将每个子块独立密集匹配，子块间存在图像的重复计算，耗时长。本文基于.节中全局场景邻域图的选择，根据每张图像重建状态对象来保证该图像的深度图只被估计和过滤一次，以此来提升效率。整体流程如图 所示，具体步骤如下。图 基于深度图密集匹配 年 第 期王 岩，等：一种基于深度图改进的分块密集匹配方法（）获取目标图像：在每个子块中的图像簇中，依次取子块内的图像作为目标图像。（）深度图估计：获取当前目标图像的重建状态对象。若状态值为，则表明该图像未作深度图估计，应在当前子块中估计该图像的深度图，估计后修改其状态对象为；若状态值为 或，则表明其他子块正在对该图像作深度图估计或已完成深度图估计，应直接跳过。逐个估计子块内图像，确保子块中的所有图像完成深度图估计。（）深度图过滤：在子块中的所有图像完成估计后，再进行深度图过滤。获取当前需处理图像的重建状态对象。若状态值为，则表明该图像未作深度图过滤，应在当前子块中过滤该图像的深度图，过滤后修改其状态对象为；若状态值为 或，则表明其他子块正在对该图像作深度图过滤或已完成深度图过滤，应直接跳过。逐个过滤子块内全部图像。（）深度图融合：当前子块中的所有图像都完成估计和过滤后，按照文献的融合方法，利用该子块内所有图像的深度图，按照当前子块的空间范围进行深度图融合，生成密集点云。试验与分析.试验数据与环境为了验证本文方法的有效性，以山东省东营市和滕州市倾斜摄影数据为例进行试验。开发平台为 ，将本文算法嵌入中国测绘科学研究院 所自主研发的一体化混合测图系统信息管理系统（，）软件。航向与旁向重叠度均为。试验数据：山东省东营市部分城市建成区域，测区范围.，采用五镜头（下视 侧视）（）相机，飞行 条航带，获取 张图像，数据量为.。试验数据：山东省滕州市姜屯镇镇驻地区域，测区范围.，采用五镜头（下视 侧视）（）相机，飞行 条航带，获取 张图像，数据量为.。试验的硬件环境为：.，内存 ，显卡 。倾斜摄影数据的详细描述见表。表 测区倾斜影像数据描述试验数据影像大小 像素像元大小 焦距 影像数目 张下视倾斜下视倾斜下视倾斜下视倾斜行高 数据 数据.试验结果与分析.重建结果可靠性分析利用试验数据，验证本文方法的可靠性。密集匹配重建流程如下。（）基于全局场景为每张图像选择邻域图，同时在全局视图选择时为每张图像创建重建状态对象，并对其初始化。（）基于空间立体自动聚类，根据格网大小和重叠距离生成规则空间格网，如图 所示。依据图像中心点的投影原则，找到每个子块中对应的图像。同时抽取子块重建时所需的匹配对图像。判断每张图像的邻域图是否已经在该子块的图像簇中，若不在，则将其邻域图追加到图像簇中。（）基于深度图进行密集匹配，完成场景重建。图 为局部场景重建模型示意图。从模型上看，重建模型完整，局部细节无明显变形、拉花、孔洞等现象，重建结构具有可靠性。图 全局场景格网划分图 局部场景重建模型及模型细节展示测 绘 通 报 年 第 期.分块重建效率对比本节从邻域图选择和密集匹配阶段两个方面对比文献方法（改进前）和本文方法（改进后）的效率。本文方法在邻域图选择时基于全局场景进行，减少了邻域图像计算量；密集匹配阶段，保证了场景中所有图像只匹配一次，避免了图像的重复计算。（）邻域图像选择的效率对比。利用试验数据 和试验数据，进行邻域图选择的试验分析。在 个测区范围内随机各取 组不同面积的数据，其中重建数据 和重建数据 取自试验数据，重建数据 和重建数据 取自试验数据。组重建数据的试验结果对比见表。由表 可知，本文基于全局场景邻域图选择较文献的常用密集匹配方法在效率方面有所提升。表 邻域图选择效率对比重建数据图像分辨率 子块边长 子块数量面积改进前时间改进后时间.在上述数据中随机选取一组数据（见表），保证图像分辨率、面积两个参数不变，设置不同的子块大小，子块边长分别为、。由表 可知，在图像分辨率、面积两个参数不变的情况下，文献方法邻域图像选择的所用时间随着子块数量的增多而增加，而本文方法邻域图像选择的所用时间与子块数量无关。表 不同子块邻域图选择效率对比子块边长 子块数量分辨率面积改进前时间改进后时间.（）密集匹配效率对比。该试验选择试验数据 进行 分 析。在 测 区 范 围 中，随 机 选 取 面 积 为.的区域作为重建范围，并划分为 个子块。重复图像统计数据见表，在重建区域中，原始图像总数 张：改进前，密集匹配处理的图像总数 张；应用本文方法改进后，处理的图像总数即为原始图像总数。在测区范围随机选取 组面积为.、.、.和.的数据，采用同一分辨率进行拍摄，并进行三维重建，见表。组数据减少计算的图像数量分别为、张；密集匹配时间上分别节约约、和 。综上所述，本文方法效率得到显著提升，方法简单，便于实现。表 重复图像统计张重建块图像数左邻重复图像数量右邻重复图像数量上邻重复图像数量下邻重复图像数量总计总计表 时间效率对比重建数据图像分辨率 面积改进前计算图像数改进后计算图像数减少计算的图像数量改进前时间 改进后时间 减少的计算时间 效率提升率（）.年 第 期王 岩，等：一种基于深度图改进的分块密集匹配方法 结 语倾斜摄影大范围场景重建往往需要几万张有序高分辨率图像，每张图像有几千万甚至上亿个像素，完成密集匹配所需的计算机内存往往达到上百，通常采用分块密集匹配方法进行处理，而常用的分块密集匹配方法对每个子块单独进行密集匹配，子块间相同图像的深度图被多次计算，效率低。为此，本文提出了一种改进的分块密集匹配方法。通过试验验证和对比分析，结论如下：本文方法便于实现，模型无拉花等现象，具有可靠性；本文方法基于全局场景邻域图在选择与密集匹配过程中考虑了重建状态对象，因此不会重复计算图像的深度图，在大规场景重建时效率显著提升。参考文献：俞建人，李涛，申淑娟，等 倾斜摄影三维模型的房檐改正方法分析与精度评价 测绘通报，（）：徐思奇，黄先锋，张帆，等 倾斜摄影测量技术在大比例尺地形图测绘中的应用 测绘通报，（）：，：，：艾海滨，董友强，王庆栋，等 基于语义的倾斜摄影单体建模 技 术 研 究 测 绘 科 学，（）：张小青，侯妙乐，朱光 网格模型的文物缺损面积计算 测绘科学，（）：冯鸣，杨明龙，夏永华，等 三维激光扫描与倾斜摄影测量的高陡崖三维建模 测绘科学，（）：王慧，王利勇，闫科，等 无序航空遥感影像的三维地形重建 测绘科学技术学报，（）：赵明衍，戴晨光，狄亚南，等 一种 数据辅助多视角倾斜航空影像匹配方法 测绘科学技术学报，（）：姜三 无人机倾斜影像高效 重建关键技术研究 武汉：武汉大学，：，：，（）：，：，：，：，：刘彬，陈向宁，郭连朋 分块立体重建的 算法研究与实现 测绘科学技术学报，（）：倪标，王铮尧 一种倾斜影像密集匹配算法的设计与实现 地理空间信息，（）：薛俊诗，易辉，吴止锾，等 一种基于场景图分割的混合式多视图三维重建方法自动化 测绘科学技术学报，（）：，：，：（责任编辑：侯 琳）