水工程体无人机贴近摄影和质量控制方法_雷苏琪.pdf

水工程体无人机贴近摄影和质量控制方法摘要：针对倾斜摄影方法和近景摄影测量方法在水工程体三维实景重建中均存在不足的情况，提出了一种水工程体无人机贴近摄影和质量控制方法。通过带有RTK的无人机进行四点定位，从而快速确定拍摄面并进行贴近摄影；再对拍摄影像空中三角测量后的初始点云进行智能化分析，自动确定影像覆盖不足区域并进行补充摄影，以保证水工程体建模效果的精细与完整。通过清江水布垭大坝的无人机摄影与数据处理实验证明，该方法可高效快速地实现水工程的完整精细实景三维建模。关键词：无人机；摄影航迹规划；四点定位；水工程体；质量控制中图分类号：P231文献标志码：B文章编号：1672-4623（2023）03-0010-05UAV Nap-of-the-object Photogrammetry and Quality ControlMethod of Water EngineeringLEI Suqi1,NIU Zhuangqun2,XI Ke2,WEI Lingyun3,YANG Kaijun4,5,ZHANG Xianhua6(1.Wan an Hydropower Plant of Jiangxi Electric Power Co.,Ltd.,Wan an 343800,China;2.School of Remote Sensing and Information Engineering,Wuhan University,Wuhan 430079,China;3.Changjiang Spatial Information Technology Engineering Co.,Ltd.,Wuhan 430010,China;4.The First Surveying and Mapping Institute of Hunan Province,Changsha 410007,China;5.Key Laboratory of Natural Resources Monitoring and Supervision in Southern Hilly Region,Ministry of Natural Resources,Changsha 410007,China;6.Jiangxi Institute ofApplied Technology,Ganzhou 341000,China)Abstract:In view of the shortcomings of both oblique photogrammetry method and close-up photogrammetry method in the real scene 3D recon-struction of water engineering,we proposed a UAV nap-of-the-object photogrammetry and quality control method of water engineering.Throughthe UAV with RTK for four-point positioning,the method can quickly determine the shooting surface and implement the nap-of-the-object photo-grammetry,then intelligently analyzes the initial point cloud after aerial triangulation of the shooting images to automatically determine the insuf-ficient area of image coverage,and implements supplementary photography,to ensure the fine and complete 3D modeling effect of water engi-neering.The UAV photogrammetry and data processing experiments of Qingjiang River Shuibuya Dam prove that this method can achieve thecomplete fine real scene 3D modeling of water engineering efficiently and quickly.Key words:UAV,photographic track planning,four-point positioning,water engineering,quality control收稿日期：2022-10-31；修回日期：2023-01-05。项目来源：国家重点研发计划资助项目（2018YFC0407904）；国家能源集团资助项目。第一作者简介：雷苏琪（1983），工程师，主要从事万安水库汛限水位动态控制研究与应用工作。通信作者：席可（1994），博士在读，主要从事贴近摄影测量和典型地灾形变监测等研究，E-mail：。引文格式：雷苏琪,牛壮群,席可,等.水工程体无人机贴近摄影和质量控制方法J.地理空间信息,2023,21(3):10-14.doi:10.3969/j.issn.1672-4623.2023.03.003Mar.,2023Vol.21,No.3地 理 空 间 信 息GEOSPATIAL INFORMATION2023 年 3 月第21卷第 3 期（1.国家能源集团江西电力有限公司万安水力发电厂，江西 万安 343800；2.武汉大学 遥感信息工程学院，湖北 武汉 430079；3.长江空间信息技术工程有限公司（武汉），湖北 武汉 430010；4.湖南省第二测绘院，湖南 长沙 410007；5.自然资源部南方丘陵区自然资源监测监管重点实验室，湖南 长沙 410007；6.江西应用技术职业学院，江西 赣州 341000）雷苏琪1，牛壮群2，席可2*，魏伶芸3，杨凯钧4,5，张鲜化6水工程是调控水资源时空分布、优化水资源配置的重要工程设施。我国是世界上水工程建设规模最庞大的国家之一，水工程遍布全国各地，在防洪、灌溉、发电、供水等方面发挥着巨大效益。然而，大多数水工程都建设于复杂的水文地质和工程地质环境中，在实际运行过程中会受到河流冲击和温度荷载的影响，有些还可能受到地震的强烈冲击，使水工程产生变形；且我国大部分水工程修建于几十年前，由于当时的防洪标准低、施工质量差，经过多年使用，存在不同程度的老化和变形。一旦工程变形超过允许限值，将造成裂缝、渗漏和溃坝的危险。因此，对水工程进行高精度、精细化、时序化的三维重建与形变检测，从而监测水工程的安全状态，是符合国计民生的重要需求。第21卷第3期雷苏琪等：水工程体无人机贴近摄影和质量控制方法为获取场景目标的高分辨率高质量影像，实现水工程的实景建模，目前一般采用倾斜摄影测量或近景摄影测量进行数据采集。无人机倾斜摄影测量通常采用多镜头相机，一次曝光即可获取目标场景多个视角的影像，克服了传统航空摄影测量不能获取侧面地物纹理的缺点1-2。倾斜摄影测量对于大范围目标场景的数据获取效率较高3-4，但由于其是从空中朝地面摄影，摄影角度固定，不能适应水工程的复杂结构，因此水工程底部影像的纹理存在变形甚至缺失的问题5，严重影响了水工程三维实景重建的完整性与质量。近景摄影测量是摄影距离在100 m内的地面摄影测量，能弥补航空影像存在的目标场景侧面纹理信息不足、遮挡严重等问题，进而提高三维建模的精细程度6。如今，数字近景摄影测量在各个领域都得到了较广泛的应用，如对管道、建筑物、树木等目标的监测7-9。虽然其理论和方法近年来得到长足发展，但在工程应用中仍需要频繁移动拍摄基站10-11，甚至搭建脚手架来完成拍摄，导致拍摄灵活性小、效率低、成本高等问题12。总体来说，倾斜摄影测量和近景摄影测量均有不足，前者存在部分场景下纹理缺失和变形严重的问题，后者拍摄不够简便，效率不够高。另外，需对拍摄获取的数据进行挑选，从而满足摄影测量处理的要求13，既要保留高质量的影像，又存在对于某些较复杂的区域（如空间起伏大、结构复杂等），可能一次拍摄无法得到精细完整的建模效果需要进行补飞的情况。然而，目前的补飞方式都是操作员手工操作无人机对补飞区域逐个进行拍摄，不仅效率低，而且对操作员的要求很高。近年提出的贴近摄影测量理论，是传统近景摄影测量在更广义层面的延伸和拓展14。贴近摄影测量是面向对象的摄影测量，能够“从无到有”、“由粗到精”地采集超高分辨率影像以及生成高质量精细的地理信息产品，理论上可实现以最佳摄影角度，最优化地获取物体超高分辨率影像和超精细三维信息15。因此，本文提出一种水工程体无人机贴近摄影和质量控制方法。1无人机贴近摄影和质量控制方法首先利用旋翼无人机的RTK模块进行精确定位，在待拍摄的水工程区域手工操作无人机进行四点定位，并根据定位的 4 个点生成拍摄的全局无人机航线；然后对拍摄的影像进行空中三角测量处理，生成水工程区域的初始点云成果；最后对初始点云进行自动智能分析，判断是否存在点异常稀疏的区域，若存在，则自动生成该区域补飞的航线，并进行补飞。具体方法流程如图1所示，主要包括基于旋翼无人机的四点定位和基于空三成果的质量控制两个步骤。无人机自动拍摄空中三角测量处理基于构造面的航迹规划基于稀疏点分析的补拍航迹规划空三成果智能分析精细三维重建无人机自动补拍基于旋翼无人机的四点定位基于空三成果的质量控制无人机四点拍摄图1本文方法流程图1.1基于旋翼无人机的四点定位对于水工程体，若要规划近距离拍摄的无人机航线，则需先采用常规摄影方式获取水工程区域所有范围的影像，并进行空中三角测量，得到可表达水工程体初始形状的稀疏三维点云；再进行贴近摄影三维航迹规划。然而，该方法一般需要在作业现场处理大量数据，需消耗大量时间等待数据处理完成，制约了现场作业效率。基于上述情景，本文提出了基于旋翼无人机的四点定位方法，无需数据处理即可快速生成无人机贴近摄影所需的三维航迹。目前市面上常用的测绘用旋翼无人机均具有RTK模块，可提供厘米级的导航定位14精度。通常水工程的结构比较规则，可拆分为多个平面，若能获取每个平面的几何参数，则可进行航线规划。因此，操作带有RTK的旋翼无人机，在水工程构造面范围的4个角点分别进行常规拍摄，得到带有高精度定位坐标的4 张无人机影像；再导出4张影像的可交换图像文件格式（EXIF）信息，便于得到4张影像对应4个角点的高精度地理坐标，从而计算拍摄平面的几何参数和拍摄范围；最后根据得到的拍摄平面，生成近距离无人机拍摄航线，并执行拍摄。设从 EXIF 信息中导出的 4 个角点坐标分别为(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)、(X4,Y4,Z4)，由于它们不一定都位于一个空间平面上，因此需要根11地理空间信息第21卷第3期据4点坐标拟合空间平面。若4个点不在水平面上，则满足下列方程16：vi=aXi+bYi+d-Zii=1,2,3,4（1）这是一个非齐次线性方程组，vi为计算的残差，其最小二乘解为：|a?b?d?=(|X1X2X3X4Y1Y2Y3Y41111|X1Y11X2Y21X3Y31X4Y41)-1|X1X2X3X4Y1Y2Y3Y41111|Z1Z2Z3Z4（2）根据计算的参数将平面方程改写为：ax+by+cz+d=0，a2+b2+c2=1，即为拟合的空间平面。1.2基于空三成果的质量控制基于空间平面参数，首先根据参考文献15、17的方法规划贴近摄影三维航迹；然后根据三维航迹进行贴近摄影，得到高分辨率无人机影像，并进行空中三角测量处理，得到稀疏三维点云；最后基于稀疏三维点云进行基于稀疏点分析的补拍航迹规划。基于稀疏点分析的补拍航迹规划，即对初始点云进行自动分析，检查是否存在点异常稀少的区域，若存在，则将该区域取出，并自动拟合补飞平面和计算补飞三维航迹。对需要补飞的区域进行拍摄，得到对应补飞的高分辨率影像，再将两次拍摄的影像汇总到一起，进行精确几何定位和精细密集匹配，得到精细完整的水工程地理信息产品（图2）。初始点云投影网格点异常稀疏的区域（需要补飞区域）补飞的航线点图2基于稀疏点分析的补拍航迹规划原理图将1.1 节得到的拟合空间平面划分为规则的网格，再将初始点云所有点投影到该平面上，最后统计每个网格单元内有多少个点。每个网格单元的长宽由摄影距离、焦距、影像幅宽和像素尺寸确定，即dx=D/fwidthpixelxdy=D/fheightpixely（3）式中，dx、dy分别为拟合空间平面在X、Y方向的网格间距；D为摄影距离；f为焦距；width、height为影像的幅宽；pixelx、pixely为影像的像素尺寸。将点投影到拟合空间平面的公式为：p=p-nTn(p-p)（4）式中，p为原始的点；p为p投影到拟合空间平面上的点；n为拟合空间平面的法向量。式（4）可进一步表示为：p=p-nT(np+d)（5）式中，n为a b c，a2+b2+c2=1；d为构造面的第四个平面参数。代入n值，则有：|xyz=|xyz-|abcabcd|xyz1（6）将式（6）展开，则有：|xyz=|b2+c2-ab-ac-ad-aba2+c2-bc-bd-ac-bca2+b2-cd|xyz1（7）式中，()a,b,c,d为拟合空间平面的参数；(x,y,z,1)为初始点云中每个点的坐标；(x,y,z)为投影后的坐标。所有网格的点数最大值为Pmax，设阈值为1/3Pmax，点数小于阈值的网格，即为待补飞区域。利用网格内的点，重新拟合平面并自动计算待补飞区域的三维航迹。设待补飞区域为p1,p2,pn，区域的重心点为p，区域内各点的重心化坐标pi=pi-p，由最小二乘估计的性质可知，由p1,p2,pn拟合的平面必过原点，则区域内的点拟合的平面为P，其表达式为aPx+bPy+cPz=0，由此可列方程组：vi=aPxi+bPyi+cPzii=1,n（8）V=AX（9）式中，V为残差向量；A为系数向量；X为未知数向量。该方程组为齐次线性方程组，利用SVD方法即可求解拟合空间平面前3个参数的估计值a?P,b?P,c?P，再代入p 即可求解参数dP的估计d?P。2实验区概况为验证本文方法的有效性，利用大疆精灵4 RTK旋翼无人机进行实验。大疆精灵4 RTK 是一款小型多旋翼高精度航测无人机，面向低空摄影测量应用，具备厘米级导航定位系统和高性能成像系统，可大幅减少传统航测中所需的地面控制点，便携易用18-19。具体参数如表1所示。12第21卷第3期雷苏琪等：水工程体无人机贴近摄影和质量控制方法表1精灵4 RTK 四旋翼无人机主要性能参数技术指标机身结构最长续航时间最大飞行速度最大飞行高度定位模式影像传感器镜头影像分辨率快门感光度范围最低拍照间隔云台参数或描述350 mm轴距4旋翼无人机约30 min水平14 m/s、垂直6 m/s海拔高度6 000 m、相对高度500 m单频GNSS、多频多系统RTK GNSS1英寸（13.2 mm 8.8 mm）CMOS、2 000万有效像素、像素大小为0.002 4 mmFOV 84、8.8 mm/24 mm（35 mm 格式等效）、光圈f/2.8f/1143宽高比：4 864像素3 648像素；32宽高比：5 472像素3 648像素81/2 000 s，支持机械快门10012 8002 s（与存储卡性能相关）、3 轴（俯仰、横滚、偏航）增稳0.02 抖动量，俯仰：-90+30实验区域为清江中游巴东县的水布垭水电站大坝。该水电站上距恩施117 km，下距隔河岩92 km，距清江入长江口153 km，是清江梯级开发的龙头枢纽。水布垭水电站为目前世界上最高的面板坝，坝顶高程为409 m，坝轴线长660 m，坝顶宽12 m，如图3中红框范围所示。图3水布垭水电站卫星概况图3实验结果与分析根据水布垭水电站的几何形状，以“倒五角形”面板为主要拍摄面，在面板的4个角点（图4）分别人工操作无人机进行常规拍摄，再通过拍摄的照片的EXIF信息提取4个角点的地理坐标（包括经度、纬度、高程等），最后拟合拍摄空间平面，并进行拍摄，拍摄距离为10 m，影像分辨率为2.8 mm，规划航线如图5所示。四点定位规划的无人机航线共拍摄得到595张影像，利用Agisoft PhotoScan软件对这些影像进行空中三角测量处理，得到初始点云成果，并对其进行稀疏点分析，如图6所示，可以看出，黄色方框为划分的网格，对初始点云轮廓内的网格进行统计，其中点最多的网格包含3 153个点，因此少于1 051个点的网格需进行补飞。经统计，存在点异常稀少的区域（图6中红色方框区域，网格内的点为715），对其进行分析发现，红色区域是水电站上的站房，为纯水泥结构，纹理较单一，需要进行自动补拍。图6基于稀疏点分析的结果图将红色方框区域的所有点取出，利用这些点重新拟合平面并自动进行补飞航线规划。设置拍摄距离为8 m，影像分辨率为2.2 mm，如图7所示，蓝色点为补飞航线的拍摄点，将补飞的航线导入无人机，并进行补飞拍摄。补飞共拍摄49张影像，加上前述拍摄的595 张影像，总计 644 张影像统一进行三维重建流程，得到水布垭水电站的最终精细三维模型结果，如图8所示，可以看出，得益于近距离拍摄的无人机影像，整体建模效果非常精细。图7补飞航线示意图图8水布垭水电站三维建模结果图图4水布垭水电站四点定位示意图a 规划航线正视图b 规划航线侧视图图5水布垭水电站规划无人机航线图13地理空间信息第21卷第3期水电站站房建模效果补飞前后对比如图9所示，可以明显的看到，由于站房嵌在水电站内部，且表面纹理较单一，没有明显分布的特征点，因此若不对其进行补飞，则可能在三维建模后存在局部变形扭曲的情况（图9 a）；补飞后的模型（图9b）结构完整精细，不存在明显的变形扭曲，说明本文方法是十分有效的。a 补飞前站房模型局部放大图b 补飞后站房模型局部放大图图9补飞前后建模效果对比图4结语本文提出了一种水工程体无人机贴近摄影和质量控制方法。实验结果表明，该方法无需初始地形信息，在作业现场可快速有效地对水工程进行无人机拍摄，并能根据拍摄影像的初始点云，自动判断是否需要进行补飞以及生成补飞航线，从而保证水工程建模效果的精细完整。该方法也存在一些不足：首先四点定位方法依赖于人工操作拍摄4个角点的位置，因此对现场工作人员手工操作无人机的要求较高；其次基于稀疏点进行补飞分析的判断较简单，不一定能处理所有复杂情况，因此后期需进一步深入研究。参考文献1张大利，李晗，曾一笑.倾斜摄影技术支持下的山地乡村实景三维模型建模:以黔江区为例J.测绘通报，2022(增刊2):170-1732向华林，李秉兴.单镜头无人机倾斜摄影测量的三维建模及精度评估J.测绘通报，2022(增刊2):237-2403蒋毅，李旭，魏鑫，等.测绘新技术在地籍测绘中的效率评估与精度评价J.地理空间信息，2022，20(9):117-1204覃雪梅，王伟立，贾伟定，等.基于倾斜摄影测量的三维数字城市建模研究J.地理空间信息，2022，20(9):41-445何佳男.贴近摄影测量及其关键技术研究D.武汉:武汉大学，20196谢元，董梦，马新建.多源数据在复杂场景建筑物三维重建的应用J.测绘通报，2022(6):143-1477Eldefrawy M，King S A，Starek M.Partial Scene Recon-struction for Close Range Photogrammetry Using DeepLearning Pipeline for Region MaskingJ.Remote Sensing，2022，14(13):3 1998Fawzy H E D.3D Laser Scanning and Close-range Photo-grammetry for Buildings Documentation:A Hybrid Tech-nique Towards a Better AccuracyJ.Alexandria Engineer-ing Journal，2019，58(4):1 191-1 2049Mokro M，LIANG X，Surov P，et al.Evaluation ofClose-range Photogrammetry Image Collection Methodsfor EstimatingTree DiametersJ.ISPRS International Jour-nal of Geo-information，2018，7(3):9310刘鹏程，曹骞，匡志威，等.古建筑多源数据三维建模方法J.测绘通报，2022(增刊2):316-32111赵伟山，李治明，胡天明，等.基于倾斜摄影空地一体单体化建模技术的研究J.地理空间信息，2022，20(6):102-10512JIANG Y，SHI H，WEN Z，et al.The Dynamic Process ofSlope Rill Erosion Analyzed with a Digital Close RangePhotogrammetry Observation System Under LaboratoryConditionsJ.Geomorphology，2020，350:106 89313TAO P，XI K，NIU Z，et al.Optimal Selection from Ex-tremelyRedundantSatelliteImagesforEfficientLarge-scale MappingJ.ISPRS Journal of Photogramme-try and Remote Sensing，2022，194:21-3814张永军，张祖勋，龚健雅.天空地多源遥感数据的广义摄影测量学J.测绘学报，2021，50(1):1-1115陶鹏杰，何佳男，席可，等.基于旋翼无人机的贴近摄影测量方法:CN110006407AP.201916武汉大学测绘学院测量平差学科组.误差理论与测量平差基础M.武汉:武汉大学出版社，201417LIU X，JI Z，ZHOU H，et al.An Object-oriented UAV 3DPath Planning Method Applied in Cultural Heritage Docu-mentationJ.ISPRS Annals of the Photogrammetry，Re-mote Sensing and Spatial Information Sciences，2022，1:33-4018秦家鑫，邓明军.基于大疆精灵4 RTK的快速测绘方法研究J.地理空间信息，2021，19(9):109-11219Bertin S，Stphan P，Ammann J.Assessment of RTK Quad-copter and Structure-from-Motion Photogrammetry forFine-scale Monitoring of Coastal Topographic Complexi-tyJ.Remote Sensing，2022，14(7):1 67920troner M，Urban R，Seidl J，et al.Photogrammetry UsingUAV-mounted GNSS RTK:Georeferencing StrategiesWithout GCPsJ.Remote Sensing，2021，13(7):1 33621Luhmann T，Robson S，Kyle S，et al.Close-range Photo-grammetry and 3D ImagingM.De Gruyter，201914