立体测绘型双翼无人机航空影像阴影角度校正方法.pdf

2097-3012(2023)02-0275-06 Journal of Spatio-temporal Information 时空信息学报 收稿日期:2022-04-27；修订日期:2023-04-01 作者简介:徐江明，研究方向为无人机航摄、载人机航空摄影、测绘应急保障等。E-mail: 立体测绘型双翼无人机航空影像阴影角度校正方法 徐江明 青海省自然资源遥感中心，西宁 810001 摘 要：针对当前无人机航空影像阴影角度校正方法存在校正精度和召回率较低，导致无人机航空影像信息的利用价值降低的问题，本文提出了立体测绘型双翼无人机航空影像阴影角度校正方法。以无人机检测到的影像阴影边缘为基础点，计算航空影像色彩空间的色调差参照值和阴影区域的色调分量，根据阴影区域的纹理特征，去除无人机航空影像的阴影；考虑双翼无人机航行的空间位置，将无人机航空影像的 RGB（red green blue）色彩空间转换为 HSV（hue saturation value）色彩空间，通过无人机航空影像阴影角度的平滑处理，控制无人机航空影像阴影角度；利用灰度线性变化算法与自适应阈值计算法，对无人机航空影像阴影角度进行校正处理，实现对无人机航空影像阴影角度的精确校正，完成无人机航空影像阴影角度的控制与校正算法设计。结果表明：采用本文方法在 Txcet-M 数据集和 Nfteg-H 数据集进行航空影像测试，校正精度最高可达 99%，召回率最高为 98%；在 GIswu-K数据集进行测试，得到的校正精度和召回率均在 75%以上。这说明利用本文方法可以较好地优化航空影像阴影角度校正性能。关键词：阴影角度；立体测绘；航空影像；双翼无人机；校正方法 引用格式：徐江明.2023.立体测绘型双翼无人机航空影像阴影角度校正方法.时空信息学报,30(2):275-280 Xu J M.2023.Stereoscopic topographic mapping method for correction of shadow angle in biplane UAV aerial imagery.Journal of Spatio-temporal Information,30(2):275-280,doi:10.20117/j.jsti.202302015 1 引 言 多角度倾斜的航拍技术相对其他技术，还比较落后，尤其是在区域图像颜色单一、纹理缺乏的情况下（杨锋平等，2020），无法准确采集图像信息（于东海和冯仲科，2019）。目前，遥感技术的应用，不仅可以实现监测范围广和信息获取速度快的效果，还能因地制宜，在地质环境监测、地形地貌测绘、植被和湿地监测等方面都得到了广泛的应用（耿中元等，2019）。双翼无人机航空影像的采集过程，会受到天气光线和物体的遮挡等因素影响，改变无人机的运动路线，会导致采集的图像出现阴影。无人机航空影像的阴影是无人机图像采集过程中会出现的一种常见现象，会导致采集的图像质量较差、使用率下降。因此，需要对无人机航空影像的阴影进行去除，保障无人机航空影像的采集质量。已有研究虽然取得了一定进展，但也存在不足之处。董胜光等（2019）提出了一种基于多源资料的广义立体像对遥感图像阴影角度检测方法，可有效避免因常规探测技术的不足造成的探测质量低下等问题。但在三维图像重构的过程中，没有分割遥感图像中的阴影区域和图像区域，导致无法获取阴影区域内像素点的纹理特征，阴影消除效果有待提升。宋传鸣等（2020）提出了一种基于结合表决的空间频域混合表决法，可以有效抑制交通图像中阴影部分带来的干扰。但在交通图像转换的过程中，没有对航空影像阴影角度进行平滑处理，无法有效控制图像阴影角度，导致图像阴影角度校正的精度不高。姜三等（2019）利用无人机飞控数据、相机安装角计算影像的粗略信息，实现无人机倾斜影像高效和稳健的稀疏重建。但在计算影像信息的过程中，没有考虑影像灰度值对计算结果准确性的影响，无法精准判定无人机运行轨迹，在完成阴影276 Journal of Spatio-temporal Information 时空信息学报 2023,30(2)剔除后，影像阴影角度的召回率较低。Bang 和 Kim（2020）收集了代表施工现场各种情况的图像数据，从无人机采集的数据中，预测位置、状态、移动、颜色和施工资源数量等文本信息，获取现场管理的有用信息。但无人机在数据采集过程中，所涉及的文本信息量较大，而且综合性较强，采集难度较大、采集效率较低，最终影响现场管理数据的准确性。Kako 等（2020）通过图像处理技术，估算海滩上已知大小和形状的试验碎片的体积，提升海滩调查研究的效率。但在构建正射影像的过程中，没有确定映射图像的基础点，即影像阴影的起始点也不明确，最终投影结果差异较大，影响图像处理精准度。基于以上无法获取阴影区域像素点的纹理特征，导致阴影消除效果较差；图像阴影角度控制效果不好，导致图像阴影校正精度不高；阴影剔除后，影像阴影角度召回率较低的问题。针对立体测绘型双翼无人机，本文探讨了一种航空影像阴影角度校正方法，以期提高无人机航空影像信息的利用价值。2 无人机航空影像阴影角度校正方法 2.1 去除无人机航空影像的阴影 以无人机检测到的影像阴影边缘为基础点，在航空影像边缘重合的地方，选择灰度值较大的地方作为航空影像阴影的起始点，则得到的无人机航空影像阴影的灰度值为（张永显等，2019）11iIiBbm （1）式中，m为无人机航空影像阴影中像素点的个数；ib为无人机航空影像阴影中第 i 个像素点的灰度值；I 为像素点总数。为了提高无人机航空影像阴影的处理能力，利用最大平均差异理论，将无人机航空影像阴影数据与正常的无人机航空影像放在一个二维空间中，通过投影计算二者之间的差异，得到无人机航空影像阴影的最大平均差异为（韩有文等，2019）1111dist,NaNabbiiiiabxyxxNN（2）式中，N为图像样本数量；ax、by分别为无人机航空影像阴影的图像区域和阴影区域；aN、bN分别为两个区域内的样本数量；aix、bix分别为图像区域与阴影区域之间的样本；为区域样本线性映射函数。无人机航空影像的图像区域和阴影区域的色差较大，可以对影像的图像和阴影区域进行分割，获取无人机航空影像的阴影区域。无人机航空影像的色调差参照值和区域色调分量S计算公式如下（胡育诚等，2021）：2(1/2)()()arccos()()(),2,RGRBRGRB GBGBSGB（3）式中，R、G、B分别为无人机航空影像区域中的红、绿、蓝色彩值。在获取无人机航空影像区域的色彩值后，通过对色调差的分割，得到无人机航空影像阴影区域的特征：11SiIiWwk （4）式中，k为无人机航空影像区域内的像素点；iw为无人机航空影像阴影区域内第i个像素点的纹理特征。根据上述计算过程，得到无人机航空影像阴影的去除步骤如下。步骤1：将无人机航空原始影像,F x y转换为HSV（hue saturation value）色彩空间，并获取阴影部分的入射光分离点（王江波等，2022）。步骤2：输入上述求得的色差值，将无人机航空影像的图像区域和阴影部分进行分离，得到高斯函数。步骤3：对计算出的每个无人机航空影像的分离系数进行取对数，得到线性量化分离函数（张曼等，2022）。步骤4：对图像和阴影区域,R x y进行分离处理，再转换为RGB（red green blue）色彩（王超等，2022），最终实现对无人机航空影像阴影部分的去除。2.2 控制无人机航空影像阴影角度 要想提高立体测绘型双翼无人机航空影像的质量，对阴影角度的校正十分重要，通过调节双翼 徐江明：立体测绘型双翼无人机航空影像阴影角度校正方法 277 无人机航行过程中的角度，保证无人机采集的航空影像的质量。立体测绘型双翼无人机航空影像阴影角度在控制过程中，航行的空间关系为()()xxyyc D ec D e （5）式中，x为无人机航空影像阴影角度特征；y为无人机航行过程中的角度特征；xc、yc为无人机航空影像阴影角度的水平和竖直的分量；()D e为无人机航空影像阴影的范围。在对无人机航空影像阴影角度控制之前，首先对无人机航空影像阴影部分进行预处理，获取不同色彩空间下无人机航空影像阴影部分的特征，并将阴影部分的特征进行色彩转换（韦存阳等，2022）。无人机航空影像进行阴影部分转换的公式为 2(1/2)()()arccos()()()31min(,)1=3RGRBHRGRB GBSR G BRGVRGBB（6）在进行阴影部分转换的过程中，将HSV色彩空间的色彩值与无人机航空影像阴影部分的纹理特征值进行充分融合（刘寿鑫等，2021），并将融合后的向量设定为T，表示为（刘贞报等，2021）211iGWT （7）式中，G为无人机航空影像阴影部分的向量分量；W为色彩空间融合系数；i为像素点对应的序列号。对无人机航空影像阴影部分的色彩值进行重组后，得到阴影区域的色彩增强值（唐超，2022），然后通过色彩增强后的数值与原影像值之间的色彩冲突（谷潇，2020），实现对无人机航空影像阴影角度的平滑处理：11lPiMT （8）式中，P为色彩增强系数；M为无人机航空影像阴影部分的尺度因子；为得到的平滑系数；l为像素点的灰度阈值。无人机航空影像阴影角度的控制程度表达为 22()2Dxytt （9）式中，D为影像阴影控制系数；t为无人机航空影像阴影部分的初始角度特征，（）；为阴影角度控制的反馈函数。基于双翼无人机航行的空间位置，将无人机航空影像的RGB色彩空间转换为HSV色彩空间，通过无人机航空影像阴影角度的平滑处理（李静，2022），完成无人机航空影像阴影角度的控制。2.3 无人机航空影像阴影角度校正算法 根据灰度线性变化算法，对无人机航空影像阴影角度进行校正处理，通过对阴影区域与图像区域的灰度值的对比，实现对阴影区域灰度值的像素点补偿（代树红等，2022）。获取阴影临界部分fY：dist0dist,ffYff Y （10）式中，f为无人机航空影像区域的像素点；dist,ff Y为图像区域内任意一点到阴影部分的距离；dist为图像区域与阴影区域的距离阈值。在获得dist后，采用自适应阈值计算法（吴宇豪等，2020），对无人机航空影像阴影区域和图像区域进行分割，将分割前的图像区域0q与阴影区域1q看成两组，设置分割阈值为，把图像区域分为图像边界区域0q和图像临界区域1q，获取类型方差2为 2220011pup uuu （11）式中，0p为无人机航空影像区域的灰度概率；0u为无人机航空影像阴影区域的灰度值；1p为阴影区域的灰度概率；1u为图像区域的灰度值；u为整体无人机航空影像的灰度值。根据分割后的无人机航空影像，利用影像增强与阴影去除方法，对阴影区域的灰度值进行补偿（孙新博等，2019），计算公式为(,)(,)sssffsG x yHx yYY （12）式中，(,)sHx y、(,)sG x y分别为进行灰度值补偿前、后阴影区域的像素值；为无人机航空影像阴影部278 Journal of Spatio-temporal Information 时空信息学报 2023,30(2)分灰度计算因子；s为无人机航空影像阴影部分的灰度平均值；s为无人机航空影像阴影区域的空间位置；s为无人机航空影像区域的灰度值；为无人机航空影像区域灰度计算因子；fY为非阴影区域的像素灰度均值（江巨浪等，2022）；fY为非阴影区域的像素灰度方差；（x，y）为区域的像素坐标点。假设12,nXXXXL为无人机航空影像阴影角度校正后的图像序列，12,nYY YYL为无人机航空影像阴影的初始角度序列（白杨等，2022），假设无人机的运行轨迹为，根据无人机航空影像阴影角度校正后的方差值，设计无人机航空影像阴影角度校正算法：11(,)(,)nnsnnsXXHx yYYHx y （13）式中，1nnXX为无人机航空影像阴影角度校正后的图像差值；1nnYY为初始无人机航空影像差值。利用上述算法，实现对无人机航空影像阴影角度的精确校正。3 实验分析 3.1 实验数据集 为了验证方法的可行性，本文利用立体测绘型双翼无人机收集了不同地形和地物的航空影像数据集，部分航空影像信息，如表1所示。表 1 航空影像数据集的部分信息 Tab.1 Partial information of aerial imagery dataset 数据集 Txcet-M Nfteg-H GIswu-K影像宽度/像素 6870 6200 5825 影像高度/像素 4860 4270 3840 影像个数 48 74 110 特征描述子总数/个 12406 13728 14823 特征描述子计算时间/s 47.636 47.215 48.047Txcet-M 数据集为稀少建筑物、少量土地裸露区及少量草地覆盖区；Nfteg-H 数据集为大量土地裸露及茂密森林覆盖区；GIswu-K数据集为高山区 根据各个数据集的特点，从三个数据集中分别提取出一组航空影像信息，如图1所示。图 1 无人机航空影像数据集 Fig.1 UAV aerial imagery dataset 3.2 实验指标设置 在验证校正方法的性能时，本文引入校正精度和召回率指标衡量双翼无人机航空影像阴影角度校正的性能，分别为=100%Recall100%nMnN （14）式中，n为校正完成的阴影影像；M为数据集中与阴影角度相似的影像；N为数据集中的影像数量。3.3 结果分析 考虑到实验数据集均为通过无人机获取的航空影像，同时为了避免实验结果具有偶然性，选用与本文实验条件类似的姜三等（2019）方法，来比较验证本文方法的实际应用效果。在Txcet-M数据集、Nfteg-H数据集和GIswu-K数据集中分别选择100组航空影像阴影数据，利用本文方法与姜三等（2019）方法进行对比分析，结果如图2所示。由图2可以看出，采用本文方法校正双翼无人机航空影像阴影角度时，对Txcet-M数据集和Nfteg-H数据集中的航空影像进行测试时，得到的校正精度和召回率均在80%以上，校正精度最高可达99%，召回率最高为98%；姜三等（2019）方法面向无人机倾斜影像的高效SfM重建方法应用后，得到的校正精度和召回率在86%以下，说明本文方法在校正Txcet-M数据集和Nfteg-H数据集的航空影像阴影角度时，具有较好的性能。对于GIswu-K数据集，本文方法对航空影像阴影角度的校正精度和召回率相对偏低，但是仍然可以将校正精度和召回率控制在75%以上。这说明本文方法对双翼 徐江明：立体测绘型双翼无人机航空影像阴影角度校正方法 279 图 2 不同数据集校正精度和召回率测试结果对比 Fig.2 Comparison of correction accuracy and recall rate for different datasets 无人机航空影像阴影角度校正的精度和召回率都较高，可以优化航空影像阴影角度校正性能。4 结 论 本文提出了立体测绘型双翼无人机航空影像阴影角度校正方法研究，利用灰度线性变化算法，对无人机航空影像阴影角度进行校正处理，计算无人机航空影像阴影区域与图像区域的灰度值；利用影像增强与阴影去除方法，对阴影区域的灰度值进行补偿，实现对无人机航空影像阴影角度的精确校正。经实验验证，本文方法在校正航空影像阴影角度时的精度和召回率都可以满足性能要求。本文方法还存在不足之处，在今后的研究中，希望引入计算机视觉技术，对无人机航空影像进行稀疏重建，以提高无人机航空影像的质量。参考文献 白杨,赵开春,尤政.2022.分焦平面偏振图像传感器偏振主轴方向的标定.光学精密工程,30(1):31-37 代树红,文晓芳,肖雨轩,黄华森.2022.基于非线性光流方程的高阶时域 DIC 算法.实验力学,37(1):125-131 董胜光,秦建新,郭云开.2019.基于广义立体像对的高分辨率遥感影像阴影检测.电子测量与仪器学报,33(3):105-111 耿中元,袁继英,李英成,孙新博,朱祥娥,冯亮.2019.无人机视频影像的准实时融合算法.测绘科学,44(10):72-78 谷潇.2020.无人机机载激光雷达在地质测绘与工程测量中的应用研究.应用激光,40(6):1126-1131 韩有文,王海涛,杜成欧.2019.像方与物方相互结合的无人机航空影像匹配研究.测绘通报,(S1):303-309 胡育诚,芮挺,杨成松,王东,刘恂.2021.基于改进 SIFT 的无人机航拍图像快速配准研究.计算机科学,48(8):134-138 江巨浪,刘国明,朱柱,黄忠,郑江云.2022.基于快速模糊聚类的动态多直方图均衡化算法.电子学报,50(1):167-176 姜三,许志海,张峰,廖如超,江万寿.2019.面向无人机倾斜影像的高效 SfM 重建方案.武汉大学学报(信息科学版),44(8):1153-1161 李静.2022.基于 NMI 特征的遥感影像线性迭代聚类超像素分割算法.光学精密工程,30(6):734-742 刘寿鑫,龙伟,李炎炎,程鸿.2021.基于HSV色彩空间的低照度图像增强.计算机工程与设计,42(9):2552-2560 刘贞报,马博迪,高红岗,院金彪,江飞鸿,张军红,赵闻.2021.基于形态自适应网络的无人机目标跟踪方法.航空学报,42(4):487-500 宋传鸣,洪旭,王相海.2020.空-频域联合投票的交通视频阴影去除方法.计算机科学,47(5):129-136 孙新博,李英成,王恩泉,耿中元,王思雪.2019.一种无人机视频影像快速配准方法.测绘通报,(6):77-80 280 Journal of Spatio-temporal Information 时空信息学报 2023,30(2)唐超.2022.HSV 空间的多尺度 Retinex 低照图像增强.实验室研究与探索,41(5):54-59 王超,刘文超,翟海祥,何涛,王正家.2022.基于色彩空间和暗原色先验图像融合去雾算法.电光与控制,29(10):44-50 王江波,李汶峰,任文科,王晓东,李继亮,高光发.2022.SHPB 入射波相似律与整形技术的试验与数值研究.振动与冲击,41(6):169-176,221 韦存阳,贾海鹏,张云泉,曲国远,魏大洲,张广婷.2022.基于ARMv8 处理器的高性能图像处理算法实现与优化研究.计算机工程与科学,44(10):1711-1720 吴宇豪,曹雪峰,彭锦超,徐连瑞.2020.基于运动结构图的无人机序列影像三维重建.系统仿真学报,32(6):1094-1102 杨锋平,马博迪,王金荣,高红岗,刘贞报.2020.基于深度去噪自动编码器的无人机航空影像目标检测.西北工业大学学报,38(6):1345-1351 于东海,冯仲科.2019.基于无人机倾斜航空影像的树冠体积测算方法.农业工程学报,35(1):90-97 张曼,叶曦,李杰,沈霁.2022.基于深度可分离卷积的卫星影像检测技术研究.计算机仿真,39(2):17-22,97 张永显,蓝朝桢,张楠,梁静,訾栓紧.2019.构架航线对低空无人机影像定位精度影响.测绘科学技术学报,36(1):69-73 Bang S,Kim H.2020.Context-based information generation for managing UAV-acquired data using image captioning.Automation in Construction,112(4):103116.1-103116.10 Kako S,Morita S,Taneda T.2020.Estimation of plastic marine debris volumes on beaches using unmanned aerial vehicles and image processing based on deep learning.Marine Pollution Bulletin,155:111127.1-111127.9 Stereoscopic topographic mapping method for correction of shadow angle in biplane UAV aerial imagery XU Jiangming Qinghai Natural Resources Remote Sensing Center,Xining 810001,China Abstract:In response to the issues of low correction accuracy and recall rates observed in current methods for correcting shadow angles in drone aerial images,and with the objective of enhancing the utility of information obtained from drone aerial imagery,this study presents a novel approach for correcting shadow angles in biplane drone aerial images,employing a stereo mapping technique.The method involves several key steps:Detecting shadow edges from drone-captured images,calculating the color difference reference value within the aerial image color space,along with color component within the shadow area;Utilizing texture features to eliminate shadows from the drone aerial image;Transforming the RGB color spaces of the UAV aerial image into HSV color space based on the spatial position of the biplane UAV navigation,and achieving shadow angle control through image smoothing;Employing grayscale linear transformation algorithms and an adaptive threshold calculation method to accurately correct shadow angles in drone aerial images.This approach achieves precise shadow angle correction and encompasses the algorithmic design for controlling and correcting shadow angles in drone aerial images.Experimental results show that using the method proposed in this study for aerial image testing on the Txcet-M dataset and Nfteg-H dataset,the highest correction accuracy can reach 99%,and the highest recall rate is 98%;The calibration accuracy and recall rate obtained through testing on the GIswu-K dataset are both above 75%.This indicates that the method proposed in this paper can optimize the performance of shadow angle correction in aerial images.Key words:shadow angle;three dimensional mapping;aerial imagery;biplane UAV;correction method