基于无人机影像的点云人工智能地物分类研究.pdf

2023 年第 9 期202智能技术信息技术与信息化基于无人机影像的点云人工智能地物分类研究史述健1 周伟明2 王保国2 刘 虎2 胡 洪1 刘 辉1SHI Shujian ZHOU Weiming WANG Baoguo LIU Hu HU Hong LIU Hui 摘要 利用遥感手段对地物进行语义分割可为城市规划、土地利用管理、环境保护等方面提供重要的基础信息，针对二维影像数据自身的局限性和传统的点云地物分类方法智能化程度低、准确度差等缺点。利用某村庄的无人机倾斜摄影测量实景数据进行三维点云语义分割并进行语义标注，建立了一个满足室外场景语义分割的 3D 点云数据集。利用 PointNet+算法对该 3D 点云数据集进行模型训练和测试。实验结果显示植被类和建筑物分类的 IOU 可达 0.792 和 0.852，而其他类别中的小类别分类的 IOU 均低于 0.2。关键词 点云；人工智能；PointNet+；无人机影像；地物分类 doi：10.3969/j.issn.1672-9528.2023.09.0451.安徽大学资源与环境工程学院 安徽合肥 2306012.蚌埠市勘测设计研究院 安徽蚌埠 2330000 引言在如今的信息时代下，城市规划1、土地利用规划2、环境保护3、建筑物变化监测4、文物保护5等方面都需要三维数据作为基础，而 3D 点云数据具有无序性、非结构化、密度分布不均6等因素，导致其分类依旧是一个极具挑战性的问题。传统的点云分类方法仅是特征的简单组合，只能在一定程度上实现分类任务，难以应用于复杂场景中。目前，深度学习已成为三维点云数据处理的主流，但是由于点云具有无序性、稀疏、不规则等特点，基于深度学习的场景语义分割发展还较为缓慢。根据三维点云数据处理方式的不同，基于深度学习的点云语义分割大致可以分为三类：基于多视图的点云分类方法、基于体素的点云分类方法以及基于原始点云的分类方法。基于多视图的分类方法是将三维数据降维转化为二维图像再处理得到分类结果，该方法的典型示例是 MVCNN，该方法基本思路为虚拟相机捕获多个视角下的 2D 视图，并对图像进行分类检测。其在一定程度上可以解决点云结构化的问题，但分类效果并不理想。受 2DCNN 的启发，提出了基于体素的深度学习分类框架，其可以有效解决点云无序性、非结构化等问题，但是点云巨大的数据量导致该方法的计算复杂性增加。若保证计算效率就需要降低分辨率，从而造成分类精度的损失。但随着近年来对点云分类技术的深入研究，出现了多种基于深度学习的点云分类网络，其可以直接处理三维点云数据，解决了点云无序性、旋转不变性和位置变性等问题，同时也避免了之前在处理点云数据中降维转化和体素化过程中信息丢失的问题，实现了点云语义分割任务。另外，利用深度学习的方法的前提需要大量的数据集进行模型训练，而目前许多公开数据集都来自地面激光扫描仪，例如 paris-lile-3D7、Sydney Urban Objects和Semantic 3D8数据集。其中大部分数据集在采集的过程中会遇到尺度大小不一的地物、场景遮挡等问题，从而导致采集的点云数据不均匀和部分地物信息缺失。航空激光扫描仪和地面激光扫描仪在传感器位置和点分辨率方面的差异，可以有效弥补地面激光扫描仪带来的不足。本文利用无人机倾斜摄影测量摄影技术，对某农村区域进行倾斜摄影测量数据采集，对其进行处理并提取三维点云数据，基于每个类别进行手动标注，使每个点包括 xyz 三维坐标信息和 RGB 信息。无人机倾斜摄影测量与传统的地面激光雷达采集的点云相比，无人机比较机动灵活、空域限制小、成本较低，并且倾斜摄影测量获得的点云密度高且均匀，获取地物信息更多且迅速，并且不会出现由于采集角度导致的局部区域的点云数据缺失。基于以上分析，本文利用无人机倾斜摄影测量的三维实景数据对某农村地区三维点云数据进行提取和语义标注，建立了一个包括 RGB 信息和 xyz 三维坐标信息的 3D 点云数据集，并利用 PointNet+对该数据集进行模型训练及测试，以提高地物分类的精度和准确性。1 数据集1.1 研究区域数据集概况数据集以某农村地区为研究区域，利用无人机获取该区域倾斜摄影测量数据并生产得到实景三维数据，从中提取包括 RGB 信息及地理位置信息的三维点云数据，再进行人工 2023 年第 9 期203智能技术信息技术与信息化标注建立数据集。点云密度和数量等信息如表 1 所示。表 1 类别总结分析名称面积/m2平均高度/m点数（1106）建筑物40 万8.273.79植被45 万25.2212.98其他42 万04.12数据集中建筑物类包括 1 3 层自建房屋和棚房；植被类别包括低矮灌木丛、成片草丛和树林；其他类别包括道路、池塘、农田、桥梁。三个类别的数量不同但是面积均超过 400 000 m2，即认为三个类别在数据集中占比一样。由表1 各类别平均高度可知，房屋绝大多数为 2、3 层农村自建房，平房和棚房较少；植被中大部分为树木，草丛占比较少；其他类别都为地面点，故平均高度为 0。建筑物和其他类别的总点数相当，而植被的总点数明显多于建筑物和其他类别，因为其面积多且高度较高。1.2 数据集获取本文三维点云数据的提取需以无人机倾斜摄影测量数据技术为基础，利用实景三维模型生产得到的数据分别提取该农村地区的三维点云数据。分别利用生产得到的 xml 格式数据和 osgb 格式数据进行数据转换等操作提取三维点云数据，选取两者中数据效果较好的，进行人工标注建立数据集。制作数据集的流程图见图 1。图 1 数据集制作流程图在无人机上安装五个不同方位的传感器对某农村地区拍摄获取高分辨率影像，五个镜头在每个曝光点上同时成像，致使相同地物可以在不同方位传感器上成像。待航摄完成以后，检查数据、数据预处理等步骤，得到倾斜摄影测量数据后进行实景三维模型生产，再利用生产过程中得到的 xml格式数据和 osgb 格式数据进行三维点云数据的提取。实景三维模型生产的主要步骤如下：（1）利用下视影像的概略POS，对下视影像进行空三加密，获得精度较高的下视外方位元素；（2）利用下视影像的精确外方位元素，根据下视和侧视（前视、后视、左视、右视）像机之间的角度及位置关系，计算同一摄站各侧视影像的概略外方位元素；（3）利用每张倾斜影像的内、外方位元素进行 POS 辅助倾斜影像光束法平差，得到倾斜影像的精确外方位元素；（4）利用倾斜影像数据及每张影像精确的内、外方位元素进行密集匹配，得到实景三维模型。将实景三维模型生产过程中得到的 xml 格式数据和 osgb格式数据操作提取三维点云数据，并对比二者提取出三维点云的效果。第一种方法是利用编写的相关代码将 xml 格式数据转化为txt格式的点云数据。图2为提取的三维点云数据（红色为建筑物，绿色为植被，紫色为道路，黄色为池塘）。第二种方法是将预处理得到的 osgb 格式数据利用第三方软件转化为 las 格式数据，图 3 为数据格式转化后提取的三维点云数据。对比图 2 和图 3 可知，第二种转化方法得到的 las 数据更加密集、可视化程度更高、效果更佳。图 2 从空三结果 xml 文件中提取点云数据图 3 osgb 格式数据转为 las 格式数据对每个类别的点云进行裁剪，然后手动将数据集分割为三个语义类别：建筑物（平房、篷房）、植被（树木和灌木）、其他（道路、农田、桥梁、池塘）。如表 2 所示展示数据集中部分区域三维点云数据以及人工标签，其中标签图中绿色代表植被、紫色代表建筑物、橙黄色代表农田、蓝色代表池塘、棕色代表道路。2023 年第 9 期204智能技术信息技术与信息化表 2 原始点云及标签 名称原始点云标签区域 1区域 2区域 3区域 4区域 5利用 15 景无人机影像制作建筑物类样本超过 5000 个，植被类样本超过 3100 个，其他类样本超过 2100 个，其他类中包含道路样本超过 400 个，农田样本超过 1300 个，池塘样本超过 300 个，桥梁样本超过 40 个。由于绘制的每个建筑物矢量图的面积大致相等，而植被类和其他类中所绘制的矢量图的面积大小不一致，有的差距甚至非常悬殊，所以无法以数量去与建筑物类相比较，因此以绘制建筑物类矢量图的总面积为基准，只需植被类和其他类所绘制样本矢量图总面积与建筑物类的总面积一样即可。在实际操作中，建筑物类所有样本矢量图的总面积约 400 000 m2，植被类和其他类样本矢量图的总面积均超过 400 000 m2，故所制作的样本数量达到要求，具体数量如表 3 所示。表 3 样本数量类别数目（个）建筑物 5000植被 3100道路 400农田 1300池塘 300桥梁 402 PointNet+网络模型传统的点云分类方法只能够进行简单的分割，基于体素化和多视图的点云深度学习分类方法需要将点云数据转化后才可以进行分类，而在转化的过程中会丢失一些信息，从而影响点云语义分割的精度和准确性。PointNet+点云语义分割模型可以直接输入三维点云数据，能够更充分地学习到点云的深层特征，有着较高的分类精度和准确性。PointNet+被公认为最先进的深度学习模型，在使用点云数据进行语义分割和分类方面优于其他深度学习模型11。PointNet 网络模型开创了直接处理点云数据的先河，是端到端的深度学习网络，其主要思路是直接将原始点云输入至神经网络中，利用 T-Net 模块进行仿射变换和多层感知机学习点云特征并聚合整体特征，解决了点云无序性、旋转不变性和置换不变性的局限性12。Qi 等人13提出的PointNet+是 PointNet 的改进版本，该方法基于最远点采样法可以考虑到点云的局部特征，在划分的局部区域使用PointNet 网络，有效解决 PointNet 忽略局部特征的缺点。图 4 展示了 PointNet+的模型结构，从图 4 中可以看出，PointNet+分割网络是经由 SA（set abstraction）模块和 FP模块（feature propagation），最后通过一个全连接层（fully connected layer）得到分类的结果。图 4 PointNet+结构图在该网络中，点集的特征提取由 SA 模块完成，该模块由 Sampling layer、Grouping layer、Pointnet layer14三部分组成。下面将详细介绍三个部分。sampling layer（采样层）：为了提取点云的局部特征，要用点的邻域替代单个点来训练网络模型，在选取样本点过程中采用的是最远点采样法（FPS）确定局部区域的中心。与随机采样相比，最远点采样法的优势在于尽可能覆盖空间中的所有点。grouping layer（分组层）：分组层主要是根据输入的点集以及采样层中确定的质心点确定局部区域。根据最远点采样法确定局部区域后，采用球邻域法或者 KNN 搜索生成局部区域。使用球邻域法是要确定两个超参数，一个是单个区域采样点的个数 k，二是球邻域的球半径 r。pointnet layer（pointnet 层）：分组层中得到的点集首先将区域中的点转化为围绕中心点的相对坐标，这之后将数据输入至 PointNet 网络中，经过三层 MLP 层和一个池化层，得到该局部区域的点云特征。图 5 为 PointNet+网络模型 SA（set abstraction）模块的详细展示。PointNet+在局部区域调用 PointNet，能够有效解决 PointNet 的问题，对复杂场景有良好的语义分割效果。PointNet+直接处理非结构化三维点云数据时，难以一次读取所有点的所有特征，因此训练场景会被切割成很多个小的方块进行输入。但是在切割时难以避免会破坏部分地物完整性，影响网络对地物特征的学习。不断调整各项参数以提高 2023 年第 9 期205智能技术信息技术与信息化点云的分类精度。图 5 SA 模块图3 实验与结果分析3.1 实验环境和各项参数本文所进行的实验环境是 Ubuntu 系统下进行训练的，具体的环境参数为 Python 3.7、CUDA 11.4、PyTorch 1.11.0。模型单次输入点数 65 536，批处理大小 batch_size=16；动量优化算法 m=0.1；衰减率 l_decay=0.7；初始学习率为 0.001；模型迭代次数为 120。3.2 精度评价指标当前学术界在点云语义分割方面常用的语义分割指标主要为各语义类别平均交并比（IoU）。本文将模型预测各场景中点云标签各类别的平均准确率（mIoU）作为模型的精度评估指标。各类别平均准确率则是求出各类别预测正确的点云占此类别所有测试点云的百分比，随后对各类别准确率求平均的值。其中，各类别预测正确的点云占此类别所有测试点云的百分比记为 IoU，预测边框与实际边框之间的交叠率，即两个区域重叠的部分除以两个区域的集合部分得出的结果。这个标准就是预测值与真实值之间的相关度15，相关度越高，其值越大，预测效果越好，其公式为：(1)(2)图 6 IOU式中：TP、FP与 FN分别表示正确分割，假正与假负，0 到 k代表有 k+1 个种类。3.3 点云分类结果利用设定的测试集对训练出的模型进行测试，得到表 4精度。由表 4 计算可得 mIoU=0.345。同时可得，植被和建筑物分类得到的 IoU 分别为 0.852 和 0.792，植被的分类效果比建筑物好，农村地区的植被都为灌木丛或者成片植被，植被样本总面积比建筑物样本总面积多，故可以认为植被的样本总量比建筑物样本。在机器学习阶段特征学习更加全面；对其他类别中的道路、农田和池塘分类得到的 IoU 均小于或等于 0.201。考虑到这四个种类共同组成其他类别，它们样本容量之和与植被和建筑物样本容量差不多，单个样本容量过小，在卷积网络中未能充分学习到该类别的特征。道路的分类精度只有 0.132，其原因有前面所述样本容量较少，样本中存在土路和水泥路造成训练过程中特征学习不充分，以及在样本制作的过程中可能存在部分道路未闭合。池塘边缘区域绝大多数都存在藻类植物，严重的还会蔓延到池塘中间区域，这也会造成在学习的过程中将其错误分类为植被，对池塘和植被的分类精度都造成影响。并且池塘的样本容量本来就少，故其分类精度在所有类别中最低。表 4 分类精度表类别IoU建筑物0.792池塘0.097植被0.852道路0.132农田0.2014 结束语本文针对当前三维点云数据人工智能地物分类问题，利用无人机倾斜摄影测量的手段获取某农村地区的实景三维数据，进而提取该地区的三维点云数据并进行语义标注，建立了一个包括 RGB 信息、地理位置信息，满足室外场景语义分割任务的 3D 点云数据集。利用 PointNet+点云语义分割网络对该数据集进行模型训练及测试，并不断对模型参数进行优化，植被类和建筑物类分类的 IoU 可达 0.792 和 0.852，而其他类别中的小类别分类的 IoU 均低于 0.2。此结果表明，本文建立的无人机 3D 数据集可以在 PointNet+中有效提取三维点云场景中建筑物和植被信息，在城市规划、环境保护等方面有重要的应用价值。参考文献：1 郭海乐.倾斜摄影测量三维重建在城市规划管理中的应用研究 D.东莞市地理信息与规划编制研究中心,2016,35(6):1263-12642 LAI X,YANG J,LI Y,et al.A building extraction approach based on the fusion of LiDAR point cloud and elevation map texture featuresJ.Remote sensing,2019,11(14):1-6363 王思远,吴怡凡,李咏旭,等.一种融合 LiDAR 点云与影像的建筑物提取方法 J.测绘地理信息,2022,465:1-64 ENE L T,ERIK N,GOBAKKEN T,et al.Large-scale estimation of change in aboveground biomass in miombo woodlands using airborne laser scanning and national forest inventory dataJ.Remote sensing of environment,2017,188:106-117.(下转第 211 页）2023 年第 9 期211智能技术信息技术与信息化图 19 深度误差图由图 19 深度误差图可知，在实验环境中，基于圆形霍夫变换检测深度信息最大误差约为 0.967%，最小误差为 0.33%，且进行的 10 组实验中，误差都在 1%以下，误差结果稳定，测量结果较为理想。4 结论本文针对油罐车上装鹤管自动对接系统中油罐车罐口的识别定位问题，提出了一种基于双目相机的油罐车罐口识别定位方法，介绍了该方法的系统框架、算法原理及其实现方法，设计了适用于罐口图像的立体校正、立体匹配和圆形霍夫变换检测算法，并对该方法进行圆形实物圆心检测标定实验。实验结果表明，圆心坐标和深度检测精度均满足自动对接现场使用需求，该方法能够引导油罐车上装鹤管完成准确定位，为下一步自动对接控制系统设计奠定基础。参考文献：1 刘宇.利用远程控制实现大鹤管定量装车 J.化工管理,2014(23):39.2 姚良,渠聚鑫,孟利军.一种基于深度学习的装车鹤管自动对接装置:陕西 CN215326917UP.2021.3 尹海昆.面向罐口图像识别的边缘检测方法研究 D.哈尔滨:哈尔滨工程大学,2018.4 邹晓媛,汪金盾,岳晓建.一种基于 3D 机器视觉的火车悬臂装车鹤管:新疆 CN209081414UP.2019.5 占佳军,夏开亮,徐继辉.一种全自动汽车装车鹤管:江苏CN209242667UP.2019.6 HAMZAH R A,GHANI S,KADMIN A F,et al.A practical method for camera calibration in stereo vision mobile robot navigationC/IEEE Student Conference on Research and Development.Pulau Pinang:Research&Development,Piscataway:IEEE,2012:188-192.7 仇浩然.基于双目视觉的机械臂运动轨迹规划研究 D.哈尔滨:哈尔滨理工大学,2020.8 李忠国,吴昊宸,陆军,等.双目视觉立体匹配算法的改进J.机械设计与研究,2022,38(3):27-29.【作者简介】刘杰（1996），男，安徽桐城人，研究生，研究方向：机器人的视觉及控制（收稿日期：2023-03-15 修回日期：2023-04-22）5 PAN Y,DONG Y,DALEI W,et al.Three-dimensional reconstruction of structural surface model of heritage bridges using UAV-Based photogrammetric point cloudsJ.Remote sensing,2019,11(10):1204.6 文沛,程英蕾,余旺盛.基于深度学习的点云分类方法综述 J.激光与光电子学进展,2021,58(16):49-75.7 ROYNARD X,DESCHAUD J E,GOULETTE F.Paris-lille-3D:a large and high-quality ground-truth urban point cloud dataset for automatic segmentation and classifi cationJ.The international journal of robotics research,2018,37(6):545-557.8 章敏敏,徐和平,王晓洁,等.谷歌 TensorFlow 机器学习框架及应用 J.微型机与应用,2017,36(10):58-60.9 QI C R,YI L,SU H,et al.PointNet+:deep hierarchical feature learning on point sets in a metric spaceC/Advances in Neural Information Processing Systems.Long Beach,USA:NIPS,2017:5099-5108.10 QI C R,SU H,MO K,GUIBAS L J,et al.PointNet:deep learning on point sets for 3D classifi cation and segmentationC/30th IEEE Conference on Computer Vision and Pattern Recognition.Honolulu,HI,USA:IEEE,2017:77-85.11 SHIN Y H,SON K W,LEE D C.Semantic segmentation and building extraction from airborne LiDAR data with multiple return using PointNet+J.Applied sciences,2022,12(4):1975.12 景庄伟,管海燕,臧玉府,等.基于深度学习的点云语义分割研究综述 J.计算机科学与探索,2021,15(1):1-26.13 QI C R,SU H,MO K,et al.PointNet:Deep learning on point sets for 3D classification and segmentationJ.arXiv preprint arXiv:1612.00593,2016:77-85.14 安江.基于深度学习的地铁站建筑空间智能辅助设计研究 D.北京:北京交通大学,2021.15 王楠,王森妹,蔡静.基于改进 U-net 网络的 2.5D 肺实质分割 J.现代信息科技,2020,4(9):85-88.【作者简介】史述健（2001），通信作者（email:）安徽宣城人，本科，研究方向：基于深度学习的三维点云语义分割。胡洪，博士，副教授，研究方向：GNSS 精密定位、室内外定位与导航、激光点云数据处理。（收稿日期：2023-07-31 修回日期：2023-08-27）(上接第 205 页）