基于语义特征的3D点云室内目标检测.pdf

2023 年第 6 期计算机与数字工程收稿日期：2022年12月2日，修回日期：2023年1月14日基金项目：国家自然科学基金项目（编号：61561005）；广西研究生教育创新计划项目（编号：YCSW2019026）资助。作者简介：董雯，女，硕士研究生，研究方向：计算机视觉、模式识别。林靖宇，男，教授，硕士生导师，研究方向：计算机视觉、模式识别、仿生机器人。1引言随着科技的发展，研究者可以更方便地获得场景的三维点云数据。三维点云相对于二维图像包含更丰富的空间信息，因此被应用于无人驾驶12、室内机器人3、三维重建4等领域。但是点云具有稀疏性和无序性，这使得图像中广泛应用的卷积神经网络无法直接应用于点云。目前基于点云的目标检测在准确度方面不如图像目标检测，仍有很大的研究空间。目前点云目标检测存在以下几种方法：1）将点云转化为鸟瞰图2，然后使用全卷积网络估计目标的位置和航向角。这种方法缺点就是转化过程中垂直方向上的信息丢失。为了避免信息丢失出现了鸟瞰图与点云相结合的方法5。2）将点云转化为前视图6，然后使用2D卷积神经网络估计目标位置和航向角。这种投影方法同样存在着信息丢失问题。3）将点云转化为体素7，再利用3D卷积基于语义特征的 3D 点云室内目标检测董雯林靖宇（广西大学电气工程学院南宁530004）摘要当前有许多关于点云目标检测的研究，但这些研究大多适用于室外环境。室内目标相对于室外目标的检测难点在于体积较小且细节较多。而点云数据具有稀疏性，不利于检测小型目标。为了提高室内目标的检测精度，提出了一种改进VoteNet的目标检测模型。首先，该模型添加了一个能有效提取语义特征的前置网络，通过将提取到的语义特征与几何特征进行融合，得到更有效的特征块用于目标检测。其次，通过在VoteNet投票簇生成阶段添加语义约束，一定程度上解决了VoteNet投票簇中点的语义非一致性问题。在公开数据集ScanNet上进行实验，实验证明改进模型在检测室内目标时获得了更高的检测精度。关键词3D点云；语义特征；室内目标检测；深度学习中图分类号TP391DOI：10.3969/j.issn.1672-9722.2023.06.0133D Point Cloud Indoor Object Detection Based on Semantic FeaturesDONG WenLIN Jingyu（College of Electrical Engineering，Guangxi University，Nanning530004）AbstractThere are many researches on point cloud object detection，but most of these researches are applicable to outdoorenvironments.The difficulty of detecting indoor objects relative to outdoor objects is that they are smaller in size and more detailed.The point cloud data is sparse，which is not conducive to detecting small objects.In order to improve the detection accuracy of indoor objects，an improved VoteNet object detection model is proposed.Firstly，the model adds a pre-network that can effectively extract semantic features.By fusing the extracted semantic features with geometric features，more effective feature blocks are obtainedfor target detection.Secondly，by adding semantic constraints in the generation stage of VoteNet voting clusters，the problem of semantic inconsistency in the midpoints of VoteNet voting clusters is solved to a certain extent.Experiments are carried out on the public data set ScanNet，and the experiment proves that the improved model obtained higher detection accuracy when detecting indoorobjects.Key Words3D point cloud，semantic features，indoor object detection，deep learningClass NumberTP391总第 404期2023 年第 6 期计算机与数字工程Computer&Digital EngineeringVol.51No.61285第 51 卷进行特征提取，最后回归得到边界框和航向角。这种方法存在着内存占用大计算困难的问题。4）点云与图像融合的方法8，将点云的优势和图像的优势相结合，以达到更好的检测效果。但是目前对于纯点云数据的应用挖掘还远远不够，不依赖图像的点云目标检测仍然还有很大的潜力。5）直接处理点云的方法。如 VoteNet 模型9，首先利用 PointNet+网络10提取点云特征，然后利用霍夫投票机制得到投票点，并聚类获得投票簇，最后提取每个簇的特征预测目标位置和类别。为了解决室内环境目标检测精度不高的问题。本文利用目前相对较为成熟的点云语义分割技术，在VoteNet模型的基础上进行了两个改进：1）添加了一个能有效提取语义特征的前置网络，通过点云重染色将提取到的语义特征与几何特征进行融合，提高了特征的质量，取得了更好的检测效果。2）通过在VoteNet投票簇生成阶段添加了语义约束，一定程度上解决了VoteNet投票簇中点的语义非一致性问题。2改进VoteNet模型的实现改进VoteNet模型框架如图1所示。图1改进VoteNet模型框架2.1语义特征提取与点云重染色点云是离散、稀疏的数据，因此点云特别适合做分割，目前点云语义分割技术也相对成熟，能够分割出较小的目标。点云语义分割，是点云数据点级别的分类，会得到每个点的语义标签，可以区分不同类别的目标，但是同类目标不会被区分（可以区分某个点属于桌子还是椅子，但是无法区分这个点属于哪一张桌子）。而目标检测则是要得到所有待测目标的位置及分类。点云语义分割与目标检测是有关联的，在已知点云语义标签的情况下进行目标检测，就相当于只需要对同类目标进行区分。因此本文利用了点云语义分割技术来提取准确度较高的语义特征，并将语义特征应用到目标检测模型VoteNet中以达到提高目标检测精度的目的。经过实验，确定了语义分割网络输出的语义特征应用到目标检测模型VoteNet中的方式为：点云输入语义分割网络，得到每个点的语义类别；然后对每个语义类别赋予一种颜色，生成新的染色点云，最后将染色后的点云作为目标检测模型VoteNet的输入。本文将这个染色过程称为点云重染色。RandLA-Net11是一个轻量级的点云语义分割网络，其网络结构也是类似于PointNet+的编码-解码结构，如图2所示。其编码模块是由多个局部特征聚合模块（LFA）和随机采样（RS）的组合层组成，解码模块则是由多个上采样（US）和多层感知机（MLP）的组合层组成。RandLA-Net 与 PointNet+的区别在于其编码模块是采用了随机采样而不是最远点采样，时间复杂度和空间复杂度都是常数级别，因此可以直接处理大规模点云，而不需要将点云拆分再拼接。为了解决随机采样的信息丢失问题，其设计了局部特征聚合模块，该模块可以较好地解决信息丢失。因RandLA-Net进行点云语义分割具有高效、准确的特点，故选择RandLA-Net作为本文的语义特征提取网络。2.2投票簇语义约束VoteNet模型由投票点经过采样、分组生成投票簇时，可能将具有不同语义标签的点划分到一个簇中（投票簇中的点语义非一致），这样会导致神经网络对每个簇提取的特征质量变差，从而导致边界框参数不准确，甚至目标分类错误。使用语义类别约束投票簇的分组过程，使得每个投票簇中的点具有相对较为一致的语义类别，就能提高每个簇提取特征的质量，进而提高目标检测精度。图2RandLA-Net网络结构董雯等：基于语义特征的3D点云室内目标检测12862023 年第 6 期计算机与数字工程添加投票簇语义约束后VoteNet模型如图3所示，实线为原始VoteNet模型，虚线为改进所添加的部分。与原始VoteNet相比其主干网络添加了两层解码层，再通过共享 PointNet层，最终输出 N个点的分类矩阵（Nb），其中 b 为点云的语义类别个数。通过查找编号记录可以得到投票点对应的分类矩阵（Mb）。将 M个投票点 vi=yi；giR3+C Mi=1的（3+C）维特征与其对应的b维分类特征 qiRbMi=1级联，作为新的投票点特征 ui=yi；gi；qiR3+C+b Mi=1。最后，从M个投票点中以最远点采样得到K个点，然后以这K个点为中心，r为半径去寻找（3+C+b）维特征空间中临近投票点，将半径r范围内的点划分为一个投票簇，最终得到K个投票簇，投票簇的表示如式（1）所示。k=uki|ui-ukri=1Mk=1K（1）图3添加投票簇语义约束后的Votenet框架3实验3.1实验环境实 验 平 台 为 Intel Core i7-7700HQ、NVIDIAGTX 1060、16GB内存，在Ubuntu 16.04和Python3.6下搭建 CUDA 10.0、CUDNN 7.6.4、TensorFlow 1.15深度学习环境。3.2实验数据集实验采用公开数据集 ScanNet。ScanNet是一个大型室内环境数据集，包含1513个室内场景数据，数据包括2D图像数据和3D点云数据。数据集1201个场景用于训练，312个场景用于测试。语义分割类别为21类，目标检测类别为18类。3.3本文模型与其他现有模型对比为了从整体上验证本文模型在室内点云目标检测上的有效性，将本文模型在ScanNet数据集上进行实验，并与近年来主流的3D目标检测模型进行对比。各模型在ScanNet数据集上的全类别目标检测平均精度如表2所示，表格中对最优结果进行了加粗显示。输入坐标及 RGB时的 VoteNet模型结果为复现结果（论文中仅给出输入坐标的实验结果）。从表2可以看出：改进VoteNet模型在3D IoU（交并比阈值）为0.25以及0.5时，mAP（全部类别平均精度）都远高于其他方法。在输入坐标和 RGB信息时，与原VoteNet模型相比，3D IoU阈值为0.25时的平均精度提高了 18.1%；3D IoU阈值为 0.5时的平均精度提高了11.7%。表1为各模型在ScanNet数据集上的每类目标检测精度。从表1可以看出，改进模型除了在浴缸这个类别检测精度比原始VoteNet低外，其余类别检测精度都高于包括原始VoteNet在内的其他模型。对于拥有水平面的大型目标，如床、沙发等，检测精度较高，但对于垂直片状的目标，如门、窗，检测精度则低一些。特别是小型垂直片状目标，如图片，检测精度较低，但高于其他模型。实验证明，本文模型对室内点云目标检测是相对有效的。3.4语义特征提取与重染色的有效性为了验证语义特征提取与重染色的有效性，在ScanNet数据集上进行了对比实验，来比较原始VoteNet 与添加了语义特征提取和点云重染色后的VoteNet的目标检测结果。另外，为了证明采用不同重染色编码不会对目标检测精度造成影响，实验分别采用了两种不同的重染色编码。实验结果如表3所示。从表3可以看出，添加了语义特征提取和点云重染色后的VoteNet，目标检测平均精度要高于原始VoteNet；语义重染色模型在两种重染色编码下的目标检测精度相差不大。图4为某个场景在两种重染色编码下的预测框可视化结果。从图4来看，采用不同的重染色编码方式，最终预测的边界框基本一致。因此，采用不同重染色编码不会对目标检测精度造成影响。1287第 51 卷表2各模型在ScanNet数据集上的全类别目标检测平均精度模型DSS12MRCNN 2D-3D13F-PointNet14GSPN15VoteNet（复现）本文模型3D-SIS12VoteNet9输入坐标RGB坐标RGB坐标RGB坐标RGB坐标RGB坐标RGB坐标坐标mAP（IoU=0.25）15.2%17.3%19.8%30.6%56.3%74.4%25.4%58.6%mAP（IoU=0.5）6.8%10.5%10.8%17.7%34.1%45.8%14.6%33.5%表3添加了语义特征提取和点云重染色后的VoteNet与原始VoteNet检测精度对比模型原始VoteNet语义重染色模型（编码1）语义重染色模型（编码2）mAP（IoU=0.25）56.33%72.47%73.00%mAP（IoU=0.5）34.05%43.78%44.17%最终得出结论：添加语义特征提取与重染色能够显著提高 ScanNet数据集上点云目标的检测精度。目标检测精度的提高得益于语义特征的提取和语义特征与几何特征（即坐标）的融合。实验证明，重染色是将语义特征与几何特征融合的一种可行的方式。图4添加了语义特征提取和点云重染色后的VoteNet在不同重染色编码下的预测框可视化结果3.5投票簇语义约束的有效性为了验证投票簇语义约束的有效性，在ScanNet数据集上进行实验，实验将有色点云分别输入原始 VoteNet 和添加投票簇语义约束后的 VoteNet。实验结果如表4所示。添加语义约束后，在IoU=0.25 和 IoU=0.5 时，mAP 分别提高了 4.41%和2.83%。实验证明，对投票簇添加语义约束，能够使得每个投票簇中的点具有相对较为一致的语义类别，进而可以提高目标检测精度。表4添加语义约束后的VoteNet与原始VoteNet检测精度对比模型原始VoteNet语义约束模型mAP（IoU=0.25）56.33%60.74%mAP（IoU=0.5）34.05%36.88%3.6可视化结果及分析对改进VoteNet模型中语义染色的结果及最终预测的边界框进行三维空间可视化，如图5所示。表1各模型在ScanNet数据集上的每类目标检测精度模型类别橱柜床椅子沙发桌子门窗书架图片柜台书桌窗帘冰箱浴帘厕所洗手池浴缸其他全部3D-SIS 5views12IoU=0.2519.76%69.71%66.15%71.81%36.06%30.64%10.88%27.34%0.00%10.00%46.93%14.06%53.76%35.96%87.60%42.98%84.30%16.20%40.23%IoU=0.55.73%50.28%52.59%55.43%21.96%10.88%0.00%13.18%0.00%0.00%23.62%2.61%24.54%0.82%71.79%8.94%56.40%6.87%22.53%3D-SIS Geo12IoU=0.2512.75%63.14%65.98%46.33%26.91%7.95%2.79%2.30%0.00%6.92%33.34%2.47%10.42%12.17%74.51%22.87%58.66%7.05%25.36%IoU=0.55.06%42.19%50.11%31.75%15.12%1.38%0.00%1.44%0.00%0.00%13.66%0.00%2.63%3.00%56.75%8.68%28.52%2.55%14.60%VoteNet9IoU=0.2536.27%87.92%88.71%89.62%58.77%47.32%38.10%44.62%7.83%56.13%71.69%47.23%45.37%57.13%94.94%54.70%92.11%37.20%58.65%IoU=0.58.07%76.06%67.23%68.82%42.36%15.34%6.43%28.00%1.25%9.52%37.52%11.55%27.80%9.96%86.53%16.76%78.87%11.69%33.54%本文模型IoU=0.2555.81%94.87%90.18%94.38%70.33%63.85%54.28%82.39%27.82%62.91%84.84%62.46%89.32%93.67%98.12%67.55%87.02%58.54%74.35%IoU=0.525.05%83.64%68.37%85.13%49.77%25.09%17.85%61.62%4.31%26.28%59.93%28.34%52.73%26.00%90.78%27.90%67.16%23.85%45.77%董雯等：基于语义特征的3D点云室内目标检测12882023 年第 6 期计算机与数字工程图5中每行为一个室内场景，第一列为输入点云，第二列为根据真实语义染色的点云，第三列为根据RandLA-Net网络预测的语义标签染色的点云，第四列为真实边界框的可视化效果，第五列为改进Vote-Net模型预测的边界框的可视化效果。图5语义染色和目标检测可视化由可视化结果可以看出，语义特征提取确实有助于提高目标检测精度。比如，第二行场景中间圆桌旁边的椅子由于采集过程中的遮挡存在数据残缺，有的只剩下椅背，但是由于语义分割网络预测到了这些点是椅子这个类别而非旁边的桌子，所以改进VoteNet模型最终也预测出了椅背的边界框。但是在以下几种情况，目标检测效果仍然不理想：1）两个待测目标的边界框有交集时，仍存在预测边界框位置或大小不准确的情况。2）当语义分割网络预测出错时，改进VoteNet模型最终可能会预测错误或漏检。4结语针对点云室内目标检测模型较少且检测精度不高的问题，本文利用了相对较为成熟的点云语义分割技术，在目标检测模型VoteNet的基础上，提出改进模型。对本文中的两个改进分别进行实验，实验结果表明两个改进对于提高室内点云目标检测精度都是有效的。将本文的改进模型，与其他3D目标检测模型进行对比实验，实验结果表明，本文模型可以较好地利用点云的语义特征，并在室内点云数据集 ScanNet上取得了高于其他模型的目标检测精度。参 考 文 献1A.Geiger，P.Lenz，R.Urtasun.Are we ready for autonomous driving？The KITTI vision benchmark suiteC/IEEE Conference on Computer Vision and Pattern Recognition，2012：3354-3361.2J.Beltrn，C.Guindel，F.M.Moreno，et al.BirdNet：A3D Object Detection Framework from LiDAR InformationC/International Conference on Intelligent Transportation Systems，2018：3517-3523.3沈佳凯，高红卫，郭旭侠.基于三维点云和OpenCV的物品识别研究 J.计算机与数字工程，2020，48（02）：453-455，478.SHEN Jiakai，GAO Hongwei，GUO Xuxia.Research onObject IdentificationBasedon3DPointCloudandOpenCVJ.Computer&Digital Engineering，2020，48（02）：453-455，478.4Li H Y，Yang C，Wang Z，et al.A hierarchical contourmethod for automatic 3D city reconstruction from LiDARdataC/Geoscience&Remote Sensing Symposium.IEEE，2012：463-466.5吴秋霞，黎玲敏.基于点云俯视图重映射的3D目标检测 J.华南理工大学学报（自然科学版），2021，49（01）：39-46.WU Qiuxia，LI Lingmin.3D Object Detection Based onPoint Cloud Top View RemappingJ.Journal of SouthChina University of Technology（Natural Science Edition），2021，49（01）：39-46.6B.Wu，A.Wan，X.Yue，et al.SqueezeSeg：Convolutional Neural Nets with Recurrent CRF for Real-TimeRoad-Object Segmentation from 3D LiDAR Point CloudC/IEEE International Conference on Robotics and Automation，2018：1887-1893.7Yin Zhou，Oncel Tuzel.VoxelNet：End-to-End Learningfor Point Cloud Based 3D Object DetectionC/IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：4490-4499.8敖建锋，苏泽锴，刘传立，等.基于点云深度学习的3D目标检测 J.激光与红外，2020，50（10）：1276-1282.AO Jianfeng，SU Zekai，LIU Chuanli，et al.3D Object Detection Based on Point Cloud Deep Learning J.Laser&Infrared，2020，50（10）：1276-1282.9 Charles R.Qi，Or Litany，Kaiming He，et al.DeepHough Voting for 3D Object Detection in Point CloudsC/Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：9276-9285.10Charles R.Qi，Li Yi，Hao Su，et al.PointNet+：DeepHierarchical Feature Learning on Point Sets in a MetricSpace C/Conference and Workshop on Neural Information Processing Systems，2017：5099-5108.11HU Qingyong，YANG Bo，et al.RandLA-Net：EfficientSemantic Segmentation of Large-Scale Point Clouds C/IEEE/CVF Conference on Computer Vision and PatternRecognition，2020：11105-11114.12Ji Hou，Angela Dai，Matthias Niener.3D-SIS：3D Se1289第 51 卷mantic Instance Segmentation of RGB-D ScansC/IEEE/CVF Conference on Computer Vision and PatternRecognition，2019：4421-4430.13Kaiming He，Georgia Gkioxari，Piotr Dollr，et al.MaskR-CNN C/IEEE International Conference on Computer Vision，2017：2980-2988.14Charles R Qi，Wei Liu，Chenxia Wu，et al.FrustumPointNets for 3D Object Detection from RGB-D DataC/IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：918-927.15Li Yi，Wang Zhao，He Wang，et al.GSPN：GenerativeShape Proposal Network for 3D Instance Segmentation inPoint Cloud C/IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：3942-3951.J.信息科技探索，2019（09）：116-117.XIONG Xiangcheng，LI Siyao.Application of Virtual Robot in Middle School Education J.Information Technology Exploration，2019（09）：116-117.6张旭，王智，崔粲，等.二维激光雷达定位建图系统设计与实现 J.光学技术，2019，45（05）：596-599.ZHANG Xu，WANG Zhi，CUI Can，et al.Design and Implementation of Mapping System for 2D Lidar PositioningSystem J.Optical Technology，2019，45（05）：596-599.7于燕，李宁.基于北斗和激光雷达的机器人导航控制方法研究 J.中国农机化学报，2019，40（08）：165-170.YU Yan，LI Ning.A Study on Robot Navigation ControlMethod Based on Beidou and Lidar J.China Journal ofAgricultural Mechanization，2019，40（08）：165-170.8孙巍伟，王晗，黄民.基于机器人操作系统的移动机器人激光导航系统 J.科学技术与工程，2019，19（20）：203-210.SUN Weiwei，WANG Han，HUANG Min.laser navigation system of mobile robot based on robot operating system ScienceJ.Technology and Engineering，2019，19（20）：203-210.9张伯源，高国伟.改进的卡尔曼滤波在MEMS陀螺仪信号处理的应用 J.传感器世界，2019，25（03）：18-24.ZHANG Boyuan，GAO Guowei.The Application of Improved Kalman Filtering in MEMS Gyroscope Signal Processing J.Sensor World，2019，25（03）：18-24.10李鲁明，赵鲁阳，唐晓红，等.基于改进卡尔曼滤波的陀螺仪误差补偿算法 J.传感技术学报，2018，31（04）：538-544，550.LI Luming，ZHAO Luyang，TANG Xiaohong，et al.Gyro error compensation algorithm based on improved Kalman filter J.Journal of Sensing Technology，2018，31（04）：538-544，550.11YE Feng，FENG Enxin.A method for attitude stabilization of two-wheeled vehicles based on quaternion andKalman filterJ.The method of attitude stabilizationJournal of Sensing Technology，2012，25（04）：525-528.12刘轶凡，肖文栋，吴健康，等.基于牛顿迭代和椭球拟合的磁力和惯性传感器校准方法 J.仪器仪表学报，2020，41（08）：142-148.LIU Yifan，XIAO Wendong，WU Jiankang，et al.Calibration method of magnetic and inertial sensors based onNewtonian iteration and ellipsoid fittingJ.Journal ofInstrumentation，2020，41（08）：142-148.13蔡浩原，赵晟霖，崔松叶，等.动态磁场校准的九轴惯性融合 J.光学精密工程，2020，28（09）：2007-2016.CAI Haoyuan，ZHAO Shenglin，CUI Songye，et al.nine-axis inertial fusion for dynamic magnetic field calibrationJ.Optical Precision Engineering，2020，28（09）：2007-2016.14Urban S，Hinz S.2016.Multi Col-SLAM-A modular real-timemulti-cameraSLAMsystem J.ArXiv：1610.07336.15Yang S，Scherer S A，Yi X，et al.Multi-camera visualSLAM for autonomous navigation of micro aerial vehiclesJ.Robotics and Autonomous Systems，2017，93：116-134.16Yang Scherer S A，Zell A，et al.Visual SLAM for Autonomous MAVs with Dual Cameras C/2014 IEEE International Conference on Robotics and Automation，2014：5227-5232.17Lynen S，Achtelik M W，Weiss S，et al.A robust andmodular multi-sensor fusion approach applied to MAVnavigation C/IEEE/RSJ International Conference on Intelligent Robots&Systems.IEEE，2013.18 Leutenegger S，LynenS，BosseM，et al.Keyframe-based visual-inertial odometry using nonlinear optimization J.The International Journal of Robotics Research，2015，34（3）：314-334.（上接第1269页）董雯等：基于语义特征的3D点云室内目标检测1290