基于语义连通性的室内RGB-D深度图像超体素融合与分割.pdf

自动化应用数据处理与人工智能基于语义连通性的室内RGB-D深度图像超体素融合与分割王锦洋（福建省经纬数字科技有限公司，福建福州350 0 0 2）摘要：室内复杂场景三维点云数据具有粘连性和非结构性，针对传统方法对室内场景进行三维重建不能较好地分离其所包含物体的问题，本文提出了顾及语义连通性的RGB-D深度图像超体素分割与融合方法。首先，从空间位置、颜色特征、结构特征、法向量、部分与整体的关系等方面定义语义连通规则；其次，实现了RGB-D深度图到三维点云的转换，并对转换后的点云构建了Kd-tree索引；最后，利用点云过分割算法VCCS对深度图点云进行超体素分割，并采用局部凸包连接算法融合生成的超体素顾及语义连通性。实验结果表明，当Rvoxcl=0.0075，Rs e d l=0.8，W=2.0，w,=0.4，W n=1.0 时，场景分割效果最为理想，且场景中的桌面及其上面的铁盒、碗及柱状物体都能较好地区分。关键词：RGB-D深度图，超体素，三维点云，语义连通性中图分类号：TP391.41Super-Voxel Fusion and Segmentation of Indoor RGB-D Depth Images BasedAbstract:The 3D point cloud data of indoor complex scenes are adhesive and unstructured,and for the problem thattraditional methods for 3D reconstruction of indoor scenes cannot better separate the objects they contain,this paper proposesa method for super-voxel segmentation and fusion of RGB-D depth maps that takes into account semantic connectivity.Firstly,the semantic connection rules are defined from the spatial position,color feature,structure feature,normal vector,the relationship between part and whole,etc.Secondly,the conversion of RGB-D depth map to 3D point cloud is realized,and build the transformed point cloud the Kd-tree indexes.Finally,the over-segmentation algorithm of VCCS is used tosegment the depth map point cloud,and the Locally Convex Connected Patches is used to integrate the generated supervoxelwith semantic connectivity.The experimental results show that when Rvoxel=0.007 5,Reed=0.8,w.=2.0,w,=0.4,w,=1.0,thescene segmentation effect is the best,and the tabletop and the iron box,bowl and columnar object above the scene can bewell distinguished.Key words:RGB-D depth map,super voxel,three-dimensional point cloud,semantic connectivity文献标识码：Aon Semantic ConnectivityWANG Jinyang(Fujian Jingwei Digital Technology Co.,Ltd.,Fuzhou,Fujian 350002,China)0引言从二维RGB图像的目标检测与识别到RGB-D的三维目标检测与识别，涉及的技术范围广泛，主要包括RGB-D图像分析、点云分析操作,其中还包括RGB-D图像的语义连通性提取。针对三维的目标检测和物体识别，点云分析和处理尤为重要。通常一些目标分割、目标识别的研究都是对户外采集的点云进行分割处理，相对于室内场景，户外大场景较为简单，而智能机器人等主要是在室内进行服务。但在室内环境中，房间内的各种物品及摆放的位置、顺序、阴影等都会影响RGB-D图像的生成效果及点云质量。若室内摆放物体较多，相互之间都有重叠部分,在分割单个物体时会变得非常困难。由于点云中点本身不包含空间邻接拓扑信息，它们只是相对孤立的点，而场景整体点云具有明显的语义关联性,如整体与部分的关联、法向量连续可导性、颜色纹理的一致性等关联信息。因此，本文在研究室内场景重建的基础上，对室内场景点云中包含的物体模型进行超体素点云分割,然后基于语义的连通性将具有相同语义信息的点云进行聚类，提取对象，最后将分割的物体进行三维建模。作者简介：王锦洋，男，19 6 5年生，高级工程师，研究方向为摄影测量与遥感。182|自动化应用数据处理与人工智能自动化应用根据曲率及法向量分割物体，当分割曲率变化较大的物体1 相关工作（如桌子、椅子等)时，仅能分割物体的一部分，不能很好地在对室内场景进行三维重建时经常会产生一些问题，将语义信息一致的点云聚为一类。因此,针对此类问题,本如点云噪声的去除、相邻帧或多顿点云的相互配准和拼接文根据点云本身的语义连通性，如整体点云与部分点云的以及三维点云的曲面重建等1。在空洞及噪声去除方面，关系、点云的纹理分布特征等，采用超体素融合分割的方常见的算法包括差值法、函数优化法及滤波法2。文献3法17 分类提取室内点云。提出了一个迭代的深度边界细化框架，用于恢复Kinect2.1 超体素分割深度图。该框架首先提取深度边缘并检测不正确的区域，本文主要的分割目标是室内点云，为了根据语义连通然后重新填充不正确的区域，直到深度边缘与颜色边缘一性规则提取其中的单个物体并根据提取的边缘信息完成致为止，从而填补深度图的空洞。文献4则针对Kinect物体的三维重建,需要采用典型的点云过分割算法(Voxel传感器采集的深度图像中存在大面积空洞的问题，提出了Cloud Connectivity Segmentation,VCCS)对深度图点云进行一种模糊C-均值聚类引导的深度图像修复算法。该算法超体素分割。VCCS算法最先是由J.Papon等18 1提出的超首先对彩色图像进行模糊C均值聚类，然后利用快速行体素分割算法。由于三维点云中的点都是散乱独立的个进算法，引导深度图像修复空洞，最后利用双边滤波去除体，为了建立它们之间的空间拓扑关系，该算法首先需对图像中的离散噪点。文献5则是利用深度学习的方法,结点云创建邻域图。在体素的构建中,由于存在共面、共面或合深度图和彩色图预测空洞区域的边界特征，并通过函数边、共面或顶点或边3种情况，应采用2 6 邻域格。然后通优化方式实现空洞区域的填充。该方法取得了良好的效过kd-tree高级搜索算法,搜索所有落在体素格网内的点，果。在对室内进行三维重建时，点云的配准尤为重要。但由设置一定的体素分辨率、种子分辨率、颜色权重、距离权于室内场景较为复杂，获取数据时无法从同一角度采集，重、法线权重等,分别将对应的点转化为体素云。其中,体因此,需要拼接从不同角度获取的三维点云数据6。素分辨率及种子分辨率会直接影响体素生成数量。最后基虽然点云配准的应用研究已非常广泛，但目前基于语于语义连通性的规则，并通过体素间的空间位置、颜色特义连通性的点云配准研究仍较少。文献7 提出了一种基征、及法向量等一些规则特征将所有特征属性相同的体素于语义信息配准点云的语义正态辅助变换方法，该方法被聚类为一个整体，从而完成超体素分割。该算法主要包括称为SE-NTD,它可以通过语义信息将点云划分为一组正点云数据体素化、筛选种子体素、特征描述及距离度量、迭态分布，然后分别进行配准，以降低配准的复杂性。文献代聚类。8提出了非刚性配准及优化方法，该方法能够根据语义在有效组织与存储室内点云数据后，开始对点云进行找到良好的对应关系，即使动作幅度较大也能很好地进行体素化处理,处理前,需要通过Kd-tree 搜索的方式将点配准。文献9 则提出了一种基于拓扑图和柯西加权范数云数据转换成体素云,具体的处理流程分为3个步骤。（1)的鲁棒高效点云配准方法，该方法不需要初始化，并且对根据点云坐标中的最大值和最小值建立最小外包盒。（2)异常值和部分重叠具有很高的鲁棒性。在点云分割方面，重新以顶点为坐标原点，保持方向与原始坐标相同，建立文献10 提出了一种三维激光点云中建筑物立面渐进分新的体素坐标系,设置体素分辨率(即为坐标单位长度)，割方法实现对建筑物立面的完整分割，但不太适用于曲生成体素空间，该体素空间为原始点云在三维空间下的子面。在3D重建方面,文献11是将深度学习的方法应用空间。（3)利用落在单位体素网格内所有点的质心代表相于此,提出了一种高效的基于零件的递归生成网络，以生应的体素网格,所有网格内的质心点集合即为体素云。构成具有细粒度结构、更准确的模型。文献12 则是提出了建完成体素云后，还需根据体素云的特征如空间坐标、颜一种简单有效的LiDAR和RGB数据融合方法分割色特征等对其进行聚类，其特征向量的表达式为：LiDAR点云。对点云的分割大多数都是针对LiDAR点云F=x,y,z,L,a,b,FPFH1k3的处理13-14,而对RGB-D深度图点云研究相对较少。式中x,y,z为体素的三维坐标;L,a,b为体素的颜色特征；FPFH1k33为快速点特征直方图，该直方图是33维的特2结合语义连通性的超体素分割与融合征向量。体素的空间位置特征则用落在网格内所有点的质目前，已有的许多分割算法虽然都能在一定程度上分心表示，尽管点云的颜色特征为RGB，但只需将其转化为割物体点云，但对于室内复杂环境都有自身的局限性。如Lab特征即可。体素的相似性距离度量表达式为：RANSAC算法10,其主要用于平面拟合,适用于建筑物的立面等平面点云的分割。欧氏聚类15则是通过设置空间距离阈值，分割两簇间断的点云，但对室内点云不太适用，它无法分割室内堆放在一起的物体。由于区域增长算法16 是(1)(2)一+3Rl式中：D、D,D i分别为体素空间坐标下相邻体素间的颜色距离、三维空间下欧氏距离、法线方向距离（直方图交叉2023|16期/18 3自动化应用数据处理与人工智能核);w。w,w,分别为上述各对应距离的影响因子;l为常数;Rsed为种子分辨率。由于各距离的变化范围不同，需要对其进行归一化处理,其中,颜色距离需除以常数l,而相邻体素的搜索距离最大值设置成V3Rsed，方可使其距离得以归一化处理。体素聚类过程实质上是迭代过程，应先从种子体素出发,根据Kd-tree搜索方式搜索其周边,其中,搜索半径最大值为V3Rsed;然后通过式(2)计算相邻体素间的相似性距离，标记最近相邻体素，并将该体素添加到搜索队列中；最后继续向外逐层搜索近邻体素，计算近邻体素到种子体素中心内所有体素的距离均值,并标记均值最小的体素,重复迭代,直到聚类中心外所有的体素都遍历完为止。该过程是根据邻域图搜索邻域体素,对象物体的边界不会因超体素标签而受影响，较好地保留了物体的边界。此外，符合条件的近邻体素是以聚类中心向外围不断扩展标记，因此，标记的超体素在空间上相互关联。2.2超体素融合超体素进行聚类后,其结果仍过于细化,并不能很好地表达物体的语义信息,因此,还需要利用超体素的语义连通性进一步融合生成的超体素，并根据其规则将语义相似的超体素融合为一个整体。常见的超体素融合约束条件有3种：平滑性约束、空间连通性约束和表面几何特征约束。作为一种正则化约束，平滑性在计算机视觉领域应用广泛，比较常见的平面拟合方法有随机一致性算法及最小二乘拟合。在超体素中,超体素的法向量可以用体素网格中质心点法向量表示，以判断两个体素间的光滑程度,同时，可根据两体素间法向量的夹角，设定一定的指定范围进行表示。当夹角小于指定阈值时，表面较为平滑，反之则凹凸性较强。空间连通性则能更好地区分物体的边界，由于在同一区域中的数据是相互关联的,若数据出现断开或不连通情况，则表明该数据为两片不同的分割区域。数据的几何特征通常使用法线和曲率表示，但法向量及曲率都是通过K近邻点使用极少的参数进行计算，该特征并不能较好地反映全局范围内的信息，还需借助点特征直方图反映超体素数据的表面几何特征。超体素的融合方案有Graph-base算法及监督学习分类。前者为通过迭代计算相邻超体素间的相似性,结合上述提出的相关融合约束条件，融合相似度极高的体素。该算法虽然是在二维图像处理基础上衍化而来，但其本质融合策略仍为贪心算法，很难从三维点云中提取相关物体。而监督学习分类虽然能取得较好的分割结果,但需要有足够的样本对其进行训练。当场景包含未训练的物体时,则不能识别，限制了该方法在实际场景中的应用。本文采用局部凸包连接算法(Locally Convex Connected Patches,LCCP)融合生成的超体素。该算法不依靠体素的颜色信息，仅通过语义连通性规则中的空间信息及法向量信息判断相邻体素的凹凸性。凹凸关系可用CC（Ex t e n d e d Co n v e x i t yCriterion)和SC（Sa n i t y Cr i t e r i o n)来表示,其中,CC是通过相邻体素质心点连线向量与其各自法向量间的夹角大小判断两块体素的凹凸性,如图1所示,若ai0meh(n,n2)SC(p.,P,)=/t(falseotherwise通过上述方法获得相邻超体素间的凹凸性关系后，可利用区域增长算法将相邻区域超体素聚类成含实际语义信息的物体，该算法是根据区域跨越凸边进行增长，可实现超体素的融合分割。3实验与结果分析实验数据为小觅深度相机采集的RGB-D深度图生成的点云，初始点云包含40 447 9 个点，如图3所示。图3初始点云图采用点云过分割算法对点云进行超体素分割，分割结果如图4所示。在超体素生成过程中将体素分辨率设置为concave3DTop ViewV(3)(4)(5)184|自动化应用数据处理与人工智能自动化应用0.008，种子分辨率设置为0.0 8,w。w s、w,分别设置为0.2、1.0；图5(e)颜色权重设置为0.2,距离权重设置为0.8,法0.4、1.0,在该参数下生成的超体素个数为2 2 0 个。同时，为线权重设置为1.0；图5(f)颜色权重设置为0.2,距离权重了更直观地展示相邻超体素间的位置关系，将空间位置相设置为0.4，法线权重设置为2.0。从图5中相邻超体素中邻超体素的中心用白线相连。由图4可知，原始点云被分心连线可以明显看出，当任意3个权重值发生改变时，所割成了多个超体素,生成的超体素将更好地反映物体的边生成的超体素中心都将变化。界信息，方便提取后续物体。超体素分割完后，采用局部凸包连接算法对其进行融合，得到的结果如图6 所示。(a)图4对初始点云进行超体素分割结果生成的超体素个数及相邻超体素的空间位置关系受上述5个参数的影响，调节上述5个参数，生成的超体素分割结果如图5所示。(b)1(a)R=0.02,R=0.08,W,=0.2,w,=0.4,w,=1.0(b)R=0.008,R=0.08,w,=0.2,w,=0.4,w,=1.0(c)Rw=0.008,Rw=0.6,w=0.2,=0.4,w,=1.0(d)Rw=0.008,Rw=0.6,w,=0.6,w.=0.4,w,=1.0(e)Rw=0.008,Rm/=0.6,w.=0.2,w=0.8,w,=1.0(f)Rw=0.008,Rm/=0.6,w=0.2,w=0.4,w=2.0由图5可知,图5(a)中的体素分辨率为0.0 2,种子分辨率为0.0 8,www,分别设置为0.2、0.4、1.0，生成的超体素为157 个，图5(b)中将体素分辨率设置为0.0 0 8,其余参数不变,生成的超体素为2 2 0 个。对比图5(a)与图5(b)可以看出,当体素分辨率增大时,图5(a)生成的超体素明显比图5(b)更稀疏,减少了6 3个。图5(c)中体素分辨率为0.0 0 8,将种子分辨率增大到0.6,其余参数不变,生成的超体素为8 个。与图5(b)相比,由于种子分辨率由0.08变为0.6,生成的超体素减少了2 12 个。图5(d)一(f)在体素分辨率和种子分辨率不变的情况下，改变其他参数,生成的超体素为8 个,由此可知,生成超体素个数由体素分辨率及种子分辨率决定，当体素分辨率和种子分辨率增大时,生成的超体素个数将相应减小。图5(d)一(f)中体素分辨率为0.0 0 8,种子分辨率为0.6,通过控制变量,分别设置不同的权值可得到不同的分割结果。其中,图5(d)颜色权重设置为0.6,距离权重设置为0.4，法线权重设置为(c)图6 基于语义连通性的超体素融合分割结果图 6(a)中,Rvoxl=0.007 5,Rsed=0.08,w=0.2,w,=0.4,w,=1.0,生成的超体素为2 18 个,由图6(a)可知,由于体素分辨率及种子分辨率值设置过小，生成的超体素过多，最终融合未能达到理想状态，导致分割过于细化，点云中的桌面、铁盒、碗等都不能很好地识别提取，难以实现物体语义信息融合。图6(b)中,Rvoxel=0.0075,Rsed=0.8,W=0.2,w,=0.4,w,=1.0,生成的超体素为6 个，相较于图6(a),将种子分辨率的值扩大了10 倍,得到的超体素个数大幅减少,且图5不同参数下生成的超体素结果由图6(b)可知,桌面上铁盒基本聚为一体,但由于受桌面物体点云影响，桌面被分为了两个部分，且桌面上圆柱体也未能区分。图6(c)中,Rvoxe=0.0075,Rsed=0.8,W=2.0,w.=0.4,w,=1.0,生成的超体素为6 个,相较于图6(b),图6(c)中在体素分辨率及种子分辨率不变的情况下,将颜色权重值由0.2 变为2.0 最终将桌面点云聚为一类,且由图6(c)可知，桌面上的铁盒、碗及柱体都较好地区分,各物体的边缘信息也较好地保留。总之，从实验效果可以看出，体素分辨率及种子分辨率直接影响后期超体素融合的结果，若二者设置不合理，将导致生成的超体素过多或过少,最终出现过分割或欠分割现象。为此,应根据实际情况合理设置权重值，使语义信息相同的点云进行融合。4结语针对传统的点云分割算法对室内物体分割效果不理想的问题，本文提出了超体素融合分割策略。该策略的实现包括3个步骤：（1)对点云数据进行体素化操作，转换成2023|16期/18 5自动化应用数据处理与人工智能体素云；(2)通过特征描述与距离度量对其进行空间聚类，该聚类过程实际上是迭代过程，能根据邻域图搜索邻域体素，较好地保留了物体的边界信息，且标记的超体素在空间上相互关联；(3)由于超体素聚类后仍存在过于细化现象，需要采用局部凸包连接算法对其进行融合处理，使相邻超体素聚类成一整体。实验结果表明，体素分辨率及种子分辨率将直接影响超体素生成的个数，而颜色权重、距离权重及法线权重则能控制超体素聚类的中心位置。本文采用室内RGB-D数据得到的分割结果较为理想，但当种子分辨率设置不当时,超体素融合后的效果不太理想,因此，合理地控制超体素生成的个数，是后期融合分割的关键。1Barreto M A,Huegel J C,Fuentes R Q,et al.Non-staticobject reconstruction system based on multiple RGB-D camerasCJ/nternational Society for Optics and Photonics,2020,11433.2孙国强，嵇卉，庞岩.机载点云空洞的修复方法J.北京测绘，2020,34(2):185-189.3JDeng Huiping,Wu Jin,Zhu Lei,et al.Texture edge-guideddepth recovery for structured light-based depth sensor J.Multimedia Tools&Applications,2017,76(3):4211-4226.4万红，钱锐.模糊C-均值聚类引导的Kinect深度图像修复算法J.计算机应用研究，2 0 19，36(5)：156 4-156 8.5Li Jianwe,Gao Wei,Wu Yihong.High-quality 3D recon-struction with depth super-resolution and completion J.IEEEAccess,2019,7(19):370-381.6JLi Wei,Wang Cheng,Lin Congren,et al.Inlier extraction forpoint cloud registration via supervoxel guidance and game theoryoptimization J.ISPRS Journal of Photogrammetry and RemoteSensing,2020,163:284-299.7Nuchter A,Wulf O,Lingemann K,et al.3D mapping withsemantic knowledge CJ/Robot Soccer World Cup,Springer,2005:335-346.8Chang S,Ahn C,Lee M,et al.Graph-matching-basedcorrespondence search for nonrigid point cloud registration J.Computer Vision and Image Understanding,2020,192(C):102899-102899.9JLi Jiayuan,Zhao Pengcheng,Hu Qingwu,et al.Robust pointcloud registration based on topological graph and cauchyweighted 1 q-normJ.ISPRS Journal of Photogrammetry andRemote Sensing,2020,160:244-259.10卢秀山,邢恺强,刘如飞,等.一种三维激光点云中建筑物立面渐进分割方法J.测绘科学，2 0 19,44(12)：7-13.11JZhang Yang,Huo Kai,Liu Zhen,et al.PGNet:A part-basedgenerative network for 3D object reconstructionJJ.Knowledge-Based Systems,2020,194:105574-105574.12JKrispel G,Opitz M,Waltner G,et al.FuseSeg:LiDAR pointcloud segmentation fusing multi-modal dataC J/2020 IEEE WinterConference on Applications of Computer Vision(WACV),2020:参考文献1874-1883.13 JLi Xuyou,Du Shitong,Li Guangchun,et al.Integrate point-cloud segmentation with 3D LiDAR scan-matching for mobilerobot localization and mappingJJ.Sensors,2020,20(1):237-237.14JYang K,Bi S,Dong M.Lightningnet:Fast and accuratesemantic segmentation for autonomous driving based on 3D LiDARpoint cloud C J/IEEE International Conference on Multimediaand Expo(ICME),2020.15薛连杰，齐臣坤，张彪，等.基于3维点云欧氏聚类和RANSAC边界拟合的目标物体尺寸和方位识别J.机械设计与研究，2018,34(5):44-48+53.16肖顺夫，刘升平，李世娟,等.改进区域增长算法的植株多视图几何重建J.中国农业科学，2 0 19,52(16)：2 7 7 6-2 7 8 6.17Ni Huan,Niu Xiaonan.SVLA:A compact supervoxelsegmentation method based on local llocationJJ.ISPRS Journalof Photogrammetry and Remote Sensing,2020,163(11):300-311.18Papon J,Abramov A,Schoeler M,et al.Voxel CloudConnectivity Segmentation-Supervoxels for Point CloudsCJ/lIEEE,Computer Vision and Pattern Recognition(CVPR),2013:2027-2034.（责任编辑：周贵兰）186|自动化应用