结合局部增强与反向残差的点云语义分割网络.pdf

第 卷 第 期 激 光 与 红 外 ，年 月 ，文章编号：（）图像与信号处理结合局部增强与反向残差的点云语义分割网络温智成，王蕾，冯锦梁，叶森辉（东华理工大学信息工程学院，江西 南昌 ）摘要：激光点云是 传感器的输出，且对它的语义分割任务是理解真实世界的基础。基于图卷积的点云分割网络在许多场景下都展现了优异的性能。然而，现有的图卷积方法存在部分问题：点云局部表示的能力未得到加强，忽略了全局几何信息，并且聚合操作只保留局部最大响应值信息，而次最大值信息丢失。为了处理这些问题，本文提出 网络。利用局部几何加强（，）模块，使网络对 轴具有旋转不变性，以便加强点云局部信息表示；采用全局几何特征（，）模块，计算局部与全局的球体体积比，将其与坐标特征 进行连接，使全局几何信息特征得以保留；通过多个对称聚合操作将局部信息多方面地保留；网络中每层都使用残差操作，将上一层信息传递到下一层，以及利用反向残差模块（，）挖掘更深层次的语义信息。本文在 数据集上进行语义场景分割实验，验证网络分割的性能。实验结果表明该方法在分割精度上达到 ，相比于基准网络 提高 ，有效地提高了模型性能。关键词：点云语义分割；动态图卷积；局部几何加强；全局几何特征；反向残差中图分类号：；文献标识码：基金项目：江西省核地学数据科学与系统工程技术研究中心基金项目（）；江西省放射性地学大数据技术工程实验室开放基金项目（）资助。作者简介：温智成（），男，硕士研究生，主要从事三维点云分割方面的研究。：通讯作者：王蕾（），女，博士，副教授，硕士生导师，主要从事计算机视觉方面的研究。：收稿日期：；修订日期：，（，）：，：，（），（），（），：；引言随着 传感器的快速发展，激光点云的获取越来越便利。利用激光点云感知真实世界，在家庭智能机器人、自动驾驶与 等领域发挥着重要的作用。然而，点云与图像不同，图像为规则化的数据，而点云为非结构化且无序的数据，这使得基于网格的卷积神经网络（）难以应用。在最近几年，许多基于深度学习的方法被提出用于处理这一问题。这些方法大致可以分为 类：基于投影化的方法、基于体素化的方法和基于点的方法。然而，基于投影的方法 会导致大量的信息丢失，基于体素化的方法 会消耗大量的计算资源，而基于点的方法 ，无需对点云数据进行预处理操作，从而不会存在信息的丢失以及计算成本开销大的问题。但是在基于点的方法中，基于图卷积的方法 对上下文特征有很强的信息挖掘能力。它们根据点特征之间的相似性将点构造为图数据，并将二维卷积应用到激光点云上，其比基于逐点的方法取得了更高的精度。然而，该方法对点云局部表示能力未进行加强以及忽略了全局几何信息，并且使用最大池化操作聚合局部信息，导致仅保留了局部内的最大响应值信息。针对上述问题，本文提出 网络，由 （）（如图 所示）模块完成对点云局部的加强与全局几何信息的保留，模块包含了 （）与 （）模块。模块利用局部点与质心间的相对球坐标，使网络对点云的 轴有旋转不变性，从而加强点云局部表示；模块获取点云局部与全局的体积比，将其与点云坐标特征相连接，以保留全局几何信息；通过多个聚合操作以保留除最大响应值以外的特征信息；添加反向残差模块，挖掘更深层次的特征信息。本文贡献如下：使用 模块加强点云局部的特征表示；利用 模块保留全局几何信息；多个聚合操作将局部最大响应值与其他信息保留；通过反向残差模块挖掘更深层次的语义信息；网络在 数据集上的结果，超越了多个基线。为批量大小，为点数，为点的 等特征通道大小，为点的坐标特征通道大小，为邻近点数，为输出通道大小图 模块 基于深度学习的点云语义分割网络虽然深度学习在 与图像领域取得了重大的进展，但是在激光点云领域还未得到很好的探索。本文将回顾此前的研究，分别为基于投影的方法、基于体素的方法、基于点的方法与基于图的方法。基于投影与体素的方法。这两种方法需将点云转换为规则化的数据，对其进行卷积操作。前后两者分别将点云转换为图像与体素。提取每个视图的特征，并利用最大池化将它们聚合到全局描述符中。将每个视图提取到的视觉描述子进行建模分组。将点云转换为体素，利用三维卷积提取特征。采用不平衡的八叉树将空间分区，以减少空体素的数量，提高内存与计算效率。基于点的方法。是第一个将深度学习用于点云处理的网络，其提出以逐点的方式应用 ，随后利用最大池化聚合全局特征，但是未对点激 光 与 红 外 第 卷云局部信息进行挖掘。采用 的结构，关注点云局部的特征信息。利用核函数对局部每个点计算权重矩阵。通过自注意力机制从不同的局部区域学习信息。在全局上利用自注意力机制使每个点之间都相互关注彼此信息。基于图的方法。将点作为图的节点，并根据点之间的特征关系建立边。在特征空间上获取每个点相邻点，通过 与聚合操作进行预测。提出了可变形核，通过在多个尺度上进行聚合以提高模型性能。为不同的图节点分配不同的权重。综上所述，直接对点云进行操作解决了需对点云进行预处理的问题。然而，在上述基于图的方法中，点云局部表示的能力未得到加强，忽略了全局几何信息，以及聚合操作仅保留局部最大响应值信息。为此，本文提出了 网络，可以有效地加强局部表示与保留全局几何信息，提高语义分割精度。本文方法本文所提出 网络（如图 所示）受到动态图卷积 启发，采用 架构。通过将点云坐标、等信息作为特征，并利用该特征对每个点进行 近邻搜索，随后计算每个点与其相邻点特征的差值，将中心点特征与该差值进行拼接，从而构建了新的特征图，如图 所示。利用 与最大池化学习新的特征图局部特征信息。图 网络结构 图 构建新的特征图 该网络由 个关键模块组成。第一个是 （）模块，其可加强点云局部信息 表 示。第 二 个 是 （）模块，目的是保留全局几何信息。第三个是 （）模块，为了挖掘点云深层次的语义信息。模块在点云大场景语义分割中，同类别物体的不同朝向，会导致该物体的语义分割结果出现差别。这会在一定程度上影响整个场景语义分割的性能。为了增强对方向的鲁棒性，且受到 的启发，本文利用球坐标加强局部几何表示。通过计算局部内每个点与该局部质心点之间的相对角度，其对 轴具有旋转不变性，如图 所示。其中（）计算 与 之间的角度，；（）计算 与 之间的角度，；（）、（）、（）计算 与，以及 与之间的差值。图 局部几何加强模块（）（）计算距离与角度。通过将笛卡尔坐标系的点坐标应用至式（）、式（）、式（）以计算距离（）与角度（，）。为点 与点 之间的距离，为 点 与 点 之 间 的 角 度。定 义：，为点 的 个近邻点，表示某个局部区域。槡（）槡()（）()（）其中，()是点 在笛卡尔坐标系中的坐标。计算质心的角度。通过局部区域的点坐标计算出质心。本文定义从 到 的方向为局部方向。激 光 与 红 外 温智成等结合局部增强与反向残差的点云语义分割网络此种定义法存在有 种益处：）质心能够反映出局部区域的整体特性；）通过使用质心，能够减少下采样所产生的随机性。根据式（）与式（）计算出质心的角度，。计算相对角度。将区域内每个点的与质心点的角度相减，可以获得相对角度 ，。（）（）模块点云密度作为点云的内在几何属性特征，反映的是点云内部间隔的变化。密度的剧烈变化，通常表示该点所属物体的变化。这种特性可以在点云特征中额外添加几何信息，以提高分割的性能。将 定义为局部与全局的球体体积比，如图 所示。其中，表示点 的 个近邻点所组成局部的球体体积，是输入点云的球体体积。将在局部内距点 最远点的距离作为局部球体半径，而计算全局球体半径，需要计算输入点云的质心点，将在输入点云内距质心点最远点的距离作为全局球体半径。通过式（）可以获得局部球体体积与全局球体体积。（）图 全局几何特征模块（）（）模块受到 启发，本文利用 模块挖掘深层次的语义信息。传统残差结构是先将输入特征降维再升维，而反向残差结构将输入特征升维再降维。通过将输入特征升维，学习更丰富的特征信息。该模块添加在 模块后，以挖掘深层次语义信息。实验 数据集本文在 数据集上验证 网络的有效性。是一个高质量的室内场景数据集，大小约为 ，它包含了 个不同室内区域，总共占地约 ，包含 个房间。该数据集有 个类别（墙，地板，椅子等）。以 轴与 轴所组成的平面为基准，随机性地选取 的区域。图 反向残差模块（）（）从该区域内随机性地选取 个点为输入数据。在一个装有 的服务器上进行实验，并且使用 框架。实验参数设置该网络总共训练 轮，本文使用初始学习率为 的 优化器，以及利用余弦退火算法使学习率逐渐衰减。邻居点数设置为 ，即 。训练时，设置为 ；测试时，也同样设置为 。实验结果通过表 可知，网络在 上分割指标中，为 ，为 ，为 。与此前的方法相比，特别是与图卷积算法 和 相比，指标分别提高 和 ，验证了本文方法的有效性。此外，为了直观地呈现分割结果，本文将 数据集内的部分房间可视化，如图 所示，图从左至右每列分别为：输入点云数据、真实语义、预测语义、预测语义。消融实验在本节中，为了验证网络中各个模块的有效性，本文在 上进行消融实验。如表 所示，移除所有模块，分割性能下降 。第一行至第三行说明，添加 与 模块可以提高模型的性能。添加 模块与未添加该模块的激 光 与 红 外 第 卷结果相比，即第三行与第四行相比，分割性能上升 ，表明该模块能够显著地提高模型性能。表 不同方法在 上的结果 图 在 上语义分割可视化 表 在 上消融实验结果 结果 总结针对现有图卷积点云分割网络的局部表示能力弱、全局几何信息缺失与局部聚合仅保留最大响应值等问题，本文提出 网络，通过引进 模块与 模块，在图卷积过程中对点云局部信息加强与保留全局几何信息，采用多个聚合操作保留点云局部内最大响应值与其他信息，同时利用 模块挖掘深层次的语义信息。在 上评估所提出网络，该网络在分割精度上达到 ，与 、以及 网络相比，语义分割性能分别提高了、与 。针对 模块、模块与 模块的消融实验表明，这三个模块能够有效地提高模型的分割性能。虽然该网络提高了分割性能，但在点云分割任务中，收集并标注大规模点云的成本相当昂贵，所以使用无监督学习来处理未标注的点云将成为下一步工作的重点。参考文献：，：，：，：，：，：（），：，：（），：，：，：，：，：，：激 光 与 红 外 温智成等结合局部增强与反向残差的点云语义分割网络 ，：，：，（）：，：，（）：，：，：（），：，：，：，（），（）：，：，：，：，：（），：，：，（）：（）刘友群，敖建锋 基于多信息深度学习的 点云语义分割 激光与红外，（）：，（）：（）敖建锋，苏泽锴，刘传立，等 基于点云深度学习的 目标 检 测 激 光 与 红 外，（）：激 光 与 红 外 第 卷