一种基于图卷积的车载视频对象语义分割方法_赵江洪.pdf

第 卷第期 年月测绘科学 作者简介：赵江洪（），女，新疆阜康人，教授，博士，主要研究方向为三维激光雷达数据处理。：收稿日期：基金项目：国家自然科学基金项目（，）；国家重点研发计划项目（）；地理信息工程国家重点实验室开放基金课题项目（）；北京建筑大学市属高校基本科研业务费专项资金项目（）；北京市自然科学基金项目（）；武汉大学测绘遥感信息工程国家重点实验室开放基金资助项目（）；自然资源部数字制图与国土信息应用重点实验室开放研究基金项目（）；住房和城乡建设部软件学研究项目（）；北京市社会科学基金决策咨询重大项目（）通信作者：尹利莎 硕士研究生 ：引文格式：赵江洪，尹利莎，陈先昊，等一种基于图卷积的车载视频对象语义分割方法 测绘科学，（）：（，（）：）：一种基于图卷积的车载视频对象语义分割方法赵江洪，尹利莎，陈先昊，杨甲，郭明，（地理信息工程国家重点实验室，西安 ；北京建筑大学 测绘与城市空间信息学院，北京 ；自然资源部 城市空间信息重点实验室，北京 ；建筑遗产精细重构与健康监测北京市重点实验室，北京 ；武汉大学 测绘遥感信息工程国家重点实验室，武汉 ；北京浩宇天地测绘科技发展有限公司，北京 ）摘要：针对图像语义分割网络（）在对车载视频分割过程中，因局部特征的丢失造成语义分割精度不高的问题，该文提出一种具有权重系数和图卷积网络的视频分割深度卷积网络（）。该网络对 进行改进，在高级特征提取过程中加入图卷积结构，通过扩大节点的感受野减少局部特征的丢失。该网络又利用 注意力机制改变特征图谱的权重系数进一步提高网络编码能力。对 数据增强验证后结果表明，在满足车载视频对象的快速响应范围内，能够很地改善分割过程中出现的碎片化状况，较好地分割出相邻目标对象，对车载视频的整体分割精度达到 ，较现有的最优网络提升了，尤其对自动驾驶较为重要的车辆、行人等类别的语义分割精度提升了。关键词：车载视频；视频语义分割；图卷积【中图分类号】【文献标志码】【文章编号】（），（，；，；，；，；，；，）：，（）测绘科学第 卷 ，：；引言随着自动驾驶技术的普及，对于自动驾驶系统的精度要求也越来越高。车载影像作为自动驾驶所能获取的主要数据之一，其使用以及处理方式，将直接影响到自动驾驶系统的精度最高值。利用基于深度卷积神经网络的计算机视觉技术来处理车载视频影像则是目前较为主流的一种处理手段。在计算机视觉技术中，对于图像视频的处理主要分为目标检测与语义分割两类。相比目标检测只能辨别出对象的大概位置，语义分割可以将每个对象延轮廓与其他对象进行区分，因此在处理自动驾驶所需要的车载视频对象时更为适用。基于深度学习的视频对象语义分割方法主要分为类：对视频的每一帧或关键帧都采取监督分类的全监督语义分割，该方法精度较高，但是受分割效率限制，应用领域较少；半监督语义分割，即对视频的第一帧图像做语义分割，以第一帧为先验数据对后续视频采取基于深度学习的语义分割操作。该方法分割精度一般，但是目前应用最广泛的语义分割方法；直接对整个视频采取基于深度学习的非监督语义分割，该方法精度最低，目前实际应用不多，但其分割速度快且有很强的适应性。在全监督语义分割方面，年文献 提出了全卷积网络，对特征图谱进行上采样将，每层特征图谱的分辨率都提高并与前一层的特征图谱相叠加，以此完成特征融合，这样得出的成果图像可以还原到与原始图像的分辨率相同的状态。在这之后，文献 建立了 ，该网络放弃了全连接层，而采用捷径连接的手段来补偿池化过程中所损失的位置信号，并利用向上采样技术将特征图谱恢复至和输入图像一样大，并通过数据增强和加权损失的方式克服了信息量过小的问题。文献 提出 网络结构，重新设计跳跃路径，意在减少编码器和解码器特征图之间的语义差距。由于这两种网络在网络结构上都存在连接过多的问题，因此网络运算效率难以得到优化。因此，文献 提出了 ，在分割性能与准确度之间保持了较好的平衡。而文献 提出了 网络模型，在减少了运算量的情形下还增大了感受野，并由于使用多尺度特征选择，同时获得了全局和局部的语义特征，最后又采用条件随机场优化边缘效果，进一步提高了语义分割的准确度和速度。除了考虑分割准确度之外，文献 还另辟蹊径，提出了一种全局卷积网络方法来同时处理语义分割的类型与位置问题，并通过将残差以更加细分对象界限。无独有偶，文献 也提出了基于超列的方式，把网络上对应像素的每个节点的激活串联为特征，并同时处理对目标的检测和分割这两个问题。此外，文献 将预测段作为卷积特征映射上的掩码，将预测段的卷积特征直接从数据中去除，并进行训练分类器以实现特征识别。文献 将语义分割视为二进制划分问题，可以进行不依赖于边界、超像素或是其余任意形式的低层分割。在经历了特殊方向的发展后，文献 回归本质，以 为底层网络构建了多规模、多维度的特征金字塔网络，并在 上增加了一个全卷积网络，用较小的时间成本，换取了良好的分割精度和算法效果。文献 设计了 ，该网络通过在不同尺寸的图像上进行级联加速，在保证一定的语义分割精度的前提下提高了语义分割的效率，但这种效率放在视频对象上仍显得有些乏力。因此，文献 设计第期赵江洪，等 一种基于图卷积的车载视频对象语义分割方法了一种双边分割网络系统，降低采样率并进行高速向下采样，使网络系统中能够存储良好的空间信息，并且得到了足 够 的接 收范围。文献 提出了深度多层聚合方式，每层网络所获取的特征信息都会被下一级所利用，通过这种特征提取方法可以在降低了计算量的前提下，完全保证了特征的丰富性，同时也有效提高了各个层级特征间的融合，进而提高了语义分割准确率。年文献 提出了一种基于特征一致性的视频目标分割算法，该算法是基于马尔科夫随机场的图论方法，将图像处理成超像素，并在其中加入了基于特征一致性的能量约束项，虽然精度上不算太高，但较其他对每一张图像都进行语义分割的方法在分割速度上有了明显提升。文献 利用孪生网络提取首帧目标特征，并以此为参照找到后续帧的相似特征，完成后续视频分割，大幅度提高分割速度。综上所述，现有方法虽然对卷积神经网络做了改进，但在下采样时，所有的卷积层都是对像素信息结构进行处理，导致在对高级特征进行下采样时局部特征信息提取不全面，从而降低语义分割精度。针对上述问题，本文从全监督视频语义分割方法入手，利用图卷积网络（，）结构对视频对象进行语义分割，并与 结合引入 （）注意力机制，通过改变特征图谱的权重来强化特征学习的性能，构建出新的语义分割网络模型，一种具有权重系数和 的视频分割深度卷积网络（，）。试验结果表明，网络在语义分割效果上大幅减少了碎片点数量，总体实现区域化，能够较好地从复杂环境背景中分割出相邻目标对象以及细节对象，达到自动驾驶的相应需求。基于图卷积的语义分割网络 的构建 语义分割网络 是一个主流的图像语义分割网络，网络结构如图所示，其核心部分是由编码网络层、与其对应的解码网络层和一个分类层组成，分类层与解码网络层相连接。图 网络结构 在编码网络中的每一个编码器都通过一组卷积运算核来产生一系列的特征图谱，后接一层由批量归一化层、激活函数、最大池化层组成的连接层，最大池化层用来保证在小空间中移动时的空间不变性，同时也可以在特征图谱上有较大的感受野。在编码网络中储存了特征图谱中每个池化窗口中权重值最大的位置信息，而没有对边缘信号进行捕捉与保存，对结果准确率造成轻微损失。解码网络中的解码器则是利用编码过程中保存的池化窗口中的权重最大值的位置对输入的特征图谱进行上采样处理，如图所示。在产生稀疏的特征图谱后，连接一系列可训练的卷积核，输出密集的特征图谱，并使用批量归一化层以规范化处理减弱过拟合问题。最后将解码网络输出的高维度的特征输入一个可训练的 分类器，对每个像素进行单独分类。图编码解码结构 测绘科学第 卷从整体结构上看，仍然沿用了普通深度卷积神经网络的结构，因此只能处理欧几里得结构数据。卷积神经网络能够快速地从欧式数据中学习到平移不变特征和局部连接特征，因此可以提取出整个数据集的特征图谱。但是网络会在提取高级特征的过程中因为特征的下采样而造成局部特征丢失，在最后生成的特征图谱中就会丧失很多的像素级信息，这也就直接影响了后续语义分割的精度。语义分割网络构建为改善 网络在高维特征提取过程中存在的局部特征丢失问题，构造出一种新的视频分割网络 。该网络对 网络进行改进，以图卷积结构修改骨架网络，通过添加 注意力机制改变特征图谱的权重系数，进一步增强空间编码能力和网络表示能力。网络结构如图所示，该网络由部分组成，分别为卷积层、池化层、图卷积层、注意力机制、上采样层、层，最后又引入跳跃连接策略。其中，卷积层负责提取特征，池化层负责对特征进行压缩，上采样层负责将压缩后的特征恢复原有的维度，层负责分类，对模型结果进行归一化。跳跃连接策略是在网络准确率已接近或达到饱和的情况下，添加一个恒等映射层，将输入直接映射到输出的位置，打破神经网络的层数约束，达到之前所达不到的深度。图 网络结构 图卷积层的构建图卷积层作为 网络结构中最重要的一环，负责在提取高级特征的过程中保证局部位置信息的完整性。对于数据结构分类，除了像图片等排列整齐的欧几里得结构数据，还存在非欧几里得结构数据，其空间结构通常是随机排布的，如知识图谱、社交网络等。在日常生活 中，大多数据都可转化成图结构的形式进行处理。由于 网络并不能处理非欧式数据，因此在使用非欧式数据作为卷积神经网络的输入时，其网络结构上的各个节点都不能与其在拓扑图中的位置相对应，从而导致数据无法输入网络。另外，卷积神经网络的卷积运算核是固定尺寸的，因此不能在处理某一节点的时候也应用到临近的节点，从而与其共享参数，所以 网络也就无法提取非欧式数据的特征图谱。为了实现对非欧式数据的有效表示与学习，将卷积神经网络和图结构的数据相结合的图卷积神经网络应运而生。图卷积结构如图所示，输入层为节点，构成的层图结构，中间经过连续的图卷积特征提取，得到新的节点特征，其特征维度为层，最后经过 函数分类得到每个节点的所属类别。图图卷积结构 图卷积按照对图数据拓扑结构特征的获取方法不同可以分为空间图卷积和图谱卷积。空间图卷积主要是使用了节点的空间关系来定义逐点卷积操作，在节点间使用直线与之连接，线即是定义逐点卷积操作中最重要的一环，此步骤大致可分成如下的个阶段：首先需在图中选取具备象征性的节点序列，之后再根据该节点序列求出所选择节点的卷积邻域，最终构建从图至向量的单一映射。从实质上看，图逐点卷积还是矩阵相乘，所以需要使用邻接矩阵存储图的拓扑形式，表面任意两个节点的连接。图卷积中的特征图谱的节点数可以看成是上一层中所有相邻节点的加权和，与卷积神经网络相似，图卷积中也要加入非线性层，因此每一层的图卷积都可以写成这样的非线性函数，如式（）式（）所示。（，）（）（）（，）（）（）式中：为图的邻接矩阵；为每一层的特征；是非线性激活函数；为第一层的输入；为节点的特征向量；为权重值。图谱卷积的思想是利用基于频谱的拉普拉斯变化，从而进行图卷积。图可以表示为拉普拉斯矩阵，而正则化拉普拉斯矩阵的特征向量又是标第期赵江洪，等 一种基于图卷积的车载视频对象语义分割方法准的正交空间，见式（）式（）。（）（）（）式中：为当前层数；为图的度矩阵；为特征向量；为特征值构成的对角矩阵。以拉普拉斯的特征向量作为傅里叶变换的基，进行傅里叶变换和反傅里叶变换分别可得到式（）式（）。（）（）（）珚（）（）（）（）（）（）式中：为图的特征矩阵；为滤波器；为哈达玛积；表示卷积操作。由于图卷积神经网络具有更加灵活的跳越连接，不像 网络中上一层卷积层的一个像素只能连接下一层卷积层的个像素，其在逐层传播的过程中并没有节点的消失，因此可以探索到图结构中不同节点间的关系，使每个节点的感受野变得更大，保证了局部位置信息不会在网络运行过程中出现丢失。但也正是因为图结构的特殊性，网络中通过叠加网络层数来增加网络学习能力的方法并不适用，其带来的问题就是，单纯由图结构搭建的图卷积网络的特征学习能力不够强，无法实现高精度的语义分割工作。因此，本文在传统卷积网络获取高级特征的过程中加入图卷积结构，但又不完全改变所有特征的获取模式，从而减少局部位置信息的丢失，改善分割结果中出现 的 碎 片 化 问 题，进 一 步 提 高 语 义 分 割精度。在本文的模型中，对节点的标注是通过将两个特征向量和每个节点在特征映射中的位置进行联系实现初始化，该标注中包含了从局部感受野上提取的特征，通过使用池化原始标签图像来获取节点 的 特 征标 签。在 图 模 型 中，边 由 邻 接 矩阵表示，假 定 每 个 节 点 都 连 接 到 最 近 的 节 点，这些连接就意味着节点标注可以利用图结构中的边进 行 表 达。在提 取 高 级 特 征 过 程 中，为 保证精度最高化只在下采样的最后过程加入两层图卷积。注意力机制的构建 注意力机制的核心思想在于通过网络去学习特征权重，使得有效的特征图谱的权重值变大、无效或较小的特征图谱的权重值减小，以此使得模型在训练阶段能达到更好的结果。如图所示，对视频输入后提取特征，得到维度为，的层高级特征，随后对特征图进行池化操作得到各个通道的权重值，此时特征图大小变为，再将权重赋值到特征图，得到珦，输出。图 构造块工作流程 注意力机制核心组件是 构建块，其工作过程可以分为步：全局信息嵌入、自适应重新校正和重设权重值。在全局信息嵌入步骤中，模块顺着空间维度来实现特征压缩，将全局的空间信息压缩为一个通道描述符，也就是说将每个二维的特征通道转变为一个实数，该实数拥有全局的感受野，且其输出的维度与输入的特征通道数相匹配。它代表着在特征通道上响应的全局分布，而且使得靠近输入的层同样能获得全局的感受野。在自适应重新校正步骤中，模块构建了每个通道之间的相关性，并通过特定参数来为每个特征通道生成权重。在重设权重值步骤中，模块把自适应重新校正步骤中所输出的权重视为是经过特征选择后各特征通道的权重，以乘法运算的方式逐通道加权至原先的特征上，从而实现在通道维度上的对原始特征的权值重设。实验与结果分析本文的实验平台是 ，具体环境参数为：、，使用的依赖库包括 、等。在训练过程中，每个批次输入张图像、设定初始学习率为 、设定动量为 、设定权值衰减为 、优化器选用随机梯度下降（）。测绘科学第 卷 参数调优 是深度神经网络中的一种可供选择的机制，用于减少过拟合情况。的原理是在每次训练时给每个神经元设计一个灭活机制，每个神经元都有一定的概率来激活这个灭活机制，这样可以使每一次训练所使用的网络都不完全相同，减少网络对特殊的局部特征的依赖，将更通用的特 征 作 为 网 络 训 练 的 结 果。图为 作 用 了 参数前后神经网络的变化。图 的作用 在本文的实验过程中，为的防止过拟合的前提条件下有效提高语义分割的精度，对 机制中概率的参数值进行了调整，经多次测试，的参数值为 的使用语义分割精度最高，测试结果如表所示。表的参数值与语义分割精度的关系 数据集介绍与数据增强为验证 网络的有效性，本文选取了国际上应用较为广泛的 公共数据集作为实验依据。数据集 是第一个具有目标类别语义标签的视频集合，共有 个地面真值语义标签，将每个像素与语义类别之一相关联。由于数据集是从驾驶汽车的角度进行拍摄的，因此增加了观察目标的数量和异质性。数据集中提供了超过 的高质量 连续镜头，通常在 处为对应的像素标记语义标签，也有部分 视 频 段 落 在 处 标 记，数 据 集 如 图 所示。图 数据集示例 为了丰富样本数量，使用翻转、旋转、倒序等方法对训练数据进行数据增强，可以有效提高模型的泛化能力和鲁棒性。如图所示，在对数据进行翻转处理时，选取了镜面翻转。对数据进行旋转处理时，则选取 和 这个角度进行旋转，大幅度扩充了训练数据集。由于已对数据集进行增强处理，在拆分后仍满足实验需求，因此在数 据集 中 均 选 用 进 行 训 练，进 行验证。图数据翻转与数据旋转 实验结果分析交并比（，）是一个衡量在给定的数据集中相关物体分割准确度的标准，将数据集中的每一类物体的 值求平均，即可得到平均交并比（，第期赵江洪，等 一种基于图卷积的车载视频对象语义分割方法 ）。像素精度（，）也是一种衡量在给定的数据集中相关物体分割准确度的标准，其比 更为简单，只计算标记正确的像素占总像素的比例，且同 同理，平均像素精度（，）也是对 的一种简单的提升，计算每个语义分割类内被正确分类的像素数的比例，之后求所有语义分割类的平均。为多方面验证本文模型的有效性，除采用 作为评判标准之外，本文同时采用了 作为辅助验证的评判标准，其计算见式（）、式（）。（）（）式中：为语义分割的样本类别数量；为真实值；为预测值；为语义分割类别；为语义分割正确的像素；为语义分割错误的像素。实验结果对比自动驾驶不仅对车载视频对象的语义分割精度要求较高，还要求网络模型可以快速响应语义分割的需求。为验证本文模型在对车载视频对象进行语义分割时存在的优势，将 网络模型与其他主流语义分割网络模型以及网络性能进行了对比分析，测试结果如图、表所示。图 与主流网络在 数据集上的测试性能比较 表不同语义分割网络在 数据集上的性能评估结果 网络名称 （）（）（）（）（）（）（）（）（）（）（）（）（）（）（）图和表为各个网络在 数据集上的 和 ，其中 为引入图卷积结构的视频分割网络，为加入权重系数的图卷积视频分割网络，其余网络为对应的现有网络。由图可知，当步数大于 的时候，整体分割精度相比其他现有网络在 和 上均有所提高，在 上尤为明显。随着步数的增多，各个网络的分割精度趋于稳定，由表可知，加入图卷积的 网络在分割精度上已经高于原始网络。在稳定状态下，的分割精度较最优网络 提高近，提高 ，保证了在高精度的分割状态下能够完全满足车载视频的分割需求。图 为各个网络在 数据集上的分割效果对比，从中可以看出，在分割时由于受限于普通卷积神经网络的感受野会出现很多杂乱的碎点，从而导致局部位置信息在特征图谱上丢失，在图中由橙色方框标出。由于车载视频对象所收获的场景通常都是街景，会存在很多窗户、树木等细小的部件，这种问题在网络上表现更为明显，会直接导致分割精度较低。在拥有较快的网络响应速度的情况下，和 都采用了大块像素覆盖的分割方法，从而难以分开相邻对象，这一点在 的语义分割效果上表现得极为明显，在图中由橙色方框标出。在分割过程中进一步改善了语义分割过程中出现的碎片化状况，总体上能将目标对象分开，尤其是相邻的同类独立对象，在图中由蓝色方框标出。同时，在对于细节部分的语义分割效果上也明显优于其他种主流的语义分割 网 络 模 型，例 如，路 边 的 标 志 杆，只 有 能将其完整地分割出来，其余的网络模型均只能完成将部分语义分割，在图中用蓝色方框标出。测绘科学第 卷图 与主流网络在 数据集上的语义分割效果 在对自动驾驶视频分割过程中，除了树木、标志物等固定要素外，对行人、车辆等不规律移动要素的语义分割便显得尤为重要。本文在对整体分割精度评定的基础上，又对视频中行人、车辆、树木、建筑物等各个子类在不同网络下进行分割精度对比分析，并与 网络比较得到精度提高值，结果如表所示。从中可以看出，在各类对象的语义分割精度上都有所提升，尤其是对自动驾驶较为重要的行人、车辆等子类，相比原始网络分割精度提高了 ，达到了较高的语义分割准确率，且网络计算量小，其性能完全能满足车载视频对象的快速响应。第期赵江洪，等 一种基于图卷积的车载视频对象语义分割方法表不同语义分割网络在 子集上的性能评估结果 要素 精度提高行人 树 车 建筑 地面 标志 基于表的性能评估结果，又以行人为例得到其在不同网络下的语义分割效果，结果如图 所示。从图中可以看出，网络不能很好地将行人从背景中分割出来，将行人分割为黑棕色等其他类别。、虽能够很好地将行人从背景中分离，但将左侧行人的上半部分分割成了红色类别，没有较好地保留行人的完整性，且 网络不能很好地分割出相邻行人。网络较其余个网络的分割效果均有所改善，能够清晰地将行人从背景中分割出来，并保留行人特征的完整性，且能够较好地分割出相邻行人的特征状态，达到较高的分割精度。图 各网络在 数据集上对行人的语义分割效果 结束语传统的卷积网络模型在数据处理时只能处理欧几里得数据，而不能处理非欧几里得数据，在对高级特征进行下采样的同时造成局部信息的丢失。且车载视频的获取对象多为街景，会存在很多细微的部件，在网络分割时表现得尤为明显，从而直接影响语义分割精度。针对上述问题，本文将图卷积网络结构引入视频对象语义分割，并与 语义分割网络相结合，添加 注意力机制，通过改变特征图谱的权重系数进一步提高网络编码能力，构建了分割精度更高的视频语义分割网络模型 。实验结果表明，网络在语义分割效果上总体实现区域化，大幅度减少了碎片点的数量，能够较好地从环境背景中分割出相邻目标对测绘科学第 卷象以及细节对象。测试性能方面，在能够达到自动驾驶响应的基础上，分割精度较现有最优主流网络提升了，尤其对行人、汽车等标志性对象的分割精度提升了 ，能够较好地识别分割出子类目标。参考文献朱方瑞，张力，付彦伟，等基于自监督学习方法的半监督视频目标分割研究复旦学报（自然科学版），（）：（，（），（）：）付利华，杨寒雪，张博，等 基于注意力修正的半监督视频目标分割北京工业大学学报，（）：（，（）：）章雪瑞，孙凤铭，袁夏视频目标分割中帧间相似性传播的研究计算机工程与应用，（）：（，（）：）王诗言，张青松，雷国芳，等基于特征融合和注意力机制的目标分割跟踪算法电讯技术，（）：（，（）：）云飞，殷雁君，张文轩，等融合注意力机制的对抗式半监督语义分割计算机工程与应用，：（，：）袁铭阳，黄宏博，周长胜全监督学习的图像语义分割方法研究进展计算机工程与应用，（）：（，（）：），（）：，：，：，：，：，：，（）：，：，（）：，：，：，：，：，：，：，：，（）：，（）：第期赵江洪，等 一种基于图卷积的车载视频对象语义分割方法 ，：，：，（）：，：，（）：，（）：，：，：（）：，：，：（），：，：征煜，陈亚当，郝川艳特征一致性约束的视频目标分割中 国 图 象 图 形 学 报，（）：（，（）：）付利华，赵宇，孙晓威，等基于孪生网络的快速视频目标分割电子学报，（）：（，（）：）林禹，赵泉华，沈昭宇，等 改进 与迁移学习的遥感建筑物分割方法测绘科学，（）：（，（）：）张康，郑静，沈婕，等图卷积网络在道路网选取中的应用 测 绘 科 学，（）：（，（）：），（）：，：，：，（）：，：，：，：，（）：（责任编辑：路素军）