基于深度学习的三维图像识别技术研究.pdf

信息记录材料 年 月 第 卷第 期基于深度学习的三维图像识别技术研究高瞻宇（华为技术有限公司 广东 深圳）【摘摘要要】本文针对三维图像识别中点云数据所存在的无序性、旋转不变性、非结构化、高冗余、易缺失等特点，提出了一个专用于三维图像点云识别的 深度学习模型框架，并对其核心模块神经网络层（，）、训练网（，）的功能实现进行了详细分析，为深度学习技术在三维图像识别中的进一步应用奠定了研究基础。【关关键键词词】深深度度学学习习；三三维维图图像像；点点云云；网网络络【中中图图分分类类号号】【文文献献标标识识码码】【文文章章编编号号】（）作者简介：高瞻宇（），男，辽宁沈阳，博士，研究方向：深度学习、计算机视觉与图像处理。引言深度学习作为图像识别领域的一项重要技术，常被用于二维图像的特征识别和分类，而三维图像采集数据主要以点云格式为主，点云作为一种特殊的数据存储结构，具有无序性、旋转不变性、非结构化等特点，原有的深度学习框架很难直接应用于三维图像的特征识别，因此本文提出了一种基于 网络的深度学习模型架构，专用于三维图像点云数据的特征识别和分类，以有效改善三维图像的识别效果。关键技术概述 点云点云是描述三维对象空间结构和表面特征信息的一种数据格式，每一个点云都包含有三维坐标、颜色、漫反射强度等信息，用于标记三维对象任意点上的特征信息。点云数据的获取主要是通过三维扫描设备，三维扫描设备又分为接触式扫描设备与无接触式扫描设备，接触式扫描设备是将设备探头与对象表面进行接触，以采集对象表面的反射信号获得信息；无接触式设备是由设备探头周期性隔空发射激光光束，光束经过对象表面产生漫反射，设备通过采集这些漫反射信号记录对象的空间结构，具有采集速度快、精度高等特点。通过上述设备获取的原始点云具有以下特点：（）无序性：点云是一个 的矩阵，表示一个对象具有 个点云，每个点云都包含一个三维坐标信息，而这 个点云的排列顺序可以是任意的，无论如何排列，都不会改变其在三维空间投影中对对象形状的特征表示。（）旋转不变性：是指在三维空间坐标系中，对象发生旋转后，即使所有点云的三维坐标信息都发生了改变，都不会影响其对对象形状的几何性质的描述，例如形状大小、缩放比例等。（）非结构化：点云是一个非结构化的数据格式，包含三维坐标、颜色、反射强度等多种信息，是区别于二维图像的一个明显特征，因此也无法用二维图像的常规方法进行图像处理。（）分布不均、局部缺失：受限于外部环境、硬件设备性能等条件，原始点云大都存在分布不均、局部缺失等特点，特别是曲面复杂的对象更为明显。（）高冗余性：是指点云之间描述信息的重复性较高，存在大量冗余信息，在图像识别时还需要进行去重处理。深度学习深度学习来源于人工神经网络的研究，是通过构建多层神经网络，建立前向学习与反向传播的深层学习模型，多用于图像识别、音频处理、自然语言处理等领域。深度学习基于数据源的标识特征可以分为有监督学习与无监督学习两种，针对带有特征标识数据源所构建的学习模型，通过已知特征进行数据规律分析，以实现对未知数据的特征预测和分类，即为有监督学习；对未知特征数据集，通过潜在规律挖掘与分析，进行模糊分类和预测，为无监督学习。其中卷积神经网络是深度学习最为典型的一种算法，可用于有监督学习，也可用于无监督学习，并被广泛地应用于二维图像识别和分类当中。但针对三维图像处理，传统的卷积神经网络受到点云特征的影响很难满足相应需求，因此需要一个构建多层权重共享卷积神经网络，即 网络以实现三维图像的特征处理。卷积神经网络是专用于处理三维图像点云的深度学习模型，解决问题的核心思路是通过多个神经网络层（，）的卷积，实现对点云特征的扩维。再在此基础上进行最大值池化操作，特征提取和全局连接，最终获得一个 维的全局特征矩阵，作为图像识别和分类的依据。特点如下：（）权重的共享性：允许在多个 之间共享部分权重，以确保点云之间的关联特征不被损失，避免因特征分布不均导致的分析误差；（）可扩维性：通过 多层卷积进行特征扩维，从而确保点云特征足够丰富，便于精确信息的提取和分析，尽可能弥补局部特征缺失导致的图像信息描述不准确。（）最 大 池 化 对 称 性：采 用 最 大 池 化 方法进行特征提取，通过对称函数构建可以有信息记录材料 年 月 第 卷第 期效解决点云无序性对特征提取的干扰，即无论输入点云的排列顺序如何变换，最终输出的都是一个确定结果。（）数据对齐性：为了网络模型能够匹配点云的旋转不变特性，增加了训练网模块（，），该模块可以通过数据对齐操作解决点云旋转后刚体不变的问题，以确保同一对象在不同旋转角度下，网络模型都能得到相同的特征分析结果。网络架构 网络架构 主 要 包 括、训 练 网、池化和 分类器四个模块，如图 所示：图 网络架构 模块通过一个三层卷积网络，对直接输入的原始点云进行扩维卷积，逐层将点云维度从原始的 维扩展至、，最多可将点云维度扩展至 维。原始点云最初只包含了三维特征向量，即三维坐标信息，通过扩展可以获取更多的图像隐含信息以及各个点云之间的关联特征，为了确保这些关联特征不会丢失，各层 之间需要共享部分权重。为了避免点云旋转不变性对特征提取造成误差，在每层 之间都增加了 训练网用于数据的对齐处理，通常需要两个，一个用于对原始点云进行对齐，一个用于对特征矩阵进行对齐。通过学习模型的训练，可以模拟三维对象在特定空间下的旋转不变性，因此将其训练结果作为点云和特征矩阵的对齐依据，能够有效提高 网络对点云旋转识别的鲁棒性。最大池化是解决点云无序性的有效策略，工作在卷积神经网络的池化层，池化层的主要作用是对升维后的特征进行降维提取，是一个对称函数，在特征提取时确保了无序输入对最终输出结果的唯一性。分类器连接在卷积神经网络的输出端，用于将提取的特征值映射在（，）区间内，且所有输出值累加总和为。分类器主要用于解决多分类问题，网络经过 分类器，最终会输出一个具有 个类的分类分数。网络核心模块的功能设计与实现 是一个多层感知机模型，各层 之间通过共享权重实现卷积关联，首先 网络将输入的原始点云看作是一个 的单通道图片，即第一层卷积核的大小为，对应一个点的三维坐标信息，然后通过定义卷积核数量就可以任意指定该层 的通道输出数量，也就是将三维坐标信息作为三个输入神经元，通过第一层 进行信息整合后传递到下一层。之后每个 层的卷积核均为，用于指定点云待转换的维度，每个输入的神经元都会对应一个 的卷积核，以实现其维度的扩展，如此每个特征提取层都仅针对单个点建立特征连接，在经历 维、维的特征空间映射后，最终可对每一个点提取到 维特征。实现该模型的核心函数为 （），该函数的调用形式如下：（，）其中 为输入图像的原始点云数据集；用于指定当前 层的卷积核数量，设置值为；指定当前 层的卷积核的高度、宽度与通道数量。通过 与 参数指定将要构建的卷积核高度为、宽度为、图像通道为，卷积核数为，因此卷积核的大小可表示为，。用于设置特征矩阵的填充模式，设置值为，表示有效填充，即不会用零填充；表示步长，值为，代表卷积核在垂直方向与水平方向每一次均移动一步；用于区分模型的操作类型，当值为 时，表示为训练模型，值为，表示为测试模型；用于设置模型训练时的衰减率，取值范围通常在（，）。可以理解为是一个缩小版的微型 网络，它的结构与 相似，包括三层，但在 卷积过程中要完成对旋转后点云、特征矩阵的规范化操作，并通过学习最终能够输出一个 的旋转矩阵，依据该旋转矩阵即可对 网络中输入的数据进行对齐，从而保证了点云数据在特定空间的旋转不变性。其工作流程如图 所示：网络首先将待对齐图像的 点云矩阵作为输入的原始特征矩阵，表示点云中的点数据的数量，仍表示三维空间坐标（，）的值；其次通过三层 的权重共享，依次将 个点云数据的三维特征分别映射到 维、维、维空间，即。由于升维后会存信息记录材料 年 月 第 卷第 期图 的工作流程在大量的冗余特征，还需经过池化层降维提取，才能获取最终的全局特征，池化 层主要采 用了最大池 化算法，是一个对称函数，其数学表达式如式（）所示：（）（）（）其中 表示点云，（）为映射函数，用于描述点云从低维空间到高维空间的映射，（）为对称函数，在输入点云的任意排序下，始终可以保持输出特征的一致性。经过 最大池化后，即可获取点云的 个全局特征，而这一过程实质是特征的降维，将扩维后的图像特征进行等大小的区域分割，通过在区域之间滑动，提取各个区域内权重占比最大特征值作为当前区域的唯一特征，从而实现特征的降维。再通过全连接层实现全局特征的映射，提取到 个全局特征，个全局特征经过降采样转换为 个特征值，并最终输出一个 的变换矩阵。网络模型在实际训练时，主要会用到两个函数：（）（）函数，用于进行点云矩阵的对齐训练，其参数定义如下：（，）其中 表示输入的点云矩阵，为学习率，该参数在初始化后会随着模型训练过程按照指数递增，表示卷积核的初始维度，该函数最终会返回一个 维的 变换矩阵。（）（）函数，用于进行特征矩阵的对齐训练，其参数定义如下：（，）该函数参数定义功能与（）类似，输入特征矩阵作为模型训练的数据源，最终会返回一个 维的变换矩阵。结论综上所述，本研究设计与实现了一个专用于三维图像 识别的 网络模型，通过 多层感知机模型，实现了点云特征的高维扩展，以确保图像特征提取精度，避免特征缺失造成图像局部细节的失真；通过 网络获取一个经过学习和训练的变换矩阵，用于规范旋转后的点云矩阵与特征矩阵，使其旋转变换后仍可提取到相同特征，解决了点云的旋转不变性问题；通过最大池化，对点云特征进行降维和特征提取，采用对称函数很好地解决了点云无序性问题。【参考文献】王楷，曹澍 图像识别算法在电网系统中的应用：评深度学习与图像识别：原理与实践 中国科技论文，（）：王燕玲，孙滨 基于大数据分析技术的激光全息三维图像识别研究 激光杂志，（）：沈豪杰，黄吉利，徐晴宇，等 基于深度学习的黑素瘤皮肤病图像识别算法 电子技术与软件工程，（）：司垒，王忠宾，李嘉豪，等 基于图像和激光点云融合的智能采面煤岩识别 振动测试与诊断，（）：，龚国栋，李耀斌，花向红，等 一种探讨点云深度学习决策的解析网络 测绘地理信息，（）：马利，金珊杉，牛斌 基于改进 网络的三维手姿估计方法 计算机应用研究，（）：马畅，肖伯祥，刘正东 基于线性回归和 神经网络的女体测量模型 北京服装学院学报（自然科学版），（）：陈苏婷，陈怀新，张闯 基于图卷积神经网络的三维点云分割算法 现代电子技术，（）：朱威，绳荣金，汤如，等 基于动态图卷积和空间金字塔池化的点云深度学习网络 计算机科学，（）：