利用早停可微架构搜索的三维点云模型分类.pdf

第 卷第 期重庆邮电大学学报(自然科学版).年 月 ().:./.利用早停可微架构搜索的三维点云模型分类收稿日期:修订日期:通讯作者:杨 军 .基金项目:国家自然科学基金项目()甘肃省科技计划资助项目()年度中央引导地方科技发展资金项目()兰州市人才创新创业项目()兰州交通大学天佑创新团队项目():()()()()()张景发杨 军(.兰州交通大学 电子与信息工程学院兰州.兰州交通大学 测绘与地理信息学院兰州)摘 要:针对现有三维点云分类网络采用人工设计费时费力的问题提出早停可微架构搜索()算法 利用从人工设计网络架构中提取到的先验知识预定义一个包含高效候选操作的搜索空间可快速搜索出适用于三维模型分类任务的高性能网络模型通过追踪网络搜索阶段各候选操作的权重变化找出跳跃连接操作在双重优化过程中发挥不公平竞争作用的临界点并在此处停止搜索以保证各候选操作之间的稳定性解决 算法搜索过程中易出现性能崩溃的问题 提出的算法在 数据集上达到了.的识别准确率比当前人工设计的主流网络具有更高的识别准确率关键词:神经架构搜索三维模型识别搜索空间早停策略中图分类号:文献标志码:文章编号:()(.):.().:引 言三维模型识别与分类广泛应用于医学影像分析、自动驾驶、虚拟现实等领域成为计算机视觉和计算机图形学等相关领域的重要研究课题 传统的三维模型识别方法利用人工设计特征描述符提取特征如几何形状描述符和热核签名描述符等由于人工设计的特征描述符良莠不齐而且泛化能力较弱研究人员提出利用深度学习提取特征描述符 基于深度学习的三维模型识别方法主要包括基于体素的方法、基于多视图的方法和基于点云表示的方法 前 种方法需要将三维点云数据转换为体素网格或二维投影视图这种数据形式的转换过程不仅会丢失特征信息还会增加时间成本和内存开销 基于点云表示的方法不仅更加接近模型的原始表征且可以将原始几何信息保留在 空间中不会进行任何离散化有利于端到端的学习因此基于点云表示的方法成为了三维模型识别的主流方法 文献提出的深度学习网络框架使用多层感知机()与最大池化操作确保了点云输入的无序性并利用 网络实现了数据及特征的有效对齐在点云模型的识别上做出了开创性工作 然而 网络没有考虑到点与其周围的邻域信息且未针对点云密度不均匀的特点进行特殊设计 文献对上述问题做出了改进提出了 通过在网络中分层使用 并将 网络应用于局部区域生成区域的特征向量 该算法不仅解决了采样不均匀的问题也考虑到了空间中点与点之间的距离度量问题 文献提出了边缘卷积()模型在三维空间中找出与输入点相近的 个最近邻点并使用这些点与其中心点的曼哈顿距离构造邻域特征 该方法不仅可获得局部邻域信息而且通过堆叠边缘模块可以提取到全局形状信息基于深度学习的方法在三维模型识别领域已经取得了显著的成果但其所使用的网络架构大多由人工构建网络架构设计过程严重依赖专家经验且需要耗费大量的时间和人力成本 因此基于深度学习的三维模型识别方法面临的主要挑战是设计高效且普适的网络架构 随着神经架构搜索()的提出研究者逐渐将 方法应用到模型识别与分类任务中 利用一个循环神经网络作为控制器通过强化学习方法来搜索子网络不断更新控制器的参数直至搜索到符合要求的网络 搜索到的网络在性能方面达到了人工设计网络的准确度其缺点在于耗费了大量计算资源即使对 这样的小型数据集也需要数百个 训练一天时间 为了解决这个问题文献 提出了基于 结构的搜索空间将 结构表示为一个内部有多个节点的有向无环图其中每个节点表示网络提取的特征图节点之间的有向连接表示预定义的各种候选操作通过搜索具有各种拓扑方式的 结构并将搜索到的 结构重复堆叠得到最优的网络架构 此方法成功将 搜索时间缩短到/以下 文献在基于 结构搜索空间的基础上提出了 算法利用 函数将搜索空间从离散松弛状态转化为连续状态使得目标函数可微 在搜索时会遍历全部节点使用节点上候选操作的权重进行计算同时优化架构参数和网络参数 搜索结束后在各节点之间选择权重最大的候选操作构建完整的网络架构本文提出早停可微架构搜索()算法主要创新点和贡献有:解决了人工设计网络费时费力又容易出现错误的问题并在性能上超越了人工设计网络设计了适用于三维点云模型的搜索空间提高了网络架构的搜索效率通过追踪搜索空间中候选操作的权重变化在跳跃连接发挥不公平竞争的临界点停止搜索解决了基于 算法自动搜索网络架构易出现性能崩溃的问题 早停可微架构搜索.搜索空间对于二维图像识别任务 已经有了许多定义明确的搜索空间而对于三维点云数据由于其与二维图像数据格式不同因而这些搜索空间中的候选操作不能直接应用 本文在一些主流三维模型识别与分类网络基础上针对三维点云数据的特点设计了新搜索空间利用专家设计网络模型中的先验第 期 张景发等:利用早停可微架构搜索的三维点云模型分类知识预定义一个包含高效候选操作的搜索空间有助于 算法搜索到最优的网络架构同时为了降低网络模型的复杂性在搜索空间中设计了一些轻量级的候选操作如 和 等可大大提高搜索效率在性能和搜索成本之间取得平衡本文搜索空间包含多种候选操作 操作的作用与 相同可防止在较深的网络中出现梯度消失 操作对卷积神经网络进行降维并在不改变特征图的前提下实现各通道之间的线性组合 操作可以有效聚合邻域点的特征、邻域点与采样点的边特征充分挖掘局部几何特征使每个采样点的特征更加丰富解决了卷积神经网络无法有效处理非欧几里得数据的问题 方法采用跨节点对并行能高效地为邻域中的不同节点指定不同权重且不需要代价高昂的矩阵运算 通过将同一卷积层中的卷积核分成不同的小组解决了随着卷积网络中卷积核个数增多时出现的卷积冗余问题在保持模型精度的同时减少参数量和计算量 文献认为图神经网络具有同构性即对同构图处理后的特征应该相同对非同构图处理后的特征应该不同引入一个可学习参数对点的原始特征进行映射并将映射后的特征同邻域特征进行聚合 文献提出的 是一种节点表示方法通过从一个顶点的局部领域点采样并聚合节点特征信息可以有效地为其他顶点生成嵌入图特征映射而不需要对每一个顶点单独进行训练提高了训练效率.可微神经架构搜索本文 结构如图 所示 结构由 个节点的有向无环图()组成包括 个输入节点、个中间节点和 个输出节点节点代表了网络的特征映射节点之间的有向连接表示各种操作的选择 图 中输入节点是前 个 结构的输出表示中间节点聚合来自其所有前置节点的信息流输出节点被定义为固定数量的前置节点的串联从节点 到 的边 表示对输入特征 进行操作选择并且其输出 被表示为()之和即 ()()图 结构.搜索空间中的元素是 结构中各节点之间的候选操作集合 结构的部分简化构建过程如图 所示 图 是未进行架构搜索时的 结构“?”表示待处理图 是通过 函数松弛化搜索空间使搜索空间从离散变为连续从而将各节点之间的操作选择表示为一个混合操作图 以线条的粗细表示各节点对标候选操作的权重大小图 选择各节点对标权重占比最高的候选操作获得完整的 结构图 结构的部分简化构建过程.结构利用 函数计算各节点之间混合操作的权重占比并选择各节点对中权重占比最 重 庆 邮 电 大 学 学 报(自然科学版)第 卷高的候选操作作为最终输出表示为()()()()()()()()()式中:表示搜索空间()表示每一个要应用于 的候选操作 表示在搜索空间中选择出的单一候选操作表示搜索空间中的候选操作()是节点 之间单一候选操作的结构化参数()是节点 之间的混合操作的结构化参数()表示节点 之间权重占比最高的候选操作 这使得网络架构搜索的任务被简化为搜索一组连续变量()搜索空间从离散变为连续之后可以使用梯度下降法联合优化体系结构参数 和候选操作权重 这可以被解释为一个双重优化问题即().()()()()式中和 分别表示训练和验证损失其大小由体系结构 与候选操作权重 共同确定 算法的目标是找到使验证损失()最小的体系结构 与搜索到的体系结构 相对应的权重是通过最小化训练损失得到的.早停策略 算法的核心任务是优化体系结构参数 和模型权重参数 这 个参数是交替进行优化的 然而在优化过程中 算法自动搜索到的网络会出现性能崩溃现象即随着搜索过程中迭代次数的增加网络的性能不但不会一直提升反而可能出现下降 算法之所以出现性能崩溃是因为其在使用 函数松弛化搜索空间时将任意 个节点之间的各种候选操作加权为一个混合操作权重各操作之间存在一种排他性竞争一种候选操作权重的提升会抑制其他操作的权重在搜索空间中定义的跳跃连接操作虽然可以防止网络层数过深而导致梯度爆炸但由于其与卷积的结合比较好跳跃连接操作在网络搜索过程中会逐渐占据主导地位在排他性竞争中严重削弱了其他操作的权重导致搜索到的 结构中存在太多跳跃连接使网络崩溃 这种现象被定义为不公平竞争他促使跳跃连接在排他性竞争中占据垄断地位在双重优化算法中体系结构参数 和模型权重参数 是先合作后竞争的关系 开始搜索 结构时这 个参数相互促进此时是合作关系经过多次迭代之后由于模型权重在竞争中比架构参数更具优势(如模型权重的数量远远大于架构参数的数量架构参数在双重优化中对最终损失不敏感等)他们逐渐转向相互竞争的关系导致搜索到的体系结构性能先上升后下降为了解决跳跃连接不公平竞争问题本文通过追踪网络搜索过程中各候选操作的权重变化并在其出现明显变化时停止搜索即寻找双重优化过程中架构参数和模型权重参数合作与竞争之间的临界点 在此临界点之前跳跃连接对网络性能起着促进作用超过这个临界点就会阻碍网络性能 临界点选取可以表示为 ()()式中:表示第 次迭代时的候选操作权重大小表示在 周围 个迭代上的候选操作权重大小 为停止条件的阈值 当某个候选操作的权重变化超过阈值 时则在第 次迭代处停止搜索以找到性能最优的网络架构 将此方法与其他的早停策略进行实验对比结果表明本文所提出的早停策略不仅可以打破这种不公平的竞争而且还取得了比直接限制跳跃连接数量更好的效果 实验结果与分析本文在 和 这 个标准公开数据集上进行了实验 包含 个三维模型分为 个不同的类别 数据集有 个类别包含 个三维模型其中 个为训练模型 个为测试模型.网络架构搜索使用 数据集搜索 架构采用与 相同的搜索策略 结构由 个节点组成分为 个输入节点 个中间节点及 个输出节点第 和第 输入节点分别为前 个 结构的输出输出节点是所有中间节点的深度级联 搜索到最优 结构之后通过将 结构堆叠 次并在 上构建最终的网络架构 考虑到神经架构搜索的随机性本文进行了 次独立搜索得到了 个不同的最优 结构如图 所示参数设置:从 中的每个三维模型中采样 个点输入特征维度为 分别用、和 坐标表示 对于体系结构参数 和模型权重 本文遵循同 同样的设置使用初始学习率为、动量为.和权重衰减为的 优第 期 张景发等:利用早停可微架构搜索的三维点云模型分类化器进行优化 为防止架构搜索过程出现梯度爆炸在每个节点处都采用批量归一化图 次独立搜索得到的不同 结构.网络架构评估在搜索阶段搜索到最优 结构之后通过将最优 结构多次堆叠来构建更大的网络体系结构 由于 与 数据集大小不同因此所需的网络深度也不一样 在 数据集将搜索到的 结构堆叠 次特征通道大小为 优化器的选择同 相同 网络架构评估过程中会随机初始化网络的权重(丢弃在搜索过程中学习到的权重)重新训练网络架构并在测试集上测试此网络的性能 此阶段设置迭代次数为 以使网络趋于收敛实验中运行了 次独立搜索得到了 个不同的体系结构 在 数据集上对这 个不同体系结构进行性能评估并给出每次评估的总体识别准确率和参数大小实验结果如表 所示表 次独立搜索体系结构的准确率.网络架构准确率/参数量/.搜索到的网络架构在 数据集上最高达到了.的识别准确率由于每次独立搜索到网络架构中候选操作的不同其参数大小也有所差异其中跳跃连接操作的参数计算最少包含跳跃连接的网络架构中的参数量明显少于其他网络 搜索到的体系结构与主流的人工设计网络对比结果如表 所示 表 中搜索耗时针对非人工方式表 不同算法在 的识别准确率对比.网络架构准确率/参数量/搜索耗时/.手工.人工.人工.人工.人工.人工.人工.人工.人工.人工.人工(最高).(平均).随机搜索.由表 可以看出使用 算法自动搜索出的 重 庆 邮 电 大 学 学 报(自然科学版)第 卷网络架构取得了比人工设计网络更好的识别准确率 图 是模型识别准确率随着迭代次数的变化情况 从图 可以看出在训练初期随着迭代次数的增加识别准确率逐渐提高当迭代次数达到 次时网络趋于收敛故基于神经架构搜索策略自动构建网络对于三维模型分类任务是有效的图 迭代次数与模型识别准确率的统计结果.早停实验本实验通过追踪网络搜索过程中各种候选操作的权重变化找到双重优化过程中架构参数和模型权重参数合作与竞争之间的临界点以解决跳跃连接的不公平竞争 设置网络搜索过程迭代次数为由于搜索空间中定义了 种候选操作因此追踪 次迭代过程中各节点间 种候选操作的权重变化 为了确定阈值 的取值大小在保持其他参数不变的情况下对 的取值进行多次实验确定最佳参数设置 表 显示了当阈值 取不同值时搜索到的网络识别准确率 从表 可以看出当 取值.和.时识别准确率较低取.时识别准确率高于其他取值 因此本文将阈值 取值设置为.本文也展示了一组中间节点对之间各候选操作的变化情况 除跳跃连接之外的其余候选操作在 次迭代中的权重变化都比较小跳跃连接操作在搜索阶段刚开始时是稳定变化的而在迭代一定次数之后其权重发生明显变化 结构各候选操作权重竞争过程如图 所示 本文方法可以简单而直观地找出跳跃连接操作发挥不公平竞争的临界点在该临界点之后跳跃连接开始抑制其他操作的权重使搜索到的网络性能不佳在此临界点处停止搜索进而获得性能最优的 结构表 不同阈值识别准确率的比较.阈值大小 准确率/参数量/.为了证明有效性将本文与、等算法中的早停策略进行实验对比 通过在跳跃连接之后使用 在优化过程中限制跳跃连接的数量 通过在架构参数上应用 代替 允许每个候选操作具有独立的体系结构权重以避免排他性竞争打破跳跃连接导致的不公平竞争 采用了渐进式提前停止策略为停止条件设置阈值一旦任何边或层满足此条件就直接选择此时权重最高的候选操作停止优化并在随后的训练中更新体系结构参数 这些方法都应用于二维图像 数据集本文根据论文作者所公开的代码在 数据集上进行了复现 不同算法中早停策略的比较如表 所示 由表 可以看出本文早停策略取得了优于其他几种算法的识别准确率这是由于其他几种算法主要是针对于二维图像进行设计的没有考虑到三维点云模型的特点 此外本文早停策略找出了跳跃连接操作发挥不公平竞争的临界点在网络还没有完全收敛时就停止搜索因此在搜索时间上也取得了更优的结果表 不同算法中早停策略的比较.网络架构准确率/搜索耗时/.第 期 张景发等:利用早停可微架构搜索的三维点云模型分类图 结构各候选操作权重竞争过程.消融实验为了验证本文早停策略能够有效解决跳跃连接的不公平竞争设置了 种不同的搜索方法进行对比实验:不使用早停搜索 次()、不使用早停搜索 次()、使用本文的早停设置()实验结果如表 所示 由表 可以看出在相同的搜索空间条件下方法搜索到的网络架构性能最差明显出现了性能崩溃的现象方法只比 的性能低.这是因为将搜索次数设置为 次实质上是一种隐含的早停策略由于没有在跳跃连接开始发挥不公平竞争的临界点处停止搜索因此其识别准确率不如 方法、这 种搜索方式的 结构如图 所示 由图 可以看出方法由于没有使用早停策略来限制跳跃连接操作的不公平竞争导致所搜索到的 结构中存在 个跳跃连接使得网络层数太浅出现网络性能崩溃 而 和 方法中的跳跃连接个数都为 个对网络的性能影响不大为了更好地分析跳跃连接操作对网络架构性能的影响本文设置了 个搜索空间一个搜索空间中包含跳跃连接操作另一个搜索空间中不包含跳跃连接操作其他设置完全相同 跳跃连接对搜索空间的影响如表 所示 由表 可知包含跳跃连接搜索空间搜索到的网络识别准确率比较高表明适当数量的跳跃连接确实有利于网络的性能提升 因此对于跳跃连接的不公平竞争只能对其进行限制而不能直接舍弃表 种不同搜索方式的准确率.搜索方式准确率/.表 跳跃连接对搜索空间的影响.搜索空间准确率/包含跳跃连接操作.不包含跳跃连接操作.为了验证本文设计搜索空间的高效性采用随机搜索进行实验对比 在搜索空间中随机搜索 组 结构由于随机搜索具有不确定性这 组 结构各自构建的网络性能差别较大 本文首先在 数据集上对这 组网络架构分别进行 个迭代的训练然后根据实验结果选择验证准 重 庆 邮 电 大 学 学 报(自然科学版)第 卷确率最高的一组网络架构最后在与 相同的设置下在 数据集上进行训练和测试识别准确率实验结果体现在表 中 由表 可以看出采用随机搜索算法搜索到网络架构的识别准确率只比 算法的平均识别准确率低说明对于 方法设计一个优越的搜索空间是至关重要的 图 为随机搜索到的最优 结构各节点间候选操作同 算法所选择出的候选操作差异比较大但其性能却比较接近证明了本文所设计搜索空间的高效性图 、种搜索方式的 结构.图 随机搜索的 结构.结束语现有的三维模型分类网络架构大多采用人工设计设计过程很大程度依赖于专家经验费时费力且构建的网络性能良莠不齐 本文在 算法的基础上提出一种自动搜索三维模型分类网络架构的方法针对三维点云模型的特点设计了新的搜索空间以便自动搜索到性能优于人工设计的网络架构对于 算法中存在的跳跃连接操作所导致的不公平竞争提出了追踪各候选操作权重大小的方法通过在跳跃连接权重明显增大时停止搜索以解决跳跃连接的不公平竞争现象 实验结果表明本文提出的方法能够有效地搜索出适合三维模型分类任务的网络架构并在 数据集上达到了.的识别准确率高于人工设计的网络参考文献:.():.():.:/.:./.:.:/.:.:/.:.():./.:.第 期 张景发等:利用早停可微架构搜索的三维点云模型分类 ./.:.:/.:.:/.:./.:.:/.:./.:./.:./.:.:/.:.:.():./.:.:/.:./.:.:.():.:/.:.:/.:./.:.:/.:.:/.:.作者简介:张景发()男甘肃白银人硕士研究生主要研究方向为模式识别、计算机视觉:.杨 军()男宁夏吴忠人教授博士生导师博士主要研究方向为模式识别、三维模型的空间分析、遥感影像分析与处理等:.(编辑:陈文星)重 庆 邮 电 大 学 学 报(自然科学版)第 卷