基于改进网络通道剪枝算法的接触网零部件实时检测.pdf

书 书 书 铁道技术标准第卷 第期 收稿日期：；修回日期：基金项目：四川省自然科学基金（）通信作者：于龙（），男，教授，博士。：。基于改进网络通道剪枝算法的接触网零部件实时检测宋超，于龙，张冬凯，单禹，王健，杨珂浩，（西南交通大学智能牵引供电铁路行业重点实验室，四川成都；西南交通大学电气工程学院，四川成都；西南交通大学唐山研究院，河北唐山；昆明理工大学电力工程学院，云南昆明）作者简介：宋超，年月生，硕士研究生，电子邮箱：。主要从事研究方向：牵引供电系统智能运维技术，计算机视觉技术，可靠性与健康管理，先后参与国家级、省部级项目项。摘要：为满足接触网零部件在线检测的要求，提出一种改进的网络通道剪枝算法，极大提升了利用深度学习方法进行接触网零部件检测的实时性。以作为零部件检测的深度网络，通过在损失函数中加入正则项来对网络进行稀疏训练，以得到一个稀疏模型。引入尺度缩放因子来评估稀疏模型中通道的重要性，裁剪具有较小缩放因子的通道和滤波器。在此基础上，提出一种残差结构的修剪方法，进一步提高网络的压缩比。同时，构建一种网络通道规整化策略，使剪枝后网络每层保留的通道数为的倍数，从而保持原网络的规整性，优化网络在硬件设备上的推理速度。实验结果表明，该方法对类零部件的值为，仅比低，但模型的参数量减少了，模型存储空间压缩到原来的。此外，检测速度从 提高到，提升了，基本满足高速铁路接触网零部件的实时检测需求。关键词：接触网；深度学习；稀疏训练；通道剪枝；实时检测文章编号：（）中图分类号：文献标识码：宋超等：基于改进网络通道剪枝算法的接触网零部件实时检测 ，（，；，；，；，）：，：，：（），：；：（）：引言针对接触网巡检拍摄的高清图像，运用深度学习方法进行接触网缺陷识别是采用计算机视觉进行巡检的主要手段。而对图像中接触网零部件进行检测，是实现缺陷识别的前提。目前，目标铁道技术标准检测主要有两类方法：一类是基于候选区域的方法，如、等；另一类是基于回归的方法，如、等。前者需要进行候选区域的生成和目标检测两个阶段，推理计算时间较长；后者直接对目标框回归，推理速度更快，但仍难以满足列车高速运行时接触网在线检测的要求。网络模型压缩是提升网络计算实时性的主要手段，目前有参数量化、知识蒸馏和模型剪枝等方法。参数量化通过用较低位宽表示位浮点网络参数，能够显著减少参数存储空间，但由于网络参数位宽减少会丢失一部分信息量而造成精度下降。知识蒸馏是一种基于“教师学生网络思想”的迁移学习策略，利用较小的学生模型从大型教师网络获得先验知识，但其压缩比与蒸馏后的模型性能还存在较大的进步空间。模型剪枝则通过裁剪网络中冗余的权重或滤波器来降低模型复杂度和加速推理，与上述方法相比更具有针对性且拥有可观的压缩比和精度，是一种高效的模型压缩策略。根据剪枝粒度粗细，模型剪枝可以分为权重剪枝、向量级剪枝、通道剪枝和层剪枝。其中通道剪枝是一种有效的粗粒度模型压缩方法，经通道剪枝后的模型是结构化的，对硬件友好、易于部署在高速列车移动设备上。现有的通道剪枝研究主要采用不同的策略对滤波器进行修剪。例如，等提出了一种稀疏化通道剪枝策略，该方法利用正则化约束来稀疏化网络，以便对具有较小缩放因子的通道和滤波器进行裁剪。等提出一种基于范数的软修剪方法，在训练过程中更新“软修剪”的滤波器参数，由于训练和剪枝是同步的，即使剪枝后不进行微调也有不错的效果。此外，等还认为那些位于几何中位数的滤波器包含了大量冗余信息，提出基于几何中位数的剪枝方法，当滤波器的范数偏差不是很大时，这类方法比基于范数的剪枝方法表现更好。采用随机策略生成大量的通道剪枝方案，并对其中的最优剪枝结构进行微调，以得到轻量级网络。然而，上述通道剪枝方法并不适用于一些非常规卷积结构，例如和等。对于这些结构，需要额外制定适合的剪枝规则。此外，目前还没有报道显示剪枝后的网络通道是否能够保持规整，这可能会导致模型在硬件设备上的推理速度变慢。本文从接触网零部件在线检测的实时性需求出发，针对目前通道剪枝方法无法修剪非传统卷积结构以及剪枝后网络通道的规整性问题，提出一种改进的网络通道剪枝算法，该算法可以对残差结构进行修剪，并且剪枝后网络每层的通道数为的倍数，保持了原网络的规整性。将提出的改进通道剪枝算法应用到接触网零部件检测上，期望能够提高检测速度，以满足接触网零部件实时检测需求。基于层尺度缩放因子的通道剪枝方法 基于批归一化（，）层尺度缩放因子的通道剪枝方法是在训练过程中对层中的缩放因子施加正则约束，由于每个缩放因子都对应一个特定的卷积通道，因此可以修剪训练后具有较小缩放因子的特征通道和滤波器，以获得轻量级网络模型。训练网络时，缩放因子呈正态分布，这意味着可修剪的通道数量太少，需要对缩放因子进行稀疏。对缩放因子施加正则约束，稀疏训练的损失函数为（，）（，），（）（）式中：、分别为输入图像和目标值；为可训练的权重；（）为常规训练过程的损失函数；（）为神经网络输出函数；为正则系数，其值的大小决定稀疏程度；为所有通道层缩放因子集合；其中为正则约束，（）。第一项是常规训练的损失函数。第二项是为了稀疏化缩放因子而引入的惩罚函数。在经过稀疏训练之后，可以得到一个稀疏模型，其中许多缩放因子的值接近于，可以识别出不重要的通道。接下来对稀疏模型进行通道剪枝，首先提取网络所有层的缩放因子组成缩放因子集，为集合元素个数。然后，根据预设的剪枝率（），计算得到剪枝阈值为宋超等：基于改进网络通道剪枝算法的接触网零部件实时检测 （）（）式中：（）为按升序对集合中的元素进行排序，并取排序后的第 个元素作为输出值；为按四舍五入法对对象进行取整。剪枝率应根据网络模型的大小和检测任务的复杂度来选取。一般而言，模型越庞大，任务越简单，剪枝率的上限也就越高。接着，根据预设的剪枝率，将低于剪枝阈值的缩放因子对应的特征通道和滤波器裁剪掉，从而得到一个轻量级的网络模型。改进的网络通道剪枝算法上述介绍的基于层缩放因子的通道剪枝方法简单高效、易实现，可以有效地减少模型参数量，但无法修剪残差结构，且没有考虑到剪枝后模型通道的规整性。本文提出一种改进的网络通道剪枝算法，该算法基于层尺度缩放因子的通道剪枝，并在该算法的基础上提出以下两点改进。（）提出一种残差结构的修剪方法，通过对结构中的个输入建立通道索引以及公共剪枝索引集，使剪枝后其维度保持一致，可以有效修剪结构，进一步提高模型的压缩力度。（）构建网络通道规整化策略，使剪枝后网络每层的通道数为的倍数，保持原网络通道的规整性，优化网络在硬件设备上的推理速度。改进的通道剪枝算法的流程见图。残差结构见图。图中：、分别为输入特征图的高度、宽度、深度；、分别为滤波器的大小、步长、填充。在基于层缩放因子的通道剪枝方法中，对残差结构进行修剪会导致该结构的输入和输入通道的维度不一致，无法进行最后的相加操作，所以并没有对该结构进行剪枝处理。残差结构剪枝方法针对上述问题，本文通过建立通道索引和公共剪枝索引集，使剪枝后其两个输入的维度保持一致，能够有效修剪结构，进一步提高模型压缩力度。通道索引建立见图，首先对每个特图改进的网络通道剪枝算法流程图图 残差结构征通道建立索引，其中，为索引总数，为剪枝索引集 ，；为保留的索引集 ，。对于残差结构，其剪枝示意图见图所示，、分别为输入和输入的剪枝索引集；为输入和输入的公共剪枝索引集，铁道技术标准图通道索引建立。其中输入的剪枝索引集，（图示中第一列中虚线框），输入的剪枝索引集，（图示中第二列中虚线框）。对输入和输入的剪枝索引进行合并去重的操作，通过去剪枝索引并集的方式，即每个索引只要有剪枝索引就对其剪枝，只有两个输入都没剪枝索引最终的并集才不进行剪枝索引。据此得到输入和输入的公共剪枝索引集，索引数量为。图 残差结构剪枝示意图接着，使用公共剪枝索引集对输入和输入中对应的特征通道进行裁剪。由于两个输入都使用相同的剪枝索引集，因此在修剪后它们将具有相同数量的通道，可以顺利执行后续的相加操作。采用本文提出的基于通道剪枝索引的剪枝方法对残差结构修剪，避免了对两个输入通道维度的处理，可以有效地修剪残差结构，提高了模型的压缩比。网络通道规整化策略在剪枝过程中，被删除的滤波器对应的通道也会被删除，剪枝后的网络通道不再规整。因此，我们构建了一种网络通道规整化策略，使剪枝后网络每层的通道数为的倍数，以更好的利用硬件设备，提高推理速度。将剪枝后网络的通道数限制为的倍数的优势主要表现在以下两个方面。（）内存开销较小：通道数为的倍数能够更加高效地利用现代硬件平台的计算资源和内存带宽，尤其对于等硬件设备而言，这样的张量大小可以充分利用线程块的并行计算能力，从而更加高效地进行计算，同时也能够减少内存占用。（）计算速度较快：通道数为的倍数能够充分利用计算机的（）指令集，指令集能够同时对多个数据进行操作，而通道数为的倍数正好符合指令集的操作规模，因此能够更加高效地进行计算。常规卷积结构通道规整化对于常规卷积结构的通道规整化，我们首先对每个特征通道建立通道索引，并根据剪枝阈值划分为保留索引和剪枝索引，所有剪枝索引组成剪枝索引集，常规卷积结构通道规整化示意图见图，剪枝索引集，索引数量为。图常规卷积结构通道规整化示意图如果待裁剪的通道的数量是的倍数，由于未裁剪网络的通道数本来就是的倍数，所以裁剪后该网络的卷积结构的通道数一定也是的倍数；若不为的倍数，则需要从剪枝索引集中删除一些索引，以确保中的元素数量是的倍数，然后计算中应保留的元素数量为（）（）式中：为初始索引数量，为取整符号。然后按升序对剪枝索引集中的索引对应的缩放因子进行排序，得到缩放因子排序集 宋超等：基于改进网络通道剪枝算法的接触网零部件实时检测，和相应的索引排序集，从索引排序集中取前个元素组成新的剪枝索引集，。最后，根据剪枝索引集中的剪枝索引，裁剪该卷积结构中索引对应的特征通道，以保证在裁剪后通道数是的倍数。残差结构通道规整化残差结构通道规整化见图。首先，将常规卷积结构的剪枝索引集替换为残差结构的公共剪枝索引集；然后如果不为的倍数，需要对缩放因子进行排序。图 残差结构通道规整化示意图由于每个公共索引都对应于输入和输入的缩放因子，为防止具有较大缩放因子的特征通道被裁剪，选择这两个输入中最大的缩放因子作为排序元素，排序完成后，根据式（）计算出中应保留的元素数量，再从索引排序集中取前个索引组成新的公共剪枝索引集；最后，根据中的剪枝索引，输入和输入分别裁剪相应的通道，裁剪后两个输入具有相同数量的通道，并且都是的倍数，可以执行后续的相加操作。通过应用网络通道规整化策略对网络中的常规卷积结构和残差结构进行通道规整化，可使网络在剪枝后每层保留的通道数为的倍数，保持了原网络的规整性，进一步提高了模型在硬件设备上的推理速度。实验及结果分析 数据集制作本文实验数据来自吐库二线巡检系统采集到的现场接触网悬挂装置图像。考虑到零部件发生故障后的易损性和严重性，选取个关键部件作为研究对象，分别为腕臂底座、绝缘子、型抱箍、套筒单耳、旋转双耳、定位器支座、定位线夹、管帽、套筒双耳和承力索座。零部件名称和实物图见表。表零部件名称和实物图名称实物图名称实物图腕臂底座定位器支座绝缘子定位线夹型抱箍管帽套筒单耳套筒双耳旋转双耳承力索座 参照标准数据集格式，整理了张图片，对图片中这类关键零部件进行标注，制作接触网零部件数据集。该数据集中共有 张接触网图片，涵盖了大约 个接触网零部件，几乎覆盖了所有零部件的各种形态和大小，数据集零部件数量见表。表数据集零部件数量零部件名称数量个零部件名称数量个腕臂底座 定位器支座 绝缘子 定位线夹 型抱箍 管帽 套筒单耳 套筒双耳 旋转双耳 承力索座 完成标注数据工作后，我们将标注好的接触网数据随机按 的比例分为训练集和测试集，本文所有实验均使用数据集。实验配置和评价标准本文实验环境为 操作系统，内存，显卡，（）（）处理器，在 、环境下进行实验模型的搭建、训练以及验证工作。网络训练的超参铁道技术标准数设置如下：批次训练图片数量 ，训练轮数，输入图片大小 ，网络梯度更新采用自适应优化器，学习率初始值 ，采用学习率衰减模式，衰减指数 。选用均值平均精度（，）、检测速度（，）和参数量、模型存储大小（）作为性能评价指标。稀疏训练和对照实验设计稀疏训练通过设置不同的正则系数来控制缩放因子的分布变化。若值过小，稀疏程度不够，区分不出通道重要性；若值过大，精度下降过快，模型收敛困难。为确定最合适的正则系数，将分别设置为、和，并使用数据集对进行稀疏训练。不同正则系数下尺度缩放因子分布直方图见图。图不同正则系数下尺度缩放因子分布直方图当正则系数 ，也就是正常训练时，的分布呈正态分布，仅有非常少的趋近或者等于，意味着可修剪的通道（较小的缩放因子对应的通道）数量太少，远远达不到剪枝要求。当设置一个较小的正则系数，的整体分布稍微往左偏移，此时也只有为数不多的趋近或者等于，也达不到剪枝要求。当，的整体分布大幅往左偏移，此时已经有较多的趋近或者等于。当设置一个更大的正则系数，的整体分布偏移到最左边，此时的几乎都趋近或者等于了。可以看出，随着正则系数的增加，缩放因子的分布逐渐往左边偏移，趋近或者等于的越多。不同正则系数下损失值的变化见图。当正则系数，模型的总损失值在迭代个后收敛于 附近。当 ，模型的损失值收敛于 附近。当，模型的损失值收敛于 附近。当，模型的损失值比较艰难地收敛在 附近。可以合理推测，当正则系数再增加时，模型将不再收敛。因此，可以得出结论，正则系数值越大，稀疏训练模型的损失值也越大，模型也越难收敛。图不同正则系数下损失值的变化综合来看，当正则系数时，稀疏过程比较剧烈，稀疏训练完成后，模型中的缩放因子几乎都趋近或者等于，虽然可修剪的通道数大大增加，但是其模型已经较难收敛，损失值也变得非常大，几乎是正常训练模型的两倍，意味着此时模型的检测精度已经受到较大的影响。当正则系数 时，稀疏过程较为平滑，且已有较多系数趋近或者等于，可修剪的通道数大大增加，模型收敛后的损失值也仅比正常训练时高了一点点，模型的检测精度稍微受到影响，但是可以通过后续的微调使其精度恢复。因此，通过上述分析和论证，本文稀疏训练最佳的正则系数设置为。在稀疏训练完成后，我们按照以下步骤来对网络进行通道剪枝实验。对稀疏模型剪枝，初始剪枝率设为；对剪枝模型进行微调，重新训练个来回升精度；每次增加的剪枝率进行实验；剪枝且微调完成后，若精度下降超过原始模型的则停止实验，并记录最终使得剪枝率宋超等：基于改进网络通道剪枝算法的接触网零部件实时检测和准确率达到最佳值的实验结果。设计组对比实验，第一组实验主要分析本文所提出的改进措施对通道剪枝后的网络性能的影响，在实验中，我们将常规卷积结构修剪、残差结构修剪和使用网络通道规整化策略三种措施组合应用于网络，并对比各项模型评价指标的变化，以分析它们对剪枝后网络性能的影响。第二组实验则是将本文的改进通道剪枝方法与目前主流的通道剪枝算法、和 在各项评价指标上进行对比，以验证本文方法的有效性。改进部分对剪枝模型性能的影响具体来说，我们以最原始的网络为基准，然后将常规卷积结构剪枝、残差结构剪枝和网络通道规整化策略种改进措施按排列组合方式进行实验，一共种组合方法，并记录每种组合方法的检测精度 ：（阈值从 到 下的平均精度）、检测速度和模型参数量等评价指标，不同改进措施组合后的实验对比见表。从组合和组合的实验结果对比可以看出，在常规卷积结构剪枝的基础上增加对残差结构的修剪，精度略微上升了，参数量进一步减少到，并且每秒检测帧数提升了。这表明，对于模型，增加对残差结构的修剪可以进一步提升模型的压缩比。从组合和组合的结果对比可以看出，在常规卷积结构剪枝的基础上增加通道规整化策略，模型参数量略有增加，但检测精度不变，每秒检测帧数却增加了，这是由于通道规整化策略具有向下兼容性，例如，当某一层的通道数在剪枝后变为时，为了保证精度，通过少剪掉一个通道，让通道数变为的倍数（例如）。虽然这导致参数量略有增加，但确保了计算机线程块的并行计算能力，从而更加高效地进行并行计算。因此，虽然参数量略有增加，但是检测速度却变得更快，这验证了通道规整化策略的有效性。通过单独分析残差结构剪枝和通道规整化策略，发现这两种改进措施都可以提高剪枝图组合剪枝模型检测效果可视化示意图后模型的性能。此外，通过组合、组合和组合的实验结果分析可以看出，在常规卷积结构剪枝基础上，将残差结构剪枝和通道规整化策略结合使用比单独使用这两种改进措施可以获得更好的检测性能（尤其是在检测速度方面）。其中，组合有最快的检测速度，每秒检测帧数为，比提升了近。进一步验证了残差结构剪枝和通道规整化策略的有效性。图展示了使用组合模型对接触网悬挂装置各区域零部件进行检测的效果。可以看出，本文的剪枝模型可以准确检测识别到接触网悬挂装置各区域零部件。经过上述分析，我们可以得出结论：组合是最佳的剪枝方案。该方案综合使用了常规卷积结构、残差结构剪枝和通道规整化策略，取得了最佳的模型压缩效果和检测速度提升。组合剪枝模型检测效果可视化示意图见图，也可以看出本文剪枝模型对于接触网悬挂装置零部件可以保持较高的检测精度。表不同改进措施组合后的实验对比方法剪枝率 传统卷积结构修剪残差结构修剪通道规整化：模型参数量个每秒检测帧数（）组合 组合 组合 组合 组合 组合 组合 注：表示使用了对应的改进策略，表示未使用对应的改进策略。铁道技术标准表主流通道剪枝算法性能对比通道剪枝方法：参数量个模型存储空间 每秒检测帧数（）本文方法 主流通道剪枝算法性能对比为了评估本文算法的综合性能，将本文方法与主流的通道剪枝算法、和 进行对比。根据表的实验结果分析可知，本文方法对剪枝后，模型的为，比精度最高的 算法略低，但参数量减少和检测速度远远超过了 算法。同时，参数量为 个，是其他方法中表现最好的 算法的。模型存储空间为 ，比表现最好的 算法还少 ，大大减少了模型在硬件设备上推理时的显存占用。此外，剪枝后的模型每秒检测帧数可达，在所有方法中最高，可以满足接触网零部件检测的实时需求。相比其他主流通道剪枝方法，本文方法具有更好的效果，其中一部分原因是增加了对网络中残差结构的修剪，提高了模型的压缩比；另一方面是通过对网络通道进行规整化处理，使得网络在使用并行计算的硬件设备上推理速度更快。与其他主流通道剪枝方法相比，本文方法具有一定的优势。结论针对高速铁路接触网零部件检测难以满足实时性的问题，提出一种基于改进网络通道剪枝算法的接触网零部件实时检测方法。经过理论分析和实验验证，得出以下结论。（）在基于层缩放因子的通道剪枝方法基础上，增加对残差结构的修剪，可以进一步提高模型的压缩力度。（）构建网络通道规整化策略，使得剪枝后网络每层保留的通道数为的倍数，可以优化网络在硬件设备上的推理速度。（）本文方法对接触网类零部件的值为，仅比低，但模型的参数量减少了，检测速度从 提高到，提升了。在能保证检测精度的情况下，显著降低了接触网零部件检测的计算开销和内存需求，极大地提升了检测的实时性。参考文献：，（）：赵立新，邢润哲，白银光，等深度学习在目标检测的研究综述科学技术与工程，（）：张涛，刘玉婷，杨亚宁，等基于机器视觉的表面缺陷检测研究综述 科学技术与工程，（）：（）：，：，：，（）：郑涵，田猛，赵延峰，等基于改进 的手部位姿估计方法科学技术与工程，（）：，：，：，：，（）：，：高嘉琳，白堂博，姚德臣，等基于改进算法的铁路扣件检测科学技术与工程，（）：宋超等：基于改进网络通道剪枝算法的接触网零部件实时检测王志斌，冯雷，张少波，等基于改进和视频图像的车型识别 科学技术与工程，（）：，：，（）：，（）：邵仁荣，刘宇昂，张伟，等深度学习中知识蒸馏研究综述 计算机学报，（）：，（），：，：，（）：，（）：，：，：，：，：高晗，田育龙，许封元，等深度学习模型压缩与加速综述软件学报，（）：责任编辑：张航