基于改进DeepLabV3 的地铁车辆齿轮箱油表油位线检测算法.pdf

2023 年 7 月（总第 441 期）41第 51 卷Vol.51第 7 期No.7铁 道 技 术 监 督RAILWAY QUALITY CONTROL检验与认证INSPECTION AND CERTIFICATION收稿日期：2023-02-02作者简介：江现昌，高级工程师；邹庆春，工程师；王静，工程师0引言齿轮箱作为地铁列车转向架的最重要部件之一，用于安全传递地铁列车的牵引力。为了保证齿轮箱正常工作，油液面不能低于或高于设定的油位线，需要控制在安全的范围内。对于齿轮箱的故障检测，研究人员取得了诸多成果。杨洪滨利用原子发射光谱、铁谱及自动磨粒分析等方法对车辆齿轮箱油液的特征进行跟踪分析，为齿轮油的更换提供依据1。方吉采用刚柔耦合动力学仿真方法进行分析，能有效预测齿轮箱振动疲劳问题2。付时瑞利用列车振动监控系统（TDDS）分析了齿轮箱振动原因及故障的确切位置3。陈胜男提出了改进的粒子群算法（ACMPSO），对长短时记忆网络进行优化，进而实现对齿轮箱机械诊断4。余思勃5利用支持向量机（SVM）和预训练卷积神经网络（Pretrained CNN）对齿轮箱油液磨粒图像进行分类识别。基于改进 DeepLabV3+的地铁车辆齿轮箱油表油位线检测的算法，先利用智能巡检小车完成图像采集，再通过 YOLO（you only look once）v4模型对车辆齿轮箱油表区域定位。然后采集所有油表数据，对油位进行标注，构建训练数据集，利用改进 DeepLabV3+6网络，对其训练、推理，再利用推理出的二值图完成高度计算，得出最后结果。1油表区域定位将巡检小车采集的图像尺寸统一，用 YOLOv4模型定位待检测油表。然后利用优化的 DeepLabV3网络对油位数据进行训练并完成分割。最后，对真实的油位表图像进行推理得到二值图，计算高度。1.1 油表图像采集巡检小车能够调整拍摄角度，用改进的 YOLOv4 目标检测网络完成目标定位，能够清晰地采集车辆齿轮箱油表图像。算法流程如图 1 所示，巡检小车相机拍摄位置如图 2 所示。基于改进 DeepLabV3+的地铁车辆齿轮箱油表油位线检测算法江现昌1，邹庆春1，王静2（1.南昌轨道交通地铁运营有限公司，江西 南昌 330224；2.成都盛锴科技有限公司，四川 成都 610073）摘要：针对地铁列车在运行中，油表中汽油时常不足，人工检测油表线效率低、准确度不高的问题，提出基于改进 DeepLabV3+的油表油位线检测算法。通过训练 YOLOv4 网络，定位油表位置，采用改进 DeepLabV3+网络进行训练并对其分割，利用推理出的二值图计算油位线高度占比。试验验证表明，这种算法准确率达 99.2%，可准确显示油表油位线高度，并根据具体要求提前报警。关键词：地铁动车组；齿轮箱；油位线；机器视觉；特征提取；目标检测中图分类号：U266.203.32文献标识码：A文章编号：1006-9178（2023）07-0041-07Abstract：In response to the problem of insufficient gasoline in the fuel gauge during operation of subway trains,lowefficiency and accuracy in manually detecting fuel gauge lines,fuel gauge oil level line detection algorithm based onan improved DeepLabV3+is proposed.By training the YOLOv4 network to locate the position of the oil gauge,an improved DeepLabV3+network is used for training and segmentation,and the inferred binary map is used to calculateheight proportion of oil level line.Through experimental verification,this algorithm has an accuracy rate of 99.2%andcan accurately display the height of the oil level line on the oil gauge,and give an alarm in advance according to specific requirements.Keywords：Metro EMU;Gearbox;Oil Level Line;Machine Vision;Feature Extraction;Object Detection42基于改进 DeepLabV3+的地铁车辆齿轮箱油表油位线检测算法检验与认证图像采集YOLOv4 对油表定位标注分割后的润滑油作为数据集利用改进 DeepLabV3网络进行分割训练根据推理出的二值图计算油位高度输出结果图 1算法流程工业相机图 2巡检小车相机拍摄位置1.2YOLOv4 网络YOLOv4 网络结构是通过对 YOLOv3 的主干部分 Neck 优化形成的。目标推理时，通过 nn 大小的网格，检测输入图片的不同区域。检测目标所在的网格会输出最终的置信度7。YOLOv4 的主干网络 CSPDarknet53 优于 YOLOv3 的主干网络，受 ResNet 的跨层启发，构建了跨阶段（cross stagepartial，CSP）结构。此阶段的特征前向传递分为 2个步骤：阶段残差的短路径和一次卷积操作8。使用的激活函数为 Mish，相比 Relu 的硬零边界，Mish拥有更好的梯度流，可以保证更好地前向传播。在 Neck 部分，YOLOv4 提出了空间金字塔池化（spatial pyramid pooling，SPP）结构和路径聚合网络（path aggregation network，PANet）结构。为了更好利用上下语义信息，网络的前向传播需要获得更大的感受野，SPP 结构是对最后一层输出的特征图，进行 5 种不同尺寸的最大池化层处理。PANet 结构是对自底向上跨层特征信息的融合。YOLOv4 模型能够完成高层抽象语义与底层细节特征信息融合，提高齿轮箱油表的定位置信度。最后，对输出的每个特征通过 3 个头部检测器完成推理，判断是否存在检测物体以及相应目标的置信度，最终通过非极大值抑制，输出最合适的预测框7。YOLOv4 网络结构如图 3 所示。图 3YOLOv4 网络结构输入（416，416，3）卷积层池化层激活函数（416，416，32）残差块（208，208，64）1P1残差块（52，52，256）8P3残差块（104，104，128）2P2残差块（26，26，512）8P4残差块（13，13，1024）4P5卷积3拼接+卷积39513拼接+卷积5卷积和上采样卷积和上采样拼接+卷积5拼接+卷积5卷积和下采样卷积和下采样特征图 2特征图 1拼接+卷积5特征图 3P1，P2，P3，P4，P5层数43铁道技术监督第 51 卷第 7 期图 3 中，括号里的数字分别为特征向量的长、宽、通道数。乘号后面为总模块数。总损失函数由 3 部分构成，分别是回归框预测距离损失函数、置信度损失函数、目标类别损失函数8。置信度损失函数 Loss 如下：Loss=1-IOU（A，B）+2(Actr,Bctr)m2+v+i=0S2j=0BIobjijCjilg(Cji)+(1-Cji)lg(1-Cji)+noobji=0S2j=0BIobjijCjilg(Cji)+(1-Cji)lg(1-Cji)+i=0S2IobjijC 0classesInoobjij-Pjilg(c)lg(Pji(c)+(1-Pji(c)lg(1-Pji(c)。（1）式（1）中：=v(1-IOU)+v，（2）v=42()arctanwgthgt-arctanwh2。（3）式（1）（3）中，IOU 为真实面积与预测面积的交并比；A 和 B 为预测目标与真实目标；2（Actr，Bctr）为预测框和真实框中心点间的欧式距离；m为同时包含预测框和标签框交集的最小外包围矩形对角线距离9；a 为度量权衡的参数；v 为度量长宽比的相似性；S2为输入图像网格总数；为先验框总数量；Iobjij表示推理的锚框中真实存在目标情况下的函数；-Cji为真实置信度；Cji为预测置信度；Inoobjij表示负责预测的锚框里不具有真实目标情况下的函数；c 为标签分类；Pji(c)为预测为真实目标的概率，-Pji为网格中目标属于标签的实际概率5；wgt为标签目标框宽度；hgt为标签目标框高度；w 为预测框宽度，h为推理框高度。当标签目标框和预测框的尺寸一致时，损失函数为 0，则v为 0。1.3油表定位提取通过目标检测模型的推理信息，在图中截取需要分割油位的油表。油表定位效果如图 4 所示。图 4 中展示了对圆形和长条形油表的定位效果。1.4油位线检测数据集构建为了提高模型的泛化能力，预防过拟合现象，给已经提取的油表润滑油部分贴上封贴，提供负样本。正负样本比例为 1.21。油表样本如图 5 所示。（a）正样本（b）负样本图 5油表样本2改进 DeepLabV3+网络2.1DeepLabV3+网络结构DeepLabV3+网络在 DeepLabV3 的基础上优化了解码模块。DeepLabV3+网络结构如图 6 所示。图 4油表定位效果（a）圆形油表 1（b）圆形油表 2（c）长条形油表 1（d）长条形油表 244基于改进 DeepLabV3+的地铁车辆齿轮箱油表油位线检测算法检验与认证在编码模块，图像数据进入主干网络过程中，有选择地提取代表性特征，并通过保留局部信息的方式完成特征融合。为了得到合适的感受野与分辨率，利用空洞卷积方式，完成卷积。当设定 output-stride 为 16 时，编码部分提取特征图后，将输入图像的尺寸变为原来的 1/16。在 DeepLabV3 上改进的 DeepLabV3+，最重要的改进部分是构建了ASPP 模块。ASPP 模块分别为单个 11 卷积层，扩张率分别为 6，12，18 的 3 个空洞卷积及 1 个全局池化层10。对输出的多尺度特征进行矩阵拼接，经过 11 卷积块后改变通道大小。在解码部分，11 卷积负责降低维度，再通过上采样得到特征图，为原尺寸 4 倍，然后与编码提取时输出的尺寸相同的张量完成特征拼接。融合后的特征向量，经过 33 卷积和 1 次上采样操作，最终形成端到端的图像尺寸，输出一致的结果。2.2改进 DeepLabV3+网络结构DeepLabV3+基础模型通过 2 次 2 倍的上采样方式，使输出与输入的图像尺寸一致。这样会导致局部信息丢失，图像中像素之间相关性发生变化，推理过程形成像素空洞。如果使用主干网络直接提取特征向量，会丢失更深层的特征抽象语义信息与空间相关性，使像素在解码过程中缺失少量信息，导致油表的润滑油液面不平滑。针对这一问题，提出将再编码阶段产生的低分辨率特征张量与浅层特征进行多次拼接，采用多次上采样的方式，保留像素的局部信息，使分割边界更加平滑。为了进一步提高通道的学习能力，在原结构的解码部分增加注意力模块，并选用 ECA 注意力模块。ECA 注意力模块结构如图 7 所示。CCHHWW输入输出图 7ECA 注意力模块结构ECA 注意力模块是一种新的加强跨通道信息共享权重的方式，能加强网络依赖通道的学习能力7。通过 GAP 最终输出特征y RC。如果不进行上采样，则通过卷积核大小为 k 的卷积，得到提取通道的权重 为=（C1Dk（y）。（4）式（4）中，表示 Sigmoid 激活函数；C1D 为一维卷积。要得到通道信息共享权重，先获取通道信息传输范围11，即卷积核大小 k。ECA 注意力模块自适应地选择 k，计算公式如下：k=（C）=|log2C+bodd。（5）式（5）中，|todd表示取 t 最邻近的奇数；b=1，=2。这是一种轻量化网络，不会影响整体网络推理速度。改进 DeepLabV3+网络结构如图 8 所示。输入主干11 卷积并行多分支模块编码部分下采样11 卷积33 卷积下采样特征输出解码部分11 卷积33 卷积数字卷积核尺寸大小图 6DeepLabV3+网络结构45铁道技术监督第 51 卷第 7 期3试验验证为了验证算法的有效性，对提出的算法开展验证试验。3.1试验环境试验环境为：处理器 Intel（R）XEON CPUGold 6246，内存为 32 GB，显卡为 RTX4090，显存为 24 GB，深度学习框架为 TensorFlow。试验训练超参数设置见表 1。表 1试验训练超参数设置超参数批次大小输入尺寸迭代次数学习率动量损失函数YOLOv4165125121.21040.0010.9CIOU-loss改进 DeepLabV3+3225625631030.0010.9BCEWithLogitsLoss3.2评价标准标记线合格判定算法采用精确率（Precision）评价指标，计算公式为precision=TPTP+FP。（6）式（6）中：TP 为合格地被判断为合格的个体数量，FP 为不合格地被判定为合格的个体数量。此外，TN 表示合格地被判定到不合格的个体数量，FN 表示不合格地被判定为不合格的个体数量。语义分割模型指标通常有 2 个：平均像素精度（mPA）和平均交并比（mIOUS）。若数据集含有k+1个类别，用pij表示真值为第 i 类的像素被预测为第 j 类像素的数目，pii表示真正的像素数量（TP），pjj为假负的像素数量（FN），pji为假正的像素数量（FP）12。mPA 是每类被正确分类的像素比例的平均值，即编码部分输入11 卷积特征输出解码部分33 卷积下采样特征拼接下采样特征拼接上采样特征拼接ECA 注意力模块ECA 注意力模块ECA 注意力模块上采样并行多分支模块1/41/81/161/16分数为当前特征图缩减为输入图像的比例图 8改进 DeepLabV3+网络结构46基于改进 DeepLabV3+的地铁车辆齿轮箱油表油位线检测算法检验与认证mPA=1k+1i=0kpiij=0kpij。（7）mIOU 是属于真实物体像素与推理像素的交集与其并集之比，先计算每个类别的交并比，再取平均，即mIOU=1k+1i=0kpiij=0kpij+j=0kpji-pii。（8）3.3油表区域及油表定位齿轮箱智能检测系统采集定位的 1103张车体图像，按 82 划分训练集和验证集。利用平均精度作为模型评价指标，mAP 为平均精度。先计算每种物体的推理精度，再求所有种类的平均精度。AP 为单一种类物体的检测精度。试验分别采用SSD，YOLOv3 和 YOLOv4 训练。油表定位网络模型 mAP 对比见表 2。表 2油表定位网络模型 mAP 对比%网络模型SSDYOLOv3mAP92.795.4网络模型YOLOv4mAP98.2通过 3 个网络的对比，对油表定位而言，由于区域差异大，特征明显，推理精度高。YOLOv3 比SSD 提高 2.7%。由于特殊的特征融合结构，YOLOv4 模型增强了网络特征的提取，同时优化了损失函数和预测框筛选方式，检测平均准确度比 YOLOv3 提高 2.8%，且能更快速定位油表位置。通过定位得到油表数据集。为了更好地得到润滑油高度，通过空气和润滑油 2 部分像素的占比来判定，即对油表润滑油和空气分别标注。油表标签如图 9 所示。（a）长条形油表（b）长条形油表标签（c）圆形油表（d）圆形油表标签图 9油表标签为了验证算法的准确性，对主干网络进行消融试验。油表分割模型消融试验结果见表 3。表 3油表分割模型消融试验结果%模型VGG19ResNet34ResNet50ResNet50+ECAmIOU79.388.592.498.7mPA80.290.293.699.3通过消融试验对比，在对油表中空气和润滑油进行特征提取的时候，因为浅层结构原因，VGG19 不能很好地分割出润滑油部分；ResNet50 比ResNet34 的平均交并比提高 3.9%。利用多层次融合和 ECA 注意力机制，使模型更好地推理分割，平均交并比在原基础上提高 6.3%，平均像素精度提高 5.7%。为了更明显地体现出分割模型的效果，记录各个对比试验的测试结果。消融试验推理结果对比如图 10 所示。（a）VGG19（b）ResNet3447铁道技术监督第 51 卷第 7 期（c）ResNet50（d）ResNet+ECA图 10消融试验推理结果对比由图 10 可以看出，对于特征提取不够的网络VGG19 和 ResNet34，不论是空气部分还是润滑油部分，分割主体都出现空洞部分，边缘出现锯齿。对于 ResNet50，能到达一定效果，但是润滑油边缘依然不够平滑。通过引入 3 个层的特征融合，并且加入 ECA 注意力模块，使得对边缘的分割达到更好的效果。3.4油位线判定根据润滑油推理部分的 y 坐标最大值和最小值差，计算像素高度和空气部分。为了验证算法实用性，采集 800 张油表数据，其中低于油位线和高于油位线的共计 125 张。最高油位线上下比为 64，最低油位线上下比为 73。消融试验测试对比见表 4。4结论提出基于改进 DeepLabV3+地铁车辆齿轮箱油表油位线检测算法，以有效解决人工检测效率低的问题，同时保证准确性和鲁棒性。这种算法包括利用 YOLOv4 网络完成齿轮箱的油表定位；选用ResNet50 作为主干网络，加入 ECA 注意力模块，同时采用多层特征融合提高对油位线边界的提取能力；通过计算高度差占比，判断是否为合格部件。对所提出的算法分别进行试验，证明了算法的有效性和准确性。参考文献1 杨洪滨 轨道交通车辆齿轮油中的磨损颗粒分析J 合成润滑材料，2021，48（3）：16-212 方吉，马域，潘虹宇，等 某城际列车齿轮箱结构振动疲劳寿命预测研究 J 铁道科学与工程学报，2021，18（9）：2418-24263 付时瑞，卜峰，吴艳鹏，等动车组齿轮箱异常振动监控数据分析J 城市轨道交通研究，2022，25（2）：99-1024 陈胜男基于深度学习的动车组关键部件故障分类方法的研究D 北京：北京交通大学，20215 余思勃 基于油液磨粒图像的地铁车辆齿轮箱故障诊断系统研究D 成都：西南交通大学，20216 JIA F，LIU J，TAI X C.A regularized convolutional neural network for semantic image segmentation J Analysis and Applications，2021，19（1）：147-1657 李彬，汪诚，吴静，等改进 YOLOv4 算法的航空发动机部件表面缺陷检测J 激光与光电子学进展，2021，58（14）：414-4238 张乔木，钟倩文，孙明，等复杂环境下弓网接触位置动态监测方法研究J 电子科技，2022，35（8）：66-729 马冬梅，李鹏辉，黄欣悦，等改进 DeepLabV3+的高效语义分割J 计算机工程与科学，2022，44（4）：737-74510 冯传盟，邢彦锋，李学星，等基于改进 DeepLabv3+的雾气图像分割J 智能计算机与应用，2022，12（1）：89-94.11 CHEN Y，FANG R X，LIANG T，et alStock price forecastbased on CNN-BiLSTM-ECA model J Scientific programming，2021.12 朱均基于 ResNeXt 网络的多历史螺栓松动检测算法研究J 今日制造与升级，2022（7）：63-68（编辑吴磊）模型对比组/个ResNet34ResNet50NesNet50+ECA正确/个准确率/%正确/个准确率/%正确/个准确率/%测试集合格96095198.695599.295999.7不合格40353738某地铁线路样本合格80077696.278597.879499.2不合格125114119124表 4消融试验测试对比广告索引中铁检验认证中心有限公司铁道建筑检验站 封二，前插 1北京铁科英迈技术有限公司 前插 2北京纵横机电科技有限公司 前插 3克诺尔轨道系统中国区总部 后插 1北京铁福轨道维护技术有限公司 后插 2中铁宝鸡轨道电气设备检测有限公司 后插 3第十六届中国国际现代化铁路技术装备展览暨第四届世界铁路合作 发展论坛 后插 4北京铁科首钢轨道技术股份有限公司 封三