基于改进YOLOv4的飞机导管喇叭口缺陷检测.pdf

引用格式:周艺璇周鸿姚勇等.基于改进 的飞机导管喇叭口缺陷检测.航空计算技术():.():.基于改进 的飞机导管喇叭口缺陷检测周艺璇周 鸿姚 勇李 冲李玉斌(.航空工业西安航空计算技术研究所陕西 西安.西安电子科技大学陕西 西安)摘 要:通过人工对飞机导管喇叭口()缺陷进行检测过程中存在一定误差且检测率低下 为减少人工检测带来的误检、漏检及提高检测工效提出了一种基于 改进模型的检测飞机导管常见缺陷的方法 通过聚类分析调整锚盒的大小以更好地匹配小目标和复杂结构的特征 在骨干特征提取网络和空间金字塔池结构输出的不同特征层之后添加卷积层以提高网络复杂度换取网络对缺陷特征的提取能力 实验结果表明改进模型在对飞机导管喇叭口缺陷检测中的 值为.比原始 算法提高.对单个图像的平均检测时间算法运行速度与原始算法相较没有明显变化关键词:飞机导管喇叭口缺陷检测神经网络中图分类号:文献标识码:文章编号:()(.):.:引言飞机喇叭管()是飞机各种管路连接的主要方式是燃料、动力、压力等传输过程的管路 高压高频振动状态下扩口导管表面易产生磕碰、裂纹和划伤等缺陷 缺陷的存在会导致飞机漏油、液压传递不畅、压力不足等各种故障严重危及飞行安全轻者造成飞行事故征候重者直接造成等级事故 而在飞机喇叭管的维修过程中往往使用人工缺陷检测检测人员使用肉眼或工业内窥镜进行观察 由于油污、表面灰尘、检测环境限制等原因造成检测效率低依据经验判断和长期视觉疲劳容易造成判断错误以卷积神经网络为代表的深度学习模型近年来在越来越多的领域展开应用 在此基础上衍生出了基于深度学习的目标检测方法 该方法采用了监督学习和半监督学习可以使得网络自动选择特征自适应地收稿日期:修订日期:基金项目:安徽省产学研合作基金项目资助()作者简介:周艺璇()女陕西西安人硕士第 卷 第 期航 空 计 算 技 术.年 月 .学习图像特征完成缺陷检测任务 本文提出了一种针对图像细微缺陷的基于神经网络的检测方法可用于飞机大修过程中留机导管喇叭口的缺陷检测 相关研究基于神经网络目标检测主要有两种方法一种是两阶段的另一种是一阶段的 两阶段方法首先提取目标的候选框然后训练检测模型如 、等 而一阶段方法通过检测网络直接生成目标结果不需要提取检测速度较高的目标候选框如、等 使用改进的 模型进行了织物缺陷检测的尝试孙迎春也对 进行了优化用来检测交通灯一些研究人员还试图将深度学习方法应用于检测部件表面的缺陷 文献基于孔深图像和 研究了飞机发动机叶片损伤特征并进行了识别定位提出了 模型该模型以 为基本架构结合了特征金字塔、深度可分离卷积来检测飞机结构中的裂纹 截止目前尚未有人尝试将基于神经网络的目标检测方法应用于飞机导管喇叭口的缺陷检测 算法设计.简介 卷积神经网络模型是一阶段目标检测器而 是 年最新提出的目标检测算法 网络模型综合了原先 模型模型中的优化策略在数据处理、主干网络、网络训练、激活函数、损失函数等方面有不同程度的优化和提升选取基于深度学习的 网络作为基础模型其网络架构由主干网络()、颈部网络()、头部网络()三部分组成 主干网络用来对图像特征进行提取颈部网络也称加强特征提取网络通过不同池化核大小的最大池化对最后的输出特征层进行处理使其感受范围扩宽增强对特征图的提取能力头部网络的作用是接收主干网络和颈部网络提取加工后的特征信息分析计算后输出预测结果.改进 架构.先验框的改进在 系列模型中先验框机制是一个非常大的改进即在目标检测算法中以 为中心点由算法预定义出多个不同长宽 比 的 先 验 框 原 始 提供的先验框是由 数据集聚类得到的然而 数据集中对象大小差别较大导致先验框的差别也较大同时飞机导管喇叭口缺陷大小以及缺陷类型与 数据集中的对象差异较大并且多为微小缺陷增加了位置信息的检测难度 如果直接使用原有的先验框则检测精度很低 为此选取对数据集聚类效果较好的 聚类算法重新获取与飞机导管喇叭口缺陷大小和比例相匹配的先验框使用聚类中心和特征的交并比()来作为相似度参数 具体目标函数 如下:式中为待测对象中第 个标注框的面积为第 个聚类中心的面积 为检测目标的数目 为聚类中心数目原始 模型中使用 个特征层进行检测每个特征层各自包含 个尺寸不同的先验框 而改进后的算法模型中先使用 聚类算法对检测目标进行统一数据标注从而产生对应的先验框:在数据集中针对待检测目标进行标注:随机选取 个点位作为起始聚类中心:对检测对象中各标注框与聚类中心点的交并比进行计算:根据交并比的大小标注出交并比最大的聚类中心并分配标注框:分配结束后再重新计算聚类中心重复 直到聚类中心不发生变化最后得到 个先验框的高度和宽度根据上述过程计算出适用于飞机喇叭管表面间隙的先验框大小提高了先验框与不同特征层的匹配程度和特征提取的精度 个先验框尺寸分别为()、()、()、()、()、()、()、()和().网络结构的改进针对飞机导管喇叭口缺陷尺寸小且形状不规则的问题同时考虑到飞机导管喇叭口缺陷特征以及现场检测效率如图 所示将 输出的特征层 和 原先的一个卷积层增加到 个卷积层卷积核分别为 和 并将 结构周围的 个卷积层增加为 个卷积层卷积核分别为 和 、特征层经过多次小卷积处理能够提取更多的图像特征但因为卷积核较小并未增加过多的计算量 而且随着卷积深度增加可以获得更大、更多尺寸的感受范围使得采样更加密集提取到更加全面的特征信息.加入旋转检测模块针对划痕缺陷高纵横比的特征利用旋转检测模块来实现对高纵横比缺陷的检测 具体来说为了准 年 月周艺璇 等:基于改进 的飞机导管喇叭口缺陷检测 确地表示旋转盒的回归角度信息使用一个多向量回归盒来表示目标的坐标信息图 改进的 架构 图 所示其中 为旋转箱的中心 利用从中心点指向的 个向量来描述回归盒预测的向量参数分别为、与预测 个点的坐标相比多向量回归盒成功地避免了由回归角信息引起的交点比的误差 多向量回归盒的表示方法等价于预测各象限中的一个向量可以有效地利用公共信息提高模型的泛化能力图 多向量回归标记 系统设计.检测流程在视觉采样检测仪硬件端利用工业级高精度镜头结合光线平衡装置对待测部件进行高精度图像采样 在此步骤中硬件端会通过光线平衡装置最佳化采样图像的亮度区间和均匀性为后期处理提供可靠的输入数据 获得待测图片后传输给上位机在上位机平台使用缺陷检测算法进行检测得出检测结果将图片检测时间和检测结果记录下来.缺陷分类经过调研留机导管的缺陷主要分为以下几类:)边缘缺损:导管口边缘出现缺口且缺口周边可能附带有表面剥落和表面擦伤现象)裂纹:导管口表面出现裂痕或显著的断裂)内部划痕:导管口内壁出现非同心圆划痕针对这些缺陷构建基于图像处理的缺陷检测算法 先用中值滤波和小波去噪对图像的椒盐噪声和高斯噪声进行滤波针对去噪后裂纹区域边缘弱化的问题使用图像增强技术提升裂纹轮廓细节另外考虑到飞机导管喇叭口表面缺损种类较多缺损密度较大且检测缺损不只是在水平方向上而是在导管喇叭口表面的任何方向和位置上我们在基础的 模型上增加了基于角度计算的旋转框设计并提出了改进的损失函数使其在大纵横比对象之间的分数对角度的变化更为敏感有利于更为精确地进行划痕和裂纹的检测.算法流程检测算法分为三个模块 第一部分为实验室的理论权重训练模块:该模块主要完成图像采集、图像去噪和增强等预处理通过不断试验获取最佳预训练模型 航 空 计 算 技 术 第 卷第 期参数并且预留模型升级迭代的接口 第二部分为缺损检测模块:该模块完成图像的去噪和增强对图像进行检测特征判断识别是否存在缺损检测之后可以结合人工评价使用模型权重更新模块来不断对模型进行优化 第三部分为模型权重更新模块:该模块采集了经过人工评价之后的数据并且进行整理数据可以反馈到实验室的理论权重训练模块进行模型的多次迭代更新训练 实验结果与分析.数据集处理本实验使用的数据为工业相机拍摄的飞机喇叭管缺陷图像 由于图像样本数量不多在前期图像预处理时进行了目标裁剪、曝光调整以及翻转调整等操作对原始图像进行离线增强最终数据集图像数量为 张 因为数据量不是很大所以训练集和测试集的比例定为:其中训练集 张测试集 张将缺陷分为缺损、裂纹和划痕使用 软件在图像中手动标注包含缺陷特征的矩形框并将标注好的样本存放在指定的路径中标签类型以及标注区域的坐标存储到 文件中为模型训练做准备.参数调整在训练开始时将衰减系数设置为.学习率设置为.衰减系数及学习率初始设置不宜过大或过小 训练 个轮次后将学习率降低到初始率的 损失函数在整个训练过程中的明显下降经过 个轮次的训练网络已经收敛收敛过程中的训练损失值为.结果分析.评价指标通常使用精确率()和召回率()来评价模型的性能其中 /()/()精确率也称查准率体现了模型检测的精确性而召回率体现了模型识别目标的能力 由于精确率指标过分强调检测结果的准确性采用了疑罪从无的策略会在实际应用中出现漏检而飞机导管喇叭口缺陷的漏检将导致严重的安全隐患 所以为更切近生产实际在实验中又引入平均精度()和均衡 平 均 数 ()作为评价指标 平均精度综合了准确率和召回率的结果用于评估模型在单个检测类别上的表现 是准确率和召回率的调和平均值其作用是对准确率和召回率进行整体评价()()()反映了 曲线下的面积它综合了 和 的结果 基于 和 的谐波平均值反映了模型的综合性能 由于导管喇叭口对飞机的安全性能影响很大因此在缺陷检测中应做到尽可能少的遗漏检测目标这就需要 和 计算值同时处于较高的状态.结果比较为验证检测效果我们设置 组实验进行评价实验 使用原始先验框和未改进的 网络结构进行训练和测试用于后面实验的评估基准 实验 是则通过 聚类进行先验框的改进结合原始 网络结构利用改进后的先验框大小进行训练和测试并在实验中确定合适的先验框尺寸大小第 个实验则仅对网络结构进行优化增加卷积深度然后进行训练和测试用来评估网络结构的改进对缺陷检测性能的影响 实验 则结合了实验 和实验对先验框尺寸和网络结构均给予优化评估两种改进方法结合后在缺陷检测中的效果图 中()和()分别为原先验框和改进先验框在原 网络下的 曲线 可以看出该模型在检测中的 提高了.提高了.主要原因是原始先验框的纵横比是固定的针对飞机导管喇叭口几种主要缺陷类型特别是细长的划痕不能自由调整 同时由于缺陷尺度较小在检测时容易漏检目标在实验 中通过 对所有缺陷的坐标进行聚类生成适合数据集的先验框大小 这样可以提高先验框与不同特征层的匹配程度更有利于检测不同尺度的缺陷降低遗漏目标的可能性 图 中()和()是 网络结构改进前后的结果 对比实验 和实验 的检测性能在修改先验框的前提下原始的 模型和改进后的 模型的 曲线的 值增加了.由于对 结构的改进深化了网络结构使得更有利于目标特征的提整个模型对缺陷特征的识别能力进一步增强 同时 从.提高到.值的提高说明加深网络结构能够一定程度减少对缺陷检测的遗漏综合比较两种改进方法结果如表 所示 可以看出通过修改先验框的大小或者 网络结构 值和 值分别都得到了一定提升而执行时间并没发生太大的变化 年 月周艺璇 等:基于改进 的飞机导管喇叭口缺陷检测 图 的 曲线表 实验结果对比 /.检测结果在工厂环境实际测试中提供一个完好的基准喇叭口以及部分有缺陷喇叭口使用该算法进行实际检测取得了良好的检测结果对边缘缺损、裂纹及划痕 种缺陷均表现良好 检测结果如图 所示图 实测结果 结束语本文尝试了基于改进 的飞机导管喇叭口缺陷图像检测方法 与传统的人工检测相较一方面减小了劳动强度提高了工作效率另一方面机器检测不会因主观因素造成误检和漏检在较大程度上保障了检测结果的客观准确性 实验结果表明改进的 模型可以在保证速度基本相同的情况下有效提高检测精度实现对飞机导管喇叭口的智能高效检测对工厂的生产效率提高有较强的现实意义参考文献:彭贤虎于润桥郭萌梦.基于弱磁技术的飞机导管裂纹缺陷检测.南昌航空大学学报(自然科学版)():.:.():.:.:.:.().():.():.:.孙迎春.基于优化 算法的交通灯检测.光学学报():.李龙浦.基于孔探数据的航空发动机叶片损伤识别研究.天津:中国民航大学.:.():.航 空 计 算 技 术 第 卷第 期