基于机器视觉的小样本零部件表面DD_佟鑫.pdf

基金项目:北京市自然科学基金资助项目(4202015)收稿日期:2021-11-08 修回日期:2021-11-16 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0160-05基于机器视觉的小样本零部件表面 DD佟 鑫,郑 彤,于重重,叶 洋(北京工商大学人工智能学院,北京 100048)摘要:现有汽车零部件表面缺陷检测方法大多数都是依靠人工目检或传统的图像处理方法,其检测精度和速度都不能满足零部件工厂需求。由于汽车零部件的残次率低,导致可用的数据量少,一般的深度学习模型不能很好地应用于汽车零部件表面缺陷检测。针对上述问题,提出一种基于机器视觉的小样本汽车零部件表面缺陷检测方法。上述方法在 Faster RCNN检测网络基础上,采用指导框区域候选网络改进原有的区域候选网络,并且利用聚焦式损失函数来进一步改善正负样本不均衡的问题,同时加入循环特征金字塔结构以及组合特征关系检测器。在汽车零部件表面缺陷数据集和小样本 FSOD 数据集上的实验结果表明,小样本汽车零部件表面缺陷检测模型较好地实现了在小样本零部件数据条件下对零部件表面缺陷的检测。关键词:缺陷检测(DD);小样本学习;指导框区域候选网络;循环特征金字塔;组合特征关系检测器中图分类号:TP391.9 文献标识码:BSurface Defect Detection of Few-Shot PartsBased on Machine VisionTONG Xin,ZHENG Tong,YU Chong-chong,YE Yang(College of Artificial Intelligence,Beijing Technology and Business University,Beijing100048,China)ABSTRACT:Most of the existing surface defect detection methods of automobile parts rely on manual visual inspec-tion or traditional image processing methods,and their detection accuracy and speed can not meet the needs of partsfactories.Due to the low defect rate of auto parts,the amount of available data is small,and the general deep learningmodel can not be well applied to the surface defect detection of auto parts.To solve the above problems,a few-shotsurface defect detection method of automobile parts based on machine vision is proposed.Based on the Faster RCNNdetection network,this method uses the guided anchoring region proposal network to improve the original region pro-posal network,and uses the focal loss function to further improve the imbalance between positive and negative sam-ples.At the same time,it adds the recursive feature pyramid structure and the combined feature relation detector.Theexperimental results on automobile parts surface defect data set and few-shot FSOD data set show that the few-shotautomobile parts surface defect detection model can better detect parts surface defects under the condition of few-shotparts data.KEYWORDS:Defect detection(DD);Few-shot learning;Guided anchoring region proposal network;Recursivefeature pyramid;Combined feature relation detector1 引言基于机器视觉的表面缺陷检测在国内外金属制造业、纺织制造业、印刷制造业、塑料制造业、木材制造业和玻璃制造业等工业领域有重要的实际意义。美国西屋电器公司首次采用电荷耦合器件摄像机对钢板进行表面缺陷检测1。康耐视公司提出自我学习识别系统,有效地改善了传统方法在训练速度和精度上的不足2。王志成等学者针对不同形状的表面缺陷特征建立缺陷数据库,通过计算待检测表面缺陷和数据库中缺陷的相似性来实现类似钢板等金属零部件的缺陷检测3。所构建的传统的缺陷检测方法系统能够实现相机自动拍照和图像检测,但是其不足之处在于检测精度依赖于缺陷数据库的数据质量,并且不能很好地适用于复杂场061景下的表面缺陷检测。随着神经网络理论的发展,数据量足够时,深度学习提取样本特征的优势逐渐显露出来,在机器视觉领域越来越多的学者选择基于深度学习的模型来处理机器视觉的表面缺陷检测问题。如果数据量较少很容易导致网络的泛化性极弱。由于现实场景中经常很难收集到数据量充足的数据样本,面临着一些小样本场景下的分类识别任务,小样本学习相关理论因此迅速发展4-6。在工业生产中,工业缺陷很少发生,而且缺陷的种类多种多样,因此,在这样的不平衡小样本数据集上训练神经网络,容易造成过拟合的问题,难以实际应用7。针对上述问题,由于得到的真实的汽车零部件缺陷样本较少,首先对小样本汽车零部件数据进行了数据增强,对原本数量较少的零部件缺陷数据进行扩充。模型方面,本论文以 Faster RCNN 模型为研究基础,结合指导框区域候选网络、循环特征金字塔和特征组合关系检测器等结构提出一种小样本汽车零部件表面缺陷目标检测模型。2 Faster RCNN 目标检测模型现有的目标检测思路可分为单步骤检测算法和双步骤检测算法,单步骤目标检测是指在单次阶段就能同时完成目标分类和目标定位,代表算法有 YOLO(You Only Look Once,YOLO)系列算法8。双步骤目标检测是先通过算法预测出带有检测目标位置信息的候选建议框,然后在对这些框进行分类和进一步的回归。单步骤目标检测方法经常存在识别物体位置精准性差、召回率低的缺点。所以针对小样本目标检测任务应优先考虑双步骤检测方法。最早的双步骤检测模型是 RCNN 模型9,随着机器视觉领域软件和硬件的不断发展,SPP NET10、Fast RCNN11、Faster RCNN12等模型被不断提出。其中,Faster RCNN 是较为成熟的常用双步骤目标检测算法,相比于单步骤目标检测模型,Faster RCNN 网络可更精确地检测目标,可以解决多尺度、小目标问题。Faster RCNN 的模型结构图如图 1 所示。图 1 Faster RCNN 模型结构图12从图 1 可以看出,Faster RCNN 模型首先对输入图像进行了 特 征 提 取,之 后,区 域 候 选 网 络(Region ProposalNetwork,RPN)会根据所提取的特征图生成若干对应的候选检测锚框,然后对锚框进行分类和回归。3 小样本零部件表面缺陷目标检测模型3.1 基于指导框结构的区域候选网络区域候选网络位于 Faster RCNN 网络的前端,其主要作用是在输入的图像上产生一系列候选建议框。在区域候选网络中使用滑窗的方式会在特征图中生成大量建议框,但单一图片中的物体特征有限,导致生成的建议框中负样本过多。同时,区域候选网络在生成建议框时会认为先验假设框的尺寸或者宽高比为几个固定值,这些先验假设往往随着不同的数据集变化而变化的,使得公共数据集上的先验假设并不适用于零部件表面缺陷数据集。为解决上述问题,本论文采用融入指导框区域候选网络13(Guided Anchoring Region Proposal Network,GA-RPN)的方式,使用提取到的特征来指导建议框的中心位置和宽高比,让模型在提高生成建议框效率的同时还能够生成任意尺寸大小的候选建议框。指导框区域候选网络框架如图 2所示。图 2 GA_RPN 网络框架如图 2 所示,在特征提取之后加入一个指导框结构模块用于指导预测候选框。图 2 中采用的指导框结构如图 3所示。图 3 指导框结构图由图 3 可知,指导框结构主要由建议框生成模块和特征自适应模块组成。建议框生成模块主要作用是用来预测特征的位置和特征形状,且在网络训练过程中只保留大于预先人为设置的阈值的预测概率值,并进一步筛选掉了与目标缺陷无关的锚框区域。由于零部件表面缺陷形状的不确定性,同一类缺陷的形状也可能差异较大。为了能全面而准确地预测出缺陷在零部件上的位置,指导框结构中加入了对于目标缺陷的形状预测。通过形状预测结构可以得到一组偏移调整量(dw,dn),偏移向量的作用是使得预测锚框在最大程度上接近真实锚框,用来指导建议框尺寸的调整。其中,形状预测分支中产161生的偏移调整量用于指导最后的锚框回归,最终得到最贴近缺陷形状的锚框位置信息。为进一步改善目标检测网络的候选框生成中正负样本不均衡的问题,在训练时加入聚焦式损失函数,以减少产生的候选框中负样本候选框对模型检测结果的影响。聚焦式损失函数如式(1)所示。Lfl=-(1-y)logy,y=1-(1-)ylog(1-y),y=0(1)式(1)中,因子用于平衡正负样本,因子调节简单样本损失降低的速率。实验证明设置=2 时是最优。3.2 循环特征金字塔网络为了提取更丰富的图像特征信息,采用循环金字塔网络15来从多尺度的角度对零部件表面缺陷进行特征提取。循环金字塔网络是由基本的特征金字塔网络组成的。特征金字塔网络主要的作用是进行特征提取,在各个尺度上对特征进行整合合并得到多个新的融合特征图14。循环特征金字塔网络将传统的特征金字塔网络融合后的输出再次输入到网络骨架中,进行二次循环得到新的特征图输出,循环特图 5 组合特征关系检测器结构图征金字塔网络如图 4 所示。图 4 循环特征金字塔15这一过程可以表示为式(2)所示。fi=Fi(fi+1,xi),xi=Bi(xi-1,Ri(fi)(2)在式(2)中,fi表示输出特征,其中 i=1,S,S 表示特征金字塔的层数。x0表示输入图像,Fi分别表示从顶端流向底端的过程。Bi表示在将特征转换连接回自下而上部分的主干网之前的特征,将上述操作在神经网络中转换为递归操作可以表示为式(3)。fti=Fti(fti+1,xti),xti=Bti(xti-1,Rti(ft-1i)(3)在式(3)中,i=1,S,t=1,T,T 是展开迭代的次数,使用上标 t 来表示展开步骤 t 中的操作和特征 f0i被设置为 0。循环特征金字塔网络可以从多尺度的方向上进行特征提取,但是过多次的循环会导致模型的复杂度增加,影响模型的训练速度,因此在本论文实验中设置 T=1。3.3 组合特征关系检测器不同于一般的分类或者检测网络,小样本任务训练数据集通常由支持集和查询集组合而成,训练过程中会分别从支持集和查询集中随机选择同一类别的样本形成训练组合(QN,SN),QN和 SN分别代表数据集中类别种类均为 N 类的查询集样本图像和支持集样本图像。这样的设计方式使得小样本模型在训练的过程中更加注重同一类别样本特征之间的关系,有利于学习类间样本的相似性。组合特征关系检测器是指在模型训练的过程中将查询集和支持集的特征组合起来形成一种组合特征关系检测器。针对零部件表面缺陷样本数据量较少,检测识别精度较低等问题,本文提出一种组合特征关系,此组合特征关系是指查询集特征和支持集特征图上像素级上进行的特征组合,分别为多对多关系、一对多关系、一对一关系。本文构建的组合特征关系检测器结构图如图 5 所示。图 5 中有三行结构,第一行结构是多对多的关系结构,多对多关系中将支持集特征和查询集特征连接成新的融合特征,最后用包含 ReLU 的两层全连接层输出最后的分数。图 5 中第二行是一对一的关系结构,首先使用 11C 大小的卷积层对支持集特征和查询集特征进行池化操作,对于得到的每一个新支持集特征和新查询集特征进行拼接操作,最后用全连接层获得分类评价分数。图 5 中第三行是一对多的关系结构,一对多的关系是指将多个查询集的样本特征和单一支持集特征连接到一起,支持集特征和查询集特征会生成一个新的融合特征,然后将拼接的新的特征输入到后续的卷积池化层。3.4 小样本零部件表面缺陷目标检测网络基于前文提出的 GA-RPN 结构、循环特征金字塔网络、多关系检测器,最终的小样本汽车零部件表面缺陷目标检测模型如图 6 所示。从图 6 中可以看到,从模型结构上来说,模型产生候选框的结构是一个 GA-RPN 结构,GA-RPN 的结构主要是由建议框生成模块和特征自适应模块组成。支持集和查询集图像的特征需要通过 GA-RPN 来预测得到候选框。在网络的特征检测器方面,为充分学习来自查询集和支持集的特征261关系,分别以不同的组合方式对特征进行拼接,然后进行训练检测,最终的结果由三种组合关系共同作用得到。图 6 小样本汽车零部件表面缺陷目标检测模型4 实验结果与分析4.1 实验数据集增强为了证明小样本汽车零部件表面缺陷目标检测模型的有效性,在 FSOD 公共数据集上进行实验,并构造汽车零部件表面缺陷数据集,进一步验证此模型的实际应用效果。汽车零部件表面缺陷数据集为零部件工厂现场采集得到,采集到的原始零部件图像尺寸大、冗余背景多。直接使用原始图片进行模型训练会影响模型训练精度和速度,因此首先对零部件图像进行图像分割,得到各种缺陷图像。汽车零部件表面缺陷的类型有八种,分别是铁锈、有无花键、黑斑、裂纹、螺纹孔遮挡、有螺纹、无螺纹、划痕。每一类别的缺陷图像数据为 40 张,图像尺寸大小为 200200。为解决采集图像时光照不均这一问题,采用自动色彩均衡算法16(ACE)对零部件图像进行增强。零部件表面缺陷数据集图像数量少,因此采用数据增强来扩充零部件表面缺陷数据集。通过图像旋转、裁剪、颜色变换等方法对数据进行增强后,将每类图片扩为 400 张,图像尺寸不变。部分零部件表面缺陷数据集展示如图 7 所示。图 7 数据集部分表面缺陷图片4.2 实验评估方法与实验环境在 目 标 检 测 模 型 Faster RCNN 模 型 中,交 并 比(Intersection-over-Union,IOU)是由区域生成网络产生的候选框(Candidate Bound)和原始目标在图像标注的真实位置框(Ground Truth)的交集和并集的比值,如式(4)所示。IOU=CandidateBound GroundTruthCandidateBound GroundTruth(4)模型训练时会预先设置 IOU 阈值,对于检测过程中得出的一系列 IOU 值,模型将 IOU 值大于阈值的检测目标 TP,将小于阈值的检测目标认定为 FP,目标的真实总数量为 N。检测正确的总框数与累计的总框数之比为检测正确率(Preci-sion),正确率计算如式(5)所示。precision=TPTP+FP(5)正确识别出的目标与测试集中所有该目标的个数之比是模型检测的召回率(Recall),召回率计算如式(6)所示。recall=TPN(6)对于数据集中的每一个类,将横坐标定为召回率,将纵坐标定为正确率,可得到该类的 P-R 曲线,平均精度(Average Precision,AP)的值通过计算 P-R 曲线的面积得到。此处使用的评价指标为平均精度均值(mean AveragePrecision,mAP),是通过对各类的平均精度取均值所得到的。本文实验的硬件环境为:CPU 是 Intel i7 8700k,内存大小为 16G 2,GPU 为 NVIDIA GTX1080Ti 4,系统环境是Ubuntu16.04,实验环境是基于深度学习框架 Pytorch1.4.0 完成的。4.3 实验结果与分析使用本文提出的小样本汽车零部件表面缺陷目标检测模型分别在公共数据集 FSOD 和零部件表面缺陷数据集上进行了实验,为证明多关系检测器的合理性,分别对每种关系以及它们的组合进行了实验。如表 1 所示,实验的结果给出了 1way-1shot 下训练的 mAP 结果。从实验结果可以看出,总体来说模型在 FSOD 数据集的表现比在零部件表面缺陷数据集的表现好很多,这是由于FSOD 数据集无论是在样本多样性还是在样本数量上都远优于零部件表面缺陷数据集。在相同数据集下,特征组合关系检测器的三种关系组合线性相加时模型准确率最高。361表 1 1way-1shot 下模型 mAP一对多关系多对多关系一对一关系mAP(FSOD)mAP(零部件)44.230.147.432.642.530.946.133.449.637.350.838.551.339.8 由于本论文针对零部件表面缺陷的检测主要是检测八种缺陷,缺陷种类较少,为进一步验证本论文所构建的小样本目标检测模型对零部件表面缺陷数据集的效果,因此在针对零部件表面缺陷的检测问题时,分别进行了策略为“1way-1shot”、“1way-5shot”、“2way-1shot”、“2way-5shot”的实验,然后利用剩余的样本对模型的检测结果进行评估。下表 2 所示是各种零部件表面缺陷在 1 样本训练的模型下进行检测的实验结果。表 2 1way-5shot 下各缺陷的 mAP训练策略Pre(孔遮挡)Pre(裂纹)Pre(划痕)Pre(铁锈)Pre(花键)Pre(黑斑)Pre(有螺纹)Pre(无螺纹)mAP(%)1way-1shot45.933.536.637.934.543.542.544.339.81way-5shot57.345.648.549.346.454.654.555.951.52way-1shot50.640.342.544.441.648.948.750.646.02way-5shot55.144.345.847.644.653.152.454.749.7 从实验结果可以看出,在“1way-5shot”训练策略下,模型平均检测精确率最高,可以达到 51.5%。5 结论针对零部件表面缺陷数据集数据量少、缺陷部位不明显等问题,本论文结合目标检测模型理论和小样本学习思想构建出一种适合汽车零部件表面缺陷检测的模型,从数据和模型两个方面分别做了增强和改进。实验结果证明,本论文所构建的小样本目标检测模型对于零部件表面缺陷数据集有较好的检测效果。参考文献:1 Suresh B R,Fundakowski R A,Levitt TS,et al A real-time auto-mated visual inspection system for hot steel slabsJ.IEEE Trans-actions on Pattern Analysis and Machine Intelligence,1983,PAMI-5(6):563-572.2 Badger J C,Enright S T.Automated surface inspection systemJ.Iron and Steel Engineer,1996,73(3):48-513 王志成,吴壮志,冯路,等.钢板表面缺陷检测系统的设计与实现J.计算机工程与科学,2009,31(1):61-65.4 Hsiao S C,Kao D Y,Liu Z Y,et al.Malware Image ClassificationUsing One-Shot Learning with Siamese NetworksJ.ProcediaComputer Science,2019,159:1863-1871.5 Vinyals O,Blundell C,Lillicrap T,et al.Matching Networks forOne Shot LearningJ,Neural Information Processing Systems,2016:364-368.6 Wang Li,Bai Xueru,Xue Ruihang,et al.Few-shot SARautomatic target recognition based on Conv-BiLSTM prototypicalnetworkJ.Neurocomputing,2021,443:235-246.7 李钧正,殷子玉,乐心怡.基于小样本学习的钢板表面缺陷检测技术J.航空科学技术,2021,32(6):65-70.8 Zhang S,Wu Y,Men C,et al.Tiny YOLO Optimization OrientedBusPassengerObjectDetection J.ChineseJournalofElectronics,2020,29(1):132-138.9 Han C,Gao G,Zhang Y.Real-time small traffic sign detection withrevised faster-RCNN J.Multimedia Tools and Applications,2018,78(10):13263-13278.10 Wang X,Wang S,Cao J,et al.Data-driven based tiny-YOLOv3method for front vehicle detection inducing SPP-netJ.IEEEAccess,2020,PP(99):1-1.11Che Xiang-Jiu,Liu Hua-Luo,Shao Qing-Bin.Fabric defectrecognition algorithm based on improved Fast RCNNJ.EditorialBoard of Jilin University,2019,49(6):2038-2044.12 Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal NetworksJ.IEEETransactions on Pattern Analysis&Machine Intelligence,2017,39(6):1137-1149.13 Wang J,Chen K,Yang S,et al.Region Proposal by Guided An-choringC.2019 IEEE/CVF Conference on Computer Visionand Pattern Recognition(CVPR).IEEE,2019.14 Lin Tsung-Yi,Dollar Piotr,Girshick Ross,et al.Feature PyramidNetworks for Object DetectionC.2017 IEEE Conference on Com-puter Vision and Pattern Recognition(CVPR).IEEE Computer Soci-ety,2017,2017-January:936-944.15 Qiao S,Chen L C,Yuille A.DetectoRS:Detecting Objects withRecursive Feature Pyramid and Switchable Atrous ConvolutionJ.arXiv,2020.16 Subhashdas S K,Ha Y H,Choi D H.Hybrid direct combinationcolor constancy algorithm using ensemble of classifierJ.ExpertSystems with Applications,2019,116:410-429.(下转第 212 页)461图 4 不同方法的检测时间领域中一直属于重要研究内容,目前高速运动目标检测方法存在图像目标检测质量差,目标检测精度低和检测效率低的问题。提出基于深度学习的高速运动目标检测模型设计方法,该方法首先对目标图像展开相关预处理,其次通过深度学习提取目标特征,最后构建目标检测模型,解决并改进了当前方法的不足,可将其应用于高速运动目标检测领域中。参考文献:1 王洪雁,张海坤,罗宇华,等.复杂动态背景下基于群稀疏的运动目标检测方法J.电子学报,2021,49(12):2330-2338.2 辛元雪,史朋飞,薛瑞阳.基于区域提取与改进 LBP 特征的运动目标检测J.计算机科学,2021,48(7):233-237.3 谭熊,孙一帆,张晋,等.光流网络的无人机视频运动目标检测方法J.测绘科学技术学报,2021,38(3):272-279.4 左军辉,贾振红,杨杰,等.基于改进背景减法的视频图像运动目标检测J.计算机工程与设计,2020,41(5):1367-1372.5 刘万军,佟畅,曲海成.空洞卷积与注意力融合的对抗式图像阴影去除算法J.智能系统学报,2021,16(6):1081-1089.6 石恒,张玲.基于生成对抗网络的图像阴影消除算法J.计算机科学,2021,48(6):145-152.7 张淑萍,吴文,万毅.基于多阶段生成对抗网络的单幅图像阴影去除方法J.计算机应用,2020,40(8):2378-2385.8 韩璞楚,曾绍华,赵秉渝,等.基于半监督离散度的土壤彩色图像阴影检测J.重庆师范大学学报(自然科学版),2021,38(6):104-113,2,142.9 丰远远,高贤君,杨元维,等.改进对数变换联合局部增强的高分遥感影像阴影自动补偿方法J.激光与光电子学进展,2020,57(20):67-75.10 司亚利,张付志,刘文远.基于签到活跃度和时空概率模型的自适应兴趣点推荐方法J.电子与信息学报,2020,42(3):678-686.11 张晓鹏,张兴忠.基于高斯核函数的支持向量机光伏故障诊断研究J.可再生能源,2021,39(6):760-765.12 郭静静,侯志强,陈立琳,等.一种长宽比自适应变化的目标尺度估计算法J.空军工程大学学报(自然科学版),2021,22(1):77-84.13 杨晶晶,韩闰凯,吴占福,等.基于 CNN 和图像深度特征的雏鸡性别自动鉴别方法J.农业机械学报,2020,51(6):258-263,92.14 保江,谢永芳,刘金平,等.基于复原图像特征与深度视觉特征融合的锑粗选异常工况识别J.控制理论与应用,2020,37(6):1207-1217.15 杨潇谊,吴建德,马军.基于散布熵和余弦欧氏距离的滚动轴承性能退化评估方法J.电子测量与仪器学报,2020,34(7):15-24.16 张进,郭浩,陈统.基于可适应匈牙利算法的武器-目标分配问题J.兵工学报,2021,42(6):1339-1344.17 王莉莉,王航臣.基于改进匈牙利算法的航路网络延误优化J.计算机应用研究,2020,37(3):759-762.18 刘思言,王博,高昆仑,等.基于 R-FCN 的航拍巡检图像目标检测方法J.电力系统自动化,2019,43(13):162-168.19 赵兴科,李明磊,张弓,等.基于显著图融合的无人机载热红外图像目标检测方法J.自动化学报,2021,47(9):2120-2131.作者简介叶裴雷(1978-),女(汉族),上海人,硕士,讲师,研究方向:深度学习、目标检测。张大斌(1969-),男(汉族),湖北潜江人,博士,教授,研究方向:信息预测与决策。(上接第 164 页)作者简介佟 鑫(1998-),女(汉族),黑龙江省哈尔滨市人,硕士研究生,主要研究领域为计算机视觉,人工智能。郑 彤(1991-),女(汉族),北京市人,博士,讲师,主要研究领域为人工智能,模式识别(通讯作者)。于重重(1971-),女(汉族),辽宁省丹东市人,博士,博士研究生导师,主要研究领域为人工智能,机器学习和模式识别。叶 洋(1996-),男(汉族),安徽省六安市人,硕士研究生,主要研究领域为计算机视觉,人工智能。212