基于改进Faster R-CNN的铝型材表面缺陷检测研究.pdf

Computer Era No.11 20230 引言铝型材凭借其高强度、轻量化的优秀特性，成为航空航天装备等核心领域中不可或缺的材料之一1。然而，受制于环境因素的制约，铝型材在生产过程中不可避免的会出现一些缺陷，轻则影响工业产品的外观质量，重则带来潜在的安全隐患2。因此，解决铝型材表面缺陷的检测问题，对于保障工业安全生产和提高产品质量都具有重要意义。基于传统图像处理的机器视觉方法3往往存在较大的局限性，它需要根据不同的目标去手工设计特征和分类算法，对于通用的场景适应能力较差，且一旦脱离简单的场景使用，就很难达到令人满意的检测性能。近年来，深度学习方法已经逐渐取代传统机器视觉方法，被广泛应用于铝型材表面缺陷检测研究4。Li等5采用自适应阈值法提取铝型材表面缺陷的图像特征，并基于反向传播神经网络对缺陷完成了分类；Sun等6改进了YOLOv3算法，为铝型材表面缺陷提供了一种端到端的解决方案，并提升了检测精度；Duan和Zhang7提出了一种基于梯度图像的双流卷积神经网络，对铝型材表面缺陷进行了有效的分类和识别；Neuhauser等8利用深度卷积神经网络从视频中提取特征，用于铝型材表面缺陷的实时分类和检测。刘孝DOI:10.16644/33-1094/tp.2023.11.010基于改进Faster R-CNN的铝型材表面缺陷检测研究*吴吉灵1,2，金玉珍2(1.浙江理工大学机械工程学院，浙江 杭州 310018；2.浙江省流体传输技术研究重点实验室)摘要：针对传统目标检测算法在铝型材表面缺陷检测中检测精度低、微小缺陷难以识别等问题，提出一种改进的Faster R-CNN算法。该算法对特征提取网络、感兴趣区域池化和锚框尺寸进行了优化，并在此基础上引入了特征金字塔和可变形卷积，以提升检测精度。实验表明，改进算法的平均精确度均值可达到86.73%，相较于原算法提升了8.70%，其对微小缺陷识别效果好，满足了工业上对缺陷检测的需求。关键词：表面缺陷检测；Faster R-CNN；特征金字塔；可变形卷积；感兴趣区域池化中图分类号：TG146.21；TP391.4文献标识码：A文章编号：1006-8228(2023)011-52-05Research on surface defect detection of aluminum profilesbased on improved Faster R-CNNWu Jiling1,2,Jin Yuzhen2（1.Faculty of Mechanical Engineering,Zhejiang Sci-Tech University,Hangzhou,Zhejiang 310018,China;2.Key Laboratory of Fluid Transmission Technology of Zhejiang Province,Zhejiang Sci-Tech University）Abstract：Aiming at the issues of low detection accuracy and difficulty in identifying small defects on the surface of aluminumprofiles using traditional object detection algorithms,an improved Faster R-CNN algorithm is proposed.It optimizes the featureextraction network,region of interest pooling and anchor box size,and then introduces feature pyramid network and deformableconvolution to improve the detection accuracy.Experimental results show that the improved algorithm achieves a mean averageprecision of 86.73%,which is 8.70%higher than the original algorithm,and performs well in identifying small defects,meeting theindustrial requirements for defect detection.Key words：surface defect detection;Faster R-CNN;feature pyramid network;deformable convolution;region of interest pooling收稿日期：2023-05-12作者简介：吴吉灵（1998-），男，浙江宁波人，硕士研究生，主要研究方向：计算机视觉，目标检测。通讯作者：金玉珍（1979-），女，浙江杭州人，博士，教授，主要研究方向为机电系统设计等。52计算机时代 2023年 第11期保等9提出了一种主从特征融合驱动的铝型材表面缺陷检测模型，有效提高了检测精度；曹阳等10在网络结构上引入了挤压激活模块，使模型更好地聚焦于铝型材缺陷的维度特征，提升了网络的检测精度；Wei等11提出了一种基于深度学习的多尺度缺陷检测网络，优化了对铝型材中尺度差异过大缺陷的检测效果。上述相关研究虽然提升了检测的精度，但是面对铝型材表面缺陷复杂多变和微小缺陷难以检测的问题，仍有一定的提升空间。本文提出了一种改进的Faster R-CNN算法12，用于铝型材表面缺陷检测。算法使用 ResNet-10113代替 VGG-16 作为特征提取网络，避免梯度消失和梯度爆炸的发生；加入特征金字塔结构（Feature Pyramid Network，FPN）14以融合多尺度的特征，提升微小缺陷的检测效果；使用可变形卷积（Deformable Convolution Network，DCN）15模块改善标准卷积模块对不规则缺陷形状的适应能力；运用精确感兴趣区域池化（Precise ROI Pooling）16解决量化取整带来的信息丢失问题，增强小目标缺陷的定位能力；并使用K均值聚类（K-means Clustering）算法对初始锚框的尺寸和大小进行调整。最后通过实验结果证明了改进算法的有效性。1 Faster R-CNN概述Faster R-CNN，作为双阶段目标检测算法中的典型代表，已被广泛应用于学术界和工业界。它是在R-CNN17和 Fast R-CNN18的基础上发展而来，通过引入区域候选网络（Region Proposal Network，RPN）代替选择性搜索（Selective Search）算法来生成区域候选框，从而显著提高了检测速度和准确度。Faster R-CNN 的具体结构如图 1 所示，主要包含特征提取网络、区域候选网络、感兴趣区域池化（ROI Pooling）和分类回归层四部分。特征提取网络VGG-16对原始图像的特征进行提取；区域候选网络通过滑动窗口的方式在特征图上提取一系列锚点，然后针对每个锚点分别预测其是否为目标区域，并对预测结果进行修正，最终得到精确的候选目标区域；感兴趣区域池化将任意大小的候选区域转化为固定大小的特征图，用于后续过程；分类回归层进一步细化区分类别和获取更精确的预测框。图1Faster R-CNN算法结构图2 改进的Faster R-CNN算法针对铝型材表面缺陷的检测难点，本文从五个方面对 Faster R-CNN 算法进行了改进，改进后结构如图 2所示。选取 ResNet-101作为主干网络以增强缺陷特征的提取能力；使用特征金字塔结构获取多尺度的特征信息，增强微小缺陷的检测能力；使用可变形卷 积 以 适 应 多 变 的 缺 陷 形 状；运 用 Precise ROIPooling消除量化取整引起的信息丢失，增强微小缺陷的定位能力；最后对初始锚框进行优化，以适应检测任务，提升准确率。图2改进的Faster R-CNN算法结构图53Computer Era No.11 20232.1 特征提取网络的改进最初的Faster R-CNN以VGG-16作为特征提取部分，它包含了三个全连接层，为整个网络带来了过多的参数量和计算复杂度，并且容易出现梯度消失和梯度爆炸的情况。本文使用 ResNet-101代替 VGG-16提取铝型材表面缺陷的特征，通过残差单元解决了上述问题，有利于获取更高质量的特征信息。ResNet 的网络结构如图 3 所示。框中所选为ResNet-101，其中包括了残差块、全局平均池化层和全连接层。图3ResNet的网络结构2.2 多尺度特征融合的改进对铝型材表面缺陷分析可知，其中各类缺陷尺度差异巨大，如图4所示，且微小缺陷数量多。改进了特征提取网络的Faster R-CNN在只利用单尺度特征图的情况下，难以保持较好的鲁棒性，且最后一层特征图在下采样32倍后，已经很难检测到微小缺陷的信息。图4大尺度缺陷和小尺度缺陷本文在此基础上引入特征金字塔结构，将浅层几何信息和深层语义信息相结合，加强了缺陷特征的表达能力，同时也增加了小目标特征的映射分辨率，有效地改善了算法对多尺度缺陷的检测能力和微小缺陷的识别能力。2.3 可变形卷积的改进铝型材表面上存在许多细长的条状缺陷，例如角位漏底，而传统的正方形卷积核结构难以对其形成有效的特征提取。为加强模型对这类缺陷的检测能力，本文使用可变形卷积网络中的可变形卷积来对原网络中的卷积部分进行改进。图5为标准卷积和可变形卷积的对比示意图，其中图5(a)为标准卷积，图5(b)、图5(c)、图5(d)均为可变形卷积。可变形卷积在每个点都加入了一个可学习的偏移量，使感受野不在局限于标准的方形结构，而是根据目标自适应的调整形状，从而获取更加充分的缺陷特征。图5标准卷积和可变形卷积对比图2.4 ROI Pooling结构的改进Faster R-CNN算法使用ROI Pooling结构将感兴趣区域池化成所需的固定尺度大小，如图 6(a)所示。整个过程中包含两次量化取整操作，带来了数据上的丢失，同时候选框的位置相较于初始位置也发生了相对应的变化，影响了微小缺陷的定位精度。Precise ROI Pooling在感兴趣区域对齐（ROI Align）的基础上更进一步，如图6(b)所示，使用二重积分的方式对特征图进行整体池化，取消了量化取整的同时没有引起额外的参数加入，最大程度地使数据信息得到保存。并且本文在原网络的基础上，增加了一条支线的ROI Pooling去获取额外的上下文信息，更好地优化候选框。54计算机时代 2023年 第11期图8铝型材表面缺陷示意图图6ROI Pooling和Precise ROI Pooling对比图2.5 锚框尺寸的改进由于铝型材表面缺陷的形状、尺度差异巨大，区域候选网络中的初始锚框难以对其进行拟合，使模型的检测精度出现了下降。因此，本文使用K-means聚类算法对数据集进行分析，从而获取更优的锚框尺寸和宽高比，以优化检测效果。图7为K-means聚类算法的具体流程，文中K值取 4，优化后锚框大小为322，642，1282，2562，5122，锚框宽高比为0.005，0.2，0.5，1，2，5，20。图7K-means聚类算法流程图3 实验与结果分析实验环境如下：Linux系统，其版本为Ubuntu18.04.6；CPU 型号为 Intel Core Processor，其核心数为 12 核；GPU 型号为 NVIDIA Tesla V100，其显存为 32GB，CUDA 版本为 11.3；算法实现框架为 PyTorch，Python版本为3.7，并且进一步安装了支持算法代码运行的相关第三方库。实验参数如下：使用随机梯度下降算法（SGD）进行权重更新，其中动量为0.9，权重衰减为0.0001，初始学习率为0.005，训练周期为26。学习率分别在第16个epoch和第22个epoch衰减为原先的1/10。3.1 实验数据集本文实验采用阿里云天池平台所提供的铝型材表面缺陷数据集，数据集中共包含4356张图片，其中单缺陷图片为2776张、多缺陷图片为229张、无缺陷图片为 1351张，分辨率均为 25601920像素。缺陷的类型有10种，如图8所示，分别为不导电、擦花、角位漏底、桔皮、漏底、喷流、漆泡、起坑、杂色和脏点。按照8：1：1的比例将数据集进行划分，并对训练集和验证集进行数据增强，包括图像翻转、图像旋转和图像亮度调节，从而提升模型泛化性，增强后的训练集数量为15505张。3.2 评价指标本文选择平均精确度（Average Precision，AP）、平均精确度均值（mean Average Precision，mAP）和每秒传输帧数（FPS）作为评价指标。公式如下：AP=01precision()r drmAP=1mi=1mAPi其中，precision为准确率，r为召回率，m为总缺陷类别。55Computer Era No.11 20233.3 检测算法对比实验为了证明本文所提出的方法在铝型材表面缺陷检测任务上的优越性，本节将通过实验与一些主流及其改进算法进行对比，结果如表1所示。表1不同检测算法的性能对比检测算法SSD512优化的SSD19YOLOv4多尺度缺陷检测网络11本文方法BackboneVGG-16Inception-v3、DenseNet-169CSPDarkNet-53ResNet-101ResNet-101mAP()%74.8977.6878.0281.308686.7373FPS(帧/秒)37393926107表1显示，单阶段目标检测算法的检测速度较快，而双阶段目标检测算法在检测精度上更有优势。本文方法在mAP指标上明显高于其他算法，更能满足实际工业生产过程中的需求，尽管在检测速度上略有逊色，但仍然可以对缺陷较快完成检出。3.4 改进策略消融实验为了探究所提出的每项改进策略对铝型材表面缺陷检测的影响，本文对其进行了消融实验，以分析各策略对检测精度的实际贡献大小，实验结果如表2所示，代表加入此改进策略，-代表未加入此改进策略。其中，ResNet-101主干网络极大地提升了整个算法的特征提取能力，对mAP的提升可达15.08%；特征金字塔更好地完成了浅层几何信息和深层语义信息的融合，对精度提升了3.75%；可变形卷积使模型更适应多变的缺陷形态，对精度提升了 1.73%；并且 ROIPooling和锚框尺寸的改进也分别使检测精度提升了1.87%和1.35%。由消融实验的结果可知，本文的改进策略切实有效地优化了原算法，使缺陷检测结果更加准确。表2改进策略的消融实验检测算法原始基线方法1方法2方法3方法4本文方法ResNet-101FPNDCNROI Pooling改进锚框尺寸改进mAP()%62.9578.0381.7883.5185.388686.7373Faster R-CNN算法在整体改进前后，对铝型材表面各类缺陷的检测性能对比如图9所示。图2显示，相较于原算法，改进后的算法在擦花、喷流、漆泡和脏点上的性能提升巨大，解决了微小缺陷检测效果差的问题。图9算法改进前后各类缺陷检测效果对比3.5 检测效果可视化改进的Faster R-CNN算法对铝型材表面缺陷的检测效果如图10所示，从中可以看出，该算法对各类缺陷都能较好地检出，尤其对小目标缺陷识别效果有图10铝型材表面缺陷检测效果可视化56计算机时代 2023年 第11期明显提升，满足了实际缺陷检测的需求。4 结束语本文针对铝型材表面缺陷的检测难点，以FasterR-CNN作为基线进行了改进。首先选取ResNet-101作为主干网络以增强缺陷特征的提取能力，接着引入特征金字塔结构去融合多尺度特征，提升微小目标的检测性能，使用可变形卷积以优化狭长缺陷的识别效果，其次对ROI Pooling结构进行改进以消除量化取整引起的信息丢失问题，提升缺陷的定位精度，最后使用K-means聚类算法对锚框尺寸进行优化。实验结果表明，改进的 Faster R-CNN 算法在检测精度上相较于原算法得到了显著提升，并较大程度优化了微小缺陷的检测效果，在mAP和FPS指标上分别达到了86.73%和7帧每秒，能够满足工业上铝型材表面缺陷的检测要求。而如何使检测模型轻量化，在不降低检测精度的同时提升检测速度，将是后续的优化方向。参考文献(References):1 杨合,李落星,王渠东,等.轻合金成形领域科学技术发展研究J.机械工程学报,2010,46:31-42.2 林建玲,刘洋.铝型材生产加工与环境影响评价浅述J.南方金属,2016,213:41-43.3 朱云,凌志刚,张雨强.机器视觉技术研究进展及展望J.图学学报,2020,41:871-890.4 陶显,侯伟,徐德.基于深度学习的表面缺陷检测方法综述J.自动化学报,2021,47:1017-1034.5LiQH,LiuD.AluminumPlateSurfaceDefectsClassificationBasedontheBPNeuralNetworkJ.Applied Mechanics and Materials,2015,734:543-547.6 Sun L,Wei J,Du H,et al.MSFF:A Multi-Scale FeatureFusionNetworkforSurfaceDefectDetectionofAluminum ProfilesJ.IEICE Transactions on Informationand Systems,2022,E105.D(9):1652-1655.7 Duan C,Zhang T.Two-Stream Convolutional NeuralNetworkBasedonGradientImageforAluminumProfile Surface Defects Classification and RecognitionJ.IEEE Access,2020(8):172152-172165.8 Neuhauser F M,Bachmann G,Hora P.Surface defectclassificationanddetectiononextrudedaluminumprofiles using convolutional neural networksJ.Interna-tional Journal of Material Forming,2020,13(4):591-603.9 刘孝保,张嘉祥,阴艳超,等.主从特征融合驱动的铝型材表面缺陷检测J.计算机集成制造系统,2023,29:192-199.10 曹阳,卢军.基于改进分割决策网络的铝材表面凹坑缺陷检测J.陕西科技大学学报,2021,39:139-145,152.11 Wei R,Bi Y.Research on Recognition Technology ofAluminumProfileSurfaceDefectsBasedonDeepLearningJ.Materials(Basel),2019,12(10).12 Ren S,He K,Girshick R,et al.Faster R-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworksJ.IEEETransactionsonPatternAnalysisand Machine Intelligence,2017,39(6):1137-1149.13 He K,Zhang X,Ren S,et al.Deep Residual Learning forImageRecognitionC/Proceedingsofthe2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016:770-778.14 Lin T Y,Dollr P,Girshick R,et al.Feature PyramidNetworksforObjectDetectionC/Proceedingsofthe 2017 IEEE Conference on Computer Vision andPattern Recognition(CVPR),2017:936-944.15 Dai J,Qi H,Xiong Y,et al.Deformable ConvolutionalNetworksC/Proceedings of the 2017 IEEE Interna-tional Conference on Computer Vision(ICCV),2017:764-773.16 Jiang B,Luo R,Mao J,et al.Acquisition of LocalizationConfidenceforAccurateObjectDetectionC/ProceedingsoftheComputerVision-ECCV2018,2018:816-832.17 Girshick R,Donahue J,Darrell T,et al.Rich FeatureHierarchiesforAccurateObjectDetectionandSemanticSegmentationC/Proceedingsofthe2014IEEEConferenceonComputerVisionandPattern Recognition,2014:580-587.18 Girshick R.Fast R-CNNC/Proceedings of the 2015IEEEInternationalConferenceonComputerVision(ICCV),2015:1440-1448.19 范嘉麟.基于卷积神经网络的瑕疵分类及检测算法研究D.哈尔滨:哈尔滨工业大学,2020.CE57