基于深度学习的铝型材表面缺陷检测研究.pdf

第5期（总第2 4 0 期）2023年10 月机械工程与自动化MECHANICAL ENGINEERING A U T O M A T I O NNo.5Oct.文章编号：16 7 2-6 4 13（2 0 2 3)0 5-0 0 33-0 3基于深度学习的铝型材表面缺陷检测研究段春梅，凌雄娟，冯欣悦（佛山职业技术学院，广东佛山52 8 137)摘要：提出了一种基于迁移学习的铝型材表面质量检测方法；设计了一种以深度卷积神经网络为基础网络架构的迁移学习模型，实现了铝型材表面缺陷识别和分类。该模型以铝型材原始图像样本作为输入，通过深度卷积神经网络提取特征，输入Softmax分类器进行缺陷分类。通过实验分析，该模型在铝型材表面缺陷检测上具有可行性和一定的准确率。关键词：铝型材；表面缺陷；迁移学习；深度学习中图分类号：TG146.21：T P39 1.7文献标识码：A0引言目前，铝型材广泛应用于家用电器、建筑、汽车等领域，对铝型材的质量要求也越来越高。在生产过程中，由于加工工艺、油漆成分等因素影响，会使铝型材表面产生诸如凸粉、不导电、漏底、脏点等多种典型表面缺陷。铝型材表面缺陷会影响产品的美观度，降低耐腐蚀能力,以及给使用性能带来诸多不利影响1，因此有效地实现铝型材表面缺陷分类和识别非常重要。近年来，深度学习技术成为缺陷检测比较流行的技术之一，可通过神经网络学习产品特征，提高缺陷分类识别的准确率，同时结合机器视觉技术实现缺陷检测的自动化。很多学者利用深度学习技术对铝型材产品缺陷检测进行了研究：Wei等2 提出了一种基于深度学习的多尺度缺陷检测网络，用来识别铝型材上多种不同尺寸的缺陷；张磊等3 结合了图像融合方法与YOLOv3(YouOnlyLookOnce)实时对象检测算法，实现了铝型材表面缺陷的检测；陈亮等4 采用迁移学习方法，改进YOLO模型实现铝型材表面缺陷检测训练，实现了铝型材表面缺陷的预测；Li等5研究了采用三层神经网络结构的BP神经网络识别铝板表面缺陷的方法。本文以铝型材为研究对象，利用深度学习技术对铝型材表面缺陷进行识别和分类。1深度学习和卷积神经网络深度学习是学习样本数据的内在规律和表示层次，最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。在深度学习中，卷积神经网络经常用于图像分类，它是模仿猫视觉皮层的视知觉机制构建的，可模拟“感受野”自动提取和抽象图像特征，去掉穴余信息，并利用提取的图像特征进行分类，以解决图像识别等问题6 。卷积神经网米佛山市教育局2 0 2 1年高校教师特色创新研究项目（2 0 2 1DZXX02）；2 0 19年广东省教育厅普通高校特色创新课题（2 0 19GKTSCX117）；2 0 19年广东省教育厅人工智能重点领域课题（2 0 19KZDZX1029）；2 0 2 1年佛山市工程技术研究中心项目（2 12 0 0 0 10 0 94 7 2）收稿日期：2 0 2 3-0 2-15；修订日期：2 0 2 3-0 6-19作者简介：段春梅（198 2-），女，湖南邵阳人，副教授，高级工程师，硕士，研究方向：机器视觉，深度学习。络由卷积层与池化层交替堆叠，使用卷积运算提取特征图，输入到全连接层得到固定的特征向量，最后将特征向量输人到输出层，得到图像分类的预测结果。目前经典的深度卷积神经网络模型在图像分类中取得突破性进展，其中包括AlexNet、V G G、GoogLeNet和ResNet等网络模型。AlexNet网络8 包括5个卷积层、2 个全连接隐藏层和1个全连接输出层。VGG网络9的VGG块使用33卷积核和填充为1的卷积层，然后接上一个窗口形状为2 2 且步长为2 的最大池化层，卷积层保持输人的高和宽不变，而池化层则对其减半。GoogLeNet网络采用名为Inception的模块化结构，Inception模块化结构包含4条子网络，分别采用1*1、3*3、5*5的卷积层和3*3最大池化层操作，最后将四个子网络的输出进行通道上的组合。ResNet残差网络10 由残差块构建而成，其核心思想是残差块结构里的残差边能直接从输入跳转到输出，从而解决深度卷积神经网络的梯度消失和网路退化问题。2迁移学习模型通过预训练好的模型获取的特征有良好的泛化能力，可以应用到其他的图片分类上。本文将对深度卷积神经网络进行迁移学习，将其迁移到铝型材表面缺陷开源数据集上，从而实现铝型材表面缺陷的识别和分类。本文设计以AlexNet、V G G 16、G o o g Le Ne t 和ResNetl01为基础网络架构的四种迁移学习模型，如图1所示。迁移学习的基本目的是把已训练好的模型参数作为新的模型参数的初始化值，帮助新模型在目标数据集上训练17。图1中，Conv代表卷积层操作，ReLU为修正线性单元，是一种常用的激活函数,Pooling为池化操作，34AveragePooling为平均池化，MaxPooling为最大值池化，LRN为局部响应归一化操作，FC为全连接层，27*27*9613*13*256机械工程与自动化Inception模块是GoogLeNet的核心组成单元，所有迁移学习模型采用Softmax分类器。4.0961013*13*384+Softmax18*13*384接6*6*2562023年第5期预测结果conv1conv1conv2Cony.MaxPoolingLocalRespNormConyConyLocalRespNormMax PoolingInception(Ae)Max pool 3*3,c64,s2Conv1*1,c64-7c64Conv7*7Conv3*3,c64-c64C3-C64,Cony1*1,c64-c256S2,p3Conv1*1,c256-c64Conv3*3,c64-c64Conv1*1,c64-c256conv2（a）基于AlexNet的迁移学习模型conv3conv4（b）基于VGG16的迁移学习模型Inception(3a)-Inception(3b)Inception(Ab)PoolingMaxInceptton(5a)-Inception(5b)（c）基于GoogLeNet的迁移学习模型Conv1*1,c256-c128*1Conv3*3,c128-c128Conv1*1,c128-c512Conv1*1,c512-c128*2Conv3*3,c128-c128Conv1*1,c128-c512conv3conv4conv5Pool ingr-Inception(a)MaxInception(Ac)-Inception(Ad)卷积+ReLU勤最大池化conv5*1*34.09609610+ReLU全+ReLU全莲Softmax接FCFCFCSoftmaxveragePoolingSoftma结菜Conv1*1,c512-c256Conv3*3,c256-c256Conv1*1,c256-7c1024Conv1*1,c1024-c256Conv3*3,c256-7c256Conv1*1,c256-c1024（d）基于ResNet101的迁移学习模型图1四种迁移学习模型3实验分析样本进行训练，并利用最优的训练模型对测试集进行铝型材样本数据集采用的是开源数据集，来自于测试实验，得到的检测结果如表1所示。对实验结果2018广东工业智造大数据智能算法赛初赛数据集，通进行分析，使用了准确率、精度和查全率三种评估指过数据增强共获得4 30 8 张图片，针对9种缺陷类别标，准确率为分类正确的样本数占样本总数的比例，验和无瑕疵样本进行分类识别。将铝型材样本图像的数证和测试准确率分别代表验证数据和测试数据上的准据集分成训练集和测试集两部分，其中训练集为37 6 8确率，精度表示预测为某种种类的正样本中有多少正张图片，训练集按照7：3的比例随机分成训练数据和确的，查全率表示所有实际的正样本被正确预测为正验证数据，测试集为54 0 张图片，图像是大小为2 2 7*样本的概率12 。227的RGB图像。在网络训练过程中，随机抽取5次从表1可以看出，采用GoogLeNet和ResNet101Conv1*1,c1024-c512*1Conv3*3,c512-7c512Conv1*1,c512-7c2048Conv1*1,c2048-c512*22Conv3*3,c512-c512Conv1*1,c512-c2048*1Average PoolFCSoftmax*210结菜2023年第5期网络的迁移学习模型的准确率较高。为了清楚地获得每个分类类别正确识别和错误识别的数量，使用混淆矩阵列出使用四种迁移学习模型的每个类别的当前分类状态，如图2 所示。从图2 可以看出，所有正确的预测结果都在对角线上，因此可以方便直观地看到混淆矩阵中的错误，因为它们出现在对角线之外。其中在ResNet101迁移学习模型的混淆矩阵中，分类精度最低的样本为脏点样本，实际存在6 0 个脏点缺陷，但该模型预测其中2个为无瑕疵样本、1个为擦花样本；另外，有4 个擦花、9个无瑕疵和9 个碰伤样本被误判为脏点样本。从混查全率不导电-3000 00 0 000080100.0凸粉02811 0000007093:3%6.7%擦花2064100 012060无瑕样本90108A0桔皮0010690横条压凹000 00300000401.00:0%涂层开裂010000290003096.7%3.3%碰伤1030004443520脏点003 400145241086.7%13.3%起坑。06010导电擦花桔皮涂层开裂脏点凸粉无瑕藏横条压凹碰伤起坑祥本预测分类精度1-496-6%75.0%933910128.6%3.4%25.0%6.7%(a)AlexNet基础网络架构不导电290凸粉02900擦花014860002218080.0%20.0%无瑕疵样本104桔皮000456000O06093.3%6.7%横条压凹0000 0300000501.00:0%涂层开裂1000碰伤000 50014941脏点0006 000054010起坑0不导电擦花桔皮涂层开裂脏点凸粉无瑕藏横条压凹碰伤起坑祥本预测分类精度96-7393-5392-3382-83100.03100-0393-5396-1383-1390-983.3%6.5%7.7%/17.2%6.5%3.9%16.9%9.1%（c）G o o g Le Ne t 基础网络架构图2四种迁移学习模型测试分类结果的混淆矩阵4总结2Wei R,Bi Y.Research on recognition technology of本文提出利用迁移深度学习模型对铝型材表面缺aluminum profile surface defects based on deep learning陷进行识别和分类。通过设计不同的实验，采用不同JJ.Materials,2019,12(10):1681.的深度卷积神经网络提取特征，将其输入到Softmax3张磊，郎贤礼，王乐.基于图像融合与YOLOv3的铝型材表面缺陷检测J.计算机与现代化，2 0 2 0（11)：8-15.分类器进行缺陷分类。对实验数据进行比较分析，验4陈亮，张浩舟，燕浩.基于深度学习算法的尿素泵体用铝证了本文提出的迁移学习模型对铝型材表面缺陷分类型材表面瑕疵检测J.流体机械，2 0 2 0，4 8（8)：4 7-52.识别的有效性。5LiQ H,Liu D.Aluminum plate surface defects参考文献：classification based on the BP neural networkJ.Applied1汤勃，孔建益，伍世虔.机器视觉表面缺陷检测综述J.Mechanics and Materials,2015,734:543-547.中国图象图形学报，2 0 17，2 2（12）：16 4 0-16 6 3.段春梅，等：基于深度学习的铝型材表面缺陷检测研究分类器基础网络架构验证准确率(%)测试准确率(%)AlexNet94.2VGG1690.2SoftmaxGoogLeNetResNetl01不导电3000凸粉030000 00 090:0%10.0%11605000003829%97.872%92417.1%2.2%28.8%7.7%。1。0 0000100967%3.3%010009096.7*3.3%60 00547088:3%11.7%400290003081-7%18.3%20900%10.0%0000 006035淆矩阵可以看出，该模型在区分擦花、脏点和无瑕疵样本方面存在一些问题，但区分不导电、凸粉和横条压凹缺陷的效果较好。表1迁移网络的缺陷检测准确率比较迁移学习模型的测试评价指标87.080.295.990.796.390.6查全率000000701:00:0%0601.00:0%擦花063790 01 6105070.0%30.0%98.3%1.7%3%26.7%1000%查全率96-733.3%1.00.0%61.7%38.3%无瑕疵样本002621601桔皮00006000横条压凹00 0003000 00300%涂层开裂020 00028000-20碰伤00100054185脏点003400 005301088:3%11.7%起坑0不导电擦花桔皮涂层开裂脏点凸粉无瑕横条压凹碰伤起坑祥本预测分类精度100.0378-9544*80-9*75-93100.0380-087-2079.1891-2821.1%45.6%19.1%24:1%20.0%12.8%20.9%8.8%（b）VG G 16 基础网络架构不导电0300凸粉030000 0 0000801:00.0%擦花006330000407088:3%11.7%无瑕疵样本006桔皮00 006000 0 005041:00:0%横条压凹00 00030000040100.0%涂层开裂00 00003000030100.0%碰伤0002001489020脏点0012 00 0057010起坑0不导电擦花桔皮涂层开裂脏点凸粉无瑕藏横条压凹碰伤起坑祥本预测分类精度100-03100-0388-3392-0390-93100-0390-93100-0372-2392-2821.8%7.8%（d）R e s Ne t 10 1基础网络架构（下转第38 页）500040100.010093.3%6.7%68.3%31.7%43。0 0520查全率00 00000906020 956076.7%23.3%8.0.0%20.0%9.5.0%5.0%000 0上006911.7%8.0%9.1%9.1%60.0%40.0%8613.3%98.3%1.7%38以天然橡胶材质气囊为基础，改进粪罐结构，并与有意机械工程与自动化向的企业合作试制全新的无臭型吸粪车5。2023年第5期图8 自动控制系统图9气囊耐高温疲劳性试验图10气囊耐低温疲劳性试验设备图11气囊耐低温疲劳性试验（吸气）参考文献：1尹朋建，芦会杰，刘欣艳，等.生活垃圾处理设施恶臭气体产生及除臭技术分析J.中国资源综合利用，2 0 2 1（5）：173-175.2崔华胜，齐志强，王晓燕。一种无有害气体排放的新型吸粪车.专用汽车，2 0 12（10）：93-96，10 0.3崔华胜，王晓燕，冯伟，等.袋式真空吸尘器与水过滤式真Study on High Temperature and Low TemperatureResistance and Fatigue Property of Airbag of Fecal Suction TruckGU Chun-shan,SUN Chen-yang,XU Li-qi,CUI Hua-sheng(Beijing Municipal Institute of City Management,Beijing 100028,China)Abstract:By using the automatic control system PLC and human-machine interface display,experimental analysis was conducted onthe natural rubber material airbags and synthetic rubber material airbags.Through high temperature and low temperature resistanceand fatigue property tests,the results show that synthetic rubber material wili harden under low temperature conditions,whichclearly cannot meet the use needs of odorless fecal suction trucks;the natural rubber material airbag performs well in hightemperature and low temperature resistance and fatigue property tests,and can meet the requirements for the use of odorless fecalsuction trucks.Keywords:airbag;high temperature resistant;low temperature resistant;fecal suction truck;fatigun test（上接第35页）6王巍.基于Inception模块的医疗图像分类D.长春：吉林大学，2 0 18：11-13.7王竹筠.基于深度学习的管道漏磁信号智能识别方法研究D.沈阳：沈阳工业大学，2 0 19：6 1-6 7.8Cui H,Yuan G,Liu N,et al.Convolutional neural networkfor recognizing highway traffic congestionJ.Journal ofIntelligent Transportation Systems,2020,24(3):279-289.9王陆洋.基于卷积神经网络的图像人群计数研究D.合肥：中国科学技术大学，2 0 2 0：2 2-2 3.Research on Surface Defect Detection of AluminumProfile Based on Deep LearningDUAN Chun-mei,LING Xiong-juan,FENG Xin-yue(Foshan Polytechnic,Foshan 528137,China)Abstract:In this paper,a method of surface quality detection of aluminum profile based on transfer learning is proposed.A transferlearning network model using deep convolution neural network is designed to realize the recognition and classification of aluminumprofiles surface defects,The model which takes the original image samples of aluminum profiles as input extracts features throughdeep convolution neural network,Softmax classifier is used to classify defects.Through the experimental analysis,it is proved thatthe model is feasible and accurate in the defect detection of aluminum profiles.Keywords:aluminum profile;surface defect;transfer learning;deep learning图12气囊正面空吸尘器道路尘土收集方法对比研究J.环境卫生工程，2 0 18(12)：4 8-51,55.4崔华胜。一种清扫装置试验平台设计J.环境卫生工程，2014,22(6):62-65.5张沐林。一种新型吸粪车放粪装置J.专用汽车，2 0 12(8):93-94.1o Mangal N.Transfer learning based _ activity,recognitionusing ResNet 101 C-RNN modelJJ.International JournalofAdvancedTrendsinComputerScienceandEngineering,2020.9(4):5539-5546.11主恒，李霞，刘晓芳，等.基于ResNet50网络的乳腺癌病理图像分类研究.中国计量大学学报，2 0 19,30（1)：7 2-77.12安冉.一种基于特征融合的遥感图像变化检测方法J.新一代信息技术，2 0 2 0（3）：30-38.图13气囊反面