基于改进的EfficientDet的布匹疵点识别.pdf

基于改进的EfficientDet的布匹疵点识别杨连贺，张超（天津工业大学 计算机科学与技术学院，天津300387）摘要：为了准确而高效地识别出布匹各种疵点的种类，采用改进的EfficientDet算法进行布匹疵点识别。首先采取改进的Ostu阈值分割算法进行特征边缘的检测，采用非极大值抑制方法对边缘进行筛选，确定候选区域；然后采用筛选器对候选区域的疵点进行识别和分类，其中筛选器采用改进的EfficientDet算法。改进的EfficientDet算法与其他优秀的目标检测算法以及原算法进行了比较。结果表明，改进的Ostu分割算法相较于传统算法不仅可以在更多的布匹图像中更准确地识别疵点区域，而且抑制了假边缘现象；该模型规模是几种算法中最小的，识别准确率达到94%，高于目前最优算法4个百分点。关键词：疵点检测；迁移学习；Ostu；目标检测；EfficientDet中图分类号：TS101.97；TP391.41文献标志码：A文章编号：员远苑员原园圆源载（圆园23）园4原园园71原06Fabric defect recognition based on improved EfficientDet networkYANG Lianhe，ZHANG Chao（School of Computer Science and Technology，Tiangong University，Tianjin 300387，China）Abstract：In order to identify all kinds of fabric defects accurately and efficiently袁 the improved EfficientDet algorithm isused for fabric defects recognition.The improved Ostu threshold segmentation algorithm is adopted to detect fea鄄ture edges袁 and non-maximum suppression is used to screen edges to determine candidate regions.Then a filter isused to identify and classify the defect in the candidate area.The filter uses an improved EfficientDet algorithm.The improved EfficientDet algorithm is compared with other excellent target detection algorithms and the originalalgorithm.The experimental results show that the improved Ostu segmentation algorithm can accurately identifythe defect areas in more fabric images and suppress the false edge phenomenon compared with the traditional al鄄gorithm.The model size is the smallest among the centralized algorithms袁 and the recognition accuracy was 94%袁beating the best algorithm by 4 percentage points.Key words：defectdetection曰transferlearning曰Ostu曰targetdetection曰EfficientDet虽然我国的纺织品制造与出口量位居世界前列，但是布匹疵点的识别主要还是依赖于人工。检测工不可能长时间专注并且高效地工作，因而不能很好地把控布匹的质量。因此，高效地进行布匹疵点检测和分类，有助于纺织企业降低成本、提升核心竞争力1-2。随着人工成本的增加，依靠大量人力去识别疵点的方法必将被淘汰。正因如此，现代纺织企业更应该引进有效的疵点识别方法，提升识别效率，增加企业的核心竞争力。实际生产中，导致疵点的原因有很多，例如原材料问题、织造前准备不充分、机器老化、工人误操作等。新入职的质检工人对多类疵点并不熟悉，这样既浪费了时间又降低了效率，因此，引进自动化检测技术迫在眉睫。随着科学技术的发展，越来越多的科研结果应用于各行各业。图像处理技术无疑最适合应用于疵点检测上。王春妍等4根据疵点区域和非疵点区域会出现密度梯度的特点，应用Prewitt算子进行了疵点的识别；Li等5提出了将尺度不变特征和极限学习机相结合的方法；Jing等6采用Gabor变换提取了空间域和频域的良好特性；闫伟伟等7采用Canny边缘算子进行了疵点检测，缩短了响应时间，提升了时效性；龙涵彬等8根据视觉显著性算法进行了疵点检测；曹振军等9利用树莓派深度学习进行了疵点检收稿日期：2021-11-园8基金项目：国家自然科学基金资助项目（61771340）；天津市自然科学基金资助项目（18JCYBJC15300）通信作者：杨连贺（1965），男，教授，博导，主要研究方向为数据库应用及纺织中计算机应用等。E-mail：DOI：10.3969/j.issn.1671-024x.2023.04.011第42卷第4期圆园23年8月Vol.42No.4August2023天津工业大学学报允韵哉砸晕粤蕴 韵云 栽陨粤晕GONG 哉晕陨灾耘砸杂陨栽再第42卷天津工业大学学报测；罗维平等10通过迁移学习进行了疵点检测；李敏等11将神经网络和视觉显著性技术相结合进行了疵点检测；李东洁等12改进边缘检测算法对纱线疵点进行检测。还有其他基于频域的检测方法，例如应用傅里叶变换基于统计直方图提取疵点信息，应用小波变换通过时域和频域2个方面得到图像的多尺度特征，进而进行疵点检测。还有从统计学角度进行疵点检测的，其中效果最好的工具就是方向直方图（histogram ofgradient，HOG）13。另外还有通过颜色空间进行统计的。这些传统方法仅提取到了疵点的一部分特征，对于种类繁多、情况多样的情形还是无法检测。卷积神经网络依靠较好的学习能力和卷积过程中可以获取多层次的特征，被应用于疵点检测。刘露露等14通过FS-Y0LOv3进行了棉布瑕疵检测。前面提到的算法虽然在一定程度上实现了疵点自动化检测，但是比较依赖于前期图像的预处理，因而不能很好地应用到实际生产中。为了提高疵点识别的准确率，本文提出了一种由改进的Ostu15分割算法和改进的EfficientDet16算法相结合的物体级分类筛选器。首先通过改进的Ostu分割算法进行疵点区域的检测，形成候选区域，然后通过改进的EfficientDet算法进行特征提取。同时优化了ClassNet和BoxNet两个网络的结构，降低了分类次数，提高了算法的时效性。本文提出的物体级分类筛选器提高了疵点检测的效率和准确率。1算法框架本文改进算法的主要任务是对布匹疵点进行准确的检测和识别。算法分为2部分，第1部分是通过改进的Ostu分割算法有效地检测疵点边缘，得到包含疵点和背景区域的像素块；第2部分是改进的EfficientDet算法。通过预训练的模型对第一部分处理过的图片进行准确的识别和分类，以此达到准确检测疵点的目的。算法结构图如图1所示。1.1改进的Ostu算法有效地识别特征边缘对布匹疵点检测具有重要意义。传统的Ostu分割算法对双峰图像有很好的分割能力。因为其原理是通过寻找方差最大的2个区域，然后自动寻找阈值去进行分割。但是很多图像是单峰值的，采用传统的方法分割时，有时会选取最高峰的阈值进行分割，导致分割的效果十分不理想。因此改进的Ostu先采用基于相似度的方法进行计算，随后采用非极大值抑制得到稳定的疵点边缘。结构相似性是衡量2幅图像相似度比较常用的指标，计算公式为：SSIM（x，y）=（2滋x滋y+c1）（2滓xy+c2）（滋x2+滋y2+c1）（滓x2+滓y2+c2）（1）式中：滓代表协方差；滓2代表方差；滋代表平均值；c1和c2为2个常数，结构相似性的范围是-1 1，取值为1代表2个图形完全相似。改进后的Ostu算法流程如图2所示。1.2改进的EfficientDet算法本文改进的算法是在EfficientDet-D0的基础上进行优化，在自建的数据集上进行预训练。因为原算法和本文改进算法均使用FPN（feature pyramidnetwork）17等模块，对目标区域筛选分类能力远高于传统CNN网络。在预训练之前，采用改进的Ostu分割算法进行疵点边缘检测。改进的EfficientDet算法和原算法在预训练的时候进行多次下采样之后会获得更深层次的图像。改进的Ostu算法保证了在更深层次图像中依然可以提供更多、更全面的疵点位置信息。改进的Ostu算法在进行疵点区域检测的时候会将所有可能的区域都标记出来，得到更多的目标候选区域，提高了召回率，很大程度上降低了损失少量目标区域带图1算法结构图Fig.1Diagram of algorithm structure数据集制作图像增强处理读取图像信息读取标签信息改进的Efficientdet算法训练结果预测图2改进的Ostu算法流程Fig.2Flow chart of improved Ostu algorithm开始通过传统的Ostu分割方法得到阈值1将阈值1减5得到新阈值2计算阈值1分割后图像与原始同像的相似度，得到SSIM 1计算阈值2分割后图像与原始图像的相似度，得到SSIM 2将阈值2减3得到新阈值2阈值1=阈值2abs（SSM11-SSIM2）0.006是输出阈值1用阈值1进行分割结束否72-第4期来的影响。EfficientDet-D0是由骨干网络EfficientNet-B018、特征提取模块BiFPN和预测网络3部分组成的。算法结构示意图如图3所示。1.2.1骨干网络EfficientNet-B0骨干网络采用的是EfficientNet-B0。骨干网络利用残差神经网络增大网络深度，通过更深的网络进行特征提取，可以提取更多的特征信息。但是为了更加适应疵点数据集的网络，需要定义一个复合函数G进行统一缩放。设W代表网络的深度，D代表网络的宽度，C代表分辨率，表达式为：摇摇摇W=aG，D=bG，C=cG摇（2）式中：a、b、c为3个大于等于1的常量，决定着为神经网络分配额外的资源。在训练的过程中发现，卷积运算在网络中占主要地位，因此随着网络的缩放，计算量也会随之改变，因此指定了一个约束条件琢茁2酌2抑2，便可以将整体计算量大小控制在2G之内。经过训练得到D，W的缩放驻d和驻w满足：驻w=32 伊 2.7G（3）驻d=3+G摇（4）1.2.2改进的BiFPN模块有效地处理和表示多尺度特征是目标检测领域所面临的主要问题。FPN网络提取了最抽象的顶层特征，并通过横向连接将其与神经网络前向传播过程中产生的相同大小的特征图进行融合，在计算量很小的前提下，提高了小目标检测的准确率。在FPN网络的基础上诞生了PANet19。PANet是在原有的网络结构上增加一条从下到上路径的聚合网络，因此可以进行特征融合，如图4所示。但该网络需要特别多的参数，而且计算量比较大。图4（a）所示的PANet结构图，网络中同一个层中有的节点之间的联系并不是很紧密，这种情况就很难达到很好的特征融合。图4（b）所示的BiFPN结构图具有2个优势：一是在没有增加过多计算量的前提下，同一层级的输入输出之间增加一个连接，因此融合了更多的特征；二是将BiFPN模块当作一个基础的特征提取层，在之后的过程中重复多次，每一层都在原有特征之上提取到更高层次、更加抽象的特征。因此BiFPN模块根据跨尺度连接和加权特征融合，在极少参数量的情况下取得了不错的结果。在实际生产中，很多目标疵点的区域相对尺寸小于0.04（相对于整幅图像的高度），这些疵点为细小目标对象，在训练过程中容易丢失空间信息。这种像素级特征的感受野不够，并且物体存在多尺度的问题，使得原特征提取网络并不能很好地进行特征提取。为了提高特征提取网络的特征提取能力，需要增加下级的特征信息，并且充分利用上下级的语义信息和位置关系，这样就可以有足够多的上下文信息支撑特征提取。因此在原有的BiFPN模块上增加了P5到P6，P6到P7这2个层级之间的数据流；对P7进行了1次1 伊 1的卷积后再参加运算，如图4（c）所示。改进后的BiFPN模块采用双向的跨级信息传递和快速的融合归一化两部分进行疵点图像的特征提取。将EfficientNet-B0的3-7层的输出特征值进行自底向上和自顶向下的特征融合。在信息自下而上的传播过程中，不断地进行下采样。虽然图像的语义特征信息不断增多，但是位置信息在逐渐减少，这样不利于对小目标的物体进行检测。经过多次采样后，32 伊32大小的图像变成了只有1 伊 1的大小，分辨率非常图4特征融合网络设计（Pi表示主干网络中分辨率为输入图像（1/2i）的特征图Fig.4Feature fusion network design（Pirepresents a featurediagram of the backbone network with a resolution ofinput image（1/2i）（a）PANet（b）BiFPN（c）改进的BiFPNP7P6P5P4P3P7P6P5P4P3P7P6P5P4P3图3改进的EfficientDet-D0算法结构示意图Fig.3Diagram of improved Efficientdet-D0 algorithmstructure杨连贺，等：基于改进的EfficientDet的布匹疵点识别73-第42卷天津工业大学学报图6传统算法分割结果Fig.6Segmentation results of traditional algorithms（a）分割结果1（e）分割结果5（b）分割结果2（c）分割结果3（d）分割结果4低，深层次的图像对小目标检测效果不好。因此在数据流动中增加了前一级的位置信息，充分利用了不同层级的特征信息。在训练的时候会出现正负样本不均衡的问题，改进后的算法采用Focal Loss均衡正负样本，采用式（5）进行加权特征融合。o=j移棕i着+j移棕jII（5）式中：棕i是1个可以学习的权重；着是1个 1的数。根据式（5），权值是1个介于01之间的数，而且避免了softmax函数带来的计算时间增多的问题。虽然增加了参数量，但对收敛速度无影响，甚至比原算法有着更快的收敛速度。2实验与分析2.1实验准备此次训练采用Windows10操作系统，图形处理单元（GPU）为Nvidia Tesla T4，深度学习框架为Keras，OpenCV版本为3.4.2。采用Adam Optimizer（亚当优化器），衰减系数为0.9和0.97。若无特殊说明，输入图像大小均为512 伊 512，batchsize大小为24。本实验的数据集基于天池竞赛数据集，将采用边缘检测技术得到的疵点区域和正常的布匹图片进行融合得到扩充的数据集。在训练之前对图片进行缩放、旋转等操作，使疵点区域处于正中心。最终采用的数据集包含疵点图片和正常图片2种。数据集包含670张图片，其中80%用于训练，10%用于验证，其余的10%用于测试。2.2实验结果2.2.1改进Ostu算法实验结果表明，基于相似度的Ostu阈值分割算法对单峰图像有很好的分割效果，而且不会影响双峰图像的分割效果。实验采用的图像和对应的直方图如图5所示。原算法的分割效果如图6所示，改进后的算法如图7所示。2.2.2改进EfficientDet算法本实验采用准确率（P）、召回率（R）和模型大小作（a）图像1图5实验图像和直方图Fig.5 Experimental images and histograms（e）图像5（b）图像2（c）图像3（d）图像4（f）直方图1（j）直方图5（g）直方图2（h）直方图3（i）直方图41 0008006004002000250050 100 150 200灰度值8007006005004003002001000250050 100 150 200灰度值8007006005004003002001000250050 100 150 200灰度值1 0008006004002000250050 100 150 200灰度值8007006005004003002001000250050 100 150 200灰度值74-第4期图7基于相似度计算的Otsu分割结果Fig.7Otsu segmentation results based on similarity calculation（a）分割结果1（e）分割结果5（b）分割结果2（c）分割结果3（d）分割结果4为主要的评价指标。准确率代表的是真正的正样本有多少在预测之后也是正例的。召回率代表的是有多少是正例被预测正确了。PT代表实际为正样本被预测为正样本的数量，PV代表实际为负样本预测为正样本的数量，NT代表实际为负样本预测为负样本的数量，NF代表实际为正样本被预测为负样本的数量。准确率和召回率计算公式为：R=PT/（PT+NF）P=PT/（PT+NF）嗓（5）2.3对比试验为了准确评估本算法在疵点检测中的性能，本文选择在疵点检测领域比较具有代表性的几种算法加上原算法进行比较。为了保证公平性，4次实验均使用同一实验环境，均使用预训练的权重进行迁移学习。实验结果如表1所示。3结论本文对EfficientDet算法进行了优化，在BiFPN模块中增加了层级之间的数据流动和不同特征的融合，将下一级的特征传递到上一级共同进行学习，实现了跨层级、多节点的融合学习，并且将该模块多次调用，使模型可以适用于多尺度的疵点检测，而且满足实时性检测要求。通过对比目前最优的算法和优化之前的算法，发现准确率达到94%，比现有的最优算法提高4个百分点。将改进的算法应用到实际的生产中，将有望减轻疵点检测工的工作负担。后续会使用GAN（generative adversarial network）20对数据集进行优化和扩充，并且将GAN添加到训练过程中，增加网络的鲁棒性，以进一步提高训练的准确度。参考文献：1刘茁梅，李鹏飞，景军锋.基于稀疏表示的印花织物疵点检测J.西安工程大学学报，2018，32（2）：197-202.LIU Z M，LI P F，JING J F.Patterned fabric defect detectionbased on sparse representationJ.Journal of Xian PolytechnicUniversity，2018，32（2）：197-202（in Chinese）.2张宏伟，张凌婕，李鹏飞.基于深度卷积神经网络的织物花型分类J.纺织高校基础科学学报，2017，30（2）：261-265，271.ZHANG H W，ZHANG L J，LI P F.Fabric pattern classifica-tion based on depth convolution neural network J.Basic Scie-ncesJournalofTextileUniversities，2017，30（2）：261-265，271（in Chinese）.3贺智明，彭亚楠.基于深度学习的织物疵点检测研究进展J.毛纺科技，2019，47（8）：83-88.HE Z M，PENG Y N.Progress in fabric defect detection basedon deep learningJ.Wool Textile Journal，2019，47（8）：83-88（in Chinese）.4王春妍，沈丹峰，杨国仲，等.应用Prewitt算子的织物疵点检测改进算法J.纺织科技进展，2020（3）：42-46.WANG C Y，SHEN D F，YANG G Z，et al.An improvedfabric detect detection algorithm based on prewitt operatorJ.Progress in Textile Science 驭 Technology，2020（3）：42-46（inChinese）.5LIQ，PENGQ，CHENJ Z，et al.Improving imageclassificationaccuracy with ELM and CSIFTJ.Computing in Science&En-gineering，2019，21（5）：26-34.6JINGJF，ZHANGHH，WANGJ，etal.Fabric defect detectionusing Gabor filters and defect classification based on LBP andTamura methodJ.The Journal of the Textile Institute，2013，104（1）：18-27.7闫伟伟，孙宏昌，张廷，等.改进Canny算法在编织布疵点边缘检测中的应用J.天津职业技术师范大学学报，2021，表1不同算法比较结果Tab.1Comparison results of different algorithms算法名称本文改进算法EfficientDet-D0Yolo-v3Faster-RCNN缺陷识别的平均准确率/%94908283.5平均召回率0.730.680.630.64模型大小/MB15.715.7215217杨连贺，等：基于改进的EfficientDet的布匹疵点识别75-第42卷天津工业大学学报31（1）：37-41.YAN W W，SUN H C，ZHANG T，et al.Application ofimproved Canny operator in edge detection of woven fabricdefectsJ.Journal of Tianjin University of Technology and Edu-cation，2021，31（1）：37-41（in Chinese）.8龙涵彬，狄岚，梁久祯.基于畸变校正与视觉显著特征的纺织品瑕疵检测J.模式识别与人工智能，2020，33（12）：1122-1134.LONG H B，DI L，LIANG J Z.Fabric defect detection basedondistortion correctionandvisual salient featuresJ.PatternRe-cognition and Artificial Intelligence，2020，33（12）：1122-1134（in Chinese）.9曹振军，景军锋，苏泽斌，等.基于树莓派的深度学习色织物疵点检测研究J.棉纺织技术，2019，47（1）：11-15.CAO Z J，JING J F，SU Z B，et al.Study on the defect detectionof yarn-dyed fabric with deep learning based on raspberry pieJ.CottonTextileTechnology，2019，47（1）：11-15（inChinese）.10罗维平，徐洋，陈永恒，等.基于迁移学习和改进ResNet50网络的织物疵点检测算法J.毛纺科技，2021，49（2）：71-78.LUO W P，XU Y，CHEN Y H，et al.Fabric defect detectionalgorithm based on migration learning and improved ResNet50networkJ.Wool Textile Journal，2021，49（2）：71-78（in Chi-nese）.11李敏，杨珊，何儒汉，等.结合视觉显著性和卷积神经网络的提花织物疵点检测技术J.现代纺织技术，2021（6）：62-66.LI M，YANG S，HE R H，et al.Jacquard fabric defect detectioncombining visual saliency and convolutional neural networkJ.Advanced Textile Technology，2021（6）：62-66（in Chinese）.12李东洁，郭帅，杨柳.基于改进图像阈值分割算法的纱线疵点检测J.纺织学报，2021，42（3）：82-88.LI D J，GUO S，YANG L.Yarn defect detection based onimproved image threshold segmentation algorithmJ.Journal ofTextile Research，2021，42（3）：82-88（in Chinese）.13毕秀丽，邱雨檬，肖斌，等.基于统计特征的图像直方图均衡化检测方法J.计算机学报，2021，44（2）：292-303.BI X L，QIU Y M，XIAO B，et al.Histogram equalization de-tection based on statistical features in digital imageJ.ChineseJournal of Computers，2021，44（2）：292-303（in Chinese）.14刘露露，李波，何征，等.基于FS-YOLOv3及多尺度特征融合的棉布瑕疵检测J.中南民族大学学报（自然科学版），2021，40（1）：95-101.LIU L L，LI B，HE Z，et al.Cotton defect detection based onFS-YOLOv3 and multiscale feature fusionJ.Journal of South-Central University for Nationalities（Natural Science Edition），2021，40（1）：95-101（in Chinese）.15袁小翠，黄志开，马永力，等.Otsu阈值分割法特点及其应用分析J.南昌工程学院学报，2019，38（1）：85-90，97.YUAN X C，HUANG Z K，MA Y L，et al.Analysis of charac-teristics and application of Otsu threshold methodJ.Journal ofNanchang Institute of Technology，2019，38（1）：85-90，97（inChinese）.16 TAN M X，PANG R M，LE Q V.EfficientDet：Scalable andefficient object detectionC/2020 IEEE/CVF Conference onComputerVisionandPatternRecognition（CVPR）.Seattle，WA，USA：IEEE，2020：10778-10787.17陈志韬，殷恺铭，张洋，等.基于EfficientDet的安全帽佩戴检测研究J.信息技术与标准化，2021（S1）：19-23，29.CHEN Z T，YIN K M，ZHANG Y，et al.The research of safetyhelmet wearing detection based on EfficientDetJ.InformationTechnology 驭 Standardization，2021（S1）：19-23，29（in Chi-nese）.18 TAN M X，LE Q V.EfficientNet：Rethinking model scaling forconvolutional neural networksEB/OL.2019.DOI：10.48550/arXiv.1905.11946.19 BAO J M，CHEN D，WEN F，et al.CVAE-GAN：Fine-gra-ined image generation through asymmetric training C/2017IEEE International Conference on Computer Vision.Venice，Italy：IEEE，2017：2764-2773.20奚祥品，陈筱，朱向冰.生成对抗网络介绍及应用J.无线电通信技术，2021（3）：338-343.XI X P，CHEN X，ZHU X B.Introduction and application ofgenerative adversarial networks J.Radio CommunicationsTechnology，2021（3）：338-343（in Chinese）.本文引文格式：杨连贺，张超.基于改进的EfficientDet的布匹疵点识别J.天津工业大学学报，2023，42（4）：71-76.YANG L H，ZHANG C.Fabric defect recognition based onimproved EfficientDet network J.Journal of Tiangong Univer-sity，2023，42（4）：71-76（in Chinese）.76-