基于深度学习的机织物起毛起球客观评级分析.pdf

第 32 卷 第 1 期2024 年 1 月现代纺织技术Advanced Textile TechnologyVol.32,No.1Jan.2024DOI:10.19398j.att.202303034基于深度学习的机织物起毛起球客观评级分析吴 骏1a,徐 天1b,于 坤2(1.天津工业大学,a.天津市光电检测技术与系统重点实验室;b.电子与信息工程学院,天津 300387;2.天津市产品质量监督检测技术研究院纺织纤维检验中心,天津 300192)摘 要:为了有效克服目前人工检测速度慢、误差大、主观性强的问题,更快速、准确、客观地对机织物起毛起球样本评级,提出了一种多尺度特征融合的 Wide-SqueezeNet 网络。首先制作了两种成分不同的机织物起毛起球数据集。根据机织物起毛起球图像中毛球形状大小不一以及分布不均的特点,在网络中改进 Fire模块,其中增加了短连接来解决训练中梯度发散等问题,在短连接中使用两个 33 小卷积核来减少计算量并且获取不同尺度的特征图信息,增强网络的特征提取能力来提高准确率;其次为了减少整体的计算量,在网络预处理时将图像统一到 224224 大小,并且将网络中普通卷积替换为深度可分离卷积。结果表明,通过使用多尺度特征融合和深度可分离卷积来改进网络,机织物起毛起球的客观评级准确率可以达到 99.333%。相比于基础网络 SqueezeNe、Resnet、MobileNet、DenseNet、ShuffleNet,该方法的提升分别为 2.220%、1.777%、2.666%、1.333%和 2.220%。与人工检测需要几分钟到十几分钟不等相比,该网络只需要 0.072 s 即可检测一幅图像,检测速度大大提高。关键词:机织物;起毛起球;特征融合;深度可分离卷积中图分类号:TS101 文献标志码:A 文章编号:1009-265X(2024)01-0001-08收稿日期:20230320 网络出版日期:20230510基金项目:京津冀基础研究合作专项项目(H2021202008);天津市自然科学基金项目(21JCZXJC00170)作者简介:吴骏(1978),男,天津人,副教授,博士,主要从事图像处理与模式识别、人工神经网络方面的研究。通信作者:徐天,E-mail:937792947 中国是纺织品生产大国,纺织品的稳定出口对中国的经济稳定至关重要1。每年因织物起球问题被消费者投诉约占纺织品质量问题总量的 29.51%2。织物起毛起球原因是织物表面纤维在外力摩擦强于纤维抱合力时,纤维形成绒毛;当绒毛足够长时,绒毛相互缠绕,达到一定程度时就形成了毛球3。目前主要是通过专业人员在特定环境下对照标准样照对起毛起球样本进行评级,该方法局限性多、主观性强,而且准确率与专业人员疲劳程度有关。因此研发一种客观评级系统很有必要。国内外学者为克服人工标准样照检测的局限性,逐渐地开始使用计算机作为工具,采用基于图像分析原理的客观起球分级系统对织物的起球倾向进行了评价4,取得了很好的效果。织物起毛起球目前主要是存在两种客观评级的方式5:一种是根据灰度信息在空间域内进行毛球分割以及评级;另一种是在频域内利用频率等信息进行图像处理。在空间域中,Konda 等6通过获取起毛起球图像类间方差与类内方差的最大比值当作分割阈值,提取织物毛球面积和毛球个数作为两个特征参数作为判定标准。蔡林莉等7首先利用直方图均衡化和加法运算增强毛球信息和背景信息的对比度,通过二值化等方法分割毛球。Hu 等8通过二维高斯模板匹配的方式来定位毛球以及确定分割阈值。Liu9利用边缘流的方法提取织物的颜色、相位、纹理以及毛球信息,将毛球大小、数量以及体积作为最终的评级标准。在频域中,因毛球和纹理具有一定的周期性结构,在频域中表现为一定的频率信息。Xu10通过频谱信息过滤织物的纹理信息,使用圆形模板匹配法定位毛球并选取全局阈值进行毛球分割。Palmer等11使用二维离散小波变换的方式来对织物起毛起球图像处理,在频域上对织物进行分析从而进行客观评级。Jing 等12在频域信息中利用小波分解方法将无关信息和织物表面毛球分开,通过 SVM 分类器对织物起毛起球进行评级。Zhang 等13使用小波来进行纹理分析并提取毛球特征信息,通过毛球的密度参数来进行织物的等级评级,即使在频域内进行织物起毛起球评级效果要优于空间域14,也仍然需要人工选择各种系数,没有真正实现端到端的起毛起球客观评级研究。传统的织物起毛起球评级方法几乎分为 3 步:首先分割出毛球信息,其次人工选取毛球的特征参数,最终根据这些选定的参数进行等级评估,人工选取参数的好坏直接影响最终的分类结果。为了避免人工挑选参数带来的误差,有学者通过结合人工神经网络进行评级。Furferi 等15通过训练前馈反向传播人工神经网络判断织物起毛起球过程,但需要人工输入织物图像的熵曲线峰值以及亮度信息。Yu 等16结合使用 DFF 特征提取器和 SVM 分类器进行客观评级。Xiao 等17应用 BP 模型和其他优化模型来预测织物起毛起球。以上方法只是减少了人工参与,并没有完全实现端到端织物评级。为解决传统的织物起毛起球评级方法评级速度慢、成本高、主观性强的问题,卷积神经网络为客观评级提供了一种新的思路。本文主要做了以下工作:制作了两种机织物数据集共 4376 幅不同等级起毛起球图像,其中机织物 A 为纯纺织物(100%涤纶),机织物 B 为混纺织物(20%涤纶,80%羊毛)。最终设计出一种 Wide-SqueezeNet 网络模型,该种网络模型是在 SqueezeNet17网络基础上改进了 Fire模块,在 Fire 模块中增加了不同尺度的特征融合,以提高网络特征提取的能力;并且使用深度可分离卷积将普通卷积替换掉,这样可以减轻网络的一些计算量,提高速度。使用新的卷积神经网络来对毛球图像进行评级可以避免人工参与,降低人工成本,提高检测工作的效率。1 图像数据采集按照 GBT 4802.32008纺织品 织物起毛起球性能的测定 第 3 部分:起球箱法标准,应用滚球箱式起毛起球仪(方圆 YG511S-A)进行测试,滚球箱式起毛起球仪如图 1 所示。按照标准将织物样本裁剪成125 mm125 mm 大小,将裁剪好的织物样本固定在聚氨酯载样管上,为防止样本在翻滚过程中脱落,将样本两端用胶带以固定,制作好的试管样本如图 2 所示。将固定好的样本每 4 个放进滚球箱,通过设定不同的翻滚次数来获取不同等级的起毛起球样本19。图 1 滚箱式起毛起球仪Fig.1 Roller box pilling instrument图 2 试管样本Fig.2 Test tube sample借鉴织物起毛起球面料在纺织行业的评级环境,搭建了一套织物起毛起球图像采集系统。由于在采集过程中采用静态的方式,所以采用的是面阵相机。面阵相机分为彩色工业相机、灰度工业相机和红外工业相机,由于红外工业相机主要用于获取某个波段的红外信息且价格相对昂贵,因此不在考虑范围内。本文对比了灰度相机和彩色相机采集到的图像,对比结果如图 3 所示。通过对比可以看出,彩色相机收集到的图像将样本的毛球信息和背景信息无差别记录下来,而灰度相机忽略了背景信息,更加突出毛球信息。相比之下灰度相机采集的起毛起球图像在毛球辨识度方面优于彩色相机,所以本次使用的是海康威视生产的 MV-CE013-50GM 工业面阵灰度相机。2现代纺织技术第 32 卷图 3 彩色相机与灰度相机采集图像对比Fig.3 Comparison of images captured by color camera and grayscale camera 采集系统的光源选取的是 LED 方形倾斜光源,此光源不仅有助于突出织物表面的毛球信息,而且可以抑制部分噪声的影响,提高采集图像的质量。最终图像采集系统如图 4 所示。本文选取了不同成分和含量的机织物作为样本,共采集到 4376 幅不同等级的起毛起球图像作为数据集。其中纯涤纶的机织物 A 有 5 个等级的起球样本,混纺织物 B(20%涤纶,80%羊毛)在达到二级后会产生毛球脱落现象,因此没有一级起球样本。这些起球样本均由专业评级人员进行评定。两种机织物不同等级的样照示例如图 5 所示。图 4 图像采集系统Fig.4 Image acquisition system图 5 不同等级的样照示例Fig.5 Samples of different sample grades2 Wide-SqueezeNet 网络的设计2.1 SqueezeNet 介绍SqueezeNet 是常用的轻量级卷积神经网络,主要由 11 卷积和 33 卷积组成,在保持与 AlexNet相同精度的前提下,参数量减少了 50 倍。本文在SqueezeNet 网络的基础上设计了 Wide-SqueezeNet网络模型,SqueezeNet 网络的整体结构如图 6 所示。该模型共包含 10 层,第 1 层为卷积层,主要用来提取图像特征;第 29 层为 Fire 模块,Fire 模块如图 6 所示,每经过两个模块之后,通道数会增加;第 10 层是 11 卷积层,将特征维度与类别相匹配。3第 1 期吴 骏 等:基于深度学习的机织物起毛起球客观评级分析图 6 SqueezeNet 网络结构Fig.6 SqueezeNet network structure2.2 Fire 模块改进由于 SqueezeNet 网络参数量少,导致对复杂问题的表达能力较弱,在起毛起球图像中颗粒大小、形状、分布密度、纹理变化等信息复杂,基础网络往往很难应对,为克服 SqueezeNet 网络的表达能力不足,本文对 Fire 模块进行了如图 7 所示的改进。图 7 Fire 模块改进前后对比Fig.7 Comparison of the fire module before and after the improvement原始 Fire 模块主要含有两层的卷积:一个是squeeze 层,其中采用 11 的卷积核,第二个是混合使用 1 1 卷积和 3 3 卷积核的 expand 层。在SqueezeNet 网络中共 8 个 Fire 模块,通过模块化设计,减少了参数量,但 SqueezeNet 网络共 10 层,因此网络的非线性表达能力较弱20。改进后的 Fire 模块与原始 Fire 模块相比,增加了一个短连接,目的是解决在训练过程中梯度发散、难以优化等问题。受 VGG 网络的启发,大卷积核可由几个小卷积替代,在具有相同感受野的同时,不仅减少计算量,而且增加了非线性表达能力21,因此在短连接中加入了两个 33 卷积,以获取不同尺度的特征图信息,最终与原始 Fire模块输出特征图进行特征融合,不仅增大网络的感受野、提取到不同尺度的特征图信息,而且增强了网络的非线性表达能力。2.3 深度可分离卷积SqueezeNet 网络大小为 AlexNet 网络的 150,但计算量却只是 AlexNet 的 16,这是由于 SqueezeNet 在模型压缩的同时,采用了较多的 33 卷积操作,这些操作计算量相对较大,在增加特征融合之后,网络的计算量将更大,通过观察 SqueezeNet 的计算量分布,计算量主要集中在 33 卷积,为了减少计算量,本文采用深度可分离卷积,替换掉普通卷积,采用深度卷积与逐点卷积可以减少计算量,其中深度可分离卷积如图 8 所示。图 8 深度可分离卷积Fig.8 Depthwise separable convolution深度可分离卷积首先通过逐深度卷积将单个滤波器使用到每一个输入的通道,其中逐深度卷积部4现代纺织技术第 32 卷分参数(N_depthwise)的计算如式(1),使用 11 卷积组合不同深度卷积的输出,从而可以得到一组新的输出结果,其中逐点卷积中参数(N_pointwise)的计算如式(2),而普通卷积计算参数(N_normal)如式(3),通过卷积参数的计算可以看出,深度可分离卷积在计算量上远小于普通卷积,因此本文使用深度可分离卷积替换普通卷积以达到减少计算量的目的。N_depthwise=KKCin=333=27(1)N_pointwise=11CinCout=1134=12(2)N_normal=KKCinCout=3334=108(3)式中:K 为卷积核的尺寸,Cin为输入通道数,Cout为输出通道数。3 实验分析3.1 实验对象实验对象是两种起毛起球的机织物图像,将两种机织物起毛起球数据集放在一起训练,每一种织物的每一个起毛起球等级均划分一类,共分为 9 类。机织物数据集共 4376 幅图像,按照 8 1 1 的比例将所有的数据集划分为训练集、测试集以及验证集。3.2 实验环境的配置实验在 Linux 系统下操作完成,使用的深度学习框架为 Pytorch,GPU 型号为 NVIDIA GeForce GTX 2080Ti,显存为11 GiB,CPU 型号为 Intel(R)Core(TM)i7-6700,频率为 2.10 GiBHz,RAM 型号为DDR3,容量为 32 GiB。3.3 算法参数的设定本次训练损失函数采用的是交叉熵损失函数,激活函数为 RELU22,经反复测试,最佳参数如表 1 所示。表 1 模型参数设置Tab.1 Model parameter settings参数数值参数数值训练次数300批次16动量0.9学习率0.001权重衰减510-4优化器SGD3.4 起毛起球评级效果起毛起球分类网络的评价参数主要是准确率、计算量、模型大小和检测时间。本次实验将两种机织物起毛起球数据集放在一起训练,对比了一些经典的分类网络在相同数据集下的表现,不同分类网络的准确率如表 2 所示。表 2 不同分类网络的准确率Tab.2 Accuracy of different classification networks网络模型准确率%ResNet97.556MobileNet96.667DenseNet98.000ShuffleNet97.111SqueezeNet97.111Wide-SqueezeNet99.333由表 2 可知,SqueezeNet 基础网络在起毛起球分类任务中的准确率为 97.111%,改进后的网络在准确率上达到了 99.333%,相比于基础网络提高了2%,说明增加的特征融合在起毛起球评级过程中是有效果的。本文对每次改进均做了消融实验,网络模型及各项指标如表 3 所示。表 3 网络模型及各项指标Tab.3 Various indicators of the network model模型准确率%模型大小M计算量SqueezeNet97.1112.702.6109Wide-SqueezeNet98.88921.833.91010Wide-SqueezeNet+DWConv99.3333.182.8109通过表 3 可知,Fire 模块在加入特征融合之后,分类效果有较大的提升,说明增加的分支增强了网络的特征提取能力,但模型大小和计算量也增加了 10 倍;将普通卷积替换为深度可分离卷积之后,准确率达到了 99.333%,而且模型大小和计算量与原始网络基本接近,使网络轻量化的同时,更快地处理数据。一个 55 卷积的感受野是和两个 33 卷积的感受野相同的,本文对比了两个 33 卷积和一个55 卷积对结果的影响,不同尺寸卷积核的准确率如表 4 所示。表 4 不同卷积核尺寸准确率Tab.4 Accuracy of different convolution kernel sizes卷积核大小准确率%1Conv5598.6672Conv3399.3335第 1 期吴 骏 等:基于深度学习的机织物起毛起球客观评级分析 通过结果可以看出,两个 33 卷积的效果要优于一个 55 卷积,因为两个 33 卷积不仅降低了计算量,也增强了非线性表达能力,与 VGG 网络提出的思想是一致的,因此本文采用的是两个 33 卷积用于提取特征。本文对比了网络改进前后预测一幅图像所用时间,时间对比如表 5 所示,改进后的网络预测时间降低 0.036 s。表 5 单幅图像所用时间对比Tab.5 Comparison of times spent in a single image网络时间sWide-SqueezeNet0.108Wide-SqueezeNet+DWConv0.072 通过表 3 可知,利用深度可分离卷积之后的网络模型大小和计算量是普通卷积网络的 110,通过测试两个网络预测一幅图像所用时间,进一步验证了使用深度可分离卷积的网络在预测速度上更快,且预测一幅起毛起球图像仅需 0.072 s,而人工预测一幅起毛起球图像需要几分钟到十几分钟不等,此网络预测速度上远快于人工检测。3.5 可靠性分析卷积神经网络的可靠性通常指其在输入数据有一定程度的噪声或扰动时,仍能够准确地分类目标,这种情况也被称为模型的鲁棒性。本文通过输出网络的部分特征图和热力图验证 Wide-SqueezeNet 网络在机织物起毛起球客观评级中的可靠性,如图 9和图 10 所示。图 9 部分特征图Fig.9 Partial feature map图 10 部分热力图Fig.10 Partial heatmap 通过图 9 中 Wide-SqueezeNet 的特征图可以看出,改进的网络在提取特征时将背景信息和毛球信息有效的区分开来,并且更加突出毛球信息,这样不仅能有效缓解图像的噪声带来的影响,而且有效的改善了光照问题。热力图是卷积神经网络进行分类的重要依据,热力图中红色表示权重较大的部分,蓝色表示权重较小的部分。通过图 10 中 Wide-SqueezeNet的热力图可以看出,毛球信息均被分配了较大的权重,说明网络分类的主要依据为毛球信息;而且毛球周围信息分配的权重比其他地方的权重大,说明在分类时网络不仅关注毛球信息,也关注毛球周围的纹理信息,这与专业评级人员所描述的样照评级方法相符合。6现代纺织技术第 32 卷4 结 论本文通过建立两种机织物的数据集,改进 Fire模块以提升 SqueezeNet 的特征提取能力,并使用深度可分离卷积来降低计算量。实验结果表明,这些改进使网络分类准确率提高,同时保持模型大小和计算量基本不变。通过特征图和热力图验证了 Wide-SqueezeNet 在机织物评级中的可靠性。此外,该网络测试一幅图像仅需 0.072 s,比人工评级时间更短。因此,综合评估表明这个网络能够满足行业要求。参考文献:1 CHEN Y,LI J N,XIAO H X,et al.Dual path network CNIPS,California:Long Beach,2017:4407-4478.2 刘慧.对服装产品质量问题投诉的分析探讨J.中国纤检,2019(5):40-42.LIU Hui.Discussion and analysis on quality complaints of garment productsJ.China Fiber Inspection,2019(5):40-42.3 孙红玉,夏燕茂,李兴华,等.生产工艺对机织物抗起毛起球性能的影响J染整技术,2019(41):58-63.SUN Hongyu,XIA Yanmao,LI Xinghua,et al.Effect of production technology on anti-pilling performance of woven fabricsJ.Textile Dyeing and Finishing Journal,2019(41):58-63.4 KAYSERI G,KIRTAY E.Part 1.Predicting the pilling tendency of the cotton interlock knitted fabrics by regression analysisJ.Journal of Engineered Fibers and Fabrics,2015,10(3):155892501501000.5 崔新辉.织物起毛起球图像处理研究D.杭州:浙江理工大学,2016.CUI Xinhui.The Research on Image Processing of Fabric PillingD.Hangzhou:Zhejiang Sci-Tech University,2016.6 KONDA A,XIN L C,TAKADERA M,et al.Evaluation of pilling by computer image analysis J.Journal of the textile Machinery Society of Japan,1990,36(3):96-107.7 蔡林莉,黄志威,叶春收,等.基于图像处理的粗梳毛织物起毛起球等级客观评定J.毛纺科技,2013,41(2):58-61.CAI Linli,HUANG Zhiwei,YE Chunshou,et al.Research on objective evaluation of fabric spray test based on image processingJ.Wool Textile Journal,2013,41(2):58-61.8 HU J L,XIN B J.Image based modeling and analysis of textile materials M The International Series in Engi-neering and Computer Science.Boston:Kluwer Academic Publishers,2006:283-307.9 LIU X J.Segmentation for fabric pilling images based on edge flow C 2009 Second International Conference onInformation and Computing Science.May 21-22,2009,Manchester,UK.IEEE,2009:369-372.10 XU B.Instrumental evaluation of fabric pillingJ.The Journal of The Textile Institute,1997,88(4):488-500.11 PALMER S,WANG X G.Objective classification of fabric pilling based on the two-dimensional discrete wavelet transformJ.Textile Research Journal,2003,73(8):713-720.12 JING J F,ZHANG Z Z,KANG X J,et al.Objective evaluation of fabric pilling based on wavelet transform and the local binary patternJ.Textile Research Journal,2012,82(18):1880-1887.13 ZHANG J M,WANG X G,Palmer S.Objective grading of fabric pilling with wavelet texture analysisJ.Textile Research Journal,2007,77(11):871-879.14 XU Z B,YANG H S.Fabric pilling object detection based on scale-space extremum C 2015 2nd International Conference on Information Science and Control Engineering.April 24-26,2015,Shanghai,China.IEEE,2015:229-233.15 FURFERI R,CARFAGNI M,GOVERNI L,et al.Towards automated and objective assessment of fabric pilling J.International Journal of Advanced Robotic Systems,2014,11(10):171.16 YU L J,WANG R W,ZHOU J F.Performance of the pilling evaluation method based on the technique of DFFJ.Industria Textila,2017,68(1):13-16.17 XIAO Q,WANG R,ZHANG S J,et al.Prediction of pilling of polyester-cotton blended woven fabric using artificial neural network modelsJ.Journal of Engineered Fibers and Fabrics,2020,15:155892501990015.18 IANDOLA F N,HAN S,MOSKEWICZ M W,et al.SqueezeNet:AlexNet-level accuracy with 50 x fewer parameters and 0.5MB model size EBOL.2016:arXiv:1602.07360.https:arxiv.orgabs1602.07360.19 王林.基于双分支特征融合网络的毛针织物起毛起球评级方法研究D.天津:天津工业大学,2021.WANG Lin.Research on Pilling Rating Method of Wool Knitted Fabrics Based on Double Branch Feature Fusion Network D.Tianjin:Tiangong University,2021.20 LIU Y T,LIU Q S.Convolutional neural networks with large-margin softmax loss function for cognitive load recognitionC 2017 36th Chinese Control Conference(CCC).July 26-28,2017,Dalian,China.IEEE,2017:4045-4049.21 ZHAO Y,WANG G,TANG C,et al.A battle of network structures:An empirical study of CNN,transformer,and MLP J.Computer Vision and Pattern Recognition,2021,1:1-10.22 HINTON G E,NAIR V.Rectified linear units improve restricted boltzmann machines vinod nair C.Interna-tional Conference on International Conference on Machine Learning,Haifa,Israel,2010:807-814.7第 1 期吴 骏 等:基于深度学习的机织物起毛起球客观评级分析Objective evaluation of pilling of woven fabrics based on deep learningWU Jun1a,XU Tian1b,YU Kun2(1a.Tianjin Key Laboratory of Optoelectronic Detection Technology and System;1b.School of Electronics&Information Engineering,Tiangong University,Tianjin 300387,China;2.Textile Fiber Inspection Center,Tianjin Product Quality Inspection Technology Research Institute,Tianjin 300192,China)Abstract:At present China s textile production is huge and textile import and export trade affects the domestic economic development.Now the most prominent problem of textiles is quality of which fabric pilling condition is an extremely important part.The domestic assessment of pilling grade is mainly carried out by professional scientific personnel in some specific scenarios with the standard pilling samples for comparison for which there are many limitations.First of all the rating results may be affected by the subjective influence of the testers.Secondly this method is time-consuming and costly so there is a need for an objective rating system to grade the fabric pilling.In recent years foreign scholars have began to use the computer to process some traditional images by extracting such parameters as the size number density volume and other parameters of the pilling through traditional image processing methods and such parameters can be used for fabric pilling rating.With the development of deep learning high accuracy convenience and other advantages are becoming increasingly prominent and they are widely used by domestic researchers.In the image field feature extraction by convolutional neural network is effective and avoids the problem of subjective feature extraction.Therefore we proposed a new Wide-SqueezeNet network for objective rating of fabric pilling based on deep learning.In this paper two kinds of woven fabrics with different compositions and contents were used as samples a ball-box pilling instrument was used to obtain different grades of pilling samples and the fabrics were put under the light source for image acquisition by using a grayscale camera.A total of 4 376 samples of both kinds were collected.As for the network model SqueezeNet with fewer parameters and fast training was used as the main body of the network which was innovatively designed.The network model has ten layers but the number of parameters is small so the expression ability of complex problems is weak.The new Wide-Fire module was formed by adding a short connection to the original Fire module and using two 33 small convolutions to obtain the information of the pilling feature map at different scales and fusing the features with the output of the original Fire module while using a depth-separable convolution to replace the ordinary convolution in the network to reduce the computation to increase the training speed.A Wide-SqueezeNet network model with deep separable convolution was finally designed.After the training the accuracy of Wide-SqueezeNet with improved Fire module is 2%higher than that of the base network and the accuracy of Wide-SqueezeNet with deep separable convolution is increasedby 0.5%and the speed is improved.The final network model is significantly more accurate than some classical classification network models.Two 33 convolutional kernels and one 55 convolutional kernel are used for training and the results show that the accuracy of the network with two 33 convolutional kernels is higher so the two 33 convolutions are