雪茄烟烟支外观质量检测方法.pdf

2024 年 1 月第 57 卷第 1 期烟草科技Tobacco Science&TechnologyJan.2024Vol.57 No.1摘要：为解决雪茄烟烟支外观质量检测自动化程度低、人为影响因素大等问题，研制了一种雪茄烟烟支外观质量检测装置，并构建了基于机器视觉技术和深度学习的烟支外观质量缺陷检测模型。通过检测装置采集雪茄烟柱面缺陷图像，并利用随机平移、翻转等方法对图像进行均衡和增强，建立数据集；使用K-means聚类算法生成适用于柱面缺陷数据集的先验框；对YOLOv5模型进行训练，并验证检测效果；采用大津法求得最佳阈值对雪茄烟端面空头图像进行分割，通过统计烟丝缺失比例实现空头缺陷检测。结果表明：采用YOLOv5模型对柱面缺陷进行检测，多类别平均准确率MAP（Mean Average Precision）为87.7%，单张图像检测时间为13.1 ms/张，模型抗干扰能力强，检测精度和时间均优于对比模型。YOLOv5模型能够准确识别和定位多尺寸、多种类以及密集缺陷，具有较强泛化能力和鲁棒性。在不同亮度光照环境下，均能够实现空头缺陷检测。该方法可为提高雪茄烟产品质量提供支持。关键词：雪茄烟；外观质量；机器视觉；深度学习；缺陷检测中图分类号：TS453；TS46文献标志码：A文章编号：1002-0861（2024）01-0091-07收稿日期：2023-06-06录用日期：2023-09-25基金项目：国家烟草专卖局标准预研项目“卷烟盒条包装外观质量在线视觉检测设备性能指标检测及溯源方法研究”（国烟科 202335号）；四川中烟工业有限责任公司科技项目“雪茄烟支外观质量视觉检测设备计量测试技术研究与应用”（2022510000340243）。第一作者：张鹏飞（1987），男，硕士，工程师，从事烟草计量、仪器仪表方面研究。E-mail：*通信作者：苗芊（1976），男，学士，正高级工程师，从事烟草计量和标准研究。E-mail：；薛芳（1980），女，硕士，高级工程师，从事雪茄烟工艺、烟草化学方面研究。E-mail：引用本文：张鹏飞，陈姣文，郭洪滨，等.雪茄烟烟支外观质量检测方法 J.烟草科技，2024，57（1）：91-97.（ZHANG Pengfei，CHENJiaowen，GUO Hongbin，et al.An inspection method for cigar appearance quality J.Tobacco Science&Technology，2024，57（1）：91-97.DOI：10.16135/j.issn1002-0861.2023.0332）An inspection method for cigar appearance qualityZHANG Pengfei1,CHEN Jiaowen2,GUO Hongbin3,YANG Rongchao1,HE Chen1,ZHANG Qing1,LI Qingchang1,LI Suxiao3,SHEN Longwu1,MIAO Qian*1,XUE Fang*21.Zhengzhou Tobacco Research Institute of CNTC,Zhengzhou 450001,China2.Technology Center,China Tobacco Sichuan Industrial Co.,Ltd.,Chengdu 610066,China3.School of Physics and Engineering,Zhengzhou University,Zhengzhou 450001,ChinaAbstract：For the automation of cigar appearance inspection,a cigar appearance inspection devicewas developed,and a cigar appearance inspection model based on machine vision technology anddeep learning was established.The images of defects of the cylindrical surface of cigars werecaptured by a test device.The captured images were equilibrated and augmented by random panningand flipping to create a data set.The K-means clustering algorithm was used to generate appropriateanchors for the cigar defect dataset.The YOLOv5 model was trained and verified.The optimalthreshold was obtained using the OTSU method to segment the images of loose end cigars.The looseend defect was identified by statistically computing the proportion of tobacco loss from the cigar end.雪茄烟烟支外观质量检测方法张鹏飞1，陈姣文2，郭洪滨3，杨荣超1，贺琛1，张勍1，李青常1，李素晓3，慎龙舞1，苗芊*1，薛芳*21.中国烟草总公司郑州烟草研究院，郑州高新技术产业开发区枫杨街2号4500012.四川中烟工业有限责任公司技术中心，成都市锦江区成龙大道一泉段56号6100663.郑州大学物理学院，郑州市高新区科学大道100号4500012024 年烟草科技The results showed that:1）Using the YOLOv5 model to identify the defects of cylindrical surface,the mean average precision（MAP）reached 87.7%and the time for going through a single image was13.1 ms.The YOLOv5 model featured strong anti-interference and advantages over other models interms of inspection accuracy and efficiency.2）The YOLOv5 model was able to accurately identifyand locate multi-size,multi-category and densely distributed defects with strong generalization abilityand robustness.3）The loose end defect could be identified under different luminance lightingenvironments.This method supports the promotion of cigar quality.Keywords：Cigar；Appearance quality；Machine vision；Deep learning；Quality inspection雪茄烟是以雪茄烟叶为主作为茄芯，雪茄烟叶或再造烟叶作为茄衣，经过干燥、发酵等工序制作而成的一种具有雪茄烟风味特征的烟草制品1。近年来，国产雪茄烟消费呈现爆发式增长态势，成为国内卷烟消费新热点。雪茄烟外观质量是雪茄烟产品质量的重要组成部分，直接影响消费者对产品的印象。雪茄烟外观质量缺陷包括病斑、污痕、洞眼等，目前生产企业普遍采用感官观测法对烟支外观质量进行检测，存在人为影响因素大、检验工序耗时费力、质量数据难以分析与应用等问题。随着机器视觉和深度学习等技术的发展，生产制造领域的检测技术得到进一步优化。李捷等2设计了基于机器视觉的烟支外观在线检测系统，烟支质量识别准确率达到98%。张超凡等3提出一种基于视觉形态特征检测的烟梗切丝质量分析方法，能够对烟梗切丝质量进行快速准确评估。袁国武等4通过改进ResNeSt网络，建立了基于ResNeSt的烟支外观缺陷分类方法，有效解决了烟支外观缺陷分类检测效率低等问题。徐龙泉等5基于计算机视觉技术建立一种高精度气泡缺陷检测方法，通过在卷烟爆珠放行检验中准确检测出气泡缺陷爆珠，避免将污点、白斑以及胶皮粘附等非必检缺陷误识别为气泡。丛明等6针对复杂铸件外观缺陷体积小、背景复杂干扰大、难以实现高精度缺陷检测等问题，提出一种基于深度学习的铸件外观缺陷检测模型。此外，孙浩巍等7通过研究雪茄烟烟叶外观质量评价体系，总结了雪茄烟烟叶相关术语，建立了雪茄烟烟叶外观评价规则及评价指标，初步构建了雪茄烟茄衣、茄套、茄芯质量评价体系。但关于雪茄烟烟支外观质量缺陷检测方法的研究则鲜见报道。为此，搭建了一种雪茄烟烟支外观质量检测装置，并基于机器视觉技术和深度学习建立了雪茄烟烟支外观质量检测模型，以期提高雪茄烟产品质量检测精度和效率。1材料与方法1.1材料“王冠”牌手工雪茄烟（安徽中烟工业有限责任公司蚌埠卷烟厂蒙城雪茄烟生产部提供），用于建立缺陷数据集；“长城”牌手工雪茄烟（四川中烟工业有限责任公司长城雪茄厂提供），用于测试应用效果。1.2雪茄烟烟支外观质量检测装置搭建了雪茄烟烟支外观质量检测装置，见图1。其中，柱面相机和端面相机均为A7B00CGZY-01工业相机（浙江大华技术股份有限公司），镜头分别为MH0814X和MH1228X（浙江华睿科技股份有限公司）。雪茄烟烟支外观质量检测分为柱面检测和端面检测：柱面检测时，将烟支放置在可调节平台上，通过调节平台位置使烟支处于相机焦距处，采集烟支柱面图像，然后旋转烟支120采集图像，继续旋转烟支120采集图像，实现烟支圆周全覆盖拍照。端面检测时，调节端面相机左右位置，使烟支端面位于相机焦距处，采集烟支端面图像。与柱面检测不同，端面检测只需拍摄1次即可完成图像采集，在此过程中要确保烟支稳定且拍摄角度正确。1.3数据集构建以不同外观质量缺陷的雪茄烟烟支样品作为实验对象，包括脱皮、青斑、病斑、切口破损、缝口5种缺陷类型。采集缺陷图像包括脱皮600张，青斑297图1雪茄烟烟支外观质量检测装置结构图Fig.1Structure of cigar appearance inspection device1.柱面相机2.柱面相机面光源3.柱面相机辅助侧边光源4.雪茄烟5.可调节平台6.端面相机调节支架7.端面相机8.端面相机环形光源 92第 57 卷第 1 期张，病斑149张，切口破损299张，缝口88张。5种缺陷类型图像见图2。为保证5种缺陷数据之间均衡，采用图像平移和翻转的方法对数量较少的缺陷类型进行数据增广，处理后图像效果见图3。增广后各种缺陷类型的图像数量分别为脱皮 600 张，青斑 594 张，病斑560 张，切 口 破 损 598 张，缝 口 528 张。采 用LabelImg标注工具对所有缺陷图像进行标注和框选8-9，每个图像对应一个txt文件，用于记录缺陷类型和位置，见图4。图4缺陷图像标注Fig.4Defect labeling on an image图2雪茄烟烟支外观质量缺陷图像Fig.2Images of cigar appearance defectsd.切口破损e.青斑c.脱皮a.病斑b.缝口图3图像平移和翻转处理效果Fig.3Effects of image panning and flipping原图左右翻转上下翻转原图平移a.图像平移b.图像翻转增广后数据集包含2 880张缺陷图像，将其按照811的比例划分为训练集、验证集和测试集。其中，训练集2 304张，验证集288张，测试集288张。利用训练集进行训练，同时利用验证集对每个训练周期的模型进行性能监测。训练结束后，使用测试集对模型性能进行检测。1.4柱面缺陷检测方法1.4.1检测模型近年来，目标检测模型被广泛应用于缺陷检测领域，对比Faster-RCNN、FSSD等检测模型，YOLO模型具有轻量化、便于迁移、泛化能力强、检测速度快等特征。因此，采用基于深度学习的YOLOv510张鹏飞，等：雪茄烟烟支外观质量检测方法 932024 年烟草科技模型实现雪茄烟烟支柱面缺陷检测。YOLOv5模型由特征提取网络、特征融合网络和检测头3部分组成。常 用 的 特 征 提 取 网 络 有 ResNet 系 列11、CSPDarkNet 系列、DarkNet 系列12等，本文中采用CSPDarkNet作为特征提取网络，在减少参数的同时具有较高检测精度。特征融合网络有FPN、PANet13等，见图5。本文中采用PANet对特征进行融合，通过自上而下和自下而上两次融合，使每个特征图都具有较强的语义特征和位置特征，从而提高检测精度。检测头的作用是对特征融合网络的特征图进行预测，从而完成训练或推理。1.4.2先验框和数据预处理为进一步提高检测精度，采用YOLO系列模型的K-means聚类算法完成数据集先验框（anchors）的生成，步长为8、16和32的特征图生成的先验框见表1。为提高模型的鲁棒性和泛化能力，在加载缺陷图像时，采用尺度缩放、平移、翻转、饱和度增强和色调增强等方法对图像进行预处理。结果显示，尺度缩放、平移和翻转可以为模型性能带来正增益效果，饱和度增强和色调增强则为模型性能带来负增益效果。1.4.3模型评估采用精确率P（Precision）、召回率R（Recall）、某类别平均准确率AP（Average Precision）、多类别平均准确率MAP（Mean Average Precision）和每秒传输帧数FPS（Frames Per Second）评估模型表现14。1.4.4实验环境和参数设置实验在 Windows 10 操作系统上进行，CPU 为12th Gen Intel Core i7，内 存 64 GB。GPU 为NVIDIA GeForce RTX 3080Ti，内存12 GB。检测模型在Pycharm中开发和训练，开发语言为Python。深度学习框架为Pytorch1.13和Cuda11.6。模型在训练时，输入图像经过双线性插值和双边填充后尺寸为1 280 px1 280 px，批大小为8，训练周期为150，初始学习率为 0.01。权值优化采用随机梯度下降法（Stochastic Gradient Descent），学习率调整策略采用线性衰减方式，学习率与训练周期呈线性相关。其他参数均采用 YOLOv5 原始参数，动量因子为0.937，为防止早期训练时出现较大波动，设置前3个周期为预热周期。损失函数由定位损失、置信度损失和分类损失3部分组成，置信度和分类损失采用二分 类 交 叉 熵 进 行 计 算，定 位 损 失 采 用 CIoU（Complete-IoU）15进行计算。为加快模型收敛速度，采用迁移学习方式，使用YOLOv5模型在COCO（Common Objects in Context）数据集上的预训练权值对模型进行初始化。1.5端面缺陷检测方法端面主要检测空头缺陷，空头是因烟丝缺失而造成的质量缺陷，见图6。因空头缺陷种类单一、特征鲜明，本文中采用传统的图像处理方法完成空头缺陷检测。为提升缺陷与背景的对比度，采用环形光源作为端面光源。经过对比分析 RGB（红、绿、蓝）、HSV（色调、饱和度、明度）等颜色空间，发现在HSV空间的V通道中，空头缺陷与背景呈现较大差异。为此，采用大津法求得最佳阈值对图像进行分割，通过统计烟丝缺失比例，实现空头缺陷检测。2结果与分析2.1柱面缺陷检测结果2.1.1训练结果在实验环境下开展150个周期的训练，并使用测图5FPN和PANet网络结构Fig.5Structure of FPN and PANet networks步长81632先验框/px333255561458039398060196137524386107264230表1不同步长特征图生成的先验框Tab.1Anchors generated from feature maps withdifferent step sizes图6空头缺陷图像Fig.6An image of loose end defect 94第 57 卷第 1 期试集对模型性能进行测试。结果显示，模型的精确率 P 为 91.2%，召回率 R 为 85.1%，IoU（Intersectionover Union）阈值为0.5时的MAP为87.7%。测试集的P-R曲线和混淆矩阵见图7和图8。2.1.2检测结果为验证YOLOv5模型对雪茄烟烟支外观质量缺陷检测的有效性，将该模型与其他模型同时进行检测，结果见表2。可见，与Faster-RCNN模型16相比，YOLOv5的MAP提升13.9百分点；与FSSD模型17相比，YOLov5 的 MAP 提升 9.3 百分点。此外，YOLOv5 的检测速度分别是 Faster-RCNN 和 FSSD的8倍和5倍。采用未参与训练的缺陷图像对模型的鲁棒性和泛化能力进行检测，结果见图9。由图9a和9c可见，YOLOv5模型能够检测出单个缺陷和多个缺陷；由图9a、9b和9c可见，YOLOv5模型对各种尺寸缺陷均具有较好检测效果；由图9b可见，YOLOv5模型能够实现对比度差、不易发现的缺陷检测；由图9d可见，YOLOv5模型能够完成多种缺陷和密集缺陷的检测。2.2端面缺陷检测结果在HSV颜色空间中提取V通道信息，使用大津法自适应计算每张图像的阈值，并对图像进行分割。由图10可见，在实验室不同光照亮度环境下，该方法均能够完成烟丝缺失区域检测。2.3应用效果采用基于YOLOv5训练的雪茄烟烟支外观质量缺陷检测方法，对四川中烟提供的“长城”牌雪茄烟不同类型缺陷烟支进行测试，验证方法的有效性，结果见图11。可见，该方法能够适应各种复杂环境，对不同烟支缺陷均具有较高检测精度，泛化能力强，稳定性好，可以实现多个缺陷的同时检测和精准定位。图12为端面空头缺陷检测结果。可见，生产现场不同光照亮度环境下图像分割效果良好，通过分图8测试集的混淆矩阵Fig.8Confusion matrix of the test set图7测试集的P-R曲线Fig.7P-R curve of the test set模型Faster-RCNNFSSDYOLOv5MAP/%73.878.487.7检测速度/（ms 张-1）105.163.813.1表2不同检测模型的测试结果对比Tab.2Comparison of test results between differentinspection models注：IoU阈值为0.5。a.多个和单个病斑b.单个缝口c.多个和单个脱皮d.多种缺陷和多个青斑图9不同外观质量缺陷检测结果Fig.9Inspection results of different appearance defects张鹏飞，等：雪茄烟烟支外观质量检测方法 952024 年烟草科技a.高亮度c.低亮度b.中亮度图10实验室不同光照亮度环境下空头缺陷检测结果Fig.10Inspection results of loose end defects under different luminance environments in a laboratoryb.脱皮a.多个病斑d.切口破损c.青斑图11雪茄烟烟支外观质量缺陷验证结果Fig.11Validation results of appearance defects of cigars图12生产现场不同光照亮度环境下空头缺陷检测结果Fig.12Inspection results of loose end defects under different luminance environments in site割烟丝缺陷部分，进一步计算烟丝缺失比例，从而实现空头缺陷检测。结果表明，端面检测方法具有较强抗干扰能力，适用于不同亮度环境。3结论基于机器视觉技术和深度学习构建了一种雪茄烟烟支外观质量检测方法，采用YOLOv5模型对柱面缺陷进行检测，利用传统图像处理方法完成空头缺陷检测。结果表明：采用YOLOv5模型对柱面缺陷进行检测，MAP为87.7%，单张图像检测时间为13.1 ms/张，检测精度分别比 Faster-RCNN 和 FSSD提 升 13.9 和 9.3 百 分 点，检 测 速 度 分 别 是Faster-RCNN和FSSD的8倍和5倍；YOLOv5模型对不同种类缺陷、多尺寸缺陷和密集缺陷均具有较好检测效果。采用传统的图像处理法对端面缺陷进行识别，在不同光照亮度环境下，均能够完成烟丝缺失区域检测。通过雪茄烟烟支外观缺陷检测方法，可准确检测不同缺陷类型及位置，从而实现雪茄烟烟支缺陷分类。参考文献1 余邦林，徐恒，姬凌波，等.国产雪茄烟挥发性成分质量分数和组成差异 J.烟草科技，2023，56（3）：61-69.YU Banglin，XU Heng，JI Lingbo，et al.Differencesinmassfractionsandcompositionsofvolatilecomponents in domestic cigarsJ.Tobacco Science&Technology，2023，56（3）：61-69.2 李捷，陆海华，王翔，等.基于机器视觉的烟支接装质量在线检测系统 J.烟草科技，2019，52（9）：109-114.LI Jie，LU Haihua，WANG Xiang，et al.Onlinecigaretteappearanceinspectionsystembasedonmachine vision J.Tobacco Science&Technology，2019，52（9）：109-114.96第 57 卷第 1 期3 张超凡，董浩，刘勇，等.基于视觉形态特征检测的烟梗切丝质量分析 J.烟草科技，2017，50（1）：67-73.ZHANG Chaofan，DONG Hao，LIU Yong，et al.Analysisofstemcuttingqualitybasedonvisualmorphological feature detection J.Tobacco Science&Technology，2017，50（1）：67-73.4 袁国武，刘建成，刘鸿瑜，等.基于 ResNeSt 的烟支外观缺陷分类 J.云南大学学报（自然科学版），2022，44（3）：464-470.YUAN Guowu，LIU Jiancheng，LIU Hongyu，et al.Classification of cigarette appearance defects based onResNeStJ.Journal of Yunnan University（NaturalSciences），2022，44（3）：464-470.5 徐龙泉，王澍，董浩，等.面向卷烟爆珠放行检验的气泡缺陷检测方法 J.烟草科技，2020，53（10）：96-102.XU Longquan，WANG Shu，DONG Hao，et al.Method for release inspection of cigarette capsules withbubble defectsJ.Tobacco Science&Technology，2020，53（10）：96-102.6丛明，卢长奇，刘冬，等.基于 Refine-ACTDD 的铸件外观微小缺陷检测方法 J.计算机集成制造系统，2022，28（9）：2815-2824.CONGMing，LUChangqi，LIUDong，etal.Detection method for tiny defects in casting appearancebasedonRefine-ACTDD J.ComputerIntegratedManufacturing Systems，2022，28（9）：2815-2824.7 孙浩巍，张轲，龙杰，等.云南雪茄烟叶外观质量评价体系研究 J.现代农业科技，2020（14）：211-214.SUN Haowei，ZHANG Ke，LONG Jie，et al.Studyon evaluating system of appearance quality of Yunnancigar tobacco leavesJ.Modern Agricultural Scienceand Technology，2020（14）：211-214.8 李孝钊.基于深度学习的轻量化网络火灾烟雾检测方法研究 D.重庆：重庆理工大学，2022.LI Xiaozhao.Research on lightweight network fire andsmoke detection method based on deep learningD.Chongqing：ChongqingUniversityofTechnology，2022.9 王勋，毛华敏，李唐兵，等.基于迁移学习和R-FCN的电力设备红外图像识别算法 J.传感器与微系统，2021，40（1）：147-150.WANG Xun，MAO Huamin，LI Tangbing，et al.Recognition algorithm for infrared image of powerequipment based on transfer learning and R-FCNJ.Transducer and Microsystem Technologies，2021，40（1）：147-150.10汪睿琪，张炳辉，顾钢，等.基于 YOLOv5 的鲜烟叶成熟度识别模型研究 J.中国烟草学报，2023，29（2）：46-55.WANG Ruiqi，ZHANG Binghui，GU Gang，et al.Recognition model of tobacco fresh leaf maturity basedon YOLOv5 J.Acta Tabacaria Sinica，2023，29（2）：46-55.11陆振山.基于 ResNet 的烟叶成熟度判定研究与应用D.桂林：桂林电子科技大学，2022.LU Zhenshan.Research and application of tobaccomaturity determination based on ResNetD.Guilin：Guilin University of Electronic Technology，2022.12刘延鑫，王俊峰，杜传印，等.基于YOLOv3的多类烟草叶部病害检测研究 J.中国烟草科学，2022，43（2）：94-100.LIU Yanxin，WANG Junfeng，DU Chuanyin，et al.Detection of various tobacco leaf diseases based onYOLOv3 J.Chinese Tobacco Science，2022，43（2）：94-100.13齐玥程，王燕，李丽，等.基于深度学习的在线烟叶等级判定研究 J.安徽农业科学，2023，51（3）：235-239.QI Yuecheng，WANG Yan，LI Li，et al.Onlinetobacco leaf grade determination research based on deeplearning J.Journal of Anhui Agricultural Sciences，2023，51（3）：235-239.14Yao J，Qi J M，Zhang J，et al.A real-time detectionalgorithm for kiwifruit defects based on YOLOv5J.Electronics，2021，10（14）：1711.15叶赵兵，段先华，赵楚.改进YOLOv3-SPP水下目标检测研究 J.计算机工程与应用，2023，59（6）：231-240.YE Zhaobing，DUAN Xianhua，ZHAO Chu.Researchon underwater target detection by improved YOLOv3-SPPJ.Computer Engineering and Applications，2023，59（6）：231-240.16郭兰申，李杨，黄凤荣，等.融合引导锚框算法的Faster-RCNN 缺陷检测 J.机械设计与制造，2022，374（4）：160-164.GUO Lanshen，LI Yang，HUANG Fengrong，et al.Faster-RCNN part defect detection based on guidedanchoringalgorithmJ.MachineryDesign&Manufacture，2022，374（4）：160-164.17高洁，王战红，刘纲.基于 FSSD 的微光烟雾检测方法 J.电子测量技术，2021，44（5）：123-128.GAO Jie，WANG Zhanhong，LIU Gang.Low light levelsmoke detection method based on FSSDJ.ElectronicMeasurement Technology，2021，44（5）：123-128.责任编辑曹娟，张玉聪张鹏飞，等：雪茄烟烟支外观质量检测方法 97