基于近红外光谱和K线图的烟丝总糖实时监测方法.pdf

中国烟草学报 Acta Tabacaria Sinica 2023 Vol.29 No.5 基金项目：北京市自然科学基金项目（No.8222070）；兴化健康食品产业研究基金（No.201905）；上海烟草集团有限责任公司科技项目（No.K2015-2-017p）；上海烟草集团北京卷烟厂有限公司科技项目（No.TP2019-C1）作者简介：杜国荣（1984），博士，高级工程师，主要研究方向为分析化学，Tel：[phone]，Email： 通讯作者：黄越（1985），博士，副教授，主要研究方向为食品质量监控和智能化检测，Tel：[phone]，Email： 收稿日期：2022-09-27；网络出版日期：2023-06-06 20 杜国荣，马莉，马雁军，等.基于近红外光谱和 K 线图的烟丝总糖实时监测方法J.中国烟草学报，2023，29（5）.DU Guorong,MA Li,MA Yanjun,et al.K-line tracking method of total sugar changes in cut tobaccoJ.Acta Tabacaria Sinica,2023,29(5).doi:10.16472/j.chinatobacco.2022.T0274 基于近红外光谱和 K 线图的烟丝总糖实时监测方法 杜国荣1,2，马莉2，马雁军2，刘德水2,3，史素娟2，矫海楠2，黄越1,2*1 中国农业大学食品科学与营养工程学院，北京海淀区清华东路 17 号 100083；2 上海烟草集团有限公司技术中心北京工作站，北京通州区万盛南街 99 号 101121；3 北京生命科技研究院有限公司，北京 102211 摘 要：【背景和目的】针对传统生产过程监控中对特定化学成分的变化趋势往往无法实时获取和判断的问题，提出一种基于金融领域中 K 线图计算和趋势判断的质量监控方法。【方法】通过颜色趋势和长短均线策略实现对批次内、批次间结果的比对分析并预测未来批次走势，并与常用的误差棒图和箱线图进行对比分析。【结果】牌号 A 和 B 的烟丝总糖趋势判断准确率最高分别为 75.00%和 84.62%，采用 K 线图能判断批次前期、后期的物料化学成分变化。【结论】该方法具有较好的直观性和时效性，对同类产品的其他生产指标监控具有良好的拓展应用价值。关键词：烟丝；K 线图；过程监控；总糖含量；近红外光谱 烟丝的质量控制对于卷烟生产非常重要，如何监控烟丝化学成分的变化是实现质量控制和管理的重要环节。近红外光谱具有样品前处理简单、不需要破坏样品，检测速度快，易于实现原位实时分析等优点而备受关注1-3。近红外光谱已广泛应用于烟草行业的各个领域4-7。实时分析后的结果可用于快速获取物料的实时品质，对产品质量的稳定控制有重要的指示作用。实时分析结果的展示方法大多采用点线图，批次统计结果大多使用柱状图、误差棒图等方式7-8。批次内数据的点线图可以反应出当前批次化学成分的变化情况，但是因为没有历史批次信息，无法看出当前批次和历史批次的对比情况。多批次的点线趋势图9、箱线图10或误差棒图11可以反应出历史批次成分的变化趋势，但无法及时查看当前批次的波动情况。K 线图是金融领用常用的一种技术指标12-15，最早出现在日本，用于预测大米价格的走势。K 线图也称为蜡烛图，指基于市场特定交易品种的最高价、最低价、开盘价、收盘价 4 项数据构成的类似于蜡烛形状的图形。如果收盘价高于开盘价，则蜡烛图中空，被称为阳线15-16，国内大多用红色实体表示；反之，则蜡烛图为实心，被称为阴线，国内常用绿色实体表示。基于趋势、反转理论，结合 K 线图和常用的技术指标如移动平均线、平滑异同移动均线、KDJ 随机指标、相关性等，可以快速判断市场行情的走势16。烟丝常规化学成分，如总糖、总植物碱、氯、钾等，是烟丝质量重要的品质指标17，使用近红外技术在离线和在线的场景对其实现快速测定。为提高方法准确度，在数据处理时常使用光谱预处理18-19、异常样品识别20-21、变量筛选22-24等技术以获取更加稳健的模型。鉴于现有监测结果实时显示方法较单一，且无法同时对批次内、批次间结果进行快速比对分析，难以快速预测未来批次走势，本研究以生产过程烟丝总糖含量为研究对象，提出一种基于 K 线图的烟丝化学成分监测方法。通过对两种牌号连续多批次的结果分析，快速判断批次内、批次间的变化情况及未来批次走势，具有较好的潜在应用价值。杜国荣等 基于近红外光谱和 K 线图的烟丝总糖实时监测方法 21 1 材料与方法 1.1 仪器与试剂 傅里叶变换近红外光谱仪（布鲁克 Matrix-E，德国），连续流动分析仪（Seal AA3，德国）。高纯度蒸馏水（18 M），冰醋酸（99.5%），盐酸（36%），氢氧化钠（98%），对羟基苯甲酸酰肼（98%），聚乙氧基月桂醚（Brij 35）溶液，硫氰酸汞溶液，硝酸铁溶液，氯化钠溶液等根据实际条件配制。1.2 建模样品 选取制丝生产过程中间环节的特定时段的烟丝作为分析对象。使用在线傅里叶变换近红外光谱仪采集370 个烟丝样品的原位近红外光谱。仪器采用漫反射模式，波数范围为 120004000 cm-1，波数间隔约为 4 cm-1，共获得 2074 个波长点，扫描次数 64 次，分辨率 8 cm-1。按照行业标准25YC/T 1592002 测定样品总糖含量。按照 4：1 将样品分为建模集和验证集，分别含有样品 269 个和 68 个。1.3 样品批次信息 牌号 A 烟丝采集 2017 年 3 月 4 日至 2022 年 7 月19 日期间的烟丝总糖数据，其中包含该牌号烟丝的生产日期有 108 d，其中平均每个批次持续约 50 min，最终采集牌号 A 烟丝合计 186 个批次的近红外光谱19802 条。牌号 B 烟丝采集 2017 年 2 月 21 日至 2022年 7 月 14 日期间的烟丝总糖数据，其中包含该牌号烟丝的生产日期有 135 d，平均每个批次持续约 50 min，最终采集牌号 B 烟丝合计 339 个批次的近红外光谱36224 条。1.4 计算部分 建模计算使用近红外光谱仪配套软件 OPUS 6.5（布鲁克，德国），计算及作图采用 Python v3.8.8 软件。K 线构造方法采用 IQR 法去除异常点，IQR 为第三四分位数 Q3 减去第一四分位数 Q1 的差，大于Q3+1.5*IQR 或小于 Q1-1.5*IQR 的值被认为是异常值。批次前 1/2 时间的预测指标的中位值作为开盘价，批次后 1/2 时间的预测指标的中位值作为收盘价，批次数据的 90%分位数作为最高价，10%分位数作为最低价。使用 K 线图方法进行判断时，若前 1/2 批次的数值大于后 1/2 的数值，则 K 线为实心绿柱，反之 K 线实心红柱。通过 K 线是否阴线或者 K 线颜色可以快速判断批次前期和后期化学成分变化情况，通过观察 K线的上下影线可以快速观察出当前批次数据的上 10%分位数和下 10%分位数。通过构建长短均线，可以用于判断未来批次数据走势。当短期均线从下至上穿过长期均线时，未来批次数据有上升的可能，本研究用下穿进行表示；反之，当短期均线从上至下穿过长期均线时，未来数据有下降的可能，用上穿进行表示。本文长期和短期均线计算参数分别选取 20 和 5，该参数可以通过历史数据进行设置。2 结果与讨论 2.1 烟丝总糖模型 预处理方法为一阶导数和多元散射校正组合方法，选择的波段为 7502.16098.1 cm-1和 5450.14246.7 cm-1，如图 1A 所示，灰色区域为经过预处理后的光谱选定波段区域。在此波段范围内建立偏最小二乘回归（PLS）模型（图 1B），模型参数和结果见表 1，可知建立模型回归系数 R2为 99.47%，预测均方根误差 RMSEP 为 0.385，残差预测偏差 RPD 值远大于 3，具有较好的预测能力。图 1 建模变量分布和模型验证结果统计图 Fig.1 Modeling variable distribution(A)and model validation results(B)中国烟草学报 Acta Tabacaria Sinica 2023 Vol.29 No.5 22 表 1 烟丝中总糖 PLS 模型参数统计表 Tab.1 Statistics of PLS model of total sugar in cut tobacco 参数名称 数值 因子数 10 RMSECV 0.424 RMSEP 0.385 Rcv2 99.35 R2 99.47 RPDcv 12.4 RPD 13.8 2.2 牌号 A 的 K 线图趋势 图 2 为牌号 A 的混合烟丝中总糖成分的 K 线图，共 186 个批次。其中，蓝色线为 5 批均线，黄线为 20批均线。可以看出该牌号所有批次中烟丝总糖值最小为 22.5（质量分数%），最大为 28.3。经统计得到，5批均线从上向下穿过 20 批均共有 8 次，统计穿越点前5 批的 5 批均值和后 5 批的 5 批均值结果见表 2。可以看出，8 次中有 6 次突破后的均值小于突破前，准确率为 75.00%。短期均线从下向上穿过长期均线一共 8次，其中 5 次判断正确，随后均值上升，正确率为62.50%。图 2 牌号 A 烟丝总糖含量变化 K 线图 Fig.2 K-line of change of total sugar content in cut tobacco of brand A 表 2 牌号 A 短期均线上下穿长期均线前后总糖变化统计表 Tab.2 Statistics of changes in total sugar before and after the short-term average crossing the long-term average of brand A 序号 类型 突破前均值 突破后均值 突破前后差值 实际变化 判断趋势 1 上穿 24.92 23.39-1.53 下降 下降 2 24.43 24.41-0.03 下降 下降 3 24.33 24.39 0.06 上升 下降 4 24.33 23.77-0.55 下降 下降 5 24.09 23.47-0.62 下降 下降 6 23.71 24.06 0.35 上升 下降 7 24.06 23.92-0.14 下降 下降 8 27.03 25.38-1.65 下降 下降 1 下穿 24.82 24.88 0.05 上升 上升 2 23.08 23.84 0.76 上升 上升 3 24.37 24.30-0.07 下降 上升 4 24.39 23.69-0.70 下降 上升 5 24.06 23.79-0.27 下降 上升 6 23.62 23.89 0.27 上升 上升 7 23.72 24.13 0.41 上升 上升 8 23.86 24.51 0.65 上升 上升 杜国荣等 基于近红外光谱和 K 线图的烟丝总糖实时监测方法 23 通过图 2 可以快速判断出批次生产工程中总糖的变化。批次前期物料总糖低于批次后期时 K 线主体为蓝色，反之为黄色。批次前期和后期总糖变化越大，K 线主体柱越长。通过 K 线图的上下影线可以快速判断批次中的极端数值。如图 2 中第二个批次，测定值最小值为 22.84，最大值为 28.17，极差为 5.33，明显不同于其它批次。将该批次数据做折线图（图 3），该批次持续时间较长，有 928 个数据点，合计检测时间接近 618 min。经核查该批次数据的批次信息有误，实际为 6 个不同的批次，且生产的物料也有所不同，因此批次上下影线差异很大。此外，K 线图也能了解到生产调整或配方调整的实际工况，如在 140 批次后，总糖数据有明显的升高，从 24%一直增加到 27%，可以回溯数据了解到这个阶段其实是原料配方的调整阶段，从图中可以明显看到配方调整前后的目标成分的变化情况。图 3 牌号 A 烟丝第二批次总糖含量变化图 Fig.3 Changes of total sugar content from the second batch of brands A 2.3 牌号 B 的 K 线图趋势 图 4 为牌号 B 的混合烟丝总糖的 K 线图，一共339 个批次。从 K 线颜色看出，大部分批次的后期比前期的总糖值要高。同样地，短期均线和长期均线交叉时数据变化情况见表 3。可知，短期均线从上向下穿过长期均线 13 次，其中 11 次发生了批次数据数值下降情况，准确率为 84.62%。短期均线从下向上穿过长期均线 12 次，其中 10 次发生了批次数据数值上升的情况，准确率为 83.33%。图 4 牌号 B 烟丝总糖含量变化 K 线图 Fig.4 K-line of change of total sugar content in cut tobacco of brand B 中国烟草学报 Acta Tabacaria Sinica 2023 Vol.29 No.5 24 表 3 牌号 B 短期均线上下穿长期均线前后总糖变化统计表 Tab.3 Statistics of changes in total sugar before and after the short-term average crossing the long-term average of brand B 序号 类型 突破前均值 突破后均值 突破前后差值 实际变化 判断趋势 1 上穿 18.854 18.239-0.615 下降 下降 2 18.816 17.695-1.121 下降 下降 3 18.453 16.75-1.703 下降 下降 4 16.892 16.694-0.198 下降 下降 5 17.707 17.728 0.021 上升 下降 6 18.319 17.526-0.793 下降 下降 7 17.412 17.753 0.341 上升 下降 8 17.831 17.4-0.431 下降 下降 9 19.802 18.987-0.815 下降 下降 10 19.725 19.01-0.715 下降 下降 11 19.099 18.993-0.106 下降 下降 12 19.651 18.622-1.029 下降 下降 13 19.943 18.281-1.662 下降 下降 1 下穿 18.794 17.977-0.817 下降 上升 2 17.395 18.745 1.35 上升 上升 3 16.425 16.9 0.475 上升 上升 4 16.786 18.137 1.351 上升 上升 5 17.682 18.181 0.499 上升 上升 6 17.262 17.323 0.061 上升 上升 7 17.463 17.736 0.273 上升 上升 8 17.271 17.929 0.658 上升 上升 9 18.948 19.683 0.735 上升 上升 10 19.077 19.049-0.028 下降 上升 11 19.049 19.794 0.745 上升 上升 12 18.086 19.582 1.496 上升 上升 2.4 其他趋势图的分析结果 采用生产物料质量监控中常用的趋势变化分析误差棒图、箱线图与 K 线图方法进行对比。图 5 分别为牌号 A 和 B 历史批次中烟丝总糖含量变化的误差棒图。为便于和 K 线图比较，图中误差棒的上下限分别为批次下十分位和上十分位值。通过误差棒图的上下限可以快速判断批次内总糖的波动情况，通过误差棒的走势也可以分析批次的走势。但是通过误差棒图无法快速判断批次前期、后期总糖的变化情况。如采用K 线图结合长短均线可以更准确的预测未来批次的走势，通过颜色判断批次前后总糖的大小变化和数值大小，其相比于误差棒图更具有优势。图 5 牌号 A 和 B 的烟丝总糖含量变化误差棒图 Fig.5 Error bar graph of changes in total sugar content of cut tobacco of brands A and B 杜国荣等 基于近红外光谱和 K 线图的烟丝总糖实时监测方法 25 图 6 分别为牌号 A 和 B 的箱线分析图。从箱线图的主体可以看出批次数据的上下四分位位置，从上下箱线可以看出批次数据的上下限。和误差棒图类似，箱线图也可用于直观表达批次总糖的走势和批次内数据的波动大小，但是无法判断批次前期、后期的物料化学成分变化。对于最新批次的实时变化情况，这两种方法的图形表现都稍逊于 K 线图方法。图 6 牌号 A 和 B 的烟丝总糖含量变化箱线图 Fig.6 Boxplot of changes in total sugar content of cut tobacco of brands A and B 3 结论 本研究以生产过程烟丝总糖含量为研究对象，提出一种基于金融领域 K 线图的烟丝化学成分监测方法。正如金融研究中监测实时股票数据，本方法可以实现快速判断烟丝生产中特定批次的目标成分含量数值的变化情况。同时，通过颜色趋势可以快速判断特定批次前期和后期的变化，方便直观地进行当前批次和历史批次对比。最后，结合金融领域的长短均线策略，本方法可用于对批次数据走势的快速判断，其中，对于 A 牌号批次趋势判断的最高准确率为 75.00%；对于 B 牌号批次趋势判断的最高准确率为 84.62%。本研究也将现行常用的生产批次监控方法与本方法进行了比对，结果表明本方法在直观性和实用性上仍具有较大的应用潜力。该方法可用于烟丝其他指标的实时分析如总烟碱、氯、钾等，具有良好的扩展性。参考文献 1 Shao X G,Bian X H,Liu J J,et al.Multivariate calibration methods in near infrared spectroscopic analysisJ.Anal.Methods,2010,2(11):1662-1666 2 Pasquini C.Near infrared spectroscopy:A mature analytical technique with new perspectives e A reviewJ.Anal.Chim.Acta,2018,1026:8-36.3 褚小立，陈瀑，李敬岩，等.近红外光谱分析技术的最新进展与展望J.分析测试学报，2020,39(10):1181-1188.CHU Xiaoli,CHEN Pu,LI Jingyan,et al.Progresses and perspectives of near infrared spectroscopy analytical technologyJ.J.Instrum.Anal,2020,39(10):1181-1188.4 张翼，杨征宇，葛炯，等.近红外分析技术在烟草中的应用J.计算机与应用化学，2016,33(02):251-254.ZHANG Yi,YANG Zhengyu,GE jiong,et al.The application of near-infrared spectroscopy in tobaccoJ.Comput.Appl.Chem,2016,33(02):251-254.5 邱军，张怀宝，宋岩，等.近红外光谱分析技术在烟草行业的应用J.中国烟草科学，2008,01:55-59.QIU Jun,ZHANG Huaibao,Song Yan,et al.Application of near infrared spectroscopic analytical techniques in tobacco industryJ.Chin.Tobacco Sci,2008,1:55-59.6 刘华友，周顺峰，朱传才，等.基于在线近红外光谱分析的原烟精选均质化调控方法J.安徽农业科学，2021,49(03):193-195.LIU Huayou,ZHOU Shunfeng,ZHU Chuancai,et al.Raw tobacco selective homogenization regulation method based on online NIRSJ.J.Anhui Agric.Sci,2021,49(3):193-195.7 王毅，马翔，温亚东，等.近红外光谱与多元统计方法用于生产过程实时分析J.光谱学与光谱分析，2013,33(5):1226-1229.WANG Yi,MA Xiang,WEN Yadong,et al.Near infrared spectroscopy and multivariate statistical process analysis for real-time monitoring of production processJ.Spectrosc.Spec.Anal,2013,33(5):1226-1229.8 李伟，冯洪涛，周桂圆，等.Hotelling T2 结合多组分 NIR 校正模型在卷烟生产过程质量监测中的应用J.烟草科技，2014,324:5-9.LI Wei,FENG Hongtao,ZHOU Guiyuan,et al.Quality Monitoring in Cigarette Manufacturing Process by Combining Hotelling T2 Statistics and Multicomponent NIR Calibration ModelJ.Tobacco Sci.Tech,2014,324:5-9.9 Wang Y,Han F,Zhu L,et al.Line graph or scatter plot?Automatic selection of methods for visualizing trends in time seriesJ.IEEE Transactions on Visualization and Computer Graphics,2018,24(2):1141-1154.10 Larson H J.Moving beyond the bar plot and the line graph to create informative and attractive graphicsJ.Modern Lang.J,2017,101(1):244-270.11 Kim J,Lee J S,Jang S J.Drawing guideline for hip and pelvis:plot with error bar J.Hip Pelvis,2020,32(4):161-169.12 Lee K H,Jo G S.Expert system for predicting stock market timing using a candlestick chart J.Expert Syst.Appl,1999,16(4):357-364.13 Hung C C,Chen Y J.DPP:Deep predictor for price movement 中国烟草学报 Acta Tabacaria Sinica 2023 Vol.29 No.5 26 from candlestick chartsJ.PLoS ONE 16(6):e0252404.14 Lan Q,Zhang D,Xiong L L.Reversal pattern discovery in financial time series based on fuzzy candlestick linesJ.Syst.Eng.Proc,2011,2:182-190.15 Ho T T,Huang Y.Stock price movement prediction using sentiment analysis and candlestick chart representationJ.Sensors,2021,21(23):7957.16 吕涛，郝泳涛.基于K线序列相似性搜索的股票价格预测J.计算机应用，2017,37(S2):229-235.LV Tao,HAO Yongtao.Stock price prediction based on K-line series similarity searchJ.J.Comput.Appl.2017,37(S2):229-235.17 李跑，马雁军，马莉，等.基于近红外漫反射光谱和化学计量学方法的晒红烟常规化学指标的快速测定J.湖南农业大学学报（自然科学版），2018,44(03):251-255.LI Pao,MA Yanjun,MA Li,et al.Rapid determination of routine chemical index in dark sun-cured tobacco by near-infrared diffuse reflectance spectroscopy and chemometrics methodsJ.J.Hunan Agric.Univ,2018,44(03):251-255.18 Shao X G,Leung A K,Chau F T.Wavelet:a new trend in chemistryJ.Accounts Chem.Res,2003,36(4):276-283.19 Bian X H,Wang K Y,Tan E X.A selective ensemble preprocessing strategy for near-infrared spectral quantitative analysis of complex samplesJ.Chemometr.Intel.Lab.Syst,2020,197(15):103916.20 Liu Z C,Cai W S,Shao X G.Outlier detection in near-infrared spectroscopic analysis by using Monte Carlo cross-validationJ.Sci.China,Series B-Chem,2008,51(8):751-759.21 王家俊，李正风，王萝萍，等.蒙特卡洛交叉验证用于偏最小二乘建模数据质量的评价.计算机与应用化学，2015,32(12):1530-1536.WANG Jiajun,LI Zhengfeng,WANG Luoping,et al.Evaluation of calibration data for partial least squares modeling by using Monte Carlo cross validation.Comput.Appl.Chem,2015,32(12):1530-1536.22 Shao X G,Du G R,Jing M,et al.Application of latent projective graph in variable selection for near infrared spectral analysisJ.Chemometr.Intel.Lab.Syst,2012,114:44-49.23 Li P,Du G R,Ma Y J.A novel multivariate calibration method based on variable adaptive boosting partial least squares algorithmJ.Chemometr.Intel.Lab.Syst,2018,176:157-161.24 Li P,Du G R,Cai W S.Rapid and nondestructive analysis of pharmaceutical products using near-infrared diffuse reflectance spectroscopyJ.J.Pharm.Biomed.Anal,2012,70:288-294.25 YC/T 1592002，烟草及烟草制品 水溶性糖的测定 连续流动法S.YC/T 159-2002，Tobaccoa ndt obaccop roducts-Detelrminationo fw ater solubles ugars-Continuousf low methodS.K-line tracking method of total sugar changes in cut tobacco DU Guorong1,2,MA Li2,MA Yanjun2,LIU Deshui2,3,SHI Sujuan2,JIAO Hainan2,HUANG Yue1,2*1 College of Food Science and Nutritional Engineering,China Agricultural University,Beijing100083,China;2 Technology Center,Shanghai Tobacco Group Beijing Cigarette Factory Co.,Ltd.,Beijing 101121,China;3 Beijing Life Science Academy（BLSA）,Beijing 102211,China Abstract:The change of total sugar content in cut tobacco in the cigarettes production is one of the main indicators affecting the stability of the product.Aiming at the problem that the change trend of specific chemical components cannot be obtained and judged in real time in traditional production process monitoring,this study proposed a quality monitoring method based on K-line chart calculation and trend judgment from the financial field.First,based on the data of cut tobacco obtained by online near-infrared spectroscopy,the total sugar content of 525 batches from two brands was analyzed before and after the short-term moving average or the long-term moving average.Comparative analysis of intra-batch and inter-batch results and prediction of future batch trends were successfully realized.Results showed that the highest accuracy rates of judging the trend of total sugar in cut tobacco of brands A and B were 75.00%and 84.62%,respectively.Subsequently,the commonly used error bar chart and boxplot were compared with the K-line analysis and the results revealed that the K-line combined with the long and short moving averages can accurately predict the trend of future batches better.This approach has good intuition and timeliness,and has a good expansion and application value for the monitoring of other indicators of similar products.Keywords:cut tobacco;K-line;process monitoring;total sugar;near infrared spectroscopy *Corresponding author.Email：