基于图分割与协同训练的工业过程半监督软测量方法.pdf

36 CHINA INSTRUMENTATION2023年 第10期应用研究 APPLICATION RESEARCH基于图分割与协同训练的工业过程半监督软测量方法Semi-supervised Soft Sensor Modelling Method Based on Graph Segmentation and Co-training陈雄挺 李 扬 史琳林（浙江中控技术股份有限公司，浙江 杭州 310053）Chen Xiongting,Li Yang,Shi Linlin(Zhejiang SUPCON Co.,Ltd.,Hangzhou Zhejang 310053)摘要：在工业过程中，质量检测数据与运行数据的比例失衡导致数据驱动的软测量性能受到限制。基于协同训练算法的半监督建模方法利用海量运行数据获得具有高置信度的伪标签以扩充有效建模数据，然而协同训练建模过程中的特征分割会影响建模中两模型的差异性进而影响最终的模型性能。针对该问题，本文提出一种基于图分割与协同训练偏最小二乘（GSCO-PLS）的半监督软测量算法。首先计算辅助变量之间的相关性指标作为权重获得以特征为顶点的有权无向图，将协同建模中的特征分割转化为平衡最小割图分块问题，以获得两个互相关性最小的特征子集。在此基础上通过协同训练利用运行数据更新初始模型实现半监督建模，通过对初始模型特征分割的优化实现对协同训练半监督软测量方法精度的提升。最后通过TE仿真过程的结果说明本文所提算法的有效性。关键词：软测量 半监督 图分割 协同训练Abstract：In industrial processes,the imbalance between quality data and operating data limits the performance of data-driven soft sensor models.Semi-supervised modeling methods based on co-training algorithms can utilize massive amounts of operating data to obtain pseudo-labels with high confidence,thereby augmenting the effective modeling data.However,the feature segmentation in the co-training modeling process affects the differences between the two models,thereby influencing the final model performance.To address this issue,this paper proposes a semi-supervised soft sensor algorithm based on graph segmentation and co-training partial least square(GSCO-PLS).Firstly,the correlation indices between auxiliary variables are computed as weights to construct a weighted undirected graph with features as vertices.The feature segmentation in co-training modeling is transformed into a balanced minimum-cut graph partitioning problem,aiming to obtain two feature subsets with the least intercorrelation.On this basis,semi-supervised modeling is achieved through co-training,where the initial model is updated using operating data.The precision of the co-training semi-supervised soft sensor method is improved through optimization of the initial models feature segmentation.Finally,the effectiveness of the proposed algorithm is demonstrated through simulations of the Tennessee Eastman process.Key words：Soft sensor Semi-supervised Graph segmentation Co-37中国仪器仪表 CHINA INSTRUMENTATION2023年 第10期APPLICATION RESEARCH 应用研究收稿日期：2023-07-27作者简介：陈雄挺（1981-），男，浙江永康，汉族，大学本科，工程师，工业软件产品部总裁，主要研究方向为企业数字化转型、智能制造、工业软件国产化等。割标准20。而针对工业过程软测量领域，仅有罗顺桦等人根据特征与主成分分析所获两空间的相关性提出一种协同训练特征划分的方法，但其基于数据方差信息所获得，难以显式体现两特征子集的独 立性21。基于此，本文提出一种基于图分割与协同训练的半监督软测量算法。首先计算辅助变量之间的相关性指标作为权重获得以特征为顶点的有权无向图，将协同建模中的特征分割转化为平衡最小割图分块问题，以获得两个相关性最小即具备独立性的特征子集，在此基础上通过协同训练策略实现半监督建模，通过特征分割的优化实现对协同训练半监督软测量方法精度的提升。1 基本方法1.1 偏最小二乘算法对于标准化后的输入变量数据集X=x1,x2,.,xn Rkn与输出变量数据Y=y1,y2,.,ynRkm，其中k代表样本数量，n与m分别代表输入输出变量的个数。X与Y可以被分解为如下形式：X=TPT+E（1）Y=UQT+F（2）其中，输入数据X的得分矩阵与负载矩阵分别是T=t1,t2,.,tdRkd与P=p1,p2,.,pdRnd。输 出 数 据 Y 的 得 分 矩 阵 与 负 载 矩 阵 分 别 为U=u1,u2,.,udRkd与Q=q1,q2,.,qdRnd，E与F分别代表X与Y的建模误差。得分矩阵中的潜变量ti=Xwi与ui=Ywi是由负载向量计算得到。负载向量的求解是基于最大化输入变量的线性组合与输出变量的线性组合的协方差为目标得到，具体如下：（3）由于得分矩阵T无法由负载矩阵直接得到，构造矩阵R=r1,r2,.,rdRnd，其中，则得分矩阵T=XR。由交叉验证确定主元个数d后，Y对X的回归模型可写作如下形式：（4）引言在化工生产过程中，以产品质量为代表的关键变量控制对于企业经济效益具有显著影响。这些变量往往需要较大的时间间隔和成本检测，而集散控制系统（DCS）的普及和计算存储能力的提高使数据驱动的软测量建模技术在炼化、食品、污水处理等多个工业领域得到广泛研究16。相比于采样频率极高的运行数据，以小时级检测同时还伴有滞后的质量数据会导致生产早期软测量模型精度与泛化性的不足。针对上述问题，半监督学习方法因其可通过未标记运行数据提升软测量模型的性能而得到关 注7。相比于概率生成模型对底层模型的假设、图方法易受噪声影响，基于协同训练的方法在两个充分冗余的视图上分别训练模型，并使用一模型对未标记数据样本的预测来增强另一模型的训练数据，同时避免了在自我训练过程中误差积累的问题812。Wang等人将带有不同距离度量的KNN模型融入协同训练策略首次应用于回归任务13。随后包亮等人、Tang等人与Liang等人分别将PLS模型、核极限学习机与神经网络应用于基于协同训练策略的软测量建模，说明了协同训练策略的有效性1416。但在协同训练软测量领域中，对于初始模型特征划分往往通过随机或平均的方式打分，而没有考虑特征划分对模型性能的影响。针对分类任务，Nigam和Ghani的研究结果表明两个模型独立的协同训练效果明显优于随机特征划分的两模型，Wang和Zhou从模型的差异性上也得出类似结论1718。基于上述背景，Feger和Koprinska针对文本数据基于条件互信息提出一种最小化特征子集依赖性的特征划分方法19。Sakaheldim和EI Gayar进一步考虑了特征子集内的置信度，提出一种混合的特征分38 CHINA INSTRUMENTATION2023年 第10期应用研究 APPLICATION RESEARCH终的MIC，具体计算如下：（7）式中：a，b为在x，y方向上划分网格的个数；B为网格划分的上限值，互信息I(x,y)计算公式如下：（8）式中：p(x,y)为x，y之间的联合概率。（2）定义辅助变量集V，以V中各特征作为顶点，基于（1）中MIC值作为边权重，构造带权无向图G(V,)。设是顶点集V的一个分割，满足两分割顶点集非空、不相交、互补的要求，即V1,V2V&V1,V2&V1V2=&V1V2=V。同时为使分割后的两特征子集或顶点集V1、V2之间的相似性最小，定义特征子集的相似性指标(V1,V2)为两个特征子集所含特征两两相关指标的平均值，计算如下所示：（9）在定义特征子集之间独立性度量指标后，在两特征子集大小基本相等前提下，最大化两子集独立性等价于最大化，而图G是V的关联图，可将该子集分割问题转化为图G的平衡最小割分块问题，即：（10）（11）式中：Cut(G)与（2）中对分割集定义相同，表示如下：（12）图G的平衡最小割分块的精确求解是一个NP问题，本文采用了MeTiS软件包对上述问题求解，获得特征子集V1，V2。2.2 基于GSCO-PLS的软测量建模方法对于包含运行数据与实验室检测数据并对齐1.2 协同训练回归针对软测量任务，Zhou等人提出了协同训练回归算法，其主要步骤如下12：首先基于标签数据集L建立两个不同的初始模型；对于每一初始模型，计算该模型在标签数据集中的均方根误差（RMSE）R1；在每一次迭代更新中，利用更新前的模型对无标签数据集U中样本xu进行预测得到yu，然后将xu与yu作为新的标签数据加入到上一次训练的数据集中得到更新后的模型，再次计算新模型在初始标签数据集中的RMSE值R2，通过两RMSE值的差值作为无标签样本置信度的评判标准，计算如下：（5）式中：yi为标签数据集中xi对应的输出值；h(x)为更新前的模型预测值；h(x)为更新后的模型预测值。在每次迭代中，将一模型置信度最高的无标签样本及其预测值用来更新另一模型的训练数据集，直到达到迭代停止条件。最终的模型输出由最终的训练集获得的两模型均值确定：（6）式中：h1(x)与h2(x)表示经过迭代更新后的标签数据集训练得到的两模型。2 基于GSCO-PLS的半监督软测量方法2.1 基于图分割的特征子集划分协同训练建模需要基于标签数据集建立具有差异性的两初始模型，而这与特征子集的划分有显著关联。由于最大信息系数（Maximal Information Coefficient，MIC）可以有效表示数据间的相关关系。因此本文基于MIC指标构建特征子集之间的相似性指标，通过最小化子集间的相似性获得具有差异性的特征子集划分，具体步骤如下：（1）计算辅助变量两两之间的MIC。对于任两个辅助变量序列D=(x1,y1),(x2,y2),.,(xn,yn)，将x，y构成的散点图进行网格划分，计算每个网格中的互信息，选取不同方式下互信息的最大值，得到最39中国仪器仪表 CHINA INSTRUMENTATION2023年 第10期APPLICATION RESEARCH 应用研究随机选取获得，其余训练数据作为无标签数据集 使用。表1所示给出从10%50%比例有标签样本下3种软测量方法的RMSE值。可以看出：对于流9组分E的软测量结果，CO-PLS的RMSE值明显小于PLS，在10%50%比例标签样本中RMSE上平均提升3.21%，说明了协同建模对无标签运行数据利用的有效性。本文所提GSCO-PLS方法相比于CO-PLS在10%50%标签数据比例上均有提升，且提升效果随比例增加而趋势降低。这是由于标签数据样本比例的提升会提高模型预测精度，对无标签数据的利用收益随之减弱，说明所提方法更适用有标签数据比例较小的情况，也符合工业过程质量检测数据与运行数据的比例。为进一步说明所提方法的效果，图3展示了10%标签样本下3种方法的预测值与误差对比。可以看出在该比例下，本文所提方法相比于PLS与CO-PLS具有更小的误差，从RMSE指标分别提升约7.3%与的有标签训练数据集LRn1d与仅包含运行数据的无标签训练数据集URn2(d-1)，如图1所示，基于GSCO-PLS的软测量建模方法的建模步骤如下：（1）对有标签与无标签训练数据集L与U进行标准化，得到标准化后的数据集L 与U。（2）对标准化后的标签数据集L 中的辅助变量集根据2.1节，计算辅助变量间的MIC值，构造带权无向图，基于对特征子集的约束与优化目标，得到特征子集V1，V2与检测数据组合获得有标签训练集L 1，L 2。（3）基于有标签数据集L 1，L 2建立两个具有差异性的初始PLS模型h1，h2。（4）根据1.2节中协同训练策略，对无标签数据集样本遍历，计算加入该样本更新后的模型与更新前的模型在更新前的有标签数据集上均方误差之差u，取提升最大的样本作为置信度最高的样本更新有标签数据集，计算如下：（13）式中：h与h的定义与1.2节中相同。在迭代次数或u满足停止条件时，使用最终的有标签数据集L 1，L 2分别建立回归模型，将两个模型的预测均值作为最终的预测值输出。3 案例研究TE过程由Downs和Vogel提出，被广泛应用于工业领域故障监测与软测量的基准测试24。工艺其流程如图2所示。本文选择了其中包括11个控制变量（XMV1-XMV11）与22个测量变量（XMEAS1-XMEAS22）的33个变量作为辅助变量，流9中的成分E（XMEAS33）作为输出变量。用于建模的训练数据为正常工况数据1460样本的前1000样本，测试数据集为后460样本。本文所提GSCO-PLS方法与CO-PLS、PLS在相同训练数据上建模，以测试数据集上的RMSE值作为评判标准，其中PLS模型主元个数采用十折交叉验证确定。结果对比中不同比例的有标签样本数据集通过对训练数据集按比例图1 GSCO-PLS软测量方法建模流程图40 CHINA INSTRUMENTATION2023年 第10期应用研究 APPLICATION RESEARCH参考文献1 Wang L,Jin H,Chen X,et al.Soft sensor development based on the hierarchical ensemble of Gaussian process regression models for nonlinear and non-Gaussian chemical processesJ.Industrial&Engineering Chemistry Research,2016,55(28):77047719.2 YIN S,DING S X,XIE X,LUO H.A Review on Basic Data-Driven Approaches for Industrial Process Monitoring J.IEEE Transactions on Industrial Electronics,2014,61(11):64186428.3 Wang D,Liu J,Srinivasan R.Data-Driven Soft Sensor Approach for Quality Prediction in a Refining ProcessJ.IEEE Transactions on Industrial Informatics,2010,6(1):1117.4 Marimuthu K,Narasimhan S.Nonlinear Model Identification and Data Reconciliation Using 3.2%，说明了所提方法的有效性。4 结论本文针对工业过程软测量领域的半监督建模问题，提出一种基于图分割理论与协同训练策略的软测量方法。该方法考虑协同训练理论中对特征子集划分的差异性要求，基于最大互信息系数给出一种特征子集划分方法，进一步以PLS为模型通过协同训练实现半监督软测量建模。TE过程的软测量结果说明所提方法由于在协同训练模型差异性的提升而拥有更好的软测量性能。表1 GSCO-PLS软测量方法建模流程图RMSEPLSCO-PLSGSCO-PLS10%0.2890.2770.26820%0.2720.2670.26230%0.2680.2610.25940%0.2700.2580.25750%0.2630.2570.255图2 TE过程工艺流程图41中国仪器仪表 CHINA INSTRUMENTATION2023年 第10期APPLICATION RESEARCH 应用研究regression and inferential sensor application with semisupervised dataJ.Journal of Process Control,2021,105:141159.10 Chong Y,Ding Y,Yan Q,et al.Graph-Based Semi-supervised Learning:A ReviewJ.Neurocomputing,2020.11 Kang P,Kim D,Cho S.Semi-supervised support vector regression based on self-training with label uncertainty:An application to virtual metrology in semiconductor manufacturingJ.Expert Systems with Applications,2016,51(Jun.):85106.12 Blum A,Mitchell T.Combining Labeled and Unlabeled Data with Co-TrainingC/Proceedings of the 11th Annual Conference on Computational Learning Theory.1998.13 Z hou Z H,Li M.Sem i-Super v ised Regression with Co-Training C/IJCAI-05,Proceedings of the Nineteenth International Joint Conference on Artificial Intelligence,Edinburgh,Scotland,UK,July 30-August 5,Kernel Principal Component RegressionJ.Industrial&Engineering Chemistry Research,2019,58(26).5 Meng Y,Lan Q,Qin J,et al.Data-driven soft sensor modeling based on twin support vector regression for cane sugar crystallizationJ.Journal of food engineering,2019,241(JAN.):159165.6 Pisa I,Santn,Ignacio,Vicario J,et al.ANN-Based Soft Sensor to Predict Effluent Violations in Wastewater Treatment PlantsJ.Sensors,2019,19(6).7 Kostopoulos G,Karlos S,Kotsiantis S,et al.Semi-supervised regression:A recent reviewJ.Journal of Intelligent&Fuzzy Systems,2018,35(2):14831500.8 Van Engelen J E,Hoos H H.A survey on semi-supervised learningJ.Machine Learning,2020,109(2):373440.9 A J W,B W S,A X Z,et al.Nonlinear variational Bayesian Students-t mixture 图3 有标签数据比例为10%时3种方法预测结果对比42 CHINA INSTRUMENTATION2023年 第10期应用研究 APPLICATION RESEARCHstyle algorithmsC/Machine Learning:ECML 2007:18th European Conference on Machine Learning,Warsaw,Poland,September 17-21,2007.Proceedings 18.Springer Berlin Heidelberg,2007:454465.19 Feger F,Koprinska I.Co-training using RBF Nets and Different Feature SplitsC/Neural Networks,2006.IJCNN 06.International Joint Conference on.IEEE,2006.20 El-Din A S,Gayar N E.New Feature Splitting Criteria for Co-training Using Genetic Algorithm OptimizationJ.DBLP,2010.21 罗顺桦，王振雷，王昕.基于二子空间协同训练算法的半监督软测量建模J.化工学报，2022（073003).22 DOWNS J J,VOGEL E F.A plant-wide industrial process control problem J.Computers&Chemical Engineering,1993,17(3):245255.2005.Morgan Kaufmann Publishers Inc.2005.14 Bao L,Yuan X,Ge Z.Co-training partial least squares model for semi-supervised soft sensor developmentJ.Chemometrics and Intelligent Laboratory Systems,2015.15 Tang Q,Li D,Xi Y.Soft sensor modeling based on cotraining-style kernel extreme lear ning machineC/2017 Chinese Automation Congress(CAC).2017.16 Liang Y,Liu Z,Liu W.A co-training style semi-supervised artificial neural network modeling and its application in thermal conductivity prediction of polymeric composites filled with BN sheetsJ.Energy and AI,2021.17 Niga m K,Gha n i R.A naly z i ng t he effectiveness and applicability of co-trainingC/International conference on information knowledge management;CIKM2000.2000.18 Wang W,Zhou Z H.Analyzing co-training 硬度.中国质检出版社，2006.2 JJF 1847-2020 电子天平校准规范.中国质检出版社，2020.3 丁月，司卫杰.浅谈漆膜印痕与各种硬度之间的关系J.中国科技人才，2020，10.4 刘伟.高精度实时位移速度测量仪研制J.中国仪器仪表，2018，1：5961.5 刘伟.一种机械式铅笔硬度计校准装置J.中国仪器仪表，2022，10：6870.6 覃奇贤，刘淑兰.镀层硬度的测定J.电镀与精饰，2009，4：2730.于被测计量器具准确度等级/最大允许误差/扩展不确定度的1/3，按照计量校准规则，该校准装置完全满足铅笔硬度试验仪的校准条件，计量校准单位可以采用该套校准装置对铅笔硬度试验仪进行校准。此校准装置是专门针对铅笔硬度试验仪进行校准的，故通常被应用于校准机构，成为不可或缺的一种专用标准计量器具。除此之外，此装置还可用于应用铅笔硬度试验仪的涂料、油墨、纸张、公路等行业。参考文献1 GB/T 6739-2006色漆和清漆：铅笔法测定漆膜（上接第35页）