基于极限学习机的在线参数更新方法及工业应用.pdf

现代电子技术Modern Electronics TechniqueNov.2023Vol.46 No.222023年11月15日第46卷第22期0 引 言在过去的几十年里，单隐层前馈神经网络（SLFNs）和支持向量机（SVMs）等核学习一直是计算智能和机器学习界感兴趣的核心研究课题。在线学习方法比传统离线学习方法在工业建模应用中更具优势。传统离线学习方法因为不能及时融入过程的非线性和时变特性，在工业建模应用中的受限较大。相比之下，在线学习方法具有更高的计算效率、更准确的预测精度，能够更好地跟踪时变特性。石脑油裂解制乙烯在化工领域有着重要的意义，但是裂解过程中伴随着焦炭的产生并不断地堆积在反应器壁上，使总传热系数降低，反应器的压降变高1，裂解炉的结构参数发生改变。因此在该问题上在线学习成为了更好的选择。过去 SLFNs的现实应DOI：10.16652/j.issn.1004373x.2023.22.022引用格式：王再辰，程辉，赵亮.基于极限学习机的在线参数更新方法及工业应用J.现代电子技术，2023，46（22）：126130.基于极限学习机的在线参数更新方法及工业应用王再辰，程 辉，赵 亮（华东理工大学 能源化工过程智能制造教育部重点实验室，上海 200237）摘 要：针对乙烯裂解炉结焦导致裂解炉机理改变，从而引起的模型预测不准确问题，提出一种带有遗忘因子的在线序列简化核极限学习机算法（FOSRKELM）。该算法基于在线序列的简化核极限学习机，数据可以在线实时添加到网络中，从而提高模型的适应度；通过引入遗忘因子提高最近学习数据对模型的贡献，增强模型在线学习的能力；引入聚类算法优化、简化核极限学习机（RKELM），提高算法的稳定性。结果表明：所提算法在MackeyGlass时滞混沌序列上取得了较好的预测效果；在乙烯产物收率预测问题上，与在线序列简化核极限学习机（OSRKELM）、简化核极限学习机（RKELM）、BP神经网络和径向基学习机（RBF）算法相比，该算法平均绝对误差显著减小，证明了该算法的有效性。关键词：在线序列简化核极限学习机（OSRKELM）；简化核极限学习机（RKELM）；遗忘因子；在线序列；参数更新；乙烯裂解炉 中图分类号：TN911.2334；TP273 文献标识码：A 文章编号：1004373X（2023）22012605Online parametric update method based on extreme learning machine and its industrial applicationWANG Zaichen,CHENG Hui,ZHAO Liang(MOE Key Laboratory of Energy Chemical Process Intelligent Manufacturing,East China University of Science and Technology,Shanghai 200237,China)Abstract：In response to the problem of inaccurate model prediction caused by coking of ethylene cracking furnace and changes in cracking furnace mechanism,a forget operator online sequential reduced kernel extreme learning machine(FOS RKELM)is proposed.In this method,based on the online sequential reduced kernel extreme learning machine,data can be added to the network in real time,so as to improve the adaptability of the model.By introducing a forget factor,the contribution of the most recent learning data to the model is increased to enhance the models ability to learn online.The clustering algorithm optimization and the reduced kernel extreme learning machine(RKELM)are introduced to improve the stability of the algorithm.The results show that the proposed algorithm has achieved good prediction performance on Mackey Glass timedelay chaotic sequences.In the prediction of ethylene product yield,compared with online sequence simplified kernel limit learning machine(OS RKELM),RKELM,BP neural network,and radial learning machine(RBF)algorithm,the average absolute error of this algorithm is reduced significantly,proving its effectiveness.Keywords：online sequence simplified kernel extreme learning machine;reduced kernel extreme learning machine;forgetting factor;online sequence;parameter updates;ethylene cracking furnace收稿日期：20230710 修回日期：20230816基金项目：国家自然科学基金面上项目：化学过程生命周期评价与多目标鲁棒优化方法及其应用（22178103）126126第22期用中，多数采用的训练方法为批量学习模式。当有新的实例可用时，批量学习模型通常将新的实例与先前训练的实例相结合以完成模型的重新训练。这样的过程十分耗时，尤其在数据量很大、不断有新的数据产生时，这种模式就会十分低效2。在解决上述问题时，在线学习受到了广泛的关注。徐贵斌等提出一种基于在线神经网络的状态依赖型故障的预测算法（ONNSDFP），实现了实时故障检测3。增量和减量支持向量机（IDSVM）4是基于在线序列核的算法，通过增量更新KarshKuhnTucker（KKT）条件来维持最优 SVM解决方案，然而，支持向量的潜在无限增长可能会限制其在大规模问题上的应用。武晨等基于径向基函数（RBF）提出一种超级基（HBF）在线学习算法，实现了非线性函数逼近和动态系统在线预测5。为了实现 ELM 的在线学习，Huang G B 等提出了OSELM算法，该算法是一种速度快、准确率高的学习算法，但由于其采用最小二乘法计算输出，带来了计算复杂度过大的问题6。Huang G B等在2011年提出了核超限学习机（KELM），相比支持向量机，KELM在回归问题上有更好的稳定性和相似的泛化性7。Deng W Y 等在2016年提出在线序列简化核极限学习机（OSRKELM），该算法在简化计算复杂度的同时具备在线学习的能力，但是该算法的在线学习能力不强，模型适应度还有提升空间8。本文提出了带有遗忘因子的在线序列简化核极限 学 习 机（Forget Operator Online Sequential Reduced Kernel Extreme Learning Machine,FOSRKELM），在 OSRKELM 的基础上加入遗忘因子，提高了最近学习数据对模型的贡献，增强了模型的在线学习能力。1 在线序列简化核极限学习机算法1.1 基于原型聚类预处理的RKELM算法假设有数据集=(x;ti),xi Rn,ti Rm)N，其中xi=xi1,xi2,xinT为网络输入，ti=ti1,ti2,tinT为网络输出。ELM的网络结构可以描述为：fL(x)=i=1LiG(i,bi,x)（1）式中：G(i,bi,x)为第 i个隐含层节点的输出。构造最小化误差为H-T，通过求解H=T的最小二乘可以得=(HTH)-1HTT，其中：H为隐层节点输出；T为标签。文献8提出 RKELM 随机选取支持矢量（选取数量小于样本数）作为隐层节点，构建的核矩阵在高维空间中取得了良好的效果，但在隐层节点较少时，部分支持向量可能相关性较大，造成隐层节点浪费和识别不稳定的问题。文献9中将聚类算法得到的聚类中心集即原型向量集的数目作为 RKELM 的隐层节点数目，提出一种基于原型聚类预处理的 RKELM 算法，有效解决了上述问题。经过原型聚类预处理的RKELM算法计算得到的输出权重和输出函数为：=()1C+KTLKL-1KTLT （2）fN=(X,y1)(X,y2)(X,yN)()1C+ELM-1T=i=1N(X,yN)=N（3）式中：yi（i=1,2,N）为聚类中心；KL为核矩阵。1.2 OSRKELM算法RKELM算法的相关结论在OSRKELM算法上是依然可用的8，本文 OSRKELM 算法的离线阶段采用原型聚类预处理的 RKELM 算法，网络的输出权重为：(0)=Z-10KT0T0 （4）式中：Z0=I C+KT0T0，K0为式（2）中的KL。对于 OSRKELM的在线学习阶段，第 k批数据可以表示为：(k)=Z-10KT0T0 （5）式中：Zk=I C+KTkTk。2 在线序列简化核极限学习机算法在线学习模型可以动态改变模型参数，达到实时预测的目的。对于在线学习序列，距离当前数据越近的数据对于模型的影响越大，本文首次在OSRKELM的基础上加入遗忘因子，提出带有遗忘因子的在线序列精简的核极限学习机（FOSRKELM），提高了最近学习数据对模型的贡献，增强了模型在线学习的能力。对于传递矩阵Zk+1=Zk+kTk+1kk+1，在 Zk前加入遗忘因子(0 1)，可得到Zk+1=Zk+kTk+1kk+1。同理，递推矩阵Wk+1=Wk+kTk+1kk+1中加入遗忘因子并结合Wk+1=WkTk，有如下推导：Wk+1=Wk+kTk+1tk+1 （6）令Gk+1=Z-1k+1，结合公式Zk+1=Zk+kTk+1kk+1，简化求解后得到如下公式：Gk+1=1Gk-1Gk+1kTk+1 （7）如果此批数据只有一个，则：(k+1)=(k)+gk+1kk+1(tTk+1-kTk+1(k)（8）FOSRKELM在线预测流程如图1所示。王再辰，等：基于极限学习机的在线参数更新方法及工业应用127现代电子技术2023年第46卷图1 FOSRKELM在线预测流程在Mackey和Glass提出的混沌MackeyGlass微分延迟方程10上展开对比实验，方程的参数配置与文献11保 持 一 致，除 FOSRKELM 结 果 外，其他结果来自文献8，11。MackeyGlass时滞混沌序列的输入数据集有4个特征，输出为1维，训练集数据为4 000条，测试集为500条。不同算法在MackeyGlass时滞混沌序列上的表现如表 1 所示。从表 1 可以看出，FOSRKELM 在测试RMSE方面有优异的性能。表1 不同算法在MackeyGlass时滞混沌序列上的表现算法FOSRKELM（Gau）FOSRKELM（Sig）OSRKELM（Gau）OSRKELM（Sig）OSELM（RBF）OSELM（Sig）RMSE训练0.019 20.021 00.020 30.087 70.021 30.022 5测试0.020 30.022 10.022 00.023 80.022 10.023 9节点数1201201201201201203 工业应用为了验证 FOSRKELM 算法对解决该问题的可行性，以某工厂 1 台裂解炉作为建模对象，选取石脑油为进料原料，对比了多种不同算法在乙烯等产物收率的预测情况。3.1 背景介绍现代大型乙烯生产装置通常采用管式裂解炉对石油烃进行高温裂解，以制取乙烯。随着生产的持续进行，结焦层不断在炉管内壁积累，炉管内径逐渐变小、物料压降增大、物料流速增大、热效率降低。因此在实际工业生产过程中需要定期停炉清焦，保证裂解炉的正常运行。2 次停炉清焦的间隔即为乙烯裂解炉的一个运行周期。乙烯裂解炉结焦过程使裂解炉结构参数发生改变，在线学习算法更适合对乙烯裂解过程建模12。本文通过仿真模拟乙烯裂解炉的全周期过程，分析带有遗忘因子的在线学习算法的实用性。3.2 模型应用过程本文使用COLISIMCRAFT工业软件对裂解炉模拟后产生足量的数据供建模使用。首先进行炉管配置，即配置裂解炉的工艺尺寸包括管程数、管的长度、管的内径、管壁的厚度等。然后通过配置进料原料和操作条件作为裂解炉输入即可得到各种产物的收率。COILSIMCRAFT是比利时根特大学与华东理工大学联合开发的裂解炉反应模拟软件。在裂解炉产物收率模拟计算中广泛使用了 COILSIMCRAFT 软件13，证明了仿真结果的有效性。用于模型训练的输入变量由裂解工艺决定，依次为裂 解 炉 出 口 温 度（COT）、进 料 流 量（Feed）、汽 烃 比（DHR）、初馏点（IBP）、终馏点（FBP）、正构烷烃比例、异构烷烃比例，数据集的输出为乙烯、丙烯等产物收率。通过给定范围的输入数据可获取不同输入条件下的各产物收率。各输入变量的范围如表2所示，共获取乙烯裂解炉训练数据 200组。使用乙烯裂解炉数据集完成改进RKELM算法的离线建模。乙烯裂解炉全周期数据通过 COLISIMCRAFT 对裂解炉的全周期仿真生成，全周期天数为 30天，每 24 h取一次数据，共获取 2组全周期数据。全周期数据输入条件如表3所示。表2 各种变量的输入范围参数COT/Feed/(t/h)DHR/(kg/kg)IBP/FBP/正构烷烃比例/%异构烷烃比例/%范围82585530330.40.6 3040 192202 26303034本仿真实验在乙烯裂解炉的全周期过程中，控制裂解炉的操作条件和进料组分不变，加入扰动环节，产生的全周期数据集只受裂解炉运行天数的影响；并且全周期数据集根据乙烯裂解炉运行时间排列，再送入训练好128第22期的模型中。表3 全周期数据输入条件变量名COT/Feed/(t/h)DHR/(kg/kg)IBP/FBP/正构烷烃比/%异构烷烃比/%全周期条件1840.3431.788 10.5038.36201.252833全周期条件2838.5231.352 40.5237.36200.2529323.3 仿真结果分析乙烯裂解炉在全周期数据下的模型应用流程如图 2所示。图2 建模应用流程将 FOSRKELM 算法与 OSRKELM、KELM、BP 和RBF等算法比较，以平均绝对误差为比较标准，其公式为：EMAE=1Nj=1N|y(j)-y(j)（9）式中：y(j)为真实输出；y(j)为预测输出；N为样本总数。RKELM、BP和 RBF算法隐层神经元数量对平均绝对误差的影响见图3。由图3可知，RKELM的原型聚类中心数目即最佳隐层神经元数量为 14，BP和 RBF的隐层神经 元 的 数 量 分 别 为 32 和 17。FOS RKELM 和 OS RKELM算法在离线阶段，可以继承RKELM算法的最优隐层节点个数，在现学习阶段采用全周期数据验证遗忘因子的取值。FOSRKELM的值与MAE关系见图4。本文在 0.961范围内选取最优值，由图 4可知，最优值为 0.978。在完成上述算法的参数调试后，为了直观地比较算法输出与真实值之间的误差，分别绘制了不同算法在线数据训练曲线和不同算法下的绝对误差曲线，如图5和图6所示。不同算法的MAE值如表4所示。图3 网络隐含层节点个数与MAE的关系图4 FOSRKELM算法的值与MAE关系表4 多种算法的MAE值算法FOSRKELMOSRKELMKELMMAE值0.3930.6801.660算法BPRBFMAE值1.7511.690由表4、图5和图6可知，FOSRKELM算法的拟合效果最佳，与OSRKELM、RKELM、BP神经网络和径向基学习机（RBF）模型相比，其平均绝对误差得到了有效的控制。4 结 论本文针对乙烯裂解炉结焦过程导致乙烯收率预测准确性降低的问题，引入 OSRKELM 在线学习算法，并将原型聚类预处理方法以及遗忘因子加入 OSRKELM算法中，提出 FOSRKELM 算法。利用乙烯裂解炉结焦过程的全周期数据展开 FOSRKELM 算法与 BP、RBF、RKELM 和 OSRKELM 算法对比分析实验。结果表明：对于 FOSRKELM 算法引入聚类算法优化简化核极限学习机（RKELM），提高了算法的稳定性；将在线学习方法进行乙烯裂解炉建模，提高了模型的适配度；添加遗忘因子提高了最近学习数据对模型的贡献，增强了模型的在线学习能力。王再辰，等：基于极限学习机的在线参数更新方法及工业应用129现代电子技术2023年第46卷图5 不同算法在线数据训练曲线图6 不同算法的绝对误差曲线最后，使用乙烯裂解炉数据对 FOSRKELM 算法建立的裂解炉模型进行验证，结果表明模型符合精度需求。后续可以将 FOSRKELM 算法应用于乙烯裂解炉的控制平台中，以验证其正确性。注：本文通讯作者为程辉。参考文献1 孙振峰，杨超.乙烯裂解炉结焦抑制剂技术研究进展J.当代化工，2023，52（5）：11761180.2 李茜，周华健，杨浩运，等.一种基于 listwise的在线学习书目排序检索算法J.计算机工程与科学，2020，42（4）：749754.3 徐贵斌，周东华.基于在线学习神经网络的状态依赖型故障预测J.浙江大学学报（工学版），2010，44（7）：12511254.4 曹杰.增量式孪生支持向量回归机的研究D.无锡：江南大学，2021.5 武晨，谷松原，房圣超.HBF神经网络的一种结构自适应在线学习算法J.中国电子科学研究院学报，2021，16（5）：486495.6 HUANG G B,ZHOU H,DING X,et al.Extreme learning machine for regression and multiclass classification J.IEEE transactions on systems man&cybernetics part b,2012,42(2):513529.7 HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:Theory and applications J.Neurocomputing,2006,70(1/3):489501.8 DENG W Y,ONG Y S,TAN P S,et al.Online sequential reduced kernel extreme learning machine J.Neurocomputing,2016,174:7284.9 王晶晶，刘峥，谢荣，等.联合 Cameron 分解和融合 RKELM 的全极化 HRRP 目标识别方法J.雷达学报，2021，10（6）：944955.10 周启元，曹前，杨刚.一类非自治时滞MackeyGlass推广模型的吸引性分析J.湖南文理学院学报（自然科学版），2021，33（4）：1522.11 LIANG N Y,HUANG G B,SARATCHANDRAN P,et al.A fast and accurate online sequential learning algorithm for feedforward networks J.IEEE transactions on neural networks,2006,17(6):14111423.12 张晓洁.蒸汽裂解分子尺度动力学模型及反应器模型的构建D.北京：中国石油大学（北京），2021.13 PYL S P,VAN GEEM K M,REYNIERS M F,et al.Molecular reconstruction of complex hydrocarbon mixtures:an application of principal component analysis J.Aiche journal,2010,56(12):31743188.作者简介：王再辰（1996），男，黑龙江黑河人，硕士研究生，研究方向为复杂化工过程的建模、控制和优化等。程 辉（1979），男，河北邯郸人，博士，副教授，研究方向为复杂化工过程的建模、控制和优化。赵 亮（1974），男，安徽临泉人，博士，副研究员，研究方向为化工过程建模、优化和控制，不确定条件下的优化方法及应用，计算智能及应用。130