基于集合卡尔曼-Elman网络的软测量建模方法.pdf

第 51 卷 第 8 期2023 年 8 月Vol.51 No.8August 2023华 南 理 工 大 学 学 报（自 然 科 学 版）Journal of South China University of Technology（Natural Science Edition）基于集合卡尔曼-Elman网络的软测量建模方法方港1 袁珑华1 王晓明2 李艳1 黄道平1 于广平3 叶洪涛4 刘乙奇1，5（1.华南理工大学 自动化科学与工程学院/自主系统与网络控制教育部重点实验室，广东 广州 510640；2.华南理工大学 未来技术学院，广东 广州 511442；3.广州工业智能研究院，广东 广州 511458；4.广西科技大学 广西汽车零部件与整车技术重点实验室，广西 柳州 545036；5.华南理工大学 广东省无人机系统工程技术研究中心，广东 广州 510640）摘要：污水处理系统是一个复杂的非线性、大时延的动态系统，由于工艺的复杂性、检测设备的不完备性以及经济成本的限制，一些重要的出水指标无法实现精准的检测。为解决此问题，文中提出了基于集合卡尔曼-Elman网络的软测量方法。传统动态神经网络具有能够处理时延信息数据的动态记忆能力，可用于基于数据驱动的软测量建模过程。但是，常规训练方法容易使神经网络陷入局部最小值，导致模型预测性能欠佳。鉴于此，文中引入集合卡尔曼滤波技术和对偶有限样本集合卡尔曼技术对典型的动态神经网络Elman神经网络进行无梯度训练，构建新型软传感器模型，不仅有效提高了传统Elman神经网络的预测能力，而且提供了一种简单、无梯度的神经网络训练方法。将该方法在加州大学欧文分校的污水处理数据（UCI数据）上进行验证，结果表明，文中方法具有较好的预测性能，集合卡尔曼滤波技术可作为一种无梯度的替代方法来训练神经网络。关键词：软测量；集合卡尔曼滤波；Elman神经网络；污水处理中图分类号：TP 277文章编号：1000-565X（2023）08-0126-11软测量技术能够对工业过程中重要且难以在线测量的变量进行测量，并实现对过程变量的实时监控。近年来，随着人工智能技术的发展，基于数据驱动的软测量技术被广泛应用于工业过程中，成为了先进过程控制技术的重要组成部分，也是化工领域中用于难测过程变量检测的常用技术1-2。基于数据驱动的软测量建模技术无需获取精确的机理模型，其通过对数据的深度分析构建易测变量和难测变量之间的数学模型，利用易测的辅助变量估计难测变量3。基于神经网络的软测量建模方法凭借其强大的非线性映射能力、网络拓扑结构和鲁棒性，以及不依赖于数学模型的特性，成为了软测量领域最为活跃的研究分支4-6。但是，强非线性、参数时变、多变量耦合使得利用传统前馈神经网络建立的模型存在检测不清、故障诊断不明和实时控制不准等问题。递 归 神 经 网 络（Recurrent Neural Network，RNN）的处理单元间既有内部的反馈连接又有前馈连接，具有动态记忆特性，能够处理具有时延信息的数据，从而具有比前馈神经网络更强的动态行为和计算能力7。作为最典型的RNN之一，Elman递归doi：10.12141/j.issn.1000-565X.220625收稿日期：20220926基金项目：国家自然科学基金资助项目（62273151，61873096，62073145）；广东省基础与应用基础研究基金资助项目（2021B1515420003，2020A1515011057）；广东省国际合作基金资助项目（2020A0505100024，2021A0505060001）Foundation items：Supported by the National Natural Science Foundation of China（62273151，61873096，62073145），the Basic and Applied Basic Research Foundation of Guangdong Province（2021B1515420003，2020A1515011057）and the International Cooperation Foundation of Guangdong Province（2020A0505100024，2021A0505060001）作者简介：方港（1997-），男，博士生，主要从事软测量建模研究。E-mail：通信作者：刘乙奇（1983-），男，博士，副教授，主要从事工业过程的建模、诊断和控制研究。E-mail：第 8 期方港 等：基于集合卡尔曼-Elman网络的软测量建模方法神经网络在水质软测量模型中得到了较好的应用8。关学忠等9 对污水处理厂曝气池中的化学需氧量（Chemical Oxygen Demand，COD）进行学习预测，证明了Elman网络对污水COD的预测能力优于反向传播（Back Propagation，BP）神经网络。然而，现有Elman神经网络的训练算法多采用时 间 反 向 传 播（Back Propagation Through Time，BPTT）10、动量梯度下降（Gradient Descent with Momentum，GDM）和Levenberg-Marquardt（LM）11 等传统优化算法12。这些基于梯度下降的算法存在对初始值设置敏感、计算结果不稳定、易收敛到局部最优解和梯度消失等问题13-14，而卡尔曼滤波算法（Kalman Filter，KF）15 的提出为上述问题提供了一个解决思路16。Hao等17 采用基于扩展卡尔曼滤波器（Extended Kalman Filter，EKF）的神经网络训练方法，提高了传统神经网络的迭代收敛速度和精度，但每次迭代计算量大。EKF方法采用一阶泰勒近似，需要计算雅克比矩阵，在局部非线性较强时容易引入较大的近似误差，导致滤波器失效，不利于并行计算18-19。为此，研究者们尝试引入集合卡尔曼滤波（Ensemble Kalman Filter，EnKF）以避免上述问题20-21。EnKF 是由 Evensen22提出的一种数据同化方法，适用于高维、非线性和非高斯状态估计问题21，目前在神经网络的参数优化领域得到了广泛应用。Legler 等23将 EnKF 与标准人工神经网络（Artificial Neural Network，ANN）相结合来优化浅水模型参数，减小了大气变量的状态误差，有效量化了参数估计的不确定性，但其预测能力在实际数据的表现仍有待进一步研究。Mirikitani等24通过将EnKF与递归神经网络有序结合，验证了 EnKF在RNN的时间序列预测上具有很好的适用性。此外，Chen等25采用EnKF训练长短期记忆网络，将其作为捕获预测不确定性的无梯度替代方案。为避免雅克比矩阵的计算，并规避标准算法不适用于大型神经网络的难题，文中将 EnKF 引入Elman递归神经网络中更新网络参数，以期获得一种简单、无梯度的神经网络训练方法，提高软测量模型的预测性能。1Elman递归神经网络及其状态空间模型1.1Elman递归神经网络的基本架构神经网络是目前最常使用的软测量模型，文中采用 Elman 递归神经网络进行动态非线性建模。Elman 网 络 也 称 为 简 单 递 归 神 经 网 络（Simple Recurrent Network，SRN），是一种典型的局部回归网络26。与前馈网络相比，Elman网络引入了一个特别的隐含层，称为关联层。关联层保存了上一时刻的隐含层状态信息，并与当前时刻的网络输入一起作用于隐含层，这相当于引入了状态反馈。这种内部反馈增加了网络动态特性，可实现动态建模。Elman网络一般分为4层：输入层U，隐含层R，承接层C和输出层Y。用WRU、WRC、WYR分别表示输入层到隐含层、承接层到隐含层、隐含层到输出层的连接权值矩阵。隐含层输出经单位时延后作为下一时刻承接层的输入，即ck=vk-1，并经权值矩阵WRC作用到隐含层。给定k时刻的输入uk Rn，Elman网络的输出可以计算为vk=WRUuk+WRCvk-1（1）vk=fh(vk)，vk RNh（2）yk=fo(WYRvk)，yk Rm（3）式中，fh()为隐含层激活函数，fo()为输出层激活函数，n、Nh、m分别表示输入层、隐含层、输出层的结点个数。文中隐含层激活函数采用sigmoid函数fh(x)=11+e-x，输出层采用线性激活函数fo(x)=x。Elman神经网络引入的内部反馈增加了网络动态特性，便于动态建模，但同时也使模型结构变得复杂，训练时更易陷入局部最小值。训练Elman神经网络的方法较多，比较常用的有 BPTT 算法、GMD和LM算法等10-12。1.2动态状态空间建模递归神经网络、前馈神经网络、径向基函数（Radial Basis Function，RBF）神经网络等的学习问题本质上是参数优化问题，通过对模型参数（权值）的不断调整，使性能函数（如均方根误差）的值不断减小。将集合卡尔曼滤波技术引入神经网络中，本质上是把神经网络中各神经元之间的连接权值参数作为随机变量，即滤波器的状态，采用动态状态空间框架，随着时序k不断优化网络的参数，使得网络的目标输出与预测输出之间的均方误差逐渐减小，进而提高网络的训练精度。利用卡尔曼框架编写神经网络的状态空间模型如下：127第 51 卷华 南 理 工 大 学 学 报（自 然 科 学 版）xk+1=xk+rkzk=g(xk，uk)+vk（4）式中：xk为由权值参数所组成的状态向量；uk为输入向量；zk为模型输出；rk为过程噪声向量，假设rkN()0，Rk；vk为测量噪声向量，假设vkN()0，Vk；g（）为神经网络函数，文中g（）为Elman递归神经网络，也可以将其扩展到前馈神经网络（Feed Forward Neural Network，FFNN）、RBF等网络中。2基于集合卡尔曼滤波的Elman网络算法2.1基于基本集合卡尔曼滤波的 Elman 网络算法EnKF是一种基于随机采样的卡尔曼滤波方法，它通过随机采样产生的粒子集来拟合状态分布，用粒子集的协方差信息代替系统协方差，简化了卡尔曼框架中协方差矩阵的分析过程。当新的数据到来时，EnKF对粒子集中的每个粒子进行更新，从而不断调整概率分布，因此，EnKF更便于实现。应用基本EnKF算法可以对Elman网络参数进行估计。对于式（4）的状态空间模型，基于EnKF滤波的Elman网络参数学习过程（EnKF-Elman）可整理为以下步骤。步骤1 由初始状态的均值和协方差随机采样生成由集成粒子xk，i Rn（n为状态维度）组成的粒子集：Xk=(xk，1，xk，N)Rn N（5）式中，N为集成粒子个数，Xk为k时刻的粒子集合。状态分布的均值Xk和协方差Pk可以由这N个集成粒子来近似：Xk=1Ni=1Nxk，i=1NXk1N（6）Pk=i=1N(xk，i-Xk)(xk，i-Xk)T=1N-1XkXTk（7）式中：1N RN，是维度为N、元素均为 1 的列向量；Xk表示去均值后的粒子集合，Xk=Xk-1NXk1N1TN=Xk()I-1N1N1TN（8）步骤2 计算Elman模型的预测粒子集：xfk，i=f(xk，i)+rk=xk，i+rk（9）Yk，i=g(xfk，i，uk)+vk（10）分别用Xfk和Yk表示粒子转移状态xfk，i和粒子输出的组成矩阵：Xfk=(xfk，1，xfk，N)Rn N（11）Yk=(Yk，1，Yk，N)Rm N（12）步骤3 粒子更新给定测量值zk Rm，其粒子集的更新方式如下：Xak=Xfk+PfkHTk()HkPfkHTk+Qk-1()zk1TN+k-Yk（13）式中：Hk为输出zk相对于网络权重xk的雅可比矩阵；k为施加在每个粒子xfk，i上的扰动观测向量所组成的扰动矩阵，它可以有效避免协方差矩阵Pfk的过度低估27；Pfk为粒子集Xfk的协方差，可由其去均值后的矩阵Xfk进行计算，具体计算方法可参照式（7）和（8），那么可将粒子集的更新方式写为Xak=Xfk+1N-1Xfk()HkXfkT()1N-1()HkXfk()HkXfkT+Qk-1()zk1TN-Yk（14）式中，Qk=1N-1T。式（14）的更新需要计算Hk，更简便地，可以采用直接计算HkXk的方法28：HkXk=Yk-1NYk1TN=Yk()I-1N1N1TN（15）在实际应用中，为加快运算速度并避免矩阵求逆的问题，往往采用奇异值分解（Singular Value Decomposition，SVD）的方法进行计算27-28，即(HkXfk，)=UVT（16）此时，式（14）中的(HkXfk)(HkXfk)T+T)-1可以简化为()(HkXfk)(HkXfk)T+T-1=U-1VTVUT=U-2UT（17）这样，算法的编程实现可以更加高效、快速。EnKF根据测量数据循环迭代步骤2和3，不断调整粒子集分布，从而实现 Elman 网络的参数更新。可以发现，EnKF只需要更新粒子集，因此有效解决了KF框架在计算和更新状态误差协方差时对计算资源需求量过大的问题；同时，其不需要求解和计算雅克比矩阵，易于实现，便于扩展。2.2基于对偶有限样本集合卡尔曼滤波的Elman网络算法相比EnKF-Elman，基于对偶有限样本集合卡尔曼滤波（Dual Finite-Size Ensemble Kalman Filter，D-EnKF-N）的Elman网络算法主要在于滤波器的不128第 8 期方港 等：基于集合卡尔曼-Elman网络的软测量建模方法同，其 采 用 的 是 D-EnKF-N 滤 波 器。在 介 绍D-EnKF-N滤波器前，先介绍有限样本的集合卡尔曼滤波（Finite-Size Ensemble Kalman Filter，EnKF-N）方法。2.2.1有限样本的集合卡尔曼滤波方法EnKF-N本质上不需要像基本集合卡尔曼滤波一样引入扰动观测矩阵，其主要思想是：式（6）和（7）计算得到的集合均值和协方差与先验概率密度函数（Probability Density Function，PDF）的均值Xb和 误 差 协 方 差B不 匹 配；对 于 较 大 的 样 本（N ），它们是接近一致的，但由于采样误差的存在，对于较小的样本它们往往是不一致的。为此，EnKF-N在EnKF中提出了一种新的先验PDF，它是对所有可能的Xb和B进行积分的结果：p(X|x1，xN)det|(X-X)(X-X)T+N(N-1)P-N 2（18）式中：det|表示矩阵的行列式；N是一个取决于先验分布假设的常数，如果集合均值X与Xb一致，则N=1，否则N=1+1N。由于预测先验公式（18）是非高斯的，需要通过类似于变分优化的最大似然滤波器进行分析29。在集合空间中，状态被向量wak RN参数化，使得xak=Xfk+Xfkwak（19）此时，EnKF-N的代价函数为J(w)=12()yk-Hk(Xk+Xkw)TQ-1k()yk-Hk(Xk+Xkw)+N2ln(N+wTw)（20）那么，式（19）中的wak可通过最小化式（20）得出：wak=minw(k-Yw)TQ-1k(k-Yw)+Nln(N+wTw)（21）其中k=yk-HkXk，Y=HkXfk。为了生成后验粒子集合，引入了一个转移矩阵，它将粒子集偏差Xk转移到下一个时间步：Wak=N-1(ak)-1 2VT（22）式中：VT为满足VT1N=1N的任意正交矩阵；ak为集合空间中的分析误差协方差矩阵，其计算方式为ak=YTQ-1kY+N()()N+wak2IN-2wak(wak)T()N+wak22（23）其中IN RN N为单位矩阵，Y=HkXfk。后验粒子集通过下述方式计算：Xak=xak1N+XfkWak（24）在此，将EnKF-N算法的步骤总结如下：1）前向滤波计算预测粒子集Xfk；2）计算均值Xfk和去均值后的粒子集Xk；3）计算k=yk-HkXk和Y=HkXfk；4）计 算wak=minw(k-Yw)TQ-1k(k-Yw)+Nln(N+wTw)；5）计算ak=YTQ-1kY+N()N+wak2IN-)2wak()wakT()N+wak22；6）计算Wak=N-1(ak)-1 2VT；7）更新粒子集Xak=xak1N+XfkWak。2.2.2基于D-EnKF-N的Elman网络算法原理尽管EnKF-N是成功且有效的，但为了将wak的大小wak与其方向自由度wakwak分离，以便与传统的EnKF建立更强的联系，一般将EnKF-N算法改写成对偶形式，称为对偶 EnKF-N 算法30，即D-EnKF-N。D-EnKF-N的代价函数可写为D()=12Tk(Y-1YT+Qk)-1k+N2+N2ln()N-N2（25）因为D()是一个标量函数，式（25）的全局最小值很容易找到。变量与平方半径wak共轭，其可以看作是粒子集中有效自由度的数量。D()的最小值a可以通过在区间0，N/N上最小化以下对偶代价函数来实现31：a=min 0，N N12Tk(Y-1YT+Qk)-1k+N2+N2ln()N-N2（26）一旦计算出最小值a，就可以从类似式（21）的代价函数中获得对w的分析：J(w)=12(k-Yw)TQ-1k(k-Yw)+a2wTw（27）式（27）代价函数的最优值wak为wak=(YTQ-1kY+aIN)-1YTQ-1k=(ak)-1YTQ-1k（28）式中，ak=YTQ-1kY+aIN。为避免矩阵求逆的问题，也可对ak进行奇异值分解，在此不再赘述。129第 51 卷华 南 理 工 大 学 学 报（自 然 科 学 版）此时，通过式（22）和（24）可对粒子集进行更新，详细信息可以参阅文献 31-32。D-EnKF-N与Elman网络相结合构建软测量模型的步骤总结如下。步骤1 基于Elman网络的状态空间方程计算预测粒子集Xfk；步骤2 计算均值Xfk和去均值后的粒子集Xk；步骤3 计算k=yk-HkXk和Y=HkXfk；步骤4 计算代价函数的最小值a=min 0，N/N12Tk()Y-1YT+Qk-1k+N2+N2ln()N-N2；步骤5 计算wak=(YTQ-1kY+aIN)-1YTQ-1k；步骤6 计算xak=Xfk+Xfkwak；步骤7 计算ak=YTQ-1kY+aIN；步骤8 计算Wak=N-1(ak)-1 2VT；步骤9 更新粒子集Xak=xak1N+XfkWak。对比EnKF-Elman和D-EnKF-N-Elman算法，可以发现它们本质上是为了缓解粒子集的分布与状态参数的实际分布不匹配问题而采取了不同的措施。EnKF-Elman算法在训练过程中通过引入扰动观测矩阵来缓解协方差矩阵的过度低估问题，其训练过程简单，易于实现，但在迭代过程中引入了随机性，可能产生次优的滤波性能；D-EnKF-N-Elman算法采用新的先验概率密度函数进行分析，避免了每次迭代过程中扰动观测矩阵的随机性影响，性能更好，但是增加了算法的复杂度。3实验分析3.1案例说明为了验证所提出的算法的优越性，文中使用加州大学欧文分校机器学习数据库中的污水数据（UCI数据）进行仿真。UCI数据来源于一间城市活性污泥污水处理厂，由于该厂的污水处理工艺较为落后，5日生物需氧量BOD5在线分析仪往往不可靠。此外，实验室测量过程又存在固有的5天延迟，难以实时获取BOD5值，给污水的有效处理带来了挑战，因此非常需要一个合理、准确的预测模型来对BOD5等重要的出水指标进行预测。如图1所示，该厂的污水处理过程由4部分组成33：预处理、初沉池、反应池和二沉池。该厂每天对38个与有机物和微生物相关的过程变量进行测量。受测量条件的限制，设备故障、传感器失灵、天气、人为等因素均会对变量的测量产生影响，导致仅有275天的正常数据。对此，文中首先结合机理分析对变量进行了初步筛选，最终选择18个过程变量作为模型的输入34-35，详细的变量介绍见表1。研究中选择工厂出水中的化学需氧量（CODS）、生物需氧量（BOD5）和固体悬浮物浓度（SS，S）作为输出变量。为评价模型的预测精度，分别引入均方根误差（Root Mean Square Error，ERMSE）、平均绝对百分比误差（Mean Absolute Percentage Error，EMAPE）和相关系数R作为性能指标，它们的数学表达式分别为ERMSE=1Ni=1N()yi-yi2（29）EMAPE=1Ni=1N|yi-yiyi 100%（30）图1污水处理过程Fig.1Sewage treatment process表1UCI辅助变量Table 1UCI auxiliary variables序号123456789101112131415161718变量符号BODECODEBODPpHDBODDCODDSS，DSED，DBOD，RD-PSS，RD-PBOD，RD-SCOD，RD-SBOD，RD-GCOD，RD-GSS，RD-GSED，RD-GpHSSED，S变量含义进水生物需氧量进水化学需氧量预处理池生物需氧量二沉池进水pH值二沉池进水生物需氧量二沉池进水化学需氧量二沉池进水固体悬浮物质量浓度二沉池可降解固体质量浓度初沉池生物需氧量的性能输入初沉池固体悬浮物的性能输入性能输入的二沉池生物需氧量性能输入的二沉池化学需氧量全局性能输入的生物需氧量全局性能输入的化学需氧量全局性能输入的固体悬浮物质量浓度全局性能输入的沉积物质量浓度出水pH值出水可降解固体的质量浓度单位mg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/Lmg/L130第 8 期方港 等：基于集合卡尔曼-Elman网络的软测量建模方法R()Y，Y=cov()Y，Yvar()Y var()Y（31）式中：N为样本个数；yi和yi分别为第i个样本的预测值和输出值；cov(Y，Y)为协方差；var(Y)和var(Y)分别为Y和Y的方差；Y=(y1，y2，yn)，Y=(y1，y2，yn)。ERMSE衡量的是真实值与预测值偏离的绝对大小，而EMAPE衡量的是预测值偏离真实值的相对大小（即百分率），R主要用来衡量模型对数据变化趋势的拟合程度。显然，ERMSE和EMAPE越小，模型的预测误差和偏离实际值的程度越小，效果越好；R越大，模型越能很好地跟踪数据的变化趋势，性能也就越好。考虑到文中使用Elman网络作为多输出模型同时预测多个响应，因此用对角平方和的均方根ERMSSD和多元相关系数RMR作为多输出的性能评价标准。这些评价标准的计算公式如下：ERMSSD=1Ntrace()Y-YT()Y-Y（32）RMR=1mi=1m|Ri （33）式中，trace表示矩阵的迹，Ri为第i个输出所对应的相关系数。对于软测量模型而言，ERMSSD越小、RMR越大，则预测性能越好。性能评估时，采用ERMSE、EMAPE和R这3个指标来评价各输出变量的预测精度和偏差率，采用ERMSSD和RMR来评价多输出模型的整体预测性能。3.2实验结果为了验证集成卡尔曼滤波技术在Elman网络软测量模型上的有效性，将其用于预测UCI数据集的SS，S、BOD5和CODS，并将其和使用经典训练算法的Elman 网络（BPTT-Elman、GDM-Elman、LM-Elman）进行对比，评估其预测性能。为了方便书写，下文用EnKF-Elman表示集合卡尔曼滤波的Elman软测量模型，用D-EnKF-N-Elman表示基于对偶有限样本的集合卡尔曼滤波的Elman软测量模型。为便于对比，实验中所采用的网络结构均为18-8-3的Elman网络结构，而隐含层激活函数和输出层激活函数分别使用sigmoid函数fh(x)=11+e-x和线性激活函数fo(x)=x；权重的初始值介于0.5，0.5；将UCI的400组数据中的前200组样本用于训练模型，后200组用于验证模型性能。考虑到受初始权重随机性的影响，表2中结果是使用300次随机的初始权值运行得到的平均结果。表2给出了不同算法的预测结果。可以看出，当集成粒子个数M为500时，基于集合卡尔曼技术的Elman软测量模型已能得到较好的预测效果，性能显著优于BPTT-Elman、GDM-Elman和LM-Elman等传统Elman网络。以EnKF-Elman为例，从单个输出的预测指标表2不同集成粒子个数下EnKF-Elman模型的预测结果1）Table 2Prediction results of EnKF-Elman model with different particle numbers模型BPTT-ElmanGDM-ElmanLM-ElmanEnKF-Elman-5002）D-EnKF-N-Elman-500预测变量SS，SBOD5CODSSS，SBOD5CODSSS，SBOD5CODSSS，SBOD5CODSSS，SBOD5CODSERMSE4.9573.59116.1254.5983.30814.47925.9613.35813.5313.3791.8978.6673.3491.8588.638R0.6220.7090.7320.7050.7990.8340.4710.9060.9170.8480.9410.9430.8500.9430.944EMAPE/%24.617.219.022.415.416.6127.314.513.514.438.538.7714.228.518.69ERMSSD17.27115.56931.3569.4999.453RMR0.6880.7810.7650.9110.9131）表中加粗数字表示最佳预测结果；2）模型尾部的数字表示集成粒子个数。131第 51 卷华 南 理 工 大 学 学 报（自 然 科 学 版）ERMSE、R和EMAPE来看，集合卡尔曼滤波方法的粒子个数为500时，EnKF-Elman在SS，S、BOD5和CODS上的ERMSE分别为3.379、1.897和8.667，比BPTT-Elman分别减小了31.83%、47.17%和46.25%，比GDM-Elman分别减小了26.51%、42.65%和40.14%，比LM-Elman分别减小了86.98%、43.51%和35.95%，这表明文中提出的EnKF-Elman方法在水质参数预测上比传统 Elman 模型的测量误差更小，性能更优。EnKF-Elman在各个水质质量参数输出的EMAPE和R上同样有类似的提升，具有较好的性能表现。从整体预测性能ERMSSD和RMR来看，EnKF-Elman的ERMSSD减少到了9.499，RMR达到了0.911，比BPTT-132第 8 期方港 等：基于集合卡尔曼-Elman网络的软测量建模方法图2BPTT-Elman、GDM-Elman和LM-Elman模型的输出预测曲线Fig.2Output prediction curves of BPTT-Elman，GDM-Elman and LM-Elman models图3EnKF-Elman和D-EnKF-N-Elman模型的输出预测曲线（M=500）Fig.3Output prediction curves of EnKF-Elman and D-EnKF-N-Elman models（M=500）133第 51 卷华 南 理 工 大 学 学 报（自 然 科 学 版）Elman 分别提升了 45.00%和 32.41%，比 GDM-Elman 分 别 提 升 了 38.99%和 16.65%，比 LM-Elman分别提升了69.71%和19.08%，这说明集合卡尔曼滤波方法提升了Elman网络的预测性能，可对系统多水质参数进行有效检测。对比 EnKF-Elman 和 D-EnKF-N-Elman 可以发现，对偶形式的有限样本集合卡尔曼滤波比标准形式的集合卡尔曼滤波的预测结果略优，能够更有效地提高Elman网络的预测性能。图2和图3为不同算法的输出预测曲线。为了方便观察，仅列出前100个测试数据的预测结果。对比基于BPTT、GDM和LM的传统算法的预测结果，可以看出文中基于EnKF的算法能够更好地跟踪输出变量SS，S的动态变化。传统算法中的输出水质参数SS，S的预测值与实际值的拟合较差，这主要是因为算法容易陷入局部极小值，得到较为不理想的预测结果，这反过来证明了文中方法的有效性。对于变量BOD5和CODS，BPTT-Elman、GDM-Elman和LM-Elman等传统算法具有良好的拟合性能。但从预测曲线的峰值和峰谷来看，基于EnKF技术的Elman网络能够更好地跟踪实际曲线的动态变化，其预测能力优于上面列出的传统Elman训练算法，这说明EnKF-Elman可以很好地拟合预测水质参数的变化趋势。图4为基于集合卡尔曼技术的Elman网络的收敛曲线。可以看出，D-EnKF-N-Elman的收敛精度比EnKF-Elman的略高，说明D-EnKF-N-Elman的收敛性能更好。这主要是因为D-EnKF-N滤波器在先验中考虑了采样误差，而且不需要像集合卡尔曼滤波器一样引入扰动观测矩阵，可以有效减小采样误差。但是，EnKF-N类方法计算更加复杂，其训练时间要求更高。4结语文中针对传统Elman神经网络预测精度欠佳、容易陷入局部最小值的问题，将集合卡尔曼滤波技术引入到Elman网络中构建软测量模型，采用UCI数据进行验证，对SS，S、BOD5和CODS等重要污水出水水质参数进行预测，并将结果与传统的模型进行对比，发现EnKF-Elman和D-EnKF-N-Elman模型无论是单输出还是多输出评价指标，其预测性能都优于传统的Elman模型，说明文中提出的方法是有效和可行的。但随着系统复杂度增加，EnKF算法占用的内存会大幅增加，后续研究中拟引入解耦方法，以提高算法的运行效率和实用性。参考文献：1 黄道平，刘乙奇，李艳软测量在污水处理过程中的研究与应用J 化工学报，2011，62（1）：1-9HUANG Daoping，LIU Yiqi，LI YanSoft sensor research and its application in wastewater treatment JCIESC Journal，2011，62（1）：1-92 GENG Z，CHEN Z，MENG Q，et al Novel transformer based on gated convolutional neural network for dynamic soft sensor modeling of industrial processesJ IEEE Transactions on Industrial Informatics，2021，18（3）：1521-15293 KADLEC P，GABRYS B，STRANDT S Data-driven soft sensors in the process industry JComputers&Chemical Engineering，2009，33（4）：795-8144 KAY S，KAY H，MOWBRAY M，et alIntegrating autoencoder and heteroscedastic noise neural networks for the batch process soft-sensor design J Industrial&Engineering Chemistry Research，2022，61（36）：13559-135695 李东，黄道平，许翀，等基于协同训练的集成自适应GPR-RVM多输出模型研究 J 华南理工大学学报（自然科学版），2021，49（6）：100-108LI Dong，HUANG Daoping，XU Chong，et al On integrated adaptive GPR-RVM multi-output model based on co-training algorithm J Journal of South China University of Technology（Natural Science Edition），2021，49（6）：100-1086 YUAN X，LI L，WANG Y，et alDeep learning for quality prediction of nonlinear dynamic processes with variable attentionbased long shortterm memory network图4EnKF-Elman 和 D-EnKF-N-Elman 模型的平均 ERMSE收敛曲线Fig.4Average ERMSE convergence curves of EnKF-Elman and D-EnKF-N-Elman models134第 8 期方港 等：基于集合卡尔曼-Elman网络的软测量建模方法J The Canadian Journal of Chemical Engineering，2020，98（6）：1377-13897 GENCAY R，LIU TNonlinear modelling and prediction with feedforward and recurrent networks J Physica D：Nonlinear Phenomena，1997，108（1/2）：119-1348 杨马英，周芳芹，李军基于Elman神经网络的城市污水处理水质参数软测量 J 东南大学学报（自然科学版），2006，36（S1）：119-123YANG Maying，ZHOU Fangqin，LI JunSoft sensing model for city wastewater treatment process parameter based on Elman neural network J Journal of Southeast University（Natural Science Edition），2006，36（S1）：119-1239 关学忠，宋韬略，徐延海，等污水处理中BP神经网络与Elman神经网络的预测比较J 自动化技术与应用，2014，33（10）：1-3，25GUAN Xuezhong，SONG Taolue，XU Yanhai，et alComparison of prediction on BP neural networks and Elman neural networks in wastewater treatment J Techniques of Automation and Applications，2014，33（10）：1-3，2510 WERBOS P JBackpropagation through time：what it does and how to do it J Proceedings of the IEEE，1990，78（10）：1550-156011 HAGAN M T，MENHAJ M BTraining feedforward networks with the Marquardt algorithm J IEEE Transactions on Neural Networks，1994，5（6）：989-99312 HOWARD B D，MARK H B，ORLANDO De J，et alNeural network design M Stillwater：Oklahoma State University，2014：335-46813 ZHANG F，REYNOLDS A C，OLIVER D SAn initial guess for the Levenberg-Marquardt algorithm for conditioning a stochastic channel to pressure dat