基于广义最大相关熵准则的宽度学习系统.pdf

文章编号：1003-0530（2023）11-1957-07第 39 卷 第 11 期2023 年11 月信号处理Journal of Signal ProcessingVol.39 No.11Nov.2023基于广义最大相关熵准则的宽度学习系统赵海全 陆鑫（西南交通大学电气工程学院，四川成都 610031）摘 要：宽度学习系统（broad learning system，BLS）是近几年提出的一种新型判别学习方法，具有结构简单，训练快速的特点，在各种回归和分类问题上得到广泛应用。然而标准的BLS是在最小均方误差（MMSE）准则下推导出来的，对异常值的存在十分敏感，这无疑降低了系统的准确性。为了提高BLS的鲁棒性，有学者提出了最大相关熵准则（MCC）的BLS（C-BLS）。相对于最小均方误差准则，最大相关熵准则包含了更多的高阶误差信息，所以C-BLS对异常值具有良好的鲁棒性。但考虑到相关熵中默认的核函数固定为高斯核，这并不适用于绝大多数情况。本文中引入了以广义高斯密度（GGD）函数作为核函数的广义相关熵，并将广义最大相关熵准则（GMCC）应用于BLS，提出了新的鲁棒算法（GC-BLS）。相较于高斯核函数，广义高斯密度函数更为灵活，高斯核可以看作它的一个特例，在选取适当参数时，GC-BLS将退化为C-BLS，这使得新算法至少能获得与C-BLS算法相当的性能。实验中以均方根误差作为标准，在回归数据集与时间序列数据集上对新算法进行检验，在绝大多数情况下，GC-BLS都能取得相较于其他算法更小的均方根误差。实验表明，该算法是非常稳定的。仿真结果验证了理论上的期望，并验证了新算法的性能。关键词：宽度学习系统（BLS）；最大相关熵准则（MCC）；广义最大相关熵准则（GMCC）；回归任务中图分类号：TP183 文献标识码：A DOI：10.16798/j.issn.1003-0530.2023.11.005引用格式：赵海全，陆鑫.基于广义最大相关熵准则的宽度学习系统 J.信号处理，2023，39（11）：1957-1963.DOI：10.16798/j.issn.1003-0530.2023.11.005.Reference format：ZHAO Haiquan，LU Xin.Broad learning system based on generalized maximum correntropy criterionJ.Journal of Signal Processing，2023，39（11）：1957-1963.DOI:10.16798/j.issn.1003-0530.2023.11.005.Broad Learning System Based on Generalized Maximum Correntropy CriterionZHAO Haiquan LU Xin（School of Electrical Engineering，Southwest Jiaotong University，Chengdu，Sichuan 610031，China）Abstract:Broad learning system（BLS）is a new kind of discriminative learning method proposed in recent years.It has the characteristics of simple structure and fast training，and has been widely used in various regression and classification problems.However，the standard BLS is derived under the Minimum Mean Square Error（MMSE）criterion，which is very sensitive to the existence of outliers，which undoubtedly reduces the accuracy of the system.In order to improve the robustness of BLS，some scholars have proposed BLS with maximum correntropy criterion（MCC）（C-BLS）.Compared with the minimum mean square error criterion，the maximum correntropy criterion contains more high-order error information，so C-BLS has good robustness to outliers.However，considering that the default kernel function in correntropy is fixed as Gaussian kernel，this is not applicable in the vast majority of cases.In this paper，the generalized correntropy with generalized 收稿日期：2023-06-08；修回日期：2023-08-01基金项目：国家自然科学基金（62171388，61871461，61571374）信号处理第 39 卷Gaussian density（GGD）function as the kernel function is introduced，and the generalized maximum correntropy criterion（GMCC）is applied to BLS，and a new robust algorithm（GC-BLS）is proposed.GC-BLS can be regarded as a special case of GC-BLS.When appropriate parameters are selected，GC-BLS will degenerate to C-BLS，which makes the new algorithm at least obtain the same performance as C-BLS algorithm.In the experiment，the root mean square error is used as the standard to test the new algorithm on regression data sets and time series data sets.In most cases，GC-BLS can achieve smaller root mean square error than other algorithms.Experiments show that the algorithm is very stable.Simulation results validate the theoretical expectations and demonstrate the performance of the new algorithm.Key words:broad learning system（BLS）；maximum correntropy criterion（MCC）；generalized maximum correntropy criterion（GMCC）；regression tasks1引言近年来深度神经网络迅速发展，展现了强大的特征提取和非线性逼近能力。但当数据量较大时，由于层数增加，神经网络在逐层反向更新权重时，会遇到梯度消失，梯度爆炸，训练速度慢等问题。对此，Chen等人提出了宽度学习系统（broad learning system，BLS）1。BLS 具有训练速度快，结构简单的特点，已成功地应用于人脸识别2、文本分类3、时间序列预测4等领域。但标准BLS使用最小均方误差（minimum mean square error，MMSE）准则训练网络输出权值，MMSE准则在处理含有如离群值等非线性噪声5的数据时会降低BLS的性能。对此，众多学者对标准BLS进行了改进。Jin提出将L1范数与不同的正则化项相结合，生成鲁棒的BLS（RBLS）6。由于 L1范数对异常值的敏感性较低，BLS的鲁棒性得到了显著提高。同样，Zheng提出了基于最大相关熵准则（maximum correntropy criterion，MCC）的BLS（C-BLS）7，通过设置适当的核宽度，削弱异常值对系统的影响。Guo通过融合不同的M-estimator 代价函数对训练样本进行逆向加权计算提出了具有鲁棒性的RBLS8，以减轻离群值误差带来的不利影响。受Zheng的启发，我们采用基于信息论学习9-10（information theory learning，ITL）的广义最大相关熵准则（generalized maximum correntropy criterion，GMCC）11 来训练BLS的输出权值，从而进一步提高BLS的性能。主要贡献总结如下：我们提出了一种基于广义最大相关熵准则的BLS（GC-BLS）。通过设置合理的参数，可以减轻离群值误差产生的不利影响，提高 BLS对于离群值的抗干扰能力。为了检验新算法的性能，在各种回归数据集与时间序列数据集上进行了实验，并得到了一些令人满意的结果。2基于广义最大相关熵准则的宽度学习系统2.1宽度学习系统BLS是在RVFLNN（random vector functional link neural network）基础上改进而来。对于训练数据X，使用特征映射f(XWei+ei)将数据投影，生成映射特征Zi。再将前n组映射特征表示为Zn=Z1Zn。通过非线性激活函数处理Zn即(ZnWhj+hj)生成增强节点Hj，其中Wei，ei，Whj和hj都是随机生成的。将m组增强节点拼接为Hm=H1Hm，合并Zn与Hm得到最终的输入数据A=Zn|Hm。BLS 的输出为Y=AW，其中W为隐藏层到输出层的权重，A我们称之为状态矩阵。BLS的目标函数为：argminW(AW-Y22+W22)（1）其中：Y表示X的标签；AWm-Y22用于控制训练误差最小化；W22用于防止模型过拟合；是正则化系数。容易求得：W=(ATA+I)-1ATY（2）2.2广义最大相关熵准则在相关熵中，高斯核函数并不总是最好的选择，基于广义高斯密度（generalized Gaussian density，GGD）函数，Chen等人提出了广义相关熵11。给定两个随机变量X，Y，其广义相关熵可以表示为：V，(X，Y)=EG，(X-Y)（3）其中广义高斯密度函数G，(e)定义为：G，(e)=，exp(-|e|)（4）其中0为形状参数，=|-0为核参数，()表1958第 11 期赵海全 等：基于广义最大相关熵准则的宽度学习系统示伽马函数，=2(1 )表示归一化常数。当=2，=2 时，广义相关熵就退化为相关熵。对于广义最大相关熵准则，有以下两点需要注意：（1）在广义相关熵中，核函数不一定为高斯核，G，(X-Y)正定的条件是0 2，此处广义相关熵的值可以用有限长样本 xi，yiNi=1的平均值来近似表示V，(X，Y)=1N1NG，(xi-yi)（5）广义相关熵具备了相关熵的大多数性质，部分已经被证明12-14。具体如下所示：性质 1：V，(X，Y)是对称的，由此可以得出V，(X，Y)=V，(Y，X)。性质 2：V，(X，Y)是正的且有界，其范围是0 V，(X，Y)，只有满足 X=Y 时，V，(X，Y)才取到最大值。性质 3：广义相关熵包含了误差|X-Y|的更高阶特性：V，(X，Y)=，n=1(-)nn！E|X-Y|n（6）（2）当广义相关熵的核参数足够小时，可以得到V，(X，Y)，(1-WE|X-Y|。性质4：假设样本 xi，yiNi=1是从联合概率密度函数pX，Y(x，y)中提取出来的，设pe()为关于样本 ei=xi-yiNi=1概率密度函数的Parzen估计。其广义 高 斯 密 度 函 数G，为 Parzen 窗 的 核 函 数。V，(X，Y)为pe()在零点的估计值，表示为：V，(X，Y)=pe(0)（7）其中pe()=1Ni=1NG，(-ei)。性质5：当0 2时，广义相关熵是映射到特征空间数据的二维统计量。与相关熵类似，广义相关熵也可以作为相关问题中的优化准则。在系统的实际输出Y和理想输出Y之间误差最小化的基础上，使得代价函数JGMCC的值达到最大，即argmaxWJGMCC=1N1NG，(Y-Y)（8）其中Y=XW，这就是广义最大相关熵准则。2.3GC-BLS的训练算法与标准的BLS相同，此处状态矩阵A由特征节点与增强节点合并生成。因此，将BLS和GMCC相结合的优化模型可以表示为：J(W)=argmaxWi=1NG，(ei)-2W22（9）其中ei=AiW-Yi，通过求解J(W)对W的梯度：JW=-i=1NWG，(ei)|ei|-2ATiei-W（10）其中W为广义相关熵中的核参数，与正则化参数区分开；将式（10）矩阵化可以得到：JW=-，WATW(AW-Y)-W（11）其中W为GMCC算子，表示为：W=()G，(e1)|e1|-2G，(eN)|eN|-2 （12）令式（11）等于零，W的解可以写成式（13）形式：W=(ATWA+GMCCI)-1ATWY（13）为了保持公式的简洁，在式（13）中将众多参数进行整合，其中GMCC=，w，显然，W是W的函数，因此式（13）实际上是一个不动点方程，可以将其表示为：W=f(W)（14）f(W)=(ATWA+GMCCI)-1ATWY（15）具体算法流程如表1所示：表 1中，k表示每个特征映射组中特征节点个数，n表示特征映射组数，q表示每个增强节点组中增强节点个数，m表示增强节点组数，参考定点迭代方法14-17，通过式（16）求解W：Wt+1=f(Wt)（16）其中，Wt表示迭代 t 时的解。设 表示终止公差。表1GC-BLS算法流程Tab.1GC-BLS algorithmic flowGC-BLS 算法流程1.输入:训练样本 X,Y。2.参数设置:网络节点参数 k,n,q,m,正则化参数,核参数W,终止公差,最大循环次数T。3.初始化:设置初始权重W0,构建输入矩阵A。4.循环运算:t=1,T,根据式(12)计算加权矩阵W;根据式(16)更新权重W，直到|Wt+1-Wt|22。5.输出:权重矩阵 W。6.结束。1959信号处理第 39 卷停止准则可设置为|Wt+1-Wt|22，表示当权重更新趋势趋向于稳定时，停止迭代。3实验分析本节中，以均方根误差（root mean square error，RMSE）为衡量标准评估各算法在回归任务上的性能。为了消除数据尺度的影响，下面所有数据集的输入和输出属性都被归一化到（0，1）的范围。所有的 实 验 结 果 都 是 在 配 备 Intel（R）Core（TM）i5-6200U CPU 2.30 GHz 和 8 GB RAM 的机器上使用pycharm获得的。3.1GC-BLS在时间序列数据集上的表现本节中使用麦基-格拉斯时间序列预测和月平均总“太阳黑子数”预测进行实验，实验中给两者30%训练集标签上添加范围在ymin到ymax的离群值噪声，以验证算法性能。麦基-格拉斯时间序列显示了混沌动力学的特征，可以用式（17）18所示的时滞微分方程来描述：dx(t)dt=-bx(t)+ax(t-)1+x(t-)10（17）其中，本文中设置a=0.1；b=0.2；=30。正如文献 17 中所建议的，采用前7点来预测当前的一点。因此 t时刻的输入和输出的形式分别为xt=x(t-7)，x(t-6)x(t-1)和yt=x(t)。“太阳黑子数量”是一个实时系列数据集，记录了1749年1月至2017年12月每月平均太阳黑子的数量。实验中的嵌入维数和延迟时间分别设置为4和1。数据集参数如表2所示。由表3中的实验结果可知，与其他算法相比，新算法的性能要明显优于其他算法。3.2GC-BLS在回归数据集上的表现本节在 UCI（university of california irvine）基准数据集上进行实验。数据集参数如表4所示。由于这些数据是现实世界的真实数据，已经包含误差，不额外添加人工噪声。首先采用网格搜索法确定各算法的最优参数。对于所有算法的网络结构参数，m固定为1，参数组合 k，n，q 的搜索范围分别设置为 1，3，5，7，9，11，13，15，1，3，5，7，9，11，13，15，100，120，140，160，180，200 。GC-BLS的参数组合为 k，n，q，W，形状参数的从候选集 1，1.5，2，2.5，3，3.5，4 中选择；核参数W从候选集 0.5，1，1.5，2，2.5，3，3.5，4 中选择。C-BLS的参数组合为 k，n，q，参考文献7，核参数从候选集 2-3，2-1，20，21，23 中选择。表2时间序列数据集Tab.2Time series data set数据集Mackey-glassSunspot训练集7701974测试集330846(d,)(7,1)(4,1)表3各算法时间序列数据集上的表现Tab.3Performance of each algorithm on time series data set数据集Mackey-glassSunspot算法BLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLS参数组合(5,1,160)(13,15,180)(5,1,140,21)(1,15,100,3.5,1.5)(1,1,100)(1,1,100)(3,1,100,23)(1,1,100,3,1)训练时间/s0.02090.00330.42290.00800.06350.00541.64820.03490.08710.00800.50370.04300.35640.02052.37860.4281测试结果0.12340.00070.13060.00090.12330.00090.10830.00130.08770.00190.10020.00840.08910.00020.08340.0001表4回归数据集Tab.4Regression data set数据集AbaloneBodyfatCancerWinequality whiteHeart disease clevelandSlumpyacht hydrodynamicsbike sharingcombined cycle power plant属性数81430111376144训练集997177399780213732165111210测试集427751713339131922215201960第 11 期赵海全 等：基于广义最大相关熵准则的宽度学习系统所有算法均采用统一的正则化系数，正则化系数固定为10-5。在各自最佳参数的条件下实验，每种算法独立运行20次，以运行结果的平均值作为最终实验结果。由表5中的数据可知，GC-BLS与标准BLS和其他BLS鲁棒算法相比，虽然GC-BLS的训练时间略高于其他算法，但总能获得更小的测试RMSE，表现出很强的鲁棒性。新算法的性能要明显优于其他算法。表5各算法在回归数据集上的表现Tab.5Performance of each algorithm on regression data set数据集AbaloneBodyfatCancerWinequality whiteHeart disease clevelandSlumpyacht hydrodynamicsbike sharingcombined cycle power plant算法BLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLSBLSRBLS(huber)C-BLSGC-BLS参数组合(3,1,140)(1,15,200)(3,1,140,23)(5,1,140,4,2)(1,15,140)(7,1,140)(1,9,140,2-3)(11,1,100,4,1)(15,1,140)(5,3,200)(15,9,200,2-3)(7,11,100,1,1.5)(13,1,120)(15,13,200)(13,1,120,20)(9,15,100,1,3)(9,11,200)(13,15,200)(13,13,100,23)(13,13,140,3.5,3)(13,9,180)(15,13,200)(5,15,120,2-1)(5,15,12,1.5,3.5)(13,9,160)(15,15,140)(13,9,160,20)(13,9,160,2,4)(9,7,200)(13,15,120)(7,3,140,2-3)(3,3,120,1,3.5)(7,7,100)(15,15,200)(1,11,140,2-3)(15,7,140,1,3.5)训练时间/s0.02790.00320.28890.02560.07810.00252.97570.10520.06680.00120.03390.00250.04690.00030.04690.00110.00600.00010.15870.00350.48450.00070.10370.00140.02290.00120.34110.00020.11470.00050.43380.00140.07150.00120.10990.01250.04690.00321.59210.04580.06080.00020.15560.001550.08080.00030.10170.00280.03590.00110.07810.00220.06910.00100.18550.00150.05190.00080.79190.00290.06910.00301.31550.00550.04030.00471.98300.01250.92800.01082.95730.0526测试结果0.08680.00050.08650.00140.08630.00080.06860.00020.12390.00150.12270.00560.12200.00090.10610.00100.13680.00210.15110.00190.13290.00030.13160.00080.09120.00050.09470.00130.09130.00060.09100.00020.20710.00200.21950.00350.20670.00140.20520.00090.14460.00110.18950.00250.14170.00130.14120.00200.10460.00090.14640.00170.10440.00050.10380.00070.09890.00050.09790.00120.08410.00090.08350.00150.08290.00210.08300.00260.07980.00080.07960.00171961信号处理第 39 卷3.3GC-BLS的鲁棒性分析与传统 BLS的权重求解方式（2）相比，新算法式（13）加入了一个加权对角矩阵W，这也是新算法鲁棒性的由来，其对角元素由核参数W以及实际输出y和理想输出y之间误差控制。可以验证，当W趋向于 0 时，式（13）将退化为标准 BLS 的权重求解方式（2）；当=2，=2 时，GMCC准则退化为 MCC 准则，这说明，GC-BLS 至少可以实现与C-BLS和BLS相当的性能。当第i个样本受到离群值的污染时，yi和yi之间通常会有很大的差异，记为vi=|yi-yi|。正常情况下，通过设置合理的W值，当vi越大，说明该值偏离程度越大，在W值的作用下，相应的对角元素越小，从而该离群值在训练过程中将被赋予较小的权重，这使得离群值对训练过程没有很大的影响。4结论为了解决 BLS 对离群值噪声敏感的问题，参考Zheng提出的C-BLS算法，本文采用更具有灵活性的广义最大相关熵准则（GMCC）提出了新的鲁棒 BLS（GC-BLS）。GC-BLS以 BLS模型为基础，通过引入 GMCC 得到新的代价函数，并采用不动点迭代方法对学习样本进行逆向加权计算，从而抑制离群值样本带来的不良影响。在 9个回归数据集和 2 个时间序列数据集上的实验表明，当样本包含离群值时，新算法能够取得较 BLS 与其他改进算法更优的学习性能。目前新算法涉及到的参数数量较多，利用网格搜索法选择最佳参数非常耗时，如何简化算法参数，或者在训练过程中尝试寻找某些参数的最优值，从而进一步提高系统效率是下一步的研究工作。参考文献1 CHEN C L P，LIU Zhulin.Broad learning system：An effective and efficient incremental learning system without the need for deep architecture J.IEEE Transactions on Neural Networks and Learning Systems，2018，29（1）：10-24.2 LI Ping，SHENG Bin，CHEN C L P.Face sketch synthesis using regularized broad learning systemJ.IEEE Transactions on Neural Networks and Learning Systems，2022，33（10）：5346-5360.3 DU Jie，VONG C M，PHILIP CHEN C L.Novel efficient RNN and LSTM-like architectures：Recurrent and gated broad learning systems and their applications for text classification J.IEEE Transactions on Cybernetics，2021，51（3）：1586-1597.4 HAN Min，LI Weijie，FENG Shoubo，et al.Maximum information exploitation using broad learning system for large-scale chaotic time-series prediction J.IEEE Transactions on Neural Networks and Learning Systems，2021，32（6）：2320-2329.5 朱迎莹，赵海全.非线性主动噪声控制的随机傅里叶特 征-核 滤 波 算 法J.信 号 处 理，2020，36（6）：984-990.ZHU Yingying，ZHAO Haiquan.Random Fourier feature kernel filtered-x LMS algorithm for nonlinear active noise control systemJ.Journal of Signal Processing，2020，36（6）：984-990.（in Chinese）6 JIN Junwei，PHILIP CHEN C L.Regularized robust broad learning system for uncertain data modelingJ.Neurocomputing，2018，322：58-69.7 ZHENG Yunfei，CHEN Badong，WANG Shiyuan，et al.Broad learning system based on maximum correntropy criterionJ.IEEE Transactions on Neural Networks and Learning Systems，2021，32（7）：3083-3097.8 郭威，徐涛.基于 M-estimator 的鲁棒宽度学习系统J.控制与决策，2023，38（4）：1039-1046.GUO Wei，XU Tao.M-estimator-based robust broad learning systemJ.Control and Decision，2023，38（4）：1039-1046.（in Chinese）9 赵海全，陈奕达.广义最大总体相关熵自适应滤波算法 J.信号处理，2021，37（8）：1378-1383.ZHAO Haiquan，CHEN Yida.Generalized maximum total correntropy adaptive filtering algorithm J.Journal of Signal Processing，2021，37（8）：1378-1383.（in Chinese）10宋普查，赵海全.基于最大混合相关熵准则的主动噪声控制算法 J.信号处理，2020，36（6）：942-947.SONG Pucha，ZHAO Haiquan.Active noise control algorithm based on maximum mixture correntropy criterionJ.Journal of Signal Processing，2020，36（6）：942-947.（in Chinese）11CHEN Badong，XING Lei，ZHAO Haiquan，et al.Generalized correntropy for robust adaptive filteringJ.IEEE Transactions on Signal Processing，2016，64（13）：3376-3387.12ERDOGMUS D，PRINCIPE J C.An error-entropy mini1962第 11 期赵海全 等：基于广义最大相关熵准则的宽度学习系统mization algorithm for supervised training of nonlinear adaptive systemsJ.IEEE Transactions on Signal Processing，2002，50（7）：1780-1786.13CHEN Badong，ZHU Yu，HU Jinchun.Mean-square convergence analysis of ADALINE training with minimum error entropy criterionJ.IEEE Transactions on Neural Networks，2010，21（7）：1168-1179.14ALGHAMDI M A，PETRUEL A，SHAHZAD N.Correction：A fixed point theorem for cyclic generalized contractions in metric spaces J.Fixed Point Theory and Applications 2012，2012（1）：122-122.15CHEN Badong，WANG Jianji，ZHAO Haiquan，et al.Convergence of a fixed-point algorithm under maximum correntropy criterion J.IEEE Signal Processing Letters，2015，22（10）：1723-1727.16HERAVI A R，ABED HODTANI G.A new robust fixed-point algorithm and its convergence analysis J.Journal of Fixed Point Theory and Applications，2017，19（4）：3191-3215.17CHEN Badong，XING Lei，WANG Xin，et al.Robust learning with kernel mean p-power error lossJ.IEEE Transactions on Cybernetics，2018，48（7）：2101-2113.18GUO Yu，WANG Fei，CHEN Badong，et al.Robust echo state networks based on correntropy induced loss function J.Neurocomputing，2017，267：295-303.作者简介赵海全男，1974年生，河南人。西南交通大学电气工程学院教授，博士生导师，主要研究方向为统计信号处理、人工智能算法等。E-mail： 陆鑫男，1997 年生，江苏人。西南交通大学电气工程学院研究生，研究方向为宽度学习系统、自适应滤波。E-mail：1963