一种融合梯度信息的粒子群优化算法_刘清.pdf

第 卷 第期佳 木 斯 大 学 学 报（自 然 科 学 版）年 月 （）文章编号：（）一种融合梯度信息的粒子群优化算法刘清，许汪俊彤，刘正余，（皖西学院电子与信息工程学院，安徽 六安 ；安徽理工大学数学与大数据学院，安徽 淮南 ）摘要：针对粒子群优化算法（）存在盲目搜索、收敛速度慢的问题，提出一种融合梯度信息的改进粒子群优化算法，简记为 （）。利用目标函数的梯度信息指导粒子朝着适应值更低的方向搜索，可有效避免粒子的盲目搜索行为。首先，在线性权重粒子群算法的进化公式中嵌入目标函数的梯度信息，有效提升了改进方法的收敛精度；其次，随机选择一半的粒子使用含有梯度信息的速度进化公式以降低算法的计算量，在标准测试函数上的仿真实验结果表明，算法在收敛速度与收敛精度方面，均优于基本 算法，线性权重衰减 算法，正太分布权重 算法等传统方法。关键词：机器学习；粒子群；梯库搜索中图分类号：文献标识码：引言粒子群优化算法（，）是 在 年提出的一种模拟鸟群觅食行为的群智能搜索算法。由于参数设置简单且对目标函数的要求较低，能够处理非凸、不可微函数的极值问题，算法一经提出就受到诸多领域的广泛关注。现有研究表明，算法具有较强的全局搜索能力，对多峰、多极值函数具有一定的处理能力。算法始终保持种群多样性，这就意味着粒子群体很难聚集且局部搜索能力不强，进而导致该算法的收敛速度较慢、收敛精度不高。为了进一步提高 算法的性能，在 年提出了一种线性衰减惯性权重的粒子群算法（，）。在 算法中，粒子群体在算法初期具有较大的惯性系数，因此具有较强的探索新的搜索空间的能力；而在算法后期，粒子速度的惯性系数逐渐变小，这就使得整个粒子群体发生聚集，并提升了算法的局部搜索能力。算法在具有较好的收敛速度和收敛精度。然而，算法的粒子群却易出现“早熟”现象。近年来，许多学者提出了多种基于非线性权重的改进粒子群优化算法 。这些改进的粒子群优化算法在一定程度上平衡了算法的全局搜索能力和局部搜索能力。然而，这类基于惯性权重调节的粒子群优化算法都存在一个共同的不足：粒子搜索具有一定的盲目性 。主要原因是，粒子不能获取并充分利用目标函数的梯度信息，并以此来指导粒子的搜索行为。实际上，整个粒子群体在算法的迭代过程中，某些粒子个体可能不止一次进入全局最优解所在的波谷区域，只是因为不能沿着梯度下降方向继续搜索全 局 最 优 解，而 错 失 良 机。王 俊 伟 等 于 年提出基于梯度加速的粒子群优化算法。梁昔明 于 年提出一种基于共轭梯度的粒子群优化算法。这两种方法让粒子按线性递减权重粒子群（）的速度进化公式先迭代一次，收稿日期：基金项目：国家 自 然 科 学 基 金（）；安 徽 省 自 然 科 学 基 金（）；皖 西 学 院 高 层 次 人 才 科 研 启 动 基 金（）；横向课题：水下高速航行试验场地与技术服务（西北工业大学，）；横向课题：高压空气和燃气兼容驱动气体炮设计与加工（）；皖西学院国家级大学生创新创业训练项目：基于多目摄像头下的多特征人脸识别智能门禁系统（）。作者简介：刘清（），男，安徽六安人，助教，博士，研究方向：最优化方法、群智能优化方法的理论与算法。通讯作者：刘正余（），男，安徽六安人，副教授，硕士，研究方向：最优化方法等方向的理论与算法研究。第期刘清，等：一种融合梯度信息的粒子群优化算法然后再让粒子沿着梯度或者共轭梯度方向搜索一次。这两种方法的迭代次数较少且收敛精度较高；然而由于计算梯度信息较为耗时，它们的速度明显慢于传统非梯度粒子群优化方法。区别于上述直接使用梯度下降方向的粒子群优化算法，提出一种融合梯度信息的粒子群优化算法，称之为 。算法在 的速度进化公式中添加梯度下降方向，引导粒子逐渐趋近最优极值区域。为了提升算法的实际执行速度，算法在每次迭代中，随机选择一半粒子按照含有梯度信息的速度进化公式进行迭代，剩余粒子则仍然按照 算法的公式进行迭代。实验结果表明，改进的 算法具有较好的收敛速度和收敛精度。相关工作粒子群优化算法（）算法将每个粒子位置看作搜索空间内的一个可行解，对应于该可行解的目标函数值即是粒子的适应值。假设粒子总数为（是正整数），搜索空间的维度为（是正整数）。在每次迭代过程中，每个粒子按照如下公式更新其速度和位置信息：（）（）（）（）式（）中，是粒子的速度，是粒子的位置；是粒子经历的历史最优位置；是粒子群已搜索到的全局最优位置；和是平衡社会经验和个体经验的的权重系数；和是，区间的伪随机数；，。算法能够始终保持较好的全局搜索能力，而局部搜索能力却不强，粒子群体很难发生聚集。线性衰减权重的粒子群优化算法 在 年提出了一种线性递减权重 算法，简记为 ，其速度更新公式为式（），（）：（）（）（）（）（）式（），（）中，是粒子的速度惯性系数，且。是权值的最大值，是的最小值。是当前迭代的步数，是粒子群算法总的迭代次数。在 中，粒子在算法前期能够保持较大的飞行速度，并因此具有较强的全局搜索能力。随着迭代次数的增加，惯性权重则逐渐减小，进而粒子会逐渐聚集在某个较小的邻域内。算法通过调整惯性权重使得粒子发生聚集来提升算法的收敛精度。这就使得 算法在寻优过程中，必然存在较多的盲目搜索与重复搜索问题。融合梯度信息的改进 （）作为随机搜索算法的 和 ，在寻优过程中不可避免的会出现一定程度的盲目搜索行为。假设 是对应于某目标函数的全局最优解；是粒子群已搜索到的全局最优位置。在 算法中，粒子的盲目搜索行为如图所示。图 算法的盲目搜索示例根据公式（）可知，图中的粒子将受到的吸引而逐渐趋近并远离真正的全局最优解 。实际上，当前粒子只需要沿着目标函数的负梯度方向即可找到全局最优解。当然，在处理复杂函数的时候，严格按照负梯度方向搜索，可能会只找到局部极优点或者驻点。因此，在充分利用目标函数的梯度信息的同时，也应该对梯度信息进行一定的约束。区别于文献 和文献 直接让粒子沿着负梯度方向搜索，提出融合梯度信息的改进粒子群优化方法，简记为 。算法在 的基础上融合梯度信息，并使用权值系数约束梯度信息在粒子寻优方向的影响作用。在目标函数梯度信息的指导下，粒子将逐渐趋近最优解所在的区域，并减少算法的盲目搜索行为。算法的改进策略包括两个部分，分别介绍如下。第一，改进 算法的速度公式（），嵌入目标函数的梯度信息。（）（）（）（）佳 木 斯 大 学 学 报（自 然 科 学 版）年式（）中，（）是约束梯度信息的权值函数。远大于时，公式（）相当于梯度搜索；远小于时，梯度信息的影响作用则很小。因此，是控制梯度信息对寻优方向的实际影响程度的权重系数，是，区间的伪随机数。（）是目标函数（）在处的梯度，定义如式（）：（），（）（）考虑到目标函数不一定可微，在实验中使用目标函数在处的差商近似逼近函数的梯度值。第二，随机选择一半的粒子按照公式（）进行迭代，剩余半粒子按照公式（）进行迭代。由于粒子群中的粒子个体较多，且算法需要经过较多次数的迭代，随机选择一半的粒子使用梯度信息进行寻优，不仅不影响最终的收敛精度，而且能够较大幅度地提升算法的速度。综上所述，改进的 算法融合了目标函数的梯度信息并对其实际影响里做一定的约束。算法的核心步骤如下。）初始化粒子群参数设置。设置最大迭代次数 ，种群规模，目标函数维度；随机初始化粒子位置和粒子飞行速度。）更新每个粒子的适应值 ，更新每个粒子的历史最优位置，更新全局最优位置。）随机选择 的粒子按公式（）迭代更新速度，剩余 粒子按公式（）更新速度。所有粒子按公式（）更新位置。）检查是否满足停止条件：若满足，则算法停止；否则转第）步。改进的 方法，一方面在进化公式中嵌入梯度信息，以提升粒子群的局部搜索能力和收敛精度；另一方面，为了降低算法的计算量，算法则随机选择一半的粒子使用改进的速度进化公式。大量实验表明，改进的 算法具有较好的收敛精度。结果与分析测试函数实验分别使用单峰函数和多峰函数来测试 算法的收敛精度和收敛速度。测试函数名称和表达式如表所示。表测试函数名称与表达式函数名称表达式维度定义域 （），（）（）（），（）（），（）（），如表所示，表示测试函数的维度，。在表中，和 是单峰函数，全局最小解分别在，（）和（，）处取得，最小函数值为零；和 是多峰函数，在最优解，（）的周围有许多局部极小解，且局部极小解的数量随着维度的增加而增加。参数设置实验使用表中的函数测试改进的 算法；然后将实验结果分别与 、基于吸引排斥的粒子群算法（）以及基于正态分布衰减权重的粒子群算法（）算法对比，并客观分析 算法的优势与不足。这四种算法的参数设置情况分别为：）算法：.；.，.。）算法：.；.，.；.，。）算法：，.。）算法：.，.；.，（）；.（）。对于 和 函 数，算 法 最 大 迭 代 次 数 ；对 于 和 函 数，。粒子维度，粒子群规模。每个算法独立运行 次，并取最优值的平均值作为最终结果。实验结果实验分别统计了各算法的误差精度和算法收第期刘清，等：一种融合梯度信息的粒子群优化算法敛所需的迭代次数，以验证 算法的性能。记表示粒子群搜索到的全局最优粒子，是目标函数的全局最优解。那么，粒子群算法的误差精度可表示为式（）：（）（）（）作为一种基于群体进化的迭代算法，算法的收敛速度是影响算法性能的重要性能之一。图是四种算法在测试函数上的误差收敛曲线。（）（）（）（）（）（）（）（）图四种粒子群算法的误差曲线从图可以看出，算法在个函数上，收敛的速度都很快，但是收敛精度不高。这就说明，算法过早的陷入局部极优区域。算法的收敛速度较慢，但是误差精度不高。这是因为，算法一般需要上数万次迭代才能得到较好的收敛结果。算法由于使用正态函数动态调整惯性权值，该算法在 至 次迭代之后才逐渐收敛。然而，算法最终的误差精度仍然有待提高。算法处理 和 函数时，需要 至 步迭代即可收敛到较好的结果。在处理寻优难度较大的 和 函数时，则需要约 次迭代才能收敛到最终结果。因此，算法在处理不同函数时，需要适当调整最大迭代次数，以便获得更高的收敛精度。四种粒子群优化算法在各测试函数上的收敛精度如表所示。表四种算法的收敛精度算法 和 函数是单峰函数，因此寻优难度不大。从表可以看出，算法的误差精度最大，主要原因是惯性权重线性递减的策略使得粒子种群过早的聚集，进而不能继续探索新的搜索空间。算法在 和 上的误差精度小于 算法的误差精度。主要原因是，算法采用了新的权值调整策略延缓了粒子群的过早聚集现象。算法在 和 函数上的误差精度仅次于 算法，主要原因是该算法通过“吸引排斥”策略能够始终保持全局搜索能力。算法在 和 上的误差精度最小，达到了 。这说明融合梯度信息后，算法的局部搜索能力得到了极大的加强。函数是多峰函数，在全局最优解的周围分布着很多局部极小解，寻优难度较大。从表可以佳 木 斯 大 学 学 报（自 然 科 学 版）年看出，在 函数上，和 算法的误差精度在同一个数量级；而 和 算法的误差精度在同一个数量级。算法的误差精度虽然最小，但是该算法仍然没有收敛到全局最优解的局部邻域内。函数也是多峰函数，寻优难度略小于 。在 函数上，算法的误差精度最小，达到了 ，优于其他三个算法的误差精度。综上所述，提出的融合梯度信息的 算法在收敛精度和收敛速度这两方面都优于 ，以及 算法。结语为了克服传统 算法存在的盲目搜索、收敛精度不高的问题，本文提出了一种融合梯度信息的改进粒子群优化算法，简记为 。一方面，算法在 算法的速度进化公式中融合目标函数的梯度信息，有效提升了粒子群的搜索效率；另一方面，在每次迭代中随机选择一半的粒子使用梯度信息指导粒子的搜索行为，降低了算法的计算量。实验结果表明，算法的收敛精度和收敛速度均优于 ，以及 算法。参考文献：，：，：白冰，马瑜，杨晓丽，等基于二维粒子群优化的图像模糊增强算法研究电视技术，（）：朱霞，陈仁文，夏桦康基于文化粒子群的的图像配准优化算法兵工学报 ，（）：王佺，聂仁灿，周冬明 多目标粒子群优化 参数的图像融合算法 中国图像图像学报国图象图形学报，（）：，：刘清基于确定性搜索的粒子群优化算法的研究镇江：江苏大学，：，：，（）：黄洋，鲁海燕，许凯波，等 基于型函数的自适应粒子群优化算法 计算机科学，（）：徐浩天，季伟东，孙小晴，等 基于正态分布衰减惯性权重的粒子群优化算法 深圳大学学报理工版，（）：，（）：，（）：王俊伟，汪定伟一种带有梯度加速的粒子群算法控制与决策，（）：梁昔明，李德生 嵌入共轭梯度法的混合粒子群优化算法小型微型计算机系统 ，（）：，（，；，）：（），（），（）（），：；