基于改进灰狼算法的多任务优化算法.pdf

基于改进灰狼算法的多任务优化算法史光伟，王启任（天津工业大学 电子与信息工程学院，天津300387）摘要：针对已有多任务优化算法寻优精度受限、计算时间成本过高等问题，提出一种基于改进灰狼算法的多任务优化算法（improved grey wolf algorithm based multitask optimization algorithm，IGWMTO）。该算法采用灰狼算法代替典型多任务算法中的遗传算法，计算个体的因素等级和技能因子实现狼群分类，并以此更新个体隶属任务，引入扰动因子和动态权重改善狼群个体的更新方式。仿真测试结果表明：相比于传统多任务优化算法，所提算法在4个优化问题上的寻优精度的提升均超过了4.8%，计算耗时降低了70%以上。关键词：多任务优化；群体智能优化算法；灰狼算法；寻优精度中图分类号：TP18文献标志码：A文章编号：员远苑员原园圆源载（圆园23）园5原园园81原06收稿日期：2022-06-02基金项目：天津市自然科学基金资助项目（19JCQNJC03300）；天津市研究生科研创新项目（2020TJSS014）通信作者：史伟光（1985），男，博士，副教授，主要研究方向为射频定位，群体智能感知计算。E-mail：Improved grey wolf algorithm based multitask optimization algorithmSHI Weiguang，WANG Qiren（School of Electronics and Information Engineering，Tiangong University，Tianjin 300387，China）Abstract：Aiming at the problems of limited optimization accuracy and high computational time of existing multi-task opti鄄mization 渊MTO冤 algorithms袁 an improved grey wolf algorithm based multitask optimization algorithm 渊IGWM鄄TO冤 is proposed袁which utilizes the grey wolf algorithm instead of the genetic algorithm in the typical multi-taskoptimization algorithm.The factor level and skill factor of the individual are calculated to achieve wolf group clas鄄sification and update the individual membership task.Then袁 the disturbance factors and dynamic weight are in鄄troduced to improve the update method of individual wolves.The simulation results show that袁 compared with thetraditional multi-task optimization algorithm袁 the proposed algorithm improves the optimization accuracy by morethan 4.8%on all four optimization problems袁 and the computational time reduces by more than 70%.Key words：multi-task optimization曰 swarm intelligence optimization algorithm曰 gray wolf algorithm曰 optimization accuracy近年来，多任务优化（multi-task optimization，MTO）1-6已经成为智能优化领域的新兴研究方向，MTO关注如何同时解决多个优化问题并提高独立解决各问题的性能，在图像处理7、路径规划8和互联网9等领域MTO技术已经展现出优势。进化多任务方法10和多因素优化方法11是多任务优化的两类重要分支。由Ong等5提出的感知多任务算法（cognitive multita-sking algorithm，CMA）是进化多任务的典型代表，其能够在统一的基因型空间中进行跨域多任务优化。由Gupta等4提出的多因素进化算法（multi-factorial evo-lutionary algorithm，MFEA）是多因素优化的典型代表，该算法利用遗传算法来实现了不同任务之间的信息交互以及个体的更新。相比于CMA算法，MFEA通过发挥任务之间潜在的互补性来实现知识共享，具有更好的寻优性能。2017年，深圳大学Chen等12提出了一种基于协同进化模因算法的进化多任务单目标优化算法。该算法提出了一种基于准牛顿的局部搜索方法，显著提高了收敛速度。2018年，华南理工Chen等13提出了一种基于模因多目标差分进化的多任务优化方法。该算法的关键思想是使用多个子种群来解决多个任务，每个子种群专注于解决单个任务。2020年，南方科技大学LYU等14提出了一种基于头脑风暴的多任务优化算法，该算法通过所提出的头脑风暴操作实现各组成任DOI：10.3969/j.issn.1671-024x.2023.05.011第42卷第5期圆园23年10月Vol.42No.5October2023天津工业大学学报允韵哉砸晕粤蕴 韵云 栽陨粤晕GONG 哉晕陨灾耘砸杂陨栽再天津工业大学学报第42卷务的优化和不同任务之间的知识转移。以上所提到的算法都是基于MFEA进行改进的，大都存在寻优精度受限、计算耗时长的问题。基于上述问题，本文提出一种基于改进灰狼算法的多任务优化算法（improved grey wolf algorithm basedmulti-task optimization algorithm，IGWMTO）。该算法采用灰狼算法（GWO）取代MFEA中的遗传算法（GA），并引入抗扰因子和动态权重参数来对狼群个体进行更新，以期进一步提高多任务优化算法的优化性能。1基本原理1.1多任务优化在多任务场景中，通常存在一些有用知识可以用来解决某任务问题，同时也有助于求解其他任务问题15。因此，通过将多个任务问题以某种方式进行关联，将有助于改善寻优精度和寻优效率。给定一个具有k个任务的MTO问题，在不失一般性的情况下，假设所有任务都是单目标、无约束的最小化问题。定义第j个任务为Tj，其目标函数为fj：Xj寅R。其中Xj为Dj维度的解决空间，R为实数域。MTO的目标是为k个任务找到全局最优值，即xjo=argminx沂Xjfj（x）j=1，2，k（1）若在特定任务的解决空间上施加了约束条件，则需将约束函数与任务的目标函数一起考虑优化。1.2MFEA算法MFEA的核心思想是利用n个个体的种群pop=pini=1来同时寻找k个任务的全局最优值，其中pi表示种群中的个体。MFEA算法主要由3个部分组成：种群初始化、遗传机制和选择性评价16。对于种群初始化，定义第j个任务的维度为Dj，定义维度等于maxDj的统一搜索空间Dmultitask。在初始化过程中，每个个体都被赋予一个由Dmultitask随机变量组成的向量17。同时，MFEA提出以下定义用于评估每个个体的特征。（1）因素代价：每个个体在所有任务上的因素代价追被定义为追=姿啄+f（2）式中：姿为惩罚因子；啄和f为当前个体在该任务上的约束违反总数和目标函数值。（2）因素等级：每个个体在所有任务上的因素等级r是利用追对所有个体进行从小到大的排序的索引。（3）技能因子：每个个体的技能因子子是个体在所有任务中能力最好的任务的索引，即子=arg min r（3）（4）标量适应度：每个个体的标量适应度渍被定义为渍=1/minj沂(1，k）rj（4）（5）多因素最优：如果个体pi是k个任务的全局最优，则称其为多因素最优。对于遗传机制，MFEA采用选择性交配和选择性模仿2种方法实现信息在不同任务之间的转移，并通过随机交配概率来平衡搜索空间的开发和探索。在选择性评估过程中，MFEA采用一种垂直文化传播方法来对种群个体进行评估，该方法允许后代模仿上一代的技能因子，进而减少了计算成本18。1.3灰狼算法灰狼算法19对狼的社会等级进行数学建模，将最优个体定义为琢狼，第二优和第三优的个体分别定义为茁狼和酌狼，其余剩下个体为棕狼。灰狼算法利用琢狼、茁狼和酌狼的位置信息对狼群个体进行更新迭代，从而完成最优解的寻找，即针对猎物的包围过程。上述思想可建模为X（t+1）=Xp（t）-AD（5）D=|CXp（t）-X（t）|（6）式中：t为当前迭代次数；A和C为系数向量；Xp为猎物位置向量；X为灰狼位置向量；D为当前位置与猎物之间的距离。系数向量A和C可表示为：A=2ar1-a（7）C=2r2（8）在迭代过程中，向量a由2线性下降到0，而r1和r2为0,1中的随机向量。D琢、D茁和D酌分别表示当前候选灰狼与最优3头狼之间的距离，且有D琢=|C1X琢-X|D茁=|C2X茁-X|（9）D酌=|C3X酌-X|式中：X琢、X茁和X酌分别为琢、茁和酌狼的位置向量；X为灰狼的位置向量。进一步，狩猎过程可建模为X（t+1）=X1+X2+X33（10）其中X1=X琢-A1D琢X2=X茁-A2D茁（11）X3=X酌-A3D酌2基于改进灰狼算法的多任务优化算法本文所提IGWMTO算法的工作流程如图1所示。82-第5期相比于MFEA算法，本文IGWMTO算法的优势主要体现在以下方面：（1）采用灰狼算法代替MFEA算法的遗传算法，利用个体在所有任务上的技能因子和因素等级来对狼群进行分类，并利用适应度值动态更新个体隶属任务。（2）引入狮群优化算法中的抗扰因子20，增大了灰狼随机游走初期的范围，加强了全局勘探能力，使琢狼、茁狼和酌狼的位置更新具有一定的随机性，进而提高种群的多样性，并且有效避免了陷入局部最优的问题，从而得到最优解。（3）基本GWO算法通过计算3个最佳灰狼位置的平均值来更新灰狼位置，这种策略并没有考虑3头狼在群体狩猎活动中的贡献度问题。由于GWO算法的琢狼并不一定是全局最优解，这时在不断迭代中，随着其余棕狼向这3头狼逼近，容易陷入局部最优。本文算法引入动态权重参数来平衡全局搜索和局部搜索的相互影响，可进一步提高算法收敛速度和精度。IGWMTO算法的具体步骤主要包括以下部分。步骤1：随机生成N个个体，并对所有个体进行初始化处理。步骤2：计算每个个体在所有任务上的适应度值并构建矩阵，其可以表示为M=m11m12m1Nm21m22m2Nmk1mk2mkN杉删山山山山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫衫衫衫（12）式中：k为任务数量，矩阵元素为每个个体针对某个任务的适应度值。步骤3：将矩阵中每一行的元素进行排序，并提取每个个体在任务上的排序索引值构建因素等级向量，其向量n=（n1，n2，nk）内部元素为该个体在所有任务上的因素等级，其中最小元素所对应的任务为该个体的技能因子浊（浊沂1，2，k）。步骤4：根据该技能因子对狼群进行分类，将排序前三的索引对应的个体分别记作该任务上的琢、茁和酌狼，可以获得其位置向量X琢、X茁和X酌。步骤5：在对狼群个体进行更新迭代时，考虑到琢狼具有很强的局部搜索能力，但容易使得种群陷入局部最优。因此，引入狮群优化算法的扰动因子，使得狼群个体更新保持一定随机性，扩大搜索范围并避免算法过早收敛。进而将式（11）修正为：X1=（X琢-A1D琢）棕1X2=（X茁-A2D茁）棕2（13）X3=（X酌-A3D酌）棕3式中：棕1为成年狮子比例因子且是（0，1）中的一个随机数，为使算法收敛更快，值一般小于0.5。棕2为母狮扰动因子，其定义为棕2=sexp-30tT蓸蔀10（14）s=0.1（h-l）（15）式中：s表示狮子在活动范围内移动的最大步长；l和h分别表示狮子运动范围空间各维度的最小均值和最大均值；T为最大迭代次数；t为当前迭代次数；棕3为幼狮干扰因子，其可以表示为：棕3=sT-tT蓸蔀（16）式中：T为最大迭代次数；t为当前迭代次数。在上述公式中，棕2和棕3的步长均设为1。步骤6：计算当前迭代次数下的狼群个体适应度值。由式（10）可知，典型灰狼算法棕狼受当前迭代次数占主导地位的灰狼（琢、茁和酌狼）影响。但是，考虑到琢、茁和酌狼的能力存在差异，并且随着迭代次数的增加，棕狼会受到琢、茁和酌狼的动态影响。因此，为了平衡全局搜索和局部搜索之间的相互影响，本文引入动态权重参数C21来更新种群的个体值，其计算公式为X（t+1）=X1+X2+X33+C（17）开始初始化种群个体预处理及其信息更新计算个体适应度值、因素等级和技能因子根据技能因子进行分类根据因素等级确认所有任务中的琢、茁和酌狼引入扰动因子对种群个体进行更新引入动态权重参数计算适应度值动态更新个体所在任务结束是否达到最大迭代次数否是图1IGEMTO算法流程图Fig.1Flow diagram of IGWMTO史伟光，等：基于改进灰狼算法的多任务优化算法83-天津工业大学学报第42卷表2MFEA和IGWMTO在不同问题中的结果Tab.2Results of MFEA and IGWMTO on different problems问题任务MFEAIGWMTO最佳适应度值均值方差最佳适应度值均值方差Ackley2.055 1410.471 741.187 71.122 579.371 141.692Sphere2.76伊10-183.249 5伊10-182.559 3伊10-372.26伊10-182.601伊10-181.272伊10-37Griewank4.302 75.396 11.008 11.137 83.383 318.725Schwefel0.994 41 148.362 411 585 906.336 40.239 411 276.941 869 287 497.241 44Ackley3.221 27.019 811.925 90.710 38.164 929.531 9Rastrigin19.899 282.734 22 843.048 518.904 388.948 33 445.181 4Sphere3.80伊10-184.032 3伊10-181.913 2伊10-373.39伊10-183.575 7伊10-186.063 3伊10-38Weierstrass12.569 419.469 231.404 69.257 116.793 237.965 43Rosenbrock68 313.71880 197 403.941 11.012 9伊101742 089.84781 610 691.692 31.156 1伊10172Weierstrass12.407 215.779 230.741 57.435 714.814 355.294 31Rastrigin15.919 387.059 93 627.58213.399 279.286 43 349.480 2010030代数50（b）Rastrigin函数25020015010050020401060709080MFEAIGWMTO010030代数50（a）Ackley函数2018161412108642020401060709080MFEAIGWMTO图2MFEA和IGWMTO在问题1上的收敛趋势Fig.2 Convergence trends for MFEA and IGWMTO onproblem 1图3MFEA和IGWMTO在问题2上的收敛趋势Fig.3Convergence trends for MFEA and IGWMTO onproblem 2代数（a）Sphere函数010030506.56.05.55.04.54.03.53.02.52.020401060709080MFEAIGWMTO代数（b）Weierstrass函数0100305040353025201510520401060709080MFEAIGWMTO式中：C为一个随机向量，其范围为0，1。步骤7：根据式（17）计算当前迭代次数下个体在所有任务上的适应度值并进行对比。若相较于原始任务，该个体在另一任务上的适应度值更好，则需动态更新该个体所属任务，并围绕该任务的头狼继续更新。步骤8：对所有任务中的头狼进行更新，重复上述步骤，直到最大迭代次数。3实验及结果分析本文将种群规模与迭代次数都设为100，在Ben-chmark测试函数上对所提算法进行测试，表1为测试函数设置情况，且令各维度的搜索空间相同。选取MFEA作为参照进行对比，令2种算法分别在多个不同的优化问题上进行寻优迭代，并将统计结果记录于表2中，针对所有的优化问题，给出了MFEA和本文算法运行100次的最佳适应度值、均值和方差。将每个问题所对应的收敛曲线绘制于图2图5。表1Benchmark测试函数Tab.1Benchmark test functions函数名维度范围Ackley50-100，100Rastrigin50-50，50Sphere50-100，100Weierstrass25-0.5，0.5Griewank50-100，100Schwefel50-500，500Rosenbrock50-50，5084-第5期010030代数50（a）Griewank函数30252015105020401060709080MFEAIGWMTO010030代数50（b）Schwefel函数18 00016 00014 00012 00010 0008 0006 0004 0002 000020401060709080MFEAIGWMTO图4MFEA和IGWMTO在问题3上的收敛趋势Fig.4Convergence trends for MFEA and IGWMTO onproblem 3010030代数50（c）Rosenbrock函数3.02.52.01.51.00.5020401060709080MFEAIGWMTO010030代数50（a）Ackley函数2018161412108642020401060709080MFEAIGWMTO010030代数50（b）Rastrigin函数25020015010050020401060709080MFEAIGWMTO010030代数50（d）Weierstrass函数40353025201510520401060709080MFEAIGWMTO图5MFEA和IGWMTO在问题4上的收敛趋势Fig.5Convergence trend of MFEA and IGWMTO onproblem 4010030代数50（c）Sphere函数987654320401060709080MFEAIGWMTO史伟光，等：基于改进灰狼算法的多任务优化算法由表2可以看出，IGWMTO在4个不同的优化问题中的结果均优于MFEA的寻优结果。上述结果表明，IGWMTO具有良好的快速寻优能力和深度寻优能力。算法运行时间如表3所示。由图2图5可知，相比于MFEA，IGWMTO在所有任务中的曲线下降速度更快，收敛速度和效果更好。由表3可知，IGWMTO在运算速度上也存在优势，相较于MFEA算法，其在4个不同优化问题中的运行时间分别降低了约80.1%、76.8%、74.8%和76.5%。4结束语本文提出了一种新颖且易于实现的基于改进灰狼算法的多任务优化算法，其通过计算个体的因素等级和技能因子来对狼群进行分类并根据适应度值动态更新个体隶属任务，引入狮群优化算法的抗扰因子和动态权重参数来对原始灰狼算法进行改进。该方法表3IGWMTO与MFEA的运行时间Tab.3Running time of IGWMTO and MFEAIGWMTOMFEA115.3477.13217.3774.86323.7694.28432.25137.31问题s85-天津工业大学学报第42卷不仅提高了种群的多样性，而且平衡了全局搜索和局部搜索之间的相互影响，大大提高了算法收敛的精度和速度。与MFEA算法相比，本文IGWMTA算法在4个不同优化问题中的运行时间分别降低了约80.1%、76.8%、74.8%和76.5%。参考文献：1SWERSKY K，SNOEK J，ADAMS R P.Multi-task BayesianoptimizationC/Advances in Neural Information ProcessingSystems 26（NIPS 2013）.Lake Tahoe，NV，USA：NIPS，2013：2004-2012.2郭辉，郭静纯，张甜.基于梯度优化的多任务混合学习方法J.计算机技术与发展，2021，31（10）：7-12.GUO H，GUO J C，ZHANG T.An approach of mixed multi-task learning based on gradient optimizationJ.Computer Te-chnology andDevelopment，2021，31（10）：7-12（inChinese）.3孙怡.组稀疏多任务学习方法及其应用研究D.南京：南京邮电大学，2019.SUN Y.Group sparse multi-task learning method and its appli-cationD.Nanjing：Nanjing University of Posts and Telecom-munications，2019（in Chinese）.4GUPTA A K，ONG Y S，FENG L.Multifactorial evolution：To-ward evolutionary multitaskingJ.IEEE Transactions on Evolu-tionary Computation，2016，20（3）：343-357.5ONG Y S，GUPTA A.Evolutionary multitasking：A computerscience view of cognitive multitaskingJ.Cognitive Computa-tion，2016，8（2）：125-142.6DA B S，ONG Y S，FENG L，et al.Evolutionary multitaskingfor single-objective continuous optimization：Benchmark pro-blems，performancemetric，andbaselineresultsEB/OL.2019-01-06.https：/arxiv.org/abs/1706.03470.7ZHOU Z，CAO Z J，ZHANG Y L，et al.Weight optimizationfor multi-task sparse representation in sar image target recogni-tionC/IGARSS 20192019 IEEE International Geoscienceand Remote Sensing Symposium.Yokohama，Japan：IEEE，2019：9-12.8HUANG M，YAN C，XU X，et al.Model and algorithm for themulti-task routing optimization problem in 4PL C/2009 Chi-nese Control and Decision Conference.Guilin，China：IEEE，2009：3094-3098.9WANG B，ZHANG Y S，XIONG X，et al.A multi-task opti-mization method based on event semantics in embedded wire-less networkC/2008 27th Chinese Control Conference.Kun-ming，China：IEEE，2008：544-547.10 ZHENG X L，LEI Y，QIN A K，et al.Differential evolutionarymulti-task optimizationC/2019 IEEE Congress on Evoluti-onary Computation（CEC）.Wellington，New Zealand：IEEE，2019：1914-1921.11 LIU R C，YANG P，LYU H Y，et al.Multi-objective multi-factorialevolutionaryalgorithm forcontainerplacementJ.IEEETransactions on Cloud Computing，2021（99）：1.12 CHEN Q J，MA X L，ZHU Z X，et al.Evolutionary multi-tasking single-objective optimization based on cooperative co-evolutionary memetic algorithmC/2017 13th InternationalConference on Computational Intelligence and Security（CIS）.Hong Kong，China：IEEE，2018：197-201.13 CHEN Y L，ZHONG J H，TAN M K.A fast memetic multi-objective differential evolution for multi-tasking optimizationC/2018 IEEE Congress on Evolutionary Computation（CEC）.Riode Janeiro，Brazil：IEEE，2018：1-8.14 LYU C，SHI Y H，SUN L J.A novel multi-task optimizationalgorithm based on the brainstorming processJ.IEEE Access，2020，8：217134-217149.15 ZHENG X L，QIN A K，GONG M G，et al.Self-regulatedevolutionary multitask optimizationJ.IEEE Transactions onEvolutionary Computation，2020，24（1）：16-28.16贾雪阔.基于正则化的半监督多任务学习算法研究D.昆明：云南大学，2019.JIA X K.Research on semi-supervised multi-task learningbased on regularizationD.Kunming：Yunnan University，2019（in Chinese）.17 GONG M G，TANG Z D，LI H，et al.Evolutionary multitask-ing with dynamic resource allocating strategyJ.IEEE Transac-tions on Evolutionary Computation，2019，23（5）：858-869.18 YI J，ZHANG W，BAI J R，et al.Multifactorial evolutionaryalgorithm based on improved dynamical decomposition formany-objective optimization problemsJ.IEEE Transactionson Evolutionary Computation，2022，26（2）：334-348.19 MIRJALILI S，MIRJALILI S，LEWIS A.Grey wolf optimizerJ.Advances in Engineering Software，2014，69：46-61.20李彦仓，巩翔宇.基于信息熵的改进狮群算法及其在组合优化中的应用J.电子学报，2021，49（8）：1577-1585.LI Y C，GONG X Y.An improved lion swarm algorithm basedon information entropy and its application in combinatorial op-timizationJ.ActaElectronicaSinica，2021，49（8）：1577-1585（in Chinese）.21姚立强，孙可可，许继军，等.基于动态权重系数法的区域综合干旱指标研究J.长江科学院院报，2021，38（10）：40-47.YAO L Q，SUN K K，XU J J，et al.Regional comprehensivedrought index based on dynamic weight coefficient J.Journalof Yangtze River Scientific Research Institute,2021,38(10):40-47（in Chinese）.本文引文格式：史伟光，王启任.基于改进灰狼算法的多任务优化算法J.天津工业大学学报，2023，42（5）：81-86.SHI W G，WANG Q R.Improved grey wolf algorithm basedmultitask optimization algorithmJ.Journal of Tiangong Univer-sity，2023，42（5）：81-86（in Chinese）.86-