基于强化学习的移动边缘计算资源分配方法.pdf

2 0 2 4年1期2 0 7 2 0 2 4年第4 6卷第1期基于强化学习的移动边缘计算资源分配方法韩宏飞 袁 倩 王益军 徐 磊 徐肃涵作者简介:韩宏飞(2 0 0 1-),本科,研究方向为计算机。(淮阴工学院 江苏 淮安2 2 3 0 0 3)摘 要 当前的移动边缘计算资源分配结构多为单向形式,资源分配效率较低,导致资源分配比下降,文中设计了一种基于强化学习的移动边缘计算资源分配方法,并通过实验验证了其有效性。根据当前的测试需求,首先部署了资源采集节点,然后采用多阶的方式,提升整体的资源分配效率,构建多阶迁移资源分配结构,最后设计了移动边缘计算强化学习资源分配模型,采用动态化辅助协作处理的方式来实现资源分配。测试结果表明,对于选定的5个测试周期,经过3个分配组的测定及比对,最终得出的资源分配比均可以达到5.5以上,这说明在强化学习技术的辅助下,文中设计的移动边缘计算资源分配方法更加灵活、多变,针对性较强,具有实际的应用价值。关键词:强化学习;移动边缘;边缘计算;资源分配;分配方法;资源整合中图分类号 T P 3 1 1.5R e s o u r c eA l l o c a t i o nM e t h o do fM o b i l eE d g eC o m p u t i n gB a s e do nR e i n f o r c e m e n tL e a r n i n gHAN H o n g f e i,YUANQ i a n,WAN GY i j u n,XUL e i a n dXUS u h a n(H u a i y i nI n s t i t u t eo fT e c h n o l o g y,H u a ia n,J i a n g s u2 2 3 0 0 3,C h i n a)A b s t r a c t T h ec u r r e n tm o b i l ee d g ec o m p u t i n gq u o t as t r u c t u r e i sm o s t l yo n e-w a yf o r m,a n dt h eq u o t ae f f i c i e n c yi s l o w,r e s u l t i n g i nad e c r e a s e i nt h eq u o t ar a t i o.A m o b i l ee d g ec o m p u t i n gq u o t am e t h o db a s e do nr e i n f o r c e m e n t l e a r n i n gi sd e-s i g n e d i nt h i sp a p e r,a n d i t se f f e c t i v e n e s s i sv e r i f i e db ye x p e r i m e n t s.A c c o r d i n gt ot h ec u r r e n t t e s t i n gr e q u i r e m e n t s,t h er e s o u r c ea c q u i s i t i o nn o d e i s f i r s td e p l o y e d,a n dt h e nt h em u l t i-o r d e rm e t h o d i sa d o p t e dt o i m p r o v et h eo v e r a l lq u o t ae f f i-c i e n c ya n dc o n s t r u c t am u l t i-o r d e rm i g r a t i o nq u o t as t r u c t u r e.F i n a l l y,t h em o b i l ee d g ec o m p u t i n gr e i n f o r c e m e n t l e a r n i n gq u o t am o d e l i sd e s i g n e d,a n d t h ed y n a m i c a u x i l i a r yc o o p e r a t i v ep r o c e s s i n gm e t h o d i su s e d t o r e a l i z e t h eq u o t a.T h e t e s t r e-s u l t ss h o wt h a t f o r t h e s e l e c t e d 5 t e s t c y c l e s,a f t e r t h em e a s u r e m e n t a n d c o m p a r i s o no f 3a l l o c a t i o ng r o u p s,t h e f i n a l q u o t ar a t i oc a nr e a c hm o r e t h a n5.5,i n d i c a t i n gt h a tw i t ht h ea s s i s t a n c eo f r e i n f o r c e m e n t l e a r n i n gt e c h n o l o g y,t h em o b i l ee d g ec o m p u t i n gq u o t am e t h o dd e s i g n e d i n t h i sp a p e r i sm o r e f l e x i b l e,c h a n g e a b l e,a n dh i g h l y t a r g e t e d,a n dh a sp r a c t i c a l a p p l i-c a t i o nv a l u e.K e y w o r d s R e i n f o r c e m e n t l e a r n i n g,M o v i n ge d g e s,E d g ec o m p u t i n g,R e s o u r c ea l l o c a t i o n,D i s t r i b u t i o nm e t h o d,R e s o u r c ei n t e g r a t i o n0 引言移动边缘计算(ME C)在物联网、人工智能、云计算等技术的辅助下,已成为下一代网络的重要发展方 向1。在ME C系统中,计算资源有限,如何合理地分配计算资源至关重要。为此,本文对基于强化学习的移动边缘计算资源分配方法进行了设计与验证分析。强化学习是一种通过与环境进行交互来学习的机器学习方法,它可以解决具有复杂约束条件的优化问题2。将其与移动边缘计算资源分配工作进行融合设计,可以实现计算资源的优化分配,提高系统性能和用户满意度。此外,该方法通过建立一个多智能体强化学习模型,实现了计算资源的动态分配,以适应不同业务场景的需求。这种形式还可以扩大当前的资源分配覆盖范围,从多个角度来提高分配的质量、效率,同时满足用户的多样化需求,形成更加灵活、多变的资源分类结构,具有一定的理论和实践意义3。1 移动边缘计算强化学习资源分配方法的设计1.1 资源采集节点部署及多阶迁移资源分配结构本文在设计移动边缘计算资源的分配方法时,结合了强化学习技术,从而进行资源采集节点的部署及资源分配结构的设计4。首先,需要确定资源的采集目标,在资源的采集范围内,划分多个资源分配区块,每个区块中均需设置一定的检测节点,节点之间互相搭接,以形成循环式的检测模式5。随后,设计多阶的迁移资源分配结构,如图1所示。2 0 8 2 0 2 4年1期图1 多阶迁移资源分配结构图结合图1,可以实现对多阶迁移资源分配结构的设计与实践分析。当前,多阶资源分配背景并不固定,其可以结合边缘计算需求及标准变化,调整资源分配的对应阶段,以基础分配目标为引导,构建更加具体、完整的分配结构,营造稳定的资源分配环境,为后续的分配执行奠定基础6。1.2 移动边缘计算强化学习资源分配模型的设计结合强化学习技术,构建移动边缘计算资源分配模型。将上述设计的资源分配结构导入初始的分配模型中,设定基础的资源分配引导目标,构建对应的模型资源分配条件,具体如下所示。(1)单向资源分配模式。(2)资源分配目标关联、分配存储。(3)任务需求引导,进行资源通信、传输及应用。结合设定的模型资源分配条件,综合强化学习技术,设计移动边缘计算资源分配模型流程,如图2所示。图2 移动边缘计算资源分配模型流程结合图2,可以实现对移动边缘计算资源分配模型的设计。定义强化学习边缘计算资源分配环境,在移动边缘计算中,将 任 务 分 配 给 边 缘 服 务 器 或 移 动 设 备,同 时 选 择S A R S A,D e e pQ-n e t w o r k等强化学习算法来进行辅助分配,计算出最优的资源分配比,如式(1)所示:O=2-(+V)(1)其中,O表示最优资源分配比,表示分配均值,表示学习差值,V表示重叠强化学习比。通过式(1)获得最优资源的分配比,也可将其设定为模型的资源分配判定标准,以进行资源分配7。1.3 动态化辅助协作处理实现资源分配为优化资源分配效果,在得到最优资源分配比后,可引入动态化辅助协作处理的方式来实现资源的最优分配。首先,结合得出的数据、信息,提取资源分配任务的特性,设计动态化的辅助分配结构。需要注意的是,在资源分配动态化辅助协作的过程中,需要考虑任务特性的变化及系统的运行状态,以动态地调整资源分配策略,此时可以先计算出动态化特征值,如式(2)所示:i=+g-(h+1)2(2)其中,i表示动态化特征值,表示动态识别范围,表示边缘计算可控差值,h表示协作目标,h表示目标函数。结合得出的动态化特征值,对资源分配的目标进行归类,并测算出资源分配绝对差,如式(3)所示:O=-B+E2+(3)其中,O表示资源分配绝对差,表示协同分配总范围,B表示协同 分 配 限 值,E表 示 响 应 时 间,表 示 重 复 识 别区域。将得出的资源分配绝对差设定为动态化辅助协作处理的标准,同时结合上文得到的最优资源分配比,通过辅助协作的方式来协调不同任务的资源分配机制,以确保系统的稳定性和高效性。然后,根据优化后的资源分配策略和辅助协作处理结果,将任务分配到相应的资源上,以确保资源分配任务的最终实现。2 方法测试本文对基于强化学习的移动边缘计算资源分配方法的实际应用效果进行了分析与验证研究。考虑到最终测试结果的真实性与可靠性,采用比对的方式展开了分析。利用专业的装置及平台对当前的实践应用信息进行汇总整合,以待后续使用,然后结合强化学习技术原理,搭建移动边缘计算资源分配方法测试环境。2.1 测试准备结合强化学习技术,设置与关联移动边缘计算资源分配方法的测定环境。首先,明确当前的资源分配处理范围,并将资源分配划分为多个节点,节点之间会互相搭接、关联,以形成一个循环的分配处理结构。随后,在当前的测试程序之中,接入移动边缘计算系统,并在节点的区域之内设置对应的基站和数据中心,将光纤网络与一个边缘服务器相连,使基站呈现出蜂窝状的分布模式。设置4个边缘服务器,资源移动信息2 0 2 4年1期2 0 9 分配范围设定为4.1 92 0.1 4 GH z。移动设备的计算能力范围应控制在1 2 04 6 0 MH z。此时,选定G网络作为计算资源的分配源,并设置基础测试指标及控制参数,如表1所列。表1 资源分配基础测试指标及控制参数设置表资源分配基础测试指标名称实际参数标准值可控边缘范围分配节点数量/个1 21 8延迟/s0.1 60.2 5分配周期/h71 4边缘差值3.2 12.0 5移动资源分配比1 6.3 51 5.2 4结合表1,可以实现对资源分配基础测试指标及控制参数的设置。随后,基于实际的测定需求,结合强化学习原理,测算出当前的适应度函数,如式(4)所示:D=U=1E U+S2S(a+1)U(4)其中,D表示适应度函数,E表示基站覆盖距离,U表示延迟,S表示周期分配次数,表示适应分配范围,表示学习可控差,a表示学习均值。结合当前测试,以适应度函数为学习资源分配标准,完成测试环境的搭建。2.2 测试过程及结果分析在上述搭建的测试环境之中,结合强化学习技术,对选定的G网络移动边缘计算资源分配方法进行测定与验证。首先,搭接与关联设定的节点、移动设备、基站等,采用正态分布的方式,通过路由器、交换机等进行资源的采集、整合及处理。设置当前计算资源的数据大小为2 2 0 K B,3.5 M B,计算周期数需求为61 4,81 2 9,移动边缘资源分配的周期为5个,每周期1 4 h。在当前的测试环境中,在各个周期内采集数据、信息,设定3组资源分配指令,导入测试程序之中,先计算出单向资源分配频率,如式(5)所示:K=R2d(5)其中,K表示单向资源分配频率,R表示资源整合比,表示边缘可控差值,表示定向分配次数,d表示资源分配范围。结合当前测试,调整系统的资源分配频率,随后在选定的5个周期之内,针对下达的3组资源分配指令,进行资源分配比的计算,如式(6)所示:S=2Y=1SY-C(6)其中,S表示资源分配比,表示分配均值,s表示资源感应范围,Y表示资源分配频次,C表示分配差。结合当前测试,实现对测试结果数据的分析,得到的结果如表2所列。表2 测试结果数据比对分析表测试周期资源分配组1资源分配比资源分配组2资源分配比资源分配组3资源分配比周期15.6 28.5 47.1 6周期27.5 26.3 38.0 5周期36.9 46.2 58.6 4周期48.1 65.6 79.1 6周期56.3 89.4 56.5 4结合表2,可以得出以下结论。针对选定的5个测试周期,经过3个分配组的测定及比对,最终得出的资源分配比均可达到5.5以上。这说明在强化学习技术的辅助下,本文设计的移动边缘计算资源分配方法更加灵活、多变,针对性较强,具有实际的应用价值。3 结语与初始的移动边缘计算资源分配方法相比,本文结合强化学习技术设计的移动边缘计算资源分配模式更加灵活、多变,具有较强的稳定性与针对性。此外,强化学习的辅助可以大幅增加计算资源分配的精准度,消除大部分分配误差,扩大边缘计算资源动态分配的实际覆盖范围,进一步提高算法性能,以更好地解决目前面临的资源分配问题,满足不断增长的计算需求和多样化的业务场景。参考文献1李云,高倩,姚枝秀,等.移动边缘计算中智能服务编排和算网资源分配联合优化方法J.通信学报,2 0 2 3,4 4(7):5 1-6 3.2鲜永菊,宋青芸,郭陈榕,等.计算资源受限ME C中任务卸载与资源分配方法J.小型微型计算机系统,2 0 2 2,4 3(8):1 7 8 2-1 7 8 7.3冯北鹏,黄昱泽,曹宇慧,等.基于深度强化学习的移动边缘计算资源分配策略J.信息与电脑(理论版),2 0 2 3,3 5(1):4 4-4 6,5 0.4叶迎晖,施丽琴,卢光跃.无线供能移动边缘网络中计算时延最小化资源分配方法研究J.电子与 信息 学 报,2 0 2 2,4 4(5):1 8 3 9-1 8 4 6.5贺喜梅,赵宜升,徐志红,等.UAV协助的能量收集ME C系统资源分配方法J.西安邮电大学学报,2 0 2 2,2 7(3):2 1-2 9.6邹璐珊,黄晓雯,杨敬民,等.移动边缘计算中资源分配和定价方法综述J.电信科学,2 0 2 2,3 8(3):1 1 3-1 3 2.7张静茹.5 G移动边缘计算一体化设备及算力资源分配方法研究J.现代信息科技,2 0 2 1,5(2 2):5 4-5 6.移动信息