基于多元回归算法的PaaS平台资源自动化分配方法.pdf

第 卷第期年月计算技术与自动化C o m p u t i n gT e c h n o l o g ya n dA u t o m a t i o nV o l ,N o J u n 收稿日期:基金项目:青海省科技大数据P a a S平台建设资助项目(Z J T )作者简介:刘鲤君(),男,河南新乡人,本科,高级工程师,研究方向:信息技术应用与管理.通信联系人,E m a i l:g y a c o m文章编号:()D O I:/j c n k i j s j s y z d h 基于多元回归算法的P a a S平台资源自动化分配方法刘鲤君,丁红,祁鸿燕,杜丽华,宋飞(青海省测试计算中心有限公司,青海 西宁 )摘要:针对P a a S平台下资源离散性过强、数据量过大导致的分配不均问题,提出了一种基于多元回归的自动化分配算法实现有效解决.统计所有资源数据样本,利用多元回归算法计算观测序列中残差平方和最小的样本集,代入损失函数中求出损失差值,得到最小损失值,根据梯度下降规律寻找集合中梯度值最优样本,以该样本作为分配参照.设立一套内容为分配与参考样本值相关度最高的资源数据约束条件,不断迭代计算直至求得所有符合约束条件的资源,将符合条件的为一组分配,剩余为另一组分配.根据资源的时间和位数的分布序列,不断实施离散捕捉查找残留资源,再实施二次分配.仿真实验证明,所提方法分配后P a a S平台资源吞吐量增加,消耗代价减少,算法分配时间较低,整体实用能力强.关键词:多元回归算法;梯度下降规律;损失函数;约束条件;分配参照样本中图分类号:T P 文献标识码:AA u t o m a t i cR e s o u r c eA l l o c a t i o nM e t h o do fP a a SP l a t f o r mB a s e do nM u l t i p l eR e g r e s s i o nA l g o r i t h mL I UL i j u n,D I NG H o n g,Q IH o n g y a n,DUL i h u a,S ONGF e i(Q i n g h a iT e s t a n dC a l c u l a t i o nC e n t e rC o,L t d,X i n i n g,Q i n g h a i ,C h i n a)A b s t r a c t:A i m i n ga t t h eu n e v e nd i s t r i b u t i o no f r e s o u r c e s c a u s e db ye x c e s s i v ed i s c r e t e n e s so f r e s o u r c e s a n d l a r g ea m o u n to fd a t au n d e r t h eP a a Sp l a t f o r m,a na u t o m a t i ca l l o c a t i o na l g o r i t h mb a s e do nm u l t i p l er e g r e s s i o ni sp r o p o s e dt oe f f e c t i v e l ys o l v e t h ep r o b l e m C o u n t a l l r e s o u r c ed a t as a m p l e s,u s et h em u l t i p l er e g r e s s i o na l g o r i t h mt oc a l c u l a t et h es a m p l es e tw i t ht h es m a l l e s t r e s i d u a l s u mo f s q u a r e s i nt h eo b s e r v a t i o ns e q u e n c e,a n ds u b s t i t u t e i t i n t ot h el o s sf u n c t i o nt oo b t a i nt h el o s sd i f f e r e n c e,o b t a i n t h em i n i m u ml o s s v a l u e,a n d f i n d t h eo p t i m a l s a m p l e o f t h eg r a d i e n t v a l u e i n t h e s e t a c c o r d i n g t o t h eg r a d i e n td e s c e n t l a w,u s i n gt h i ss a m p l ea st h ea l l o c a t i o nr e f e r e n c e S e tu pas e to fr e s o u r c ed a t ac o n s t r a i n t sf o ra l l o c a t i n gt h eh i g h e s t c o r r e l a t i o nw i t ht h er e f e r e n c es a m p l ev a l u e,a n d i t e r a t i v e l yc a l c u l a t eu n t i l a l l t h er e s o u r c e s t h a tm e e t t h ec o n s t r a i n t sa r eo b t a i n e d T h eq u a l i f i e do n e sa r ea l l o c a t e dt oo n eg r o u p,a n dt h er e s ta r ea l l o c a t e dt oa n o t h e rg r o u p A c c o r d i n gt ot h et i m ea n db i td i s t r i b u t i o ns e q u e n c eo f r e s o u r c e s,d i s c r e t ec a p t u r e i sc o n t i n u o u s l y i m p l e m e n t e dt o f i n dr e s i d u a l r e s o u r c e s,a n dt h e ns e c o n d a r ya l l o c a t i o ni si m p l e m e n t e d S i m u l a t i o ne x p e r i m e n t ss h o wt h a tt h eP a a Sp l a t f o r mr e s o u r c et h r o u g h p u t i si n c r e a s e da f t e r t h ep r o p o s e dm e t h o d i s a l l o c a t e d,t h e c o n s u m p t i o nc o s t i s r e d u c e d,t h e a l g o r i t h ma l l o c a t i o n t i m e i s l o w,a n d t h eo v e r a l lp r a c t i c a l a b i l i t y i ss t r o n g K e yw o r d s:m u l t i p l er e g r e s s i o na l g o r i t h m;g r a d i e n td e s c e n t l a w;l o s s f u n c t i o n;c o n s t r a i n t s;a l l o c a t er e f e r e n c es a m p l e s近几年云计算的发展速度可谓是日新月异,以过强的数据容纳能力和计算能力的资源服务方式第 卷第期刘鲤君,等:基于多元回归算法的P a a S平台资源自动化分配方法取得大众的青睐,各种计算类的资源平台应运而生.云计算一般分为三大资源层次,分别为:I a a S(基础服务建设)、P a a S(平台即服务)、S a s S(软件即服务).其中,P a a S是最为重要的,作为中间层次它需要起到承上启下的作用,帮助应用程序提供各种虚拟服务和操作部署功能.但由于数据量的不断增长,为提高P a a S平台运行效率和处理能力,需要一种自动化分配方法根据资源类别进行详细划分,方便查找与管理.为此,文献 提出一种基于云端架构的虚拟资源分配方法.计算每个资源节点在虚拟密集模型中的表现维度,得出不同虚拟机分配优先级,凭借最大优先级序列实施资源分配.但由于节点数据过大且不易控制,维度计算的方式容易产生过大误差.文献 则是采用面向实时任务网络资源分配算法.通过建立目标约束模型,求得资源数据在模型中的任务完成时间,按照任务完成最短时间和优先级顺序实现分配.但数据在约束模型中容易出现影响,导致算法易陷入僵局,从而影响分配效果.综合上述问题,采用一种基于多元回归算法的自动化分配方法,可将资源变量的变化程度线性表达,计算所有资源样本中梯度值最优、损失函数最小的样本值作为中心样本点,以该样本作为参考进行分配.将低因参照样本错误导致分配误差较大的问题,整体分配过程逻辑表达清晰,目标明确,实现了精准分配.基于多元回归算法的资源变量相关性确定在进行资源分配前需对资源的变量相关性进行判定,后续分配算法可根据变量特征值进行系统分类.多元回归算法是一种以数学理论为基础的多元性统计算法,通过分析大量的历史数据或观测值来确定每个资源变量间的特征相关性.在存在多个变量值或受外界影响较大时,多元回归算法也能保证分配的精准.假设,需要确定的资源样本值为,变量值为,样本数量为m,n表示大于的常数,则第i组资源 的 观 测 序 列为(i,i,m i,i)i,n.多元回归模型为:aa a ammaa a ammnaananamn m()式中,a表示相关特征变量,为了便于相关性计算,将变量值替换为:aaaamtmtX m mnnn m()式中,X表示变量值的权重矩阵;t表示检测时间.将公式()中的变量值提取计算,根据多元回归模型可得到:a X()在基于多元回归的资源变量相关性计算模型中,根据衡量拟合误差标准,来确定每个资源变量的最小残差平方和,该值为集合中变量中心度最高的值,与其他变量值间的相关度最高.由于残差值会存在损失概念,通过损失函数求得最终值,函数Q(x)为:Q(x)nttnt(XtXt)nt(XtaXt aXt amXtm)()式中,t表示实测值;am表示第个资源数据特征在(i,i,m i,i)(i,n)中的相关性权重.公式()中,将求得的损失函数值进行求导抵消,令o()oa()aiaiami m,得到更新后的损失函数Q(a)为:Q(a)nt(oa()i)()对于变量来说,其存在一定的动态变化能力,即使求得最小残差的样本点,随着数据量的增加或时间的推移,每个资源的变量值都可能随之发生变化.本文通过梯度下降规律,推导残差方程和最小集合中梯度值最优的资源样本,以该样本点作为最终中心点,与周围资源数据之间的相关度最高,根据 其与每个资 源的具体相 关度实施准 确分类.在梯度下降算法中,每个资源的梯度方向是变化最为明显的指标,令Q(a)值最小,梯度方向应该为与导数方向相反,即:ajajajQ(a)()式中,表示梯度学习速率;表示梯度方向;aj表 示 第j个 资 源 方 向 下 的 梯 度 值.对ajQ(a)进行求导后,梯度计算公式演变为:ajaj(y(i)ha(x(i)x(i)j()计算技术与自动化 年月根据每个参数求得梯度变化后的最终方向,推导得出最终优化值aj为:ajajni(y(i)ha(x(i)x(i)j()此时,根据式()即可计算所有资源样本中,最优梯度aj最高,损失函数Q(a)的资源样本,该样本与其他点间的相关度,将其作为分配参考点,进行分配时的属性匹配度最高、收敛速度最快,效果最佳.P a a S平台资源自动化分配模型构建 相关性资源分配算法所有的分配方法都是一个不断迭代查找最优解的过程,每次分配后,当P a a S平台每个资源集的数据符合预先设定的需求时,就可结束迭代,服务性能也能得到一次提升,此时,求得的分配方案就是平台所需要的方案.假设,一次分配动作为B P,分配资源设为P,在根据上述相关性进行查找时,可将分配动作描述为B P,B P,B Pn,;平台得到的对应资源为P,P,Pn,.对分配执行过程设立约束条件:PnPn,n()如果设在前提条件Pk下,实施一次分配时包含资源P的概率为R Pk,那么,此时分配的约束条件为:R Pk,k()式中,k表示分配次数;表示与之间存在的最小差值;表示差值参考系数.当一次分配过程满足约束条件时,可有:R a l l o cPk,k()式中,R a l l o c表示性能最佳的预设分配方案.公式()必须要求分配的资源数据随分配次数逐渐递增,否则得到的 结果会陷入 缺失局部 最优中,出现多次分配但结果相同的局面.式()代表当第k次分配时,对资源P的分配概率符合预先设定的性能最佳方案时,分配次数k必须满足的最小值.如果用e f f e c t i v e B Pi表示第i次进行资源分配所得到的实际分配效率,那么则有:e f f e c t i v e B Pi m a x(B Pi)()即e f f e c t i v e B PiB Pi,考虑到:B PjB Pi,j()在该算法中,每进行一次迭代,都需要寻找最优的资源配置项,找到单位资源增量中获取最大效益的选项,此时进行资源分配得到的效用增量值最大,i(C)计算公式为:i(C)xiCNi(uiCk)xiCNk(jiCk)()式中,xi表示第i次分配任务时得到的效用增量;ui表示第i次分配任务时消耗的效用增量;Ck表示,当xii ui时,分配算法的效用增量值最大,分配效果最佳.在不断地迭代分配过程中,需要根据实际情况设立相符的约束条件,不断逼近最优值,求得分配结果.当资源分配情况满足该公式时,说明此时的分配结果符合预设的性能需求,还会节省相应的资源耗用.在面对P a a S平台中各种各样的资源数据时,都能参照公式()和式()完成有效自动化分配.残留资源分配算法考虑到因数据量过大或其他因素影响而出现未分配完全的情况,形成残留资源,所以,为保证分配的完整合理,将利用线性离散法 对残留资源进行二次分配.设残留 资 源 样 本 为rl,待 二 次 分 配 个 数 为M;残留资源种类数值为l,此时,第i次分配时残留资源中的剩余数据量为ri,记作:rieiei(bj),eim a xej(bj)ei(bj)()式中,ei、ej分别表示第i、j次初始分配后资源的权重值;bj表示残留资源与原始资源之间的相关度.以平台资源分配性能最大化为目标,将残留资源分配问题变换为线性问题:m a xMiriMiPi rir,Nbjrim a xi,N()式中,N表示变量个数;N表示输入的资源数据位数.把残留资源问题看作是线性规划问题,将所有残留资源用一个连续的子集来表示,计算每一次迭代时每个残留资源所需要的时间、位数以及相关度值.按数值大小依次进行数字标记,构成一组向量集,对离散向量集与一次分配集相关度最高的资源,利用上述方法再进行二次分配,直至残留资源无剩余.整个资源分配流程如图所示.第 卷第期刘鲤君,等:基于多元回归算法的P a a S平台资源自动化分配方法图残留资源二次分配流程仿真实验 实验环境将金融云P C端应用程序作为实验对象,该应用包含的数据量大、种类齐全,计算类服务程序占比较大,P a a S平台在其中提供数据处理、程序及网络访问功能,平台收集处理的资源基数大,可供自动化分配方法开展工作.从中随机挑选一组资源集合作为实验样本,包含 条网络访问请求数据,选择其中/作为训练集,剩余/作为仿真测试集.判定本方法基于平台吞吐量、平台能耗以及分配时间指标的具体实验效果.应用程序的运行环境如表所示.表仿真实验运行环境参数服务器角色内容涉及数据量/G BS e r v e r服务器数据处理 W I N S服务器程序驱动 WE B服务器用户请求L a y服务器资源储存 T P地址服务器获取地址I n t e r n e t服务器请求网络 从表可以看出,金融云应用程序共有个服务器支持,本文在S e r v e r端服务器上安装虚拟资源接口,通过各个端之间的接口来实现平台资源的自动分配.不同方法的平台吞吐量对比平台吞吐量是指平台每分钟可以有效处理资源的数量,当平台自动化分配效率过低时,数据会出现混淆、错乱分布或漏查现象,导致误报率增加,处理效率降低,吞吐量较小;当分配效率高时,每个处理器收发端的数据都在规定范围内,可提高处理效率,吞吐量大.与文献 方法(基于云端架构的虚拟资源分配方法)、文献 方法(面向实时任务网络资源分配算法)进行比较,得出不同方法的平台吞吐量对比结果,如图所示.图自动化分配前后平台吞吐量对比从图可以看出,文献 方法平台的数据量达到 MB后,平台吞吐量不再上升,文献 方法平台的数据量达到 MB后,平台吞吐量不再上升,说明,该点是平台的饱和点,无法再处理更多的资源.出现这种现象的原因有两个:一是程序自身存在规模局限,只能容纳既定的数量值;二是资源分配不均导致的对应请求下资源缺失,其他请求下资源饱和.反观本文设计平台的曲线整体呈现稳定上升趋势,说明分配后的平台不存在饱和点,可处理资源量不受限制.同文献方法相比,本文方法资源吞吐量增加,这是因为本设计平台将资源变量的变化程度线性表达,计算所有资源样本中梯度值最优、损失函数最小的样本值作为中心样本点.不同方法的平台能耗对比当程序 运 行 时,平 台 能 耗 主 要 集 中 在 中 间P a a S层中,操作层与应用层涉及的资源数量较少,当资源分配性能低时,对应的消耗量就相对较大;分配性能高,消耗量较小.本文将以平台能耗作为一项判定指标进行验证,自动化分配前后平台能耗对比结果如图所示.计算技术与自动化 年月图自动化分配前后平台能耗对比从图可以看出,两种文献方法的平台能耗量过大,随着数据量的不断增多,曲线不断上升.而本文设计平台的消耗曲线整体出现稳定上升的变动趋势,没有波动较大的增长幅度.同文献方法相比,本文方法能够减少资源漏检率,在较少的分配迭代次数内实现有效分配,降低平台能耗.这是因为,本文采用的是一种线性分配算法,通过资源增长规律,计算资源数据的梯度值,将相同梯度的资源划分到同一资源库中,并对残留资源进行二次分配.不同方法的分配时间对比三种方法的分配耗时对比,如图所示.图三种方法分配时间对比曲线从图可以看出,两种文献方法的分配时间曲线上升坡度较大,耗用时间较大.本文曲线随资源量上升的趋势较小,整体时间耗用相对可观.同文献方法相比,本文方法分配时间较短,这说明经过本文方法分配后的P a a S平台中每个请求程序下的资源量分布都较为均匀,分配到每个处理器的数据在可承受范围之内,无须二次迭代,时间耗用也就相对减少,大大提高了处理效率.将该方法应用到实际的管理程序中,可为其提供重要帮助.结论提出了一种基于多元回归算法的P a a S平台资源自动化分配方法.通过多元回归算法确定所有资源样本中相关度最高的样本点,利用该点作为参考分配点,不但降低了误配率,还提高了分配效率.通过预设最佳分配方案的方法,对每一次分配参数进行约束直至符合最佳方案,这种方法得出的分配精准度较高,一次分配符合条件后平台会记录,不会出现重复分配现象,资源浪费少,算法可行性强.参考文献赵龙乾,满君丰,彭成,等基于云端协同计算架构的边缘端I/O密集型虚拟机资源分配方案J计算机应用研究,():杨力,杨恒,魏德宾,等 S A GA:一种面向任务的卫星网络资源分配算法J小型微型计算机系统,():赵庆明基于近邻传播算法和随机森林回归模型的台区线损率计算方法J电力系统及其自动化学报,():李玉梅,查晓明,孙盼基于潮流计算的环形直流微电网动态负荷精确分配控制方法J电力自动化设备,():,雷大江,唐建烊,李智星,等基于中心对齐多核学习的稀疏多元逻辑回归算法J电子与信息学报,():王旭亮,武宇亭,任宏丹基于 GME C的数字化P a a S赋能平台在智慧安防 的应用研究J电子技术应用,():,田辉,肖书春,马文峰,等一种H H和M M共存下基于异构云的资源分配算法J南京邮电大学学报(自然科学版),():申帅,董晓龙,钱建生,等无线充电体域网基于边际效用的网络资源分配方法J计算机应用研究,():付明凯,熊炫睿,张媛,等适用于可伸缩视频的D D网络资源分配方案J计算机工程与 设计,():刘婷婷,陈开源,蒋诚智,等缓冲辅助中继网络中的缓冲资源分配方法J数据采集与处理,():王睿,韩笑冬,韩欢,等天基网络体系及自适应资源动态管理J中国空间科学技术,():喻鹏,张俊也,李文璟,等移动边缘网络中基于双深度Q学习的高能效资源分配方法J通信学报,():苏畅,张定权,谢显中,等面向 G通信网络的N F V内存资源管理方法J计算机科学,():谭静茹,徐东明,关文博基于可再生能量协作的雾无线接入网络资源分配J电讯技术,():饶宁,许华,齐子森,等基于最大策略熵深度强化学习的通信干扰资源分配方法J西北工业大学学报,():