网络集群部署数学建模设计与仿真_徐成桂.pdf

收稿日期:2021-12-17 修回日期:2022-03-14 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0392-05网络集群部署数学建模设计与仿真徐成桂,徐广顺(成都理工大学工程技术学院,四川 乐山 614000)摘要:为解决当前网络集群部署系统存在的资源利用率低、部署耗时长等问题,构建基于约束最大熵的网络集群部署数学模型。从并发用户个数、文件储存容量等方面,获取物理主机可提供的资源上限。利用灰色关联分析法评估并发用户个数和数据量间的耦合关系,量化资源需求与集群部署指标。在概率分布集合中选取最大熵模型,运用约束最大熵法估计集群部署指标参数重要性。将网络拟作树结构,计算集群部署代价矩阵,利用图分割方法构建网络集群部署模型。仿真结果表明,所建模型可有效提升网络服务器应用效率,降低网络运行与管理成本。关键词:约束最大熵;集群部署;模型构建;部署指标参数;图割论中图分类号:TP393 文献标识码:BMathematical Modeling Design and Simulationof Network Cluster DeploymentXU Cheng-gui,XU Guang-shun(Engineering&technical college,Chengdu University of Technology,Basic Teaching Department,Leshan Sichuan 614000,China)ABSTRACT:In current network cluster deployment system,resource utilization and deployment time are not ideal.In this paper,a mathematical model of network cluster deployment based on constrained maximum entropy was con-structed.First of all,we calculated the upper limit of the resource provided by a physical host from the number ofconcurrent users and the capacity of file storage.Then we used grey relational analysis to assess the coupling relation-ship between the number of concurrent users and the amount of data,and thus to quantify resource requirements andcluster deployment indexes.Moreover,we chose a maximum entropy model from the probability distribution set andused the constrained maximum entropy method to estimate the importance of cluster deployment parameters.Finally,we used the network as a tree structure,and calculated the cost matrix of cluster deployment.Finally,we built amodel of network cluster deployment by the graph-cut method.Simulation results show that the designed model caneffectively improve the application efficiency of network servers and reduce the cost of network operation and manage-ment.KEYWORDS:Constrained maximum entropy;Cluster deployment;Modeling;Deployment parameters;Graph-cut theory1 引言网络用户数量持续增多背景下,对网络的建设提出更严格的要求。用户的高并发访问会导致服务访问速率较慢1、服务可用性降低,任何系统故障均会对用户造成重大损失。集群为使用一组独立服务器构成的节点集合,为用户提供统一的服务器资源,完成资源共享的同时实现网络的负载均衡2。传统的集群部署形式多数采用磁盘共享挂载、共享储存的策略,现已无法满足当前网络服务需求。为满足用户大规模的访问量,完成数量庞大的任务请求3,服务器要具备较高的储存空间与并发承受能力,并安置多个网络集群,通过多个服务节点分担网络负载,完成网络系统高可靠性的运行任务。针对网络资源分配及部署问题,文献4 通过开放Jackson 排队网络建模业务流时延,融合遗传算法与模拟退火算法映射服务节点,使用个体约束性评估防止出现局部最293优。文献5考虑时延、能耗、等元素对服务器选择的影响,基于参数的线性加权排序候选服务器,挑选最佳移动边缘计算服务器为用户提供服务。以上方法的参数选择均具有一定主观性,导致其集群部署存在不同程度的偏差。为此,提出基于约束最大熵的网络集群部署数学模型。分析物理主机属性,计算并发用户个数、最高在线用户数等指标完成作业资源统计;使用约束最大熵法判断各类参数及指标的重要性,通过图分割理论实现网络集群部署模型构建目标。仿真验证了所提模型的实用性与应用优势。2 网络集群作业资源统计网络集群部署前,首先要明确现阶段用户数据访问行为对网络资源的实际需求。把物理主机目前的属性状态记作Api=RCPUpi,RMempi,RStorpi,RBWpi(1)其中,RCPUpi代表中央处理器,RMempi表示内存容量,RStorpi为硬盘,RBWpi为网络带宽。集群部署物理主机时,要掌握主机能够供应的资源上限6,对比集群资源需求和物理主机能提供的资源。物理主机资源即为物理主机减去目前负载后的剩余资源,将式(1)内的属性参数拓展为RCPUpi=1-NiCPUSiCPU|SiCPU(2)RMempi=1-NiMemSiMem|SiMem(3)RStorpi=1-NiStorSiStor|SiStor(4)RBWpi=1-NiBWSiBW|SiBW(5)式中,NiCPU为第 i 个物理主机 CPU 应用量,NiMem为物理主机内存应用量,NiStor为物理主机硬盘应用量,NiBW为物理主机带宽应用量。SiCPU、SiMem、SiStor、SiBW分别为物理主机 CPU、内存、硬盘和带宽的最高供应量。以并发用户个数为基础7,将最高在线用户数表示为U=AU UP(6)其中,AU 表示网络用户总数,UP 为并发比率。中央处理器 RCPUpi决定了网络集群的运行速率,为衡量集群部署后服务器优劣的关键指标。服务器内存用于保存临时数据,具备缓存效果。内存越高,能够将更多的临时数据保存在内存中,数据库运行效率越好。这里将服务器内存与RCPUpi核数设置为作业资源容量统计标准。服务器文件储存容量计算过程为SC=AU DC YD F/(1-O)(7)其中,DC 为各用户每日生成的信息增量,YD 为有效工作时间,O 为储存冗余量比率,F 表示网络集群系统未来业务量发展的冗余空间。RCPUpi核数损耗和并发用户个数、数据量相关。网络集群服务运行时,如果两个元素变化走势拥有一致性,也就为同步率较高,则两个元素具有关联性;反之关联性较低。灰色关联分析法按照元素之间的发展趋向的近似程度,完成不同对象的关联性度量8。将其运用在并发用户个数和数据量之间的耦合关系评估,过程如下:明确分析数列,将展现系统行为特点的数据序列定义成参照数列,设定 RCPUpi核数为参照序列,记作 y(k);影响系统行为规律的用户并发量构成的数据序列为对比数列,记作 xe(k),e 代表对比数列类型。将 xe(k)的关联系数描述成r(x0(k),xe(k)=minemink,(k)+maxemaxk()|0e(k)|0e(k)+maxemaxk0e(k)()(8)其中,表示分辨指数,其数值越小,表明分辨能力越好,一般取值为 0.6。最终将关联度 ri解析式设置成ri=1nnk=1i(k)(9)其中,n 表示服务器数据集总数,为关联系数。通过上述过程,即可按照不同的用户访问行为划分集群作业类别与数据规律,完成作业资源需求量评估任务,为服务器集群部署策略的实时性调整发挥关键作用。3 基于约束最大熵的网络集群部署数学建模3.1 约束最大熵下集群部署参数重要性估计网络集群部署操作中包含诸多参数,例如磁盘、网络利用率、内存等。使用约束最大熵算法推导部署参数的重要性,挑选最关键的集群部署计算参数进行数据分析,降低计算量的同时,保证集群部署模型性能可靠性。最大熵基础定理为在满足全部已知时间的前提下,客观判断未来事件9。采用约束最大熵进行集群部署参数估计主要考虑以下几点:约束最大熵方法中使用的分布参数对数据的先验分布没有严格要求,能够随意搭配,且不会降低参数重要性估计正确性与一致性。与此同时,该方法能有效处理参数评估中的平滑问题,适用于不同应用环境下的高精度参数重要性评估任务。在符合复杂度约束条件的概率分布集合 A 中,挑选具备最大熵 H(p)的模型 p,记作p=argmaxpAH(p)=argmaxpAx,yp(x)p(y|x)logp(y|x)(10)式中,x、y 均为随机变量相对的网络服务任务,p(y|x)为条件分布值。信息论领域中,使用对数评价函数10来分析两个参数在相同空间内的概率分布差别,此种评价函数即为 Kullback393-Leibler(KL)距离11。假设 a 为问题域 U 内的一个概率密度函数,a为概率密度函数 a 的近似函数,将二者之间的 KL距离表示为dKLa a()=xUa(x)lga(x)a(x)(11)使用 KL 距离描述集群部署参数重要性估计的准确率,计算公式为KL ii()=aij=1rik=1ijklnijkijk(12)式中,ijk为实际参数,ijk为计算后获得的参数。由此看出,KL 距离值越小,参数重要性评估精度越高。3.2 网络集群部署模型实现数据通信网络通常为三层结构体系12,从上至下分别为核心交换机、聚集交换机与接入交换机。使用约束最大熵算法完成集成参数计算后,以输出的参数结果为前提,形式化定义虚拟环境下服务器之间的通信代价。集群部署点通信代价为随机两个部署点路由经过的最小交换机数量,设置相同物理主机内的虚拟机通信代价为 0。针对架构各异的数据通信网络,其部署代价矩阵也各不相等。以树结构为例13,将其网络通信代价矩阵定义成Ctree(i,j)=0,i=j suzhu(i)=suzhu(j)1,i/p0=j/p03,i/p0 j/p0 i/(p0p1)=j/(p0p1)5,i/(p0p1)j/(p0p1)|(13)式中,p0代表接入交换机端口数量,p1为聚集交换机端口数量,i、j 均为部署点编码,suzhu(i)为部署点 i 所处的宿主物理服务器。假设 D(i,j)为服务器逻辑架构内的通信代价矩阵,通信代价为网络数据传输速度14。此种状态下,将服务器集群部署问题描述为A=minmi,k=1nt=1f(i,k)f(j,t)C(i,j)D(k,t)+mi=1Bi(14)其中,C(i,j)代表部署点 i、j 之间的代价,m 为部署点数量,Bi为服务器 i 最高服务带宽。服务器集群可划分成三种计算方法:批处理计算、内存计算和图计算。其中,图论为数学领域的关键分支,图割论为一种在图论基础上,被广泛应用的图像处理方法。服务器集群的结构形态和图论中的图像有一定相似性,使用图割论的有关知识完成网络集群部署模型构建。将图论中的图表示成G=(V(G),E(G)(15)式中,V(G)代表图 G 全部顶点的总和,即图的顶点均为 V(G)内的元素;E(G)为图 G 全部边的总和,G 内的元素为不同点之间的连线。集群部署前要充分考虑其资源利用率,以免造成资源浪费。按照集群资源需求量推导出服务器集群部署后,各类资源的资源利用率为否超出当前物理主机的负载量,将资源利用率计算公式表示为=RVC+NpSp(16)其中,RVC代表网络集群资源需求总值,Np为待部署物理主机被利用的负载资源,Sp为物理主机全部资源总和,即式(2)(5)之和。网络集群包含多个服务器,与单服务器相比,其资源需求较高,接下来,构建以图分割15为原则的网络集群部署数学模型。设定初始网络服务器集群相对应的图为 C,其顶点集合为 V(C)=AVM1,AVM2,AVMn,边集为 e=AVMi,AVMj,将图 C 划分成 o 个子图,记作 C1,C2,Co,o 个子图相对的子图密度为 D1,D2,Do,子图内的顶点数量为 h,将网络集群部署模型定义成S=lim(Di-Dj)=0C1 C2 Co=CC1 C2 Co=h H|(17)其中,表示一个空集,H 为子图顶点数量的临界值。4 仿真研究为分析所建网络集群部署模型的可靠性,设计仿真。仿真软件为 MATLAB 2020b,在计算机上搭建 20 个节点的物理集群,各物理节点上运行 Docker 7.1 容器引擎来创造虚拟节点,最多同时运行 3 个虚拟容器,虚拟容器的最高规模为 42个节点。集群负载可以展现集群部署的信息处理能力,将其作为衡量网络集群部署优劣的指标,验证本文方法能否依照负载变化情况及时调节集群形态,明确方法的灵活性与有效性。构建两种负载数据集:第一种按照静态部署节点比例设置作业类型,记作 N1;第二种不依照节点比例设定作业类型,记作 N2。实验的仿真时间为 55min。图 1 为本文方法在两种不同负载运行状态下,服务器节点状态改变次数和相应的计算时长。第一种负载数据集下,服务器节点状态仅出现 4 次改变;第二种负载数据集下,服务器节点改变次数明显增多。这为因为 N1 负载数据集为凭借原始服务器节点比例设置的,网络集群模型无需调整计算形态就能很好地实现集群部署任务,因负载噪声引发了 4 次节点调整策略,处于模型计算误差可容纳范围;因为 N2 数据集改变了原有的节点比例,所以产生了大量节点调节现象。由图 1 可以看出,本文方法能够按照实际网络应用情况计算负载变化,并通过节点的实时调节更改网络集群部署形态,为用户提供贴合自身需求的网络服务,具备较强的实用性。为进一步展现本文方法可用性,将其与文献4遗传模493图 1 不同负载数据下本文方法服务器节点调节情况拟退火法、文献5多重指标法进行仿真对比。定义每个部署任务对 CPU 的需求大小为 2100246060MI,数据中心具备 150 台物理主机与 300 台虚拟机,依次使用三种方法把服务器部署于物理主机上,考察三种指标:集群部署时间、物理机应用个数和 CPU 利用率。图 2 为三种方法网络集群部署的响应时间均值对比结果。图 2 三种方法集群部署响应时间均值比较由图 2 可知,与两种文献方法相比,本文方法部署响应时间最短,且不会伴随用户数量的激增产生较大波动,稳定性强。出现此种现象的原因在于,本文方法采用约束最大熵方法,在众多部署参数中挑选重要度靠前的参数,有效降低计算量,大幅缩短部署响应耗时。随机抽取 60 台物理主机与 60 台服务器进行相同的资源任务,依次使用三种方法进行集群部署,研究不同方法使用的物理主机个数,结果如图 3 所示。图 3 三种方法物理主机应用个数对比从图 3 看出,三种方法集群部署使用的物理主机个数均具备相同趋势,但本文方法物理主机应用数量最少。这为由于本文方法把资源需求相近的服务器进行集群再完成部署,降低了物理主机个数。遗传模拟退火法即便考虑了物理主机的负载均衡因素,但其部署效果依旧不如本文方法;多重指标法采用一台服务器部署在一台物理机的策略,耗费大量主机资源。将 15 分钟划分为一个单元,计算 75 分钟,即 5 个时间单元下三种方法执行服务任务时,物理主机的 CPU 利用率情况,仿真结果参考图 4。图 4 三种方法 CPU 利用率对比观察图 4 可以看到,由于两种文献方法的物理主机资源充足但服务器需求较少,极易产生资源利用率低的现象,本文方法的 CPU 利用率要明显高于两种对比方法,证明本文方法在相同的集群部署时间内能执行更多的应用程序,给用户提供更丰富的资源服务。5 结论为实现高质量网络集群部署,为用户提供优质的网络应用服务,提出一种基于约束最大熵的网络集群部署数学模型。所提方法具有理想的可应用性,适用于高并发的用户访593问高峰期,与传统集群部署模型相比,运行成本较少,避免了资源浪费。但是,本文方法是建立在网络结构已知的情况下,面对结构未知网络时如何快速有效地实现精准部署,将在今后研究中加以深入探究。参考文献:1 王宝生,张维琦,邓文平.面向大规模容器集群的网络控制技术J.国防科技大学学报,2019,41(1):142-151.2 许道强,邹云峰,邓君华,等.面向 NUMA 架构的虚拟网络功能部署技术研究J.计算机工程与应用,2019,55(21):115-121,157.3 罗凯鑫,吴美平,范颖.基于最大熵方法的鲁棒自适应滤波及其应用J.系统工程与电子技术,2020,42(3):667-673.4 陈卓,冯钢,刘怡静,等.MEC 中基于改进遗传模拟退火算法的虚拟网络功能部署策略J.通信学报,2020,41(4):70-80.5 徐昌彪,刘杨,刘远祥,等.基于多重指标的 MEC 服务器选择方案J.重庆邮电大学学报(自然科学版),2020,32(3):329-335.6 葛浙奉,王济伟,蒋从锋,等.混部集群资源利用分析J.计算机学报,2020,43(6):1103-1122.7 田永军,何万青,孙相征,等.基于公共云的 HPC 集群实现及自动伸缩闲时计算研究J.计算机工程与科学,2019,41(7):1155-1160.8 丽霞,汪子荧.一种分段集群异常作业预测方法J.大连理工大学学报,2019,59(4):427-433.9 刘晓庆,陆秋君.基于广义最大熵的具有模糊输入输出的回归模型的参数估计J.模糊系统与数学,2020,34(3):34-47.10 宋明顺,杨铭,方兴华.基于最大熵分布的控制图改进与评价研究J.中国管理科学,2019,27(12):208-216.11 晏良,段晓君,刘博文,等.基于 Kullback-Leibler 距离离散度的加权代理模型J.国防科技大学学报,2019,41(3):159-165.12 王刚,于银辉,杨莹.超密集网络中基于集群分配的干扰管理与资源分配J.吉林大学学报(理学版),2021,59(5):1228-1236.13 赵刚,张超,贾宏刚,等.基于模糊理论的主动配电网资源集群控制系统设计J.科学技术与工程,2021,21(13):5374-5379.14 杨晨,郑明辉,谭杰.一种云服务器位置定位及安全性验证方案J.山东大学学报(理学版),2020,55(3):28-34,42.15 胡宇翔,范宏伟,兰巨龙,等.一种支持硬件加速的虚拟网络功能部署模型J.电子与信息学报,2019,41(8):1893-1901.作者简介徐成桂(1983-),女(汉族),四川彭州人,硕士,讲师,研究方向:信息与计算科学。徐广顺(1982-),男(汉族),山东邹城人,硕士,讲师,研究方向:信号与图像处理。(上接第 349 页)9 Xie Q,Dai Z,Hovy E,et al.Unsupervised Data Augmentation forConsistency TrainingJ.ResearchGate,2019.10 Kumar V,Choudhary A,Cho E.Data Augmentation using Pre-trained Transformer Models.2020.11 Guo H,Mao Y,Zhang R.Augmenting Data with Mixup forSentenceClassification:AnEmpiricalStudy J.ResearchGate,2019.12 Malandrakis N,Shen M,Goyal A,et al.Controlled Text Genera-tion for Data Augmentation in Intelligent Artificial AgentsJ.arXiv preprint arXiv:1910.03487,2019.13 Kalchbrenner N,Grefenstette E,Blunsom P.A ConvolutionalNeural Network for Modelling Sentences J.Eprint Arxiv,2014,1.14 Lin T Y,Goyal P,Girshick R,et al.Focal Loss for Dense ObjectDetectionC.IEEE Transactions on Pattern Analysis&MachineIntelligence.IEEE,2017:2999-3007.15 Li X,Wang W,Hu X,et al.Generalized Focal Loss:LearningReliableLocalizationQualityEstimationforDenseObjectDetectionJ.2020.16 Li X,Wang W,Hu X,et al.Generalized Focal Loss V2:Learn-ing Reliable Localization Quality Estimation for Dense Object De-tectionJ.ResearchGate,2020.17ZHANG N,CHEN Q.Ensemble learning training method basedon AUC and Q statisticsJ.Journal of Computer Applications,2019,39(4):935-939.作者简介王雯慧(1999-),女(汉族),浙江苍南人,本科大四在读,主要研究领域为自然语言处理、数据挖掘。靳大尉(1979-),男(汉族),河北保定人,副教授,主要研究领域为数据与知识工程。693