基于云计算平台的多数据库并行调度算法仿真.pdf

459第40 卷第6 期2023年6 月机真仿算文章编号：10 0 6-9 348（2 0 2 3)0 6-0 459-0 4基于云计算平台的多数据库并行调度算法仿真杨毅，熊鹰（华中科技大学网络与计算中心，湖北武汉430 0 7 4）摘要：为保证网络负载均衡、解决当前数据库调度效率低下的问题，提出基于云计算平台的多数据库并行调度算法。在云计算基础设施层内引人可信根与信任传递思维，面向虚拟层实际特征，组建高度可信云计算平台；提取多数据并行调度时间序列混沌特征，计算数据库调度控制集合与调度时间顺序适应值，利用MapReduce操作获得并行调度模型；使用离散粒子群算法间接编码各子任务占据的资源，计算粒子的速率与方位并实时更新，结合权重影响因子提高算法搜索效果，完成高效率多数据库并行调度。仿真结果表明，所提算法具备极强的收敛性与全局搜索能力，并行调度效率快，为多数据库信息交互提供充分便利。关键词：云计算平台；多数据库；并行调度；离散粒子群中图分类号：TP301文献标识码：BSimulation of Multi Database Parallel Scheduling AlgorithmBased on Cloud Computing PlatformYANG Yi,XIONG Ying(Huazhong University of Science and Technology,Wuhan Hubei 430074,China)ABSTRACT:This paper puts forward a multi-database parallel scheduling algorithm based on cloud computing plat-form for improving the scheduling efficiency of database.Trusted root and trust transfer thinking were introduced intothe cloud computing infrastructure layer,facing the actual characteristics of the virtual layer,in order to build a highlytrusted cloud computing plaform.The chaotic characteristics of multi-data parallel scheduling time series were ex-tracted to calculate the fitness of database scheduling control set and scheduling time sequence.MapReduce was takento found a parallel scheduling model.Each task was occupied by the indirect particle swarm algorithm.The velocityand orientation of particles were calculated and updated in real time.Whilst,the search effect of the algorithm was im-proved to parallel scheduling efficient multi-database via the weight influence factor.The simulation results show thatthe algorithm has excellent convergence,global search ability and fast parallel scheduling efficiency.KEYWORDS:Cloud computing platform;Multi-database;Parallel scheduling;Discrete particle swarm optimization1引言随着信息技术的飞速发展，互联网+、云计算平台等陆续被开发，在云平台背景下保证多数据库同时运行且负载均衡是十分重要的1。数据库的可靠调度关系到云计算的全局运行速率，对多数据库实施调度，不但要和多个服务器合作，也涉及多数据库的信息筛查。但并行调度的难点在于不同数据库的调度信息量过大2 、数据库的计算机语句设置各不相等、复杂性较高等，大大影响了数据库之间的信息交互。针对并行调度问题，文献3 通过构建多信道链路模型，收稿日期：2 0 2 1-0 9-0 1修回日期：2 0 2 1-0 9-0 7求解均衡调度问题，创建双适应度函数并进行恰当调整，完成调度目标。但该方法没有考虑节点的真实负载状态，致使节点负载不均。文献4 融合多核集群拓扑特征，综合消息传递与共享存储编程模型，使用作业优先级编码模式转移鸟巢位置，并将位置信息作为作业调度序列排列优先级求解，实现调度任务。但该方法无法自动完成作业调度序列的队列选择与设定，数据库调度效率较低，适用性不高。本文吸取文献方法的优势，针对其不足提出一种基于云计算平台的多数据库并行调度算法，组建高可信度云计算平台，利用MapReduce编程得到多数据库并行调度模型，运用离散粒子群算法完成高效率并行调度目标。仿真结果证明，经所提算法调度后，实现了网络负载均衡，可应用于多种类460数据库，适用范围广。2云计算平台构建云计算平台涵盖应用层、平台层与基础设施层三个层次，以基础设施层为例，引人可信根与信任传递思维，面向虚拟层实际特征，给用户提供一个高度安全的云计算平台5云计算平台构建技术中最关键的就是虚拟化技术，虚拟化是一种从底层硬件或软件抽象出应用程序、用户操作系统。虚拟化的核心是服务器虚拟化，主要划分为底层硬件下的虚拟化、宿主操作系统下的虚拟化两种模式。云平台在创建过程中，需确保每个组件都能完整度量的同时，得到系统控制权顺序。构建顺序执行信任链的过程为Ii+I=I,V,(Si)(1)其中，l，表示云平台物理主机操作系统引导时第i个阶段的完整性，如果第i个阶段是完整的,那么I,=1,反之I,=0。V（Si+1）是第i个阶段的度量控制组件，对引导序列内第i+1个阶段实施度量的参数。以云计算设备Eucalyptus为基础，设计满足多任务调度的可信云计算平台结构体系，如图1所示。图1内的阴影部分代表云服务商对某些节点采取可信增强措施。交互接口是云计算平台设计的用户可见入口，是用户开启与停止运作的服务接口6 。云管理员利用集群控制器把虚拟机实例传递至不可信平台，实现云计算平台最优的存储与计算效用。云租户云计算中心交互接口可信第三集群控制器集群控制器方认证可信节点普通节点图1云计算平台架构示意图3基于离散粒子群的多数据库并行调度算法3.1多数据库并行调度模型为实现多数据库的有效调度，创建并行调度模型前，需要进行如下优化运算。多数据并行调度时间序列拥有显著的混沌特征，提取相关的混沌特征可以有效优化模型的调度速率7 。将数据库调度的控制集合记作式(2)W=w:+Q:-Z(w,-q,)(2)其中，Q、W是第i个节点和父节点之间交换任务的任务数量，之（u；-q）是各数据库的调度任务数量，j表示调度j=1数量。融合并行策略与混沌因子，计算调度时间顺序适应值1NP(f(x;)-f(x)(3)NPi=1其中,NP表示时间序列大小,f(）是第i个调度时间序列的临界值，f(x）是适应度均值。最终将调度任务的效率描述成=l 8-jl(4)其中，表示调度任务效率，表示递增系数。当前多数云计算平台将MapReduce编程模型应用在海量数据库的并行运算中。MapReduce操作融合Map与Reduce函数，将其传输至调度系统，分配到可用计算资源。综合以上运算过程，将多数据库并行调度模型表示成图2。用户程序分割分割分割工作机指派Map指派Reduce工作机录人片段0远程读取工作机输出文件0J本地录人读取1片段1工作机1输出文件1片段2工作机-1工作机输入文件Map状态中间文件Reduce状态输出文件图2并行调度模型Map操作是把较大的任务划分成若干子任务，再把子任务分配至计算资源内执行运作，利用Reduce操作获得并行调度输出结果8 。把类资源均看作计算资源，设置运行条件：已知子任务需要的计算量、计算速率和子任务在各计算资源内运行完毕的时间。如果子任务个数是M，计算资源个数是N，使用MxN矩阵描述每个计算资源内任务运行所需的时间。把多数据库并行调度问题简化成：怎样把若干任务恰当配发至计算资源，让全部任务完成的总时间最小。3.2算法实现并行调度模型构建完毕后，融合基于离散粒子群的并行调度算法，实现在保证负载均衡前提下的多数据库高质量并行调度任务。利用离散粒子群法计算调度问题，组建有效的粒子编码结构，使用间接编码模式完成各子任务的资源编码，编码长度是当前子任务的数量，一个编码对应一个并行调度方案9本文使用可靠性来定义离散粒子群算法中的实用度函数，经过不断上升的迭代数量，完成高可靠性数据库并行调度目标。适应度函数值可以准确评估调度任务策略的优劣，适应度函数值越高，表明任务调度性能越好。假设随机一个461任务t，调度至某个云计算资源，调度执行时间一定要处于截止时间之内，若超出该时间，则说明调度任务失效10 。把具备截止时间的任务调度问题约束公式记作(5)ed其中，e为执行时间,d，为时间阈值。在式（3）基础上，将适应度值的计算过程变换为mintF=(6)入其中，F代表适应度函数，mint,代表目标函数，入为调度系数。粒子群算法为一种随机优化控制策略，算法中粒子进化时具备两个量，依次为方位矢量xm=x m,1，m2，xm,D与速率矢量m=Um.1,m2，,U m,D ,D 是空间维度。云计算平台环境下，把多数据库并行调度问题拟作一个离散优化问题，把离散粒子群算法代人并行调度中，数学的加减乘除计算不再适用，要对其重新定义。将粒子的方位描述成一个S维失量，即x=1,2，,x,粒子的速率是粒子方位改变的几率,也是一个S维矢量,记作=u1，u 2，j，,。方位和速率的加法运算可以完成粒子位置的变动。每个粒子均拥有速率与方位两个特征，利用更新粒子速率与方位获得全新的粒子。与传统粒子群算法的速率更新解析式相比,本文在速率更新中添加一个调整因子,用来操控粒子的搜寻方向。将粒子速率更新解析式表示成V;=wv,+Ciri(pbest;-x,)+c2r2(gbest;-x,)(7)式中，w为惯性权重,c1、Cz 均为学习因子，分别代表粒子向局部最优解pbest与全局最优解gbest的靠近水准，rivf2是处于0,1 之间的任意数值,；的取值范围是;E-Umx，ma x ，这样可以避免粒子超过搜寻范围，提高并行调度的准确性。由于粒子的搜寻空间具有不连贯性，采用下面两个公式完成粒子方位更新x;=x;+V;(8)1 x,111 x;1 e(0,m)1x;=0(9)mod(x;1 7,m)1 x;1#(0,m)首先利用式（8）实施方位更新，但在获得的编码序列内包含不合规编码，这时要使用式（9）把不合规编码变换成合规编码，得到更新后的粒子具体方位。粒子搜寻时为了控制并行调度算法的运算能力，引人权重影响因子，较大时可以实现全局查找，相反较小时容易陷入局部查找，所以调节值能够显著提升算法的搜寻成效，优化并行调度算法的整体性能。W的取值有两种模式：一是挑选一个常数，设置该常数是，优势是方便计算，缺陷在于不能在所有迭代流程中发挥优秀的搜寻能力；另一个模式是设定动态值，本文采用动态值模式，通过线性变化调节在减少计算量的同时，保证调度全局最优效果。假如Ima是最高迭代次数,=min，m,则选代权重值为maxmin(10)Imaxmax式中，mx是权重原始值，omin是最终权重。通过以上过程，就能让算法在全部搜寻过程表现出优秀的寻优效果，获得高质量多数据库并行调度性能，保证数据库的资源调度及时性与准确性。4仿真研究4.1仿真环境为检测本文方法在云计算平台多数据库并行调度的实际应用效果，使用CloudSim平台完成仿真任务。实验包含10个虚拟资源，7 台物理机。在实验环境下对本文方法、多信道联合法和布谷鸟搜索法进行仿真分析。实验参数设定为：种群规模是40 0，最高迭代次数是30 0，惯性权重最高值与最低值依次是0.9 4和0.34,学习因子c,=0.2、c 2=0.4。4.2调度长度与迭代次数分析在不同迭代次数下反复执行30 次并行调度任务，记录不同方法下调度最优解、最差解以及迭代均值，结果如表1所示。表1三种方法并行调度最优解结果对比方法最优解均值最优解中的最差解送代次数均值本文算法270322101多信道联合法28233996布谷鸟搜索法27233589最优解表示算法获得的最佳调度次数，数值越小，表示云计算平台需要执行的次数越少，更方便操作和减少调度误差。从表1中能够看出，所提算法调度最优解、最差解都远小于文献方法，但是迭代次数相对较大。为此，分析算法获得最优调度解的迭代过程，如图3所示。310本文方法一多信道联合法300一-布谷鸟搜索法29028027026004080120160200240280选代次数/次图3三种算法数据库任务调度长度对比462机研究与发展，2 0 2 057(1):102-123.下转第52 7 页）图3中可知，多信道联合法在计算中丢失了一些潜在的优秀粒子，很快陷人局部最优并呈现出收敛状态；布谷鸟搜索法在融合消息传递编程模型与共享存储编程模型时，算法的计算量过高，也很快地出现了局部最优情况。本文方法在迭代次数低于40 时，粒子均处在搜索状况，多次跳出局部最优，证明方法在迭代初期就拥有优质的全局搜索能力；之后粒子逐步开始局部搜寻，直至找到全局最优解。综合表1与图3的数据，充分证明了本文方法在收敛性、全局搜索能力与局部搜索能力都优于两个对比方法。4.3适应度值对比分析图4是三种方法基于不同任务个数的适应度值对比，适应度函数值越高，表明任务调度的适用性能越好。1.2本文方法多信道联合法1.0一布谷鸟搜索法0.80.60.40.2105101520253035任务数量/个图4三种方法不同任务数量下的适应度值对比由图4看出，任务个数较少状态下，三种方法的适应度差距并不显著，但伴随任务数量的持续增多，本文方法的适应度函数值显著高于文献方法，且任务数量越多，此趋势越明显。这是因为该方法通过提取并行调度时间序列相关的混沌特征，优化了调度整体速率，并采用Map与Reduce函数，创建多数据库并行调度模型，有效提高了多数据库并行调度性能。4.4随任务量增加并行调度时间对比依次设定多数据库并行调度任务个数是30、6 0、9 0、12 0、150、18 0、2 10、2 40，各任务数量下每种算法均实验5次，取结果平均值，获得三种方法下任务数量与调度时间之间的关联，如图5所示。可以看到，本文方法相对文献方法，在调度时间方面具有明显优势，且随着任务个数的不断递增，本文方法也能够很好地完成高效率并行调度目标，能够满足云计算平台需要处理大量事务的实际需要。4.5并行调度下物理机负载均衡分析下面对比三种并行调度算法运行时，7 台物理机的带宽利用率，明确执行调度任务时对云计算平台性能的影响，结果如图6 所示。从图6 中可知，本文方法没有出现由于过度使用单一物理机、不使用空间物理机导致的负载不均情况，全部物理机10000本文方法+多信道联合法8000一布谷鸟搜索法6000400020000306090120150180210240任务数量/个图5并行调度时间对比示意图1009080%率7060+本文方法50一多信道联合法+布谷鸟搜索法01234567物理机个数图6三种算法下云计算平台带宽利用率对比都保持在7 0-8 0%的利用率，不会影响其它功能板块的正常运行，最大限度地实现云计算平台的负载均衡，提升其网络数据处理能力。5结论面向传统多数据库并行调度的不足，以云计算平台为现实背景，提出一种多数据库并行调度算法。该算法充分研究云计算平台特征，将并行调度效率作为突破口，有效改进以往调度方法效率低下的问题，使之适应云计算平台的虚拟化与商业化形态，提升云平台数据库工作效率。参考文献：1申燕萍，顾苏杭，郑丽霞.基于云计算平台的仿生优化聚类数据挖掘算法J.计算机科学，2 0 19,46（11)：2 47-2 50.2张锦文，牛保宁.数据库系统性能模型建模方法综述J.计算机应用研究,2 0 19,36（3）：6 41-6 48,6 56.3赵莉.云计算环境下多信道联合均衡调度算法研究J.信阳师范学院学报（自然科学版），2 0 19,32（1）：153-157.4赵博颖，肖鹏，张力.基于混合并行布谷鸟搜索的作业调度算法J.计算机工程与设计,2 0 19,40(3）：7 19-7 2 4.5何欣枫，田俊峰，刘凡鸣.可信云平台技术综述J。通信学报，2019,40(2):154-163.6段文雪，胡铭，周琼，等.云计算系统可靠性研究综述J.计算527上接第47 9页）上接第46 2 页）上接第42 4页）江苏科技大学学报（自然科学版），2 0 2 0,34（4）：51-56.9刘小兰，叶泽慧.基于StarGAN和子空间学习的缺失多视图聚类J.华南理工大学学报（自然科学版），2 0 2 0，48（11）：8 7-98.10王慧东，宋耀莲，田榆杰。一种多属性的时空数据聚类算法分析研究J.重庆邮电大学学报（自然科学版）,2 0 2 1,33（4：661-668.11廖彬，黄静莱，王鑫，等.SCEA：一种适应高维海量数据的并行聚类集成算法J.电子学报，2 0 2 1，49（6）：10 7 7-10 8 7.12田真真，赵书良，李文斌，等.基于耦合度量的多尺度聚类挖掘方法J.数据采集与处理，0 2 0,35（3）：549-56 2.13王秋萍，丁成，王晓峰.一种基于改进KH与KHM聚类的混合数据聚类算法J.控制与决策，2 0 2 0,35（10）：2 449-2 458.4张任其，李建华，范磊分布式环境下卷积神经网络并行策略研究J.计算机工程与应用，2 0 17,53（8）：1-7,14.5李小红，常振云.大数据中数据挖掘模型的模糊改进聚类算法J.现代电子技术，2 0 2 0,43（3）：17 7-18 2.6Badrinarayanan V,Kendall A,Cipolla R.SegNet:a deep convolu-tional encoder-decoder architecture for image segmentation J.IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495.7Mernik M,Liu S H,Karaboga M D,et al.On clarifying misconcep-tions when comparing variants of the Artificial Bee ColonyAlgorithm by offering a new implementation J.Information Sci-ences,2015,291(10):115-127.8林倩瑜.基于模糊卷积神经网络的大数据分类挖掘技术J.重庆理工大学学报（自然科学），2 0 19,33（10）：12 1-12 6.7周炳海，顾佳颖.考虑多资源约束的非等效并行机节能调度算法J.东北大学学报（自然科学版），2 0 19，40（3）：40 3-40 8.8黄元元，钱斌，吴丽萍，等混合果蝇算法求解分布式异构并行机调度J.控制工程,2 0 2 0,2 7（2）：2 54-2 6 3.9刘素,刘惊雷.一种从偏好数据库中学习CP-nets结构的并行算法J.郑州大学学报（理学版），2 0 2 0,52（2）：7 1-7 6.10李安民，计卫星，廖心怡，等。一种面向异构计算的结构化并17Yu W,Jafari R.Modeling and Control Using Fuzzy EquationsM.2019.18Peter Galan.Control system improvements:Feed-forward,adap-tive,fuzzy controlJ.Control Engineering,2021,68(9):19高莘青，马钊，梁颖茜.基于模型预测控制的直升机轨迹跟踪控制J.计算机仿真，2 0 2 1,38（6)：31-36.20Li J,Ran M,Wang H,et al.MPC-based Unified Trajectory Plan-ning and Tracking Control Approach for Automated Guided Vehi-cles*C.2019 IEEE 15th International Conference on Control14郑建炜，李卓蓉，王万良，等.联合Laplacian正则项和特征自适应的数据聚类算法J.软件学报，2 0 19，30（12）：38 46-3861.15 邱保志，张瑞霖，李向丽.基于残差分析的混合属性数据聚类算法J.自动化学报,2 0 2 0,46（7）：142 0-1432.作者简介杨成义（198 5-），男（汉族），湖北孝感人，硕士，讲师，研究方向：群决策支持。熊才权（196 6-），男（汉族），湖北鄂州人，博士，教授，研究领域：人工智能、非单调逻辑、辩论模型。9Chai D,Newsam S,Huang J.Aerial image semantic segmentation u-sing DCNN predicted distance maps J.ISPRS Journal of Photo-grammetry and Remote Sensing,2020,161:309-322.10Chen X,Xie L,Wu J,et al.Progressive differentiable architecturesearch:Bridging the depth gap between search and evaluationC.Proceedings of the IEEE/CVF International Conference onComputer Vision,F,2019.作者简介苑颖（197 9-），女（汉族），山西省大同市人，副教授，硕士研究生，主要研究方向为大数据及数据挖掘。唐莉君（198 0-），女，汉族，宁夏石嘴山市人，副教授，硕士研究生，主要研究方向为信息系统工程。行编程框架J.计算机工程与科学，2 0 19,41（3）：42 4-432.作者简介杨毅（198 9-），男（汉族），湖北武汉人，硕士，工程师，研究方向：大数据、Java、高校信息化。熊鹰（1990-），男（汉族），湖北武汉人，硕士，工程师，研究方向：云计算、人工智能。and Automation(ICCA).IEEE,2019.作者简介舒静青（1996-），女（汉族），湖南省怀化市人，硕士研究生，主要研究领域为智能小车路径规划及智能控制算法。时伟（197 5-），男（汉族）,安徽人，副教授，硕士研究生导师，主要研究领域为室内导航与定位、飞行器导航与控制技术。汪宇阳（1997-），女（汉族），安徽人，硕士研究生，主要研究领域为室内导航与定位。