混合云平台资源调度机制研究与设计.pdf

江苏大学硕士学位论文摘要混合云是将公有云和私有云相结合的云计算模式，综合了私有云安全可靠、公有云廉价便捷的优点，已得到越来越多的企业的青睐。如何协调私有云和公有 云之间的资源调度是发挥混合云价值的关键，其中包括调度模型设计及建立在其 基础上的调度算法设计。目前而言相应的研究还很少，尚未形成标准。为此论文 试图做这方面的尝试。鉴于多公有云的混合云可以摆脱因绑定单一云服务提供商 带来的限制，论文的研究立于多公有云的混合云调度机制。论文提出了一种基于集群式调度和SOA三层架构的混合云调度模型。该模型 采用集中方式进行调度控制，同时将执行调度的各功能模块物理分开，满足了高 要求管理和高可靠性、良好扩展性的需要。论文给出了所提出的调度模型的各主 要功能模块的详细设计。论文分别提出了基于遗传算法的云内和云间资源调度算法。云内算法以最少 完成时间为调度目标，通过优化的初始种群选择方法，提高了算法收敛速度，并 能防止局部早熟收敛。具体初始种群的选择分为三部分。首先分别利用min-min 算法、max-min算法和基于每个个体历史处理数据量的统计加权算法，产生部分 完成时间最少的个体；然后利用合理的交叉变异概率函数产生部分新个体；最后 依据海明距离选择其余个体。非随机的初始种群选择方法提高了所选择个体的质 量和多样性，为整个算法的优化奠定了基础。论文所提出的云间调度算法以最少完成时间和最少支出费用作为双调度目 标，基于经典的快速非支配排序遗传算法N SGA-IL通过改进其精英策略，即将 每一代双倍种群排序后产生的精英个体与统计加权算法产生的较优个体集进一 步进行非支配比较，产生更优的精英个体填充入下一代父种群，从而提高下一代 种群的寻优效果，进而使算法的双目标组合优化效果更佳。论文最后在开源仿真平台C loud Sim上，通过编程实现了所提出的调度模型 的各主要功能模块。所提出的云内和云间调度算法的实现也基于开源GA算法和 N SGA-H算法。论文在编程扩展云内代理和云间协调器两个类的基础上，对所提 出的调度机制进行了仿真实验，结果表明了调度机制的有效性。关键词：混合云；调度机制；遗传算法；N SGA-H；C loud Sim混合云平台资源调度机制研究与设计江苏大学硕士学位论文AbstractHyb rid c loud is a c omputing mod el whic h c omb ines of pub lic c loud and private c loud,and a c omb ination of safety and reliab ility of private c loud with inexpensiveness and c onvenienc e of pub lic c loud.It has b een preferred b y inc reasing numb er of enterprises.How to c oord inate resourc e sc hed uling b etween private c loud and pub lic c loud whic h inc lud es the d esign of sc hed uling mod el and sc hed uling algorithm is the key to materialize the value of hyb rid c loud.The c orrespond ing researc hes are little and d o not have a stand ard.This paper tries to d o some attempts in this region.Bec ause multiple pub lic c loud s c an get rid of the restric tions b rought b y the b ind ing of a single provid er of c loud servic e,the researc hes stand in the sc hed uling mec hanism b ased on multiple pub lic c loud s.The paper presents a sc hed uling mod el of hyb rid c loud b ased on c luster sc hed uling and SOA.This mod el uses a c entralized way for sc hed uling and c ontrolling,at the same time separates the func tional mod ules to meet the need s of high requirements of management and high reliab ility,good sc alab ility.The paper gives the d etailed d esign of the main func tional mod ules of the sc hed uling mod el.The paper presents the resourc e sc hed uling algorithm b ased on genetic algorithm in the private c loud and multiple c loud s.The sc hed uling goal of the algorithm in private C loud is the minimum time.The optimization of the initial population selec tion method improves the c onvergenc e rate,and prevents loc al premature c onvergenc e.Spec ific ally,the optimization is d ivid ed into three parts.F irstly,it uses min-min algorithm,max-min algorithm,and the statistic al weighting algorithm b ased on the amount of historic al d ata worked b y eac h nod e to prod uc e some ind ivid uals whic h c omplete the tasks with the shortest time;and then uses reasonab le c rossover func tion and mutation func tion of prob ab ility to prod uc e some in混合云平台资源调度机制研究与设计other ind ivid uals;F inally,ac c ord ing to the setting of Hamming d istanc e to selec t the remaining ind ivid uals.The non-rand om selec tion method of the initial population improves the ind ivid ual quality and d iversity,and provid es the found ation for the optimization of the entire algorithm.The sc hed uling algorithm b etween multiple pub lic c loud s takes minimal time and minimal expenses as two sc hed uling ob jec tives,and on the b asis of c lassic rapid non-d ominated sorting genetic algorithm N SGA-II.By improving its elitist strategy,whic h c ompares the elite ind ivid uals prod uc ed after sorting eac h generation of d oub le population with the ind ivid ual prod uc ed b y statistic al weighting algorithm.A nd then fill the b etter elite ind ivid uals into the next generation of the parent population.Thereb y enhanc ing the optimization effec t of the next generation of population,and thus make the effec t of the two-ob jec tive c omb inatorial optimization b etter.F inally,in C loud Sim,the paper ac hieves b y programming the major func tional mod ules of the proposed sc hed uling mod el.The ac hievements of the sc hed uling algorithms in private C loud and multiple c loud s are also b ased on GA and N SGA-II.The paper simulates the proposed sc hed uling,mec hanism b y programming the b roker in private c loud and the c oord inator b etween multiple c loud s.The simulation results show the effec tiveness of the sc hed uling mec hanism.Key Word s：Hyb rid C loud;Sc hed uling M ec hanism;Genetic A lgorithm;N SGA-II;C loud SimIV江苏大学硕士学位论文目录第一章绪论.11.1 研究背景与意义.11.2 国内外研究热点与现状.21.2.1 云计算研究热点与现状.21.2.2 混合云研究热点与现状.41.2.3 混合云平台调度机制研究现状.51.3 论文研究内容.51.4 论文组织结构.6第二章混合云平台相关技术分析.82.1 云计算概述.82.1.1 云计算概念与特点.82.1.2 云计算的主要服务类型.102.2 云计算的关键技术分析.102.3 云计算平台基础设施架构.122.4 混合云及其应用分析.132.4.1 混合云简介.132.4.2 混合云在云计算平台中的应用分析.：.142.5 混合云平台的资源调度机制分析.162.5.1 资源调度机制.162.5.2 调度目标.162.5.3 调度模式和调度模型.172.5.4 调度算法.182.6 本章小结.19第三章基于集群式的混合云平台调度模型设计.203.1 调度模型设计.203.1.1 模型架构.203.1.2 模型分层.213.1.3 模型的调度流程.23混合云平台资源调度机制研究与设计3.2 调度模型各主要功能模块的设计.：.233.2.1 服务类型映射模块设计.233.2.2 消息传递机制设计.243.2.3 资源监控模块设计.273.2.4 数据库相关技术.283.2.5 客户认证模块设计.303.2.6云内调度代理和云协调器设计.323.3 本章小结.33第四章基于遗传算法的云内和云间调度算法设计.344.1 遗传算法与云计算.344.2 基于初始种群优化的云内资源调度算法设计.344.2.1 初始种群优化思想.354.2.2 适应度函数设计.：.364.2.3 交叉变异概率函数选择.364.3 基于WN SGA TI的云间调度算法设计.364.3.1 N SGA-H 算法分析.364.3.2 最少支出费用调度目标.374.3.3 改进的精英策略设计思想.374.3.4 具体算法设计.394.4 本章小结.42第五章资源调度模型实现及算法仿真.435.1 C loud Sim 介绍.435.1.1 C loud Sim 的分层结构.445.1.2 C loud Sim 扩展.445.1.3 C loud Sim仿真基本步骤.455.2 调度模型主要功能模块的实现.465.2.1 服务类型映射.465.2.2 云资源监控.485.2.3 云内代理.49VI江苏大学硕士学位论文5.2.4 云协调器.505.3 算法仿真及结果分析.:.515.3.1 云内仿真结果与分析.515.3.2 云间仿真结果与分析.525.4 本章小结.55第六章总结与展望.566.1 总结.566.2 展望.56参考文献.58致谢.61硕士期间发表论文.62VII江苏大学硕士学位论文第一章绪论.1.1 研究背景与意义随着计算机和网络信息技术的迅猛发展,企业和个人不仅对计算机的性能要 求越来越高，而且更加注重IT服务的用户体验。而IT服务提供商们为了能在各种 新技术层出不穷的新时期吸引更多的用户，抢占更大的市场份额，都在积极地加 大资金的投入和研究的力度，努力寻求业务、技术创新和服务质量的提高。云计 算这一网络应用模型的出现，为广大IT服务提供商们指明了新的方向。云计算 基于虚拟化、高性能存储技术等一系列传统技术，并以服务的方式提供给企业 和用户计算、存储、软件和软件平台等资源。自2007年云计算概念被首次提出 以来，其各项关键技术的研究和突破正在使云计算逐步从抽象走向实际。云计算 已经成为了学术界广泛关注的研究热点，其成功的商业模式和应用也在逐渐改变 着人们的生活。它的出现不仅是对传统计算机及信息技术的巨大冲击，更是对人 们传统H服务理念的颠覆。云计算中数据资料不在本地计算机上，而在云端大规模的服务器集群里。云 对其统一管理，方便了数据的存储，保障了数据的安全性。同时云端的资源丰富 多彩，包罗万象，通过网络可以简单地实现数据、硬件和软件资源的共享。用户 所需的软件程序也运行在云端，且云端的软件实时更新，免去了用户需不定期注 意软件升级的烦恼。云端更可以模拟最强大的软件开发项目环境，提供最真实的 项目体验。只需有接入高速互联网的条件，无论何时何地，都可以享受云服务提 供的方便。云计算不是一台计算机在运行任务，而是成千上万台计算机在同时执 行。在执行规模较大、要求较高的程序和项目时，硬件条件已不再成为制约的瓶 颈，大大提高了工作效率。云计算为资金有限的企业和用户提供了无限强大的计 算、软件、存储等服务。混合云作为业界公认最可靠的云计算商业模式，联合了私有云和公有云。公有云可扩展性高，但性能滞后。私有云一般可靠性较高，但可扩展性却很有限。混合云恰好中和了两者的优缺点，具有很高的实用价值。私有云的负载在达到饱 和状态时，可以把一些非重要任务和数据自动地迁移至公有云执行和保存。公有 云在保证工作效率的同时极大地平衡了私有云的工作负载。基于各个平台的资源 混合云平台资源调度机制研究与设计特点，考虑用户的特殊要求以及平台创建者的资金和硬件条件。通过绑定云服务 商建设可靠的混合云平台，能够最大限度地挖掘1T基础设施的潜力。目前对于云计算调度模型的研究尚无标准的框架，各大云服务提供商的云平 台的实现技术和底层协议无法兼容。而混合云的调度模型的研究尚无具有代表性 的成果发布，混合云中针对多公有云情况的调度模型更是少之又少。业界对云计 算调度算法的研究同样尚处于起始阶段。由于云计算采用大规模分布式集群服务 器，因此对资源调度算法的调度效率、调度开销、调度成本等方面提出了很高的 要求。混合云由于其特殊的体系结构和更复杂的调度环境，对调度算法的研究提 出了新的要求。从另一侧面同时也说明了其调度算法的重要研究价值。1.2 国内外研究热点与现状1.2.1 云计算研究热点与现状云计算开始被广泛关注始于2007年的下半年。短短的几年时间，几大世界著 名的IT业巨头相继投身于云计算产业的研究和发展，越来越多的中小型云计算服 务提供商更是如雨后春笋一般迅速崛起。随着云计算技术研究的深入，云计算产 业的雏形已渐漏端倪。目前云计算的研究热点包括：1）标准化云计算为用户提供的服务各式各样，不同平台不同服务间的互操作性还比较 欠缺。各平台协议的不同和技术的不兼容严重制约着云计算的进一步发展。标准 不能颠覆只能融合，因此如何制定规范的协议和行业标准成为了现今云计算研究 的当务之急。国际标准化组织ISO和众多云计算业界的专业联盟和组织都在积极 致力于对云内资源调度、虚拟机安全监控、高效存储等相关方面标准的制订。2）计算资源的虚拟化虚拟化是对计算资源的抽象化。虚拟化技术由于出现较早，技术相对比较成 熟。然而针对云计算庞大的基础设施，虚拟化操作系统弱化了软件应用环境与硬 件平台之间的依赖，甚至完全隔离；中间件弱化了应用软件对软件运行的依赖，甚至完全隔离。目前主流的虚拟化技术有Xen是英国剑桥大学首先提出并由 江苏大学硕士学位论文XenSourc e管理的虚拟化技术和VM ware公司推出的VM ware Infrastruc ture1”技 术。前者提出了SR虚拟磁盘存储库和VBD虚拟区块的概念。后者大幅度简化了基 础设施，显著降低了成本投入，增强了用户选择硬件和操作系统的自由度。3)资源调度和管理资源的调度和管理是整个云计算平台的核心，它决定着平台的性能和服务水 平，因此具有极高的研究价值。目前对于资源调度的研究更多的在调度模型和调 度算法两方面。4)体系结构云计算是各种计算机和网络技术的融合。良好的体系结构，可以显著改进云 计算平台的性能从而提高云服务的质量。目前云计算的体系机构更多由面向服务 结构SOA(Servic e Oriented A rc hitec ture)继承而来。目前云计算主流的划 分标准有Y ouseff和Lenk两种。前者提出的云层次栈将云平台划分为应用层、软 件平台层、基础设施层、软件内核层和硬件层；后者将云系统分为基础设施即服 务(lass)层、平台即服务(Pass)、软件即服务(Sass)和人员即服务(Hass)层。5)安全传统系统中存在的安全问题在云计算平台中同样存在。由于云计算资源集中 化专业化管理的特点，很大程度上解决了系统和存储方面的安全问题。目前研究 更多的是用户和云服务提供商的信任机制问题。6)能耗控制云计算基础设施由成千上万的计算资源组成，其资源利用率和运行成本一直 是云计算平台优化的热点问题。最新的研究成果表明计算机C PU利用率对能耗的 影响大于其他硬件。7)云存储云存储技术通过分布式文件系统将数据分布式存储于大量虚拟化的设备。目 前很多的云服务提供商已经可以提供高质量的云存储服务。云存储作为云计算走 向商业化的第一步，在如何简化复杂的系统和公共访问接口，提高存储设备的利 用率等方面的研究具有重要的商业价值。8)编程模型3混合云平台资源调度机制研究与设计编程模型为用户提供一个简单方便的操作接口，而隐藏了底层的具体实施过 程，用户只需注重于问题的描述。目前为业界熟知的编程模型主要有M ap-Red uc e 和A ll-Pairs。9)应用开发云计算基于其自身的优势，可以满足大量数据的处理需求，并快速响应广大 运营商们业务增长需要。因此越来越多的云服务提供商们正加大对云计算应用的 开发投入力度，以求快速占领云计算这一具有巨大商业价值的市场。A mazon作为最早进入云计算领域的厂商之一，使用弹性云(E C 2)和简单存储 服务(S3)等云计算应用为企业及用户提供了计算、软件和存储等一些最实用的云 服务。Google是当今云计算领域的领头羊。以Google的搜索引擎为例，它的底层 服务器超过100万台以上，分布在全球200多个国家和地区。Google的Google A pp以运行大型云计算应用程序著称。它是Google公司提供的一个集Gmail、Google地球、Google地图、聊天、协作平台等一系列核心套件于一身的成功的 云计算平台解决方案。我国云计算的发展起步较早，势头强劲。目前国内主要的云计算服务提供商 包括阿里巴巴、世纪互联、中国移动和北京云联科技等。其中北京云联科技是国 内领先的云计算资源供应商，拥有中国最著名的云游戏平台。目前Intel、N vid ia、盛大、金山、北京电信研究院等多家国内外知名企业和研究机构都已成 为云联科技的技术合作伙伴。1.2.2 混合云研究热点与现状混合云作为云计算未来最主要的发展方向，拥有独特的体系架构。目前研究 的热点在上述几项的基础上进行了扩展，主要集中在私有云和公有云间的协议转 换和协同调度问题上。而针对混合云中绑定多公有云问题的研究则集中在多云协 调器的开发上。2011年6月24日，红帽发布了“红帽云基础”(Red Hat C loud F ound ations)的完整包，该包用于运行混合云计算平台。这意味着红帽与微软公司一样，成为 世界上仅有的2家可以提供混合云计算基础平台的公司。4江苏大学硕士学位论文日前美国著名的云服务提供商E M C为应对中大型企业和成长型企业迫切希 望迈向混合云的需求，最近在全球发布了多种基于混合云的新技术和新产品。其 中的重复数据消除存储系统Data Domain的性能极佳，备受业界推崇。而其 旗舰产品E M C Symmetrix VM A X存储系统也发布了新版F A ST（全自动存储分 层）软件和使系统性能翻番的新操作环境。1.2.3 混合云平台调度机制研究现状由于资源和服务提供方式的特殊性以及规模庞大的服务器集群，云计算平台 的资源调度机制与传统的调度机制在调度模型、调度策略等方面有显著的区别。为了提供云计算平台的服务质量，如何从调度效率、系统开销和经济效益等性能 指标来分析云计算平台的性能，成为了当今云计算研究的热点。混合云平台由于 结合了公有云和私有云，其资源调度机制相对单纯私有云平台在各方面都具有更 高的调度要求。资源在私有云和公有云之间调度迁移的时候，协议转换以及安全 问题尤为重要。目前针对混合云平台的调度模型和调度策略相对简单，并没有完 全适应于市场化的需求，调度性能也没有面向服务的具体标准。1.3 论文研究内容论文的主要研究内容包括：1）混合云在云计算平台中的应用分析首先分析混合云在云计算平台中应用的优势，然后指出在进行私有云和公有 云之间的资源调度时应该考虑的问题。2）混合云平台模型研究与设计通过研究混合云平台中集中式和分布式两种调度模式各自的优缺点，考虑 在具体应用时多公有云的特殊环境，实现了一个基于集群式的混合云资源调度模 型，该模型兼具分布式的灵活性和集中式的可靠性。在此基础上，研究并设计该 调度模型各个主要功能模块的实现方案。3）云内调度算法设计通过优化遗传算法的初始种群产生方法，实现最少完成时间调度目标。首先 由min-min算法、max-min算法的和论文提出的基于节点历史处理数据量统计 5混合云平台资源调度机制研究与设计加权算法分别产生各自的较优个体,这些较优个体是各自算法所有任务完成时间 最少的个体。然后将这些个体以及它们互相交叉变异后产生的新个体作为初始种 群的部分个体，从而使初始种群更优，提高算法的收敛速度。最后对其余个体的 选择设定海明距离口，保证种群多样性，防止过早局部收敛。4）云间调度算法设计为符合实际的应用，在保证混合云平台较高调度效率的同时，节省费用的支 出，云间调度算法采用最少完成时间和最少支出费用作为双调度目标。并通过对 N SGA-II算法在每一代双倍种群快速非支配排序后产生的精英个体进一步进行 非支配比较，从而产生更优的下一代父种群，加快寻优速度。最终实现更佳的双 目标组合优化5）调度模型主要功能模块实现和算法仿真在C loud Sim同平台上搭建仿真环境，编程实现上述模型的各主要功能模块。并仿真实现云内和云间调度算法，最后将仿真结果分别与各自改进前算法的结果 进行比较分析，验证改进算法的有效性。1.4 论文组织结构论文共分为六章，各章的内容安排如下：第一章简要介绍了混合云平台及其调度机制研究的背景和意义以及平台在 国内外的研究发展现状、论文所做的主要研究工作，以及论文的组织结构。第二章介绍了云计算的概念、原理、特点、关键技术、主要服务类型以及云 计算平台的基础设施架构，进而介绍混合云的概念，特点及其在云计算平台中应 用的优势以及资源在云间进行调度时应考虑的问题。最后分析了混合云平台的核 心问题即资源调度机制，包括调度模式、调度模型、调度目标和调度算法。第三章首先提出了在多云情况下,一个基于集群式调度服务器的混合云调度 模型，然后说明了模型的逻辑分层以及调度流程。最后介绍了实现此模型的各个 模块功能的原理和方法，便于对模型进行性能上的研究和评估。第四章研究了上述模型中云内和云间资源调度的算法。首先简单分析了遗传 算法运用于云计算的可行性；然后介绍了以最少完成时间为调度目标，基于初始 种群优化的云内资源调度算法的设计方法;最后给出了以最少完成时间和最少支 6江苏大学硕士学位论文出费用作为双调度目标，改进了精英策略的N SGA-IF云间资源调度算法的设计 思想和方法。第五章首先简单介绍了开源平台C loud Sim的仿真原理和方法，然后编程实 现了调度模型的各主要功能模块，并通过扩展类来仿真验证上述两种算法，最后 将仿真的结果分别与改进前调度算法的仿真结果进行比较,分别验证了改进算法 的有效性。第六章总结了论文的研究工作研究成果，并探讨了课题的下一步研究方向。7混合云平台资源调度机制研究与设计第二章混合云平台相关技术分析本章首先介绍云计算的基本概念、主要服务类型、关健技术以及云计算平台 设计的基础设施架构。然后介绍云计算中混合云的概念、特点以及在云计算平台 中应用的优势以及资源在混合云平台中调度时应考虑的问题。最后结合论文分析 调度机制研究的内容，包括介绍调度目标、调度模式、调度模型和调度算法。2.1 云计算概述云计算技术的迅猛发展基于移动互联、电子商务等IT领域越来越高的应 用需求，它不同于传统的高性能计算机技术，不仅是对互联网商业模式和管 理模式的重大革新，更会对人们的生活带来巨大的影响。2.1.1 云计算概念与特点云计算是并行计算(Parallel C omputing)分布式计算(Distrib uted C omputing)x 网格计算(Grid C omputing),效用计算(Utility C omputing)等传统计算机技术的发展，也是这些技术商业化的实现。并综合了虚拟化技 术、高性能存储技术、超宽带技术等当今被广泛研究的计算机和网络技术，以laaS、PaaS、SaaS等服务方式为用户按需提供服务。云计算的服务可以是任意与IT相关的内容。云端的资源在使用者看来是 透明的，并可以无限扩展的，随时随地可获取，按需使用，按需计费。所谓 的“云”就是一些用户无法接触，但可以自我维护，并具有强大性能的虚拟 计算资源，而其底层通常为很多遍布各地的大型服务器集群。云计算底层分 布式的服务器大多为廉价的计算机终端，这也是它与高性能计算机的最主要 区别。基于其自适应维护的特点，虽然规模庞大，但云服务提供商无需为繁 杂的日常维护工作而烦恼，能够更加专注于自身的业务拓展和创新。云计算的基本原理是通过网络连接将大量的计算资源组合成一个服务器 集群，并由虚拟化软件将这个集群虚拟成面向用户的个人终端。从而将提供 给用户的计算、存储、软件及软件开发等日常任务的执行工作分布在大量的 分布式虚拟终端上，而非传统的用户个人计算机或服务器中。它类似于数据 江苏大学硕士学位论文中心的功能。区别在于，云计算提供的功能更全面更强大，且将用户终端一 并交由云端管理。它将计算、存储空间、软件和软件开发平台等服务作为商 品来流通，就像使用水和电一样，只是它的传输介质是互联网，具有极高的 性价比。云计算与传统分布式计算、并行计算和网格计算相比具有如下几个特点:1）数据存储安全云计算服务提供商为用户提供了最安全的数据存储服务，用户不必再为数据 的丢失和系统病毒的入侵而担心。用户长时间以来都习惯于将自己的重要文件和数据存储于个人终端设备,这 更多的是出于安全考虑。然而这种措施并非万无一失，硬件损坏、系统中毒、黑 客破坏等意外状况屡见不鲜。而把这些文件和数据同时存放于云端，有专业的人 员和健全的信息安全机制来保障用户的数据安全，可以将风险降到最低。2）客户端要求低云计算服务对用户端的设备要求很低，不需要性能强大的终端也能运行对性 能要求很高的应用。在软件方面，出于安全和使用的考虑，用户需要经常将客户 端软件升级为最新的版本。云计算由于软件安装在云端运行在云端，则避免了这 方面的烦恼。只需一台具备上网条件的终端和一个浏览器，用户便可在云端完成 所有的工作，且效率更高，完全不必担心硬件的瓶颈。-3）轻松完成数据共享云计算可以轻松地完成不同设备间的数据共享。数据存储在云端，各种终端 可以同时访问并使用相同的数据，数据操作即时同步。只需赋予使用者一定的访 问权限，他人便可方便得获取用户分享的数据，且对终端无限制。4）强大计算能力个人终端设备计算能力相当有限，随着计算机软件应用的要求越来越高，计 算能力的不足经常会影响作业的进度和表现，而由成千上万台服务器组成的庞大 的集群凭借十万亿次级别的计算能力，可以轻易地完成各种最复杂的任务。5）无限的存储空间用户终端的存储空间有限，无法实时应对突发式的存储需求，往往给用户带 来极大的不便。而云计算由于采用庞大的计算机集群，因而具有几乎无限的存储9混合云平台资源调度机制研究与设计空间，可以轻松应对日常各种存储业务。-6)高性价比云计算采用了虚拟化技术，因此对用户端物理终端设备的要求不高。在云端，服务器集群由大量廉价和老旧的硬件设备组成，对于资金有限的企业和用户来 说，在享受云计算带来的便捷服务的同时，极大地降低了硬件成本和维护成本。2.1.2云计算的主要服务类型通过网络将大量廉价的计算机资源，整合成一个性能强大且具有各式各样 IT服务的营销系统。不但可以改变用户对IT服务的传统观念和使用方式，而且 可以极大的减轻企业和用户的经济负担。目前主流的云计算三种服务模式如下：1)laaS(Infrastruc ture as a Servic e)：基础设施即服务。它是一种向用 户提供对所有基础设施利用的服务，如计算、存储、数据库等资源。2)SaaS(Software as a Servic e)：软件即服务。它是一种通过网络提供软 件服务的模式。用户无需购买软件，只需支付很少的金额租用。相对于传统的软 件使用方式，其在软件成本和软件维护上都具有显著的优势。3)PaaS(Platform as a Servic e)：平台即服务。PaaS是指将平台作为一 种服务提供给用户。本质上PaaS也是SaaS的一种应用，特别之处在于它提供的 是软件程序运行的环境。2.2云计算的关键技术分析云计算的关键技术包括：编程模式、自动化管理和调度、资源监控、虚拟化 和高性能存储等技术。云计算综合了上述几种计算机技术，同时是它们的发展和 商业化体现。下面对云计算的几种关键技术作简单介绍：1)简单的编程模式M apRed uc e云计算开发人员在开发新的应用服务时需要遵循一定的标准即编程模式，越 简单越合适的编程模式，能为应用程序提供更高的资源调度效率。由Google公司提出的M apRed uc e软件架构是目前最为流行也最为简单的用 以处理海量数据的并行编程模式，被各大云服务提供商广泛借鉴并采用。M apRed uc e海量数据的处理能力通常大于1TB,它拥有出色的针对结构化和非结 10江苏大学硕士学位论文构化数据的搜索、挖掘和智能分析能力。它封装了并行处理、容错处理、本地化 计算、负载均衡等重要细节，因此接口简单，易于编程，通用性强，且性能强大。M apRed uc e的意思就是任务的分解映射和结果汇总，待处理的数据必须是可 分解的。它对每一个数据段加入一对键值对经过M ap（映射）处理，输出中间态键值K2,V2,将所有中间态的键值重排序后生成新的键值对组，从 而使同一键值的数据放在一起，然后对键值对组进行再分段，执行Red uc e（化 简）操作。M apRed uc e调度模型如图2-1所示：图2-1 MapReduce调度模型2）云监控技术云计算的服务器规模庞大，云内资源状态和行为的监控和分析尤为关键，因 此需要一个强大的代理服务器来进行实时、准确的监控，监控代理需要主动地动 态获取资源使用的状态信息，并周期性地将这些信息传送至数据中心调度服务 器，来为系统性能的提升、负载的均衡和故障的解决提供必要的依据。因此，云 资源监控技术在资源调度机制的研究中具有重要的研究价值。目前为业界推崇的云监控技术有C hukwa数据采集系统和虚拟机内部监控。前者建立在Had oopM的基础上，它具有强大的扩展工具，保证了在监控和分析大 规模分布式系统时较高的执行效率。后者的产生是为了防止恶意用户利用云服务 提供商的硬件来向其他正常用户发动攻击。3）虚拟化技术虚拟化是指将计算机硬件资源虚拟为多个内置可用的共享平台，从而使操作 系统和应用程序都在虚拟的设备上运行，而并非传统的物理设备。它在很大程度 上解决了系统的兼容问题。用户可以在一个操作系统中分配一定的C PU、硬盘和 内存空间来模拟另一种操作系统，以满足特殊应用场景的需求。单独的硬件资源 11混合云平台资源调度机制研究与设计可以模拟多个资源使程序并行执行，互不影响。显著提高了计算机的运行效率，增强了灵活性，而且大大降低了成本。4)分布式数据库管理技术云计算平台中，需要分析处理的数据种类繁多，加上海量且不断激增的服务 请求，目前的商用数据库根本无法满足如此苛刻的要求，因此必须借助高效的数 据库管理技术的支持。Google公司推出的Bigtab le是目前最为流行的云计算平台数据库解决方 案，但它并非真正意义上的数据库，它只是选取了一部分合适的数据库技术作为 支撑，并巧妙地将它们结合在了一起。5)高性能存储技术云计算平台海量的数据达到TB级别，读写速度直接影响着云存储的服务质 量，因此需要具有高存储速度、高容错性和高安全性等优点的存储技术。云存储 系统主要由客户端、服务器和存储端三部分构成。底层由无数的廉价硬盘连接而 成，存储设备要求很低，而在数据读写的安全性、可靠性、吞吐率和响应速度等 方面要求较高。目前存储区域网络SA N5)(Storage A ttac hed N etwork)和Google 公司推出的分布式文档系统GF S(Google F ile System)都是高性能存储技术在 云计算平台中比较成功的商业化实现。6)资源调度资源调度就是对各种计算资源进行合理有效的分配和使用，资源调度是云计 算平台研究中的关键问题之一。基于全局索引与局部索引框架的思想，通过特殊 的多结点网络拓扑结构将各个虚拟节点绑定并导入软件控制模块的控制列表，从 而实现云计算平台资源的调度基本框架。资源调度机制的设计主要从三方面展 开，即调度目标设定，调度模式与模型设计以及调度算法的设计。2.3 云计算平台基础设施架构目前，基于web的网络应用平台已经可以实现