云计算数据中心调度算法研究.doc

云计算数据中心资源调度关键技术研究
1 项目背景:
云计算是建立在计算机界长久技术积累基础之上, 包含软件和平台作为一个服务, 虚拟化技术和大规模数据中心技术等关键技术。数据中心（可能是分布在不一样地理位置多个系统）是容纳计算设备资源集中之地同时负责对计算设备能源提供和空调维护等。数据中心能够是单独建设也能够置于其她建筑之内。动态分配管理虚拟和共享资源在新应用环境--云计算数据中心里面临新挑战, 因为云计算应用平台资源可能分布广泛而且种类多样, 加之用户需求实时动态改变极难正确估计, 以及需要考虑系统性能和成本等原因使得问题非常复杂。需要设计高效云计算数据中心调度算法以适应不一样业务需求和满足不一样商业目标。现在数据中心调度算法依据具体应用（计算资源, 存放, 搜索, 海量信息处理等）不一样采取不一样策略和算法。提升系统响应速度和服务质量是数据中心关键技术指标, 然而伴随数据中心规模不停扩大, 能源消耗成为日益严重和备受关注问题, 因为能源消耗对成本和环境影响都极大。 总发展趋势是从简单粗旷满足功效/性能需求方法向精细优化节能方向发展。

图一.多数据中心调度算法参考体系结构

2 云计算数据中心资源调度方案分析
2.1 谷歌处理方案
谷歌 可能是业界最早使用和提议云计算厂家之一。因商业保密, 其大部分技术实现内容并未被外界了解。从其公开发表文件可及了解到其相关云数据中心, 搜索引擎网络设计, 分布式文件系统以及并行处理模式MapReduce概要设计。谷歌云计算平台架构, 其基础平台是建立在MapReduce结构之上。 利用了类似Hadoop资源调度管理方法。不过谷歌自己设计了文件系统（GFS hunkserver）, 数据库系统（BigTable）以及其它相关系统。
2.2 Amazon处理方案
Amazon现在被认为推广云计算应用最为成功厂家之一。 它成功地推出了EC2(弹性云计算), SQS (简单消息存放服务), S3(简单存放服务), SimpleDB(简单数据库)等近十种云服务。Amazon 云计算平台体系结构, 其中（EBS Elastic Block Service, Providing the Block Interface, Storing Virtual Machine Images）。
2.3 IBM处理方案
IBM 云计算调度是建立在虚拟计算资源之上, 图-10所表示 IBM 云计算基础平台建立在开源Xen虚拟linux 平台和 Hadoop集群平台之上, 采取了IBM Tivoli 网络资源监控和WebSphere 网络服务。由此可见其关键调度是建立在Hadoop MapReduce 框架之上。
2.4 HP处理方案
HP 很早就开始数据中心研究工作.下式描述了其数据中心基于成本考虑各要素: 建筑空间占用成本, 供电, 制冷, 维护成本等。
Cotst_total=Cost_space+Cost_power+Cost_cooling+Cost_operations (1)
2.5 VMWARE处理方案
VMWare成为服务器虚拟化关键提升商。虚拟化是提升资源利用效率有效手段, 被众多云计算提供商采取。其数据中心虚拟机动态分配管理关键使用使用 VMware Infrastructure 3 实现, 关键特点是表现在虚拟共享, 容灾备份等。将虚拟化优势 扩展到远程和分支机构, 从而在单一控制点中即可实现以下目标: 愈加灵活地远程管理每个站点虚拟机; 在中央数据中心托管可远程访问虚拟机; 同时使用分布式虚拟机和集中式虚拟机。现在VMWare企业数据中心工作还侧重在资源虚拟化, 容灾备份等方面。对于资源动态调度管理方面考虑较少, 关键考虑经过虚拟化提升资源利用率（标准）和动态迁移虚拟机以及容灾备份等。
Vmware经过建立远端服务器群, 可实现双中心互备虚拟化IT架构, 在运行端和远端之间启用vReplicator服务, 能够实现运行端虚拟机应用实时复制到远端ESX主机存放, 达成异地容灾目。vReplicator针对虚拟机操作, 实时监控虚拟机磁盘文件数据改变, 在完整磁盘数据复制操作完成后, 每隔5分钟, 自动将两地磁盘数据间差异数据复制到容灾端, 当运行端服务器出现异常中止, 服务中止, vReplicator自动将容灾端处于待机状态备份虚拟机进行Failover操作, 备份机数据及设置与源虚拟机完全相同, 所以开启后立即能够接管应用, 重新开始对最终用户提供服务。
2.6 其它厂家处理方案
以上厂家提供方案多是建立在私有云上, 不开源。开源适适用于海量信息处理Hadoop MapReduce和小型云计算平台Eucalyptus是两类值得了解处理方案。实际上很多前面介绍厂家包含谷歌, IBM等都在基础架构上采取了MapReduce设计思想.
对于小型云计算平台Eucalyptus资源调度分配管理现在业界是用监测负载平衡器日志和检测响应时间要求来进行。资源调度管理算法读取实时负载平衡器日志和计算在每个虚拟机每60秒在集群中平均响应时间。当它检测到有任何虚拟机平均响应时间超出需要反应时间, 它将开启一个新虚拟机实例或更多新虚拟机实例来满足需求, 对应也可在系统负载较低时降低虚拟机实例。

3 项目研究目标
项目关键针对云数据中心资源调度关键技术进行研究, 研究内容包含以下多个方面:

1) 调度策略(Scheduling policies): 是资源调度管理最上层策略, 需要数据中心全部者和管理者界定。关键是确定当资源不足以满足全部立刻需求时处理策略;
2) 优化目标(Objective functions): 调度中心需要确定不一样目标函数以判定调度优劣。依据调研结果, 项目拟以性能（响应速度）, 服务质量, 总成本控制（耗能低）等优化目标函数;
3) 调度算法:好调度算法需要根据目标函数产生优化结果, 而且在极短时间之内, 同时本身不能消耗太多资源。通常来讲调度算法基础都是NP-Hard问题, 需要极大计算量而且不能通用。项目关键研究满足项目优化目标条件下近似优化调度算法;
4) 调度算法系统架构: 与数据中心基础架构亲密相关, 现在多是考虑如图-一所表示多级分布式体系结构;
5) 数据中心资源界定及其相互制约关系: 分析清楚资源以及其相互制约关系有利于调度算法综合平衡各类原因;
6) 数据中心业务流量特征分析: 掌握业务流量特征有利于愈加优化调度算法。
4 4项目研究现实状况:
经过前期云计算数据中心资源调度系统调研, 现在已经选择开源云计算产品Eucalyptus作为云环境平台。Eucalyptus 项目全称是Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems, 由Santa Barbara大学建立开源项目, 是关键实现云计算环境弓单性需求软件, 经过其在集群或者服务器组上布署, 而且使用常见Linux工具和基础基 于web服务使用FreeBSD License, 意味着能够直接使用在商业软件应用中, 目前支持商业服务只是亚马逊EC2, 以后会增加多个用户端接口。该系统使用和维护十分方便, 使 用SOAP安全内部通信, 且把可伸缩型作为关键设计目标, 含有简单易用, 扩展方便特点。这个软件层工具能够用来经过配置服务器集群来实现私有云, 而且其接口也是与公有云相兼容, 能够满足私有云与公有云混合构建扩展云计算环境。
目前已经初步完成了EUCA在试验室服务器IBM X3550服务器上安装配置, 现在进行工作是对现有云计算调度策略和调度算法深入分析, 并针设定数据中心调度优化目标（性能, 服务质量, 总成本控制）进行调度算法设计。
项目组硬件环境:
1、 IBM X3550 机架式1U:
Xeon EM64T 4-Core Intel Xeon Processor E5420 (2.5 GHz 12MB L2 1333MHz 80w), 2×1GB, 300GB（3.5英寸 SAS Hot-Swap） HDD×2, 2×Giga Ethernet, RAID 1, Light Path, CD-RW/DVD Combo,电源670W×2块
2、 台式机 30台