云计算关键技术研究与分析-论文.doc

福州大学至诚学院学科概论与前沿综述（论文）题 目： 云计算关键技术研究与分析 姓 名: 吴文权 学 号: 211003256 系 别: 化学工程系 专 业: 应用化学 年 级： 10级 指导教师： 2012年 6 月 1 日 9云计算关键技术研究与分析摘要在分析现有定义的基础上对云计算提出了较全面的参考性定义，并给出了云计算的六大特征、四种部署模式和三种服务模式。此外，通过对云环境中三种角色的责任分析和对主流云计算产品的研究，抽象出了支撑云计算的关键技术，最后指出云计算对未来软件市场发展的影响。当今社会，PC依然是我们日常工作生活中的核心工具我们用PC处理文档、存储资料，通过电子邮件或与他人分享信息，如果PC硬盘坏了，我们会因为资料丢失而束手无策，而在“云计算时代,“云”会替我们做存储和计算的工作。“云”就是计算机群,每个群包括了几十万台、甚至上百万台计算机。“云”的好处还在于，其中的计算机可以随时更新，保证“云长生不老，Google就有好几个这样的“云,其他IT巨头，如微软、雅虎、亚马逊（Amazon）也有或正在建设这样的“云”届时，我们只需要一台能上网的电脑，不需要关系存储或者计算发生在哪朵“云”上，但一旦有需要,我们可以再任何地点用任何设备,如电脑、手机等，快速地计算和找到这些资料，我们再也不用担心资料的丢失。关键词：云计算，分布式基础架构，分布系统,云服务，云部署目 录第一章 引言31。1 云计算概念31。1.1 云计算特点31.1。2 云计算分类41。2 云计算发展现状5第二章 云计算的应用领域6第三章 云计算容错机制73。1云计算系统的容错和故障恢复73。1.1 多副本的数据73。1。2 Worker故障73.1。3 Master 故障73。1。4 应用程序容错8第四章 云计算发展趋势84。1正规的决策框架促进云投资的优化 84。2混合云计算是当务之急84.3云经纪业将促进云消费8结论10参考文献11第一章 引言很少有一种技术能够像“云计算”这样，在短短的两年间就产生巨大的影响力.Google、亚马逊、IBM和微软等IT巨头们以前所未有的速度和规模推动云计算技术和产品的普及,一些学术活动迅速将云计算提上议事日程，支持和反对的声音不绝于耳。那么,云计算到底是什么?发展现状如何呢？1。1 云计算的概念美国加州大学伯克利分校在指出云计算既指在互联网上以服务形式提供的应用，也指在数据中心中提供这些服务的硬件和软件，而这些数据中心中的硬件和软件则被称为云.美国国家标准与技术研究院指出云计算由一个可配置的共享资源池组成,该资源池提供网络、服务器、存储、应用和服务等多种硬件和软件资源。资源池具备自我管理能力，用户只需少量参与就可以方便快捷地按需获取资源.云计算提高了资源可用性。Wikipedia和NIST都强调云计算中资源的按需提供.在对云计算范围的界定上， UCB认为云计算不包括私有云,而NIST则认为云计算包括私有云.本文认为NIST的定义主要从云计算提供者的角度出发，比较全面地涵盖了云计算的本质特征，但是缺乏对云计算使用者和云计算开发者的阐述。综上所述，本文提出自己的参考性定义：云计算是一种以提高资源利用率、降低IT成本为驱动的计算模式，在云计算中包括云服务使用者、云服务提供者和云服务开发者三类角色。云服务使用者可在不具备专业知识的情况下利用网络通过交互技术以自服务的方式访问云端资源。云服务提供者作为联系服务使用者和服务开发者的桥梁，以按需使用、按量计费的方式通过网络提供动态可伸缩资源，云服务提供者负责安全管理、运营支撑管理、服务平台以及资源平台,其中服务平台包括软件即服务SaaS(Software as a Service）、平台即服务PaaS(Platform as a Service)、基础设施即服务IaaS（Infrastructure as a Service）以及这三种服务的组合和管理。资源平台包括资源池、虚拟资源管理、物理资源管理等.云服务开发者负责将各种软硬件资源封装成服务,并负责服务的创建、发布和维护.1。1。1 云计算特点（1) 超大规模：“云”具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。（2）虚拟化：云计算支持用户在任意位置、使用各种终端获取应用服务.所请求的资源来自“云,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置.只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。(3） 高可靠性：“云使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。(4） 通用性:云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用,同一个“云可以同时支撑不同的应用运行。（5） 高可扩展性:“云的规模可以动态伸缩，满足应用和用户规模增长的需要。(6） 按需服务：“云”是一个庞大的资源池，你按需购买；云可以像自来水,电,煤气那样计费。（7） 极其廉价：由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。 云计算可以彻底改变人们未来的生活,但同时也要重视环境问题，这样才能真正为人类进步做贡献，而不是简单的技术提升.（8） 潜在的危险性：云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别象银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会.对于信息社会而言，“信息是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要的前提.1.1.2 云计算的分类 从服务方式角度来划分的话，云计算可分为三种：为公众提供开放的计算、存储等服务的“公共云”,如百度的搜索和各种邮箱服务等；部署在防火墙内，为某个特定组织提供相应服务的“私有云”；以及将以上两种服务方式进行结合的“混合云”。目前云计算市场的IAAS领域，EMC、亚马逊的EC2、浪潮信息、联想和方正科技等厂商就是代表;提供PAAS服务的厂商中，典型的有IBM的“蓝云”、微软的WindowsAzure、谷歌的APPS，以及国内的鹏博士、网宿科技等；最上面一层的SAAS领域,东软集团、用友、金蝶、金山、神州泰岳、北京讯鸟等皆为相应垂直领域的翘楚。1.2 云计算的发展现状中国云计算产业生态链的构建正在进行中,在政府的监管下,云计算服务提供商与软硬件、网络基础设施服务商以及云计算咨询规划、交付、运维、集成服务商、终端设备厂商等一同构成了云计算的产业生态链，为政府、企业和个人用户提供服务。虽然对云计算仍存在一些担忧,但随着概念的普及,产业界对于云计算逐渐形成了一个共识：如果忽视以云计算为代表的未来技术,中国将会在新一轮技术发展浪潮中落后于世界，中国需要抓住这一轮产业变革，占据国际产业分工制高点。早在2010年6月，胡锦涛总书记在两院院士大会上就指出，“互联网、云计算、物联网、知识服务、智能服务的快速发展为个性化制造和服务创新提供了有力工具和环境”,将云计算应用提上了创新生产方式的高度。10月，国家发展和改革委员会、工业和信息化部联合发布关于做好云计算服务创新发展试点示范工作的通知，确定在北京、上海、深圳、杭州、无锡五个城市先行开展云计算服务创新发展试点示范工作，进一步明确了国家发展云计算的总体思路和战略布局。中国云计算的产业化快速发展尚存在如用户认知不足、标准缺失、数据主权争议、可用性、稳定性担忧、用户锁定、服务质量难以规范等诸多障碍。其中，标准和安全这一对“翅膀以及相关法律法规的完善是最为核心、也是最为迫切需要解决的核心问题.云标准之翼对于云的起飞至关重要。没有标准，云计算产业的发展就难以得到规范健康发展,难以形成规模化和产业化集群发展.标准的内容不仅包括技术标准，还要包括服务标准，解决无论是公共云、混合云还是私有云的从规划设计，到系统建设、再到服务运营、质量保障等环节中的各种问题。安全问题的解决是关系到云服务能否得到用户认可的关键要素。除了可能发生的大规模计算资源的系统故障外，云计算安全隐患还包括缺乏统一的安全标准、适用法规、以及对于用户的隐私保护、数据主权、迁移、传输安全、灾备等问题。中国的云计算产业发展必须在数据加密、迁移、备份以及位置控制方面进行深入的研究,保证云服务的易用性、可用性、稳定性、安全性.安全问题的解决还包括云计算相关法律法规的不断完善，增强用户使用云计算的信心。第二章 云计算的应用领域云计算应用领域中比如英国电信（BT），2009年7月BT的全球服务部门(BTGS)和微软签署协议开展合作，基于微软的 Business Online Productivity Suite （BPOS) 为大型机构提供在线商务套件服务.通过将微软的BPOS集成到BT全球性、软件驱动的客户网络(21CN）中,英国电信提供了一个能保证更高的服务水平和网络性能的、完全托管的新兴融合服务。BT和微软为客户提供了一个基于云的商务协作工具，满足他们的语音及IT服务需求，同时帮助客户节约在网络设备、IT系统和其他基础设施方面的投资.BT还计划在此基础上，利用其国际领先的语音VPN平台对SIP协议的支持能力,将其全球语音业务集成到现有云服务中，提供融合度更高、更深的服务。美国的att以Synaptic 为品牌,通过与EMC等厂商的合作,自2009年5月起先后推出了Synaptic Storage、Synaptic Compute和Synaptic Hosting 等云服务，主要利用数据中心以及宽带优势为客户提供“可靠、灵活、安全”的数据存储、虚拟主机及应用托管服务。美国Verizon的CAAS(Computing as a Service）服务也在2009年6月正式推出，主要提供在线存储、虚拟主机和应用托管等服务. 总体来看，英国电信对云计算领域的探索代表了通信行业未来对外提供云服务的方向,那就是协同上下游建立产业链、发挥运营商的固有优势和资源，为客户提供高端的、整体性的解决方案。At&t、Verizon提供的云服务更多聚焦于IaaS方面,还没有与传统的通信能力做衔接,但其产品标准化管理及成熟的商业模式值得国内运营商借鉴。就国内而论,未来一段时间云计算应用领域的应用在通信行业主要以私有云为主,主要面向企业内部,提供整合型的基础设施服务(IaaS)。比如,面向IT系统和增值业务平台提供集中的基础设施.除此以外，在相关标准成熟的前提下，也可以在PaaS方面进行探索，比如整合现有通信网络能力,搭建统一的业务平台，并逐步对外开放。公有云服务提供方面，国内运营商应以英国电信为榜样和目标，基于现有的IDC业务逐步拓展服务内容，增加管理型服务等“软服务”，同时通过收购或建立联盟,拓展更高层面的SaaS类服务，实现对已有资源能力的“保存激增。云计算应用领域是近年来最为热门的IT技术,也被认为是互联网乃至IT行业的未来发展趋势，未来几年产业规模预计达到千亿美元.但对于电信运营商这样的企业而言，IT支撑系统是企业运营的核心命脉，如何应用云计算应用领域需要慎重考虑.在切入云计算运营管理之前，一定要详细了解云计算始末、洞察云计算技术发展趋势和技术的成熟度以及投资效益，通过试点方可推广,不可“人云亦云，系统安全稳定运行是首要条件。第三章 云计算容错机制3。1 云计算系统的容错和故障恢复 云计算属于分布式系统，许多因素导致系统异常：首先,云计算系统由成百上千的节点组成，节点的失效是常事。假如节点的平均无故障时间是3年，则一个1000节点的机群，平均每天可能有一个节点故障。从商业成本来看，使用普通和主流的计算机（CPU,内存、网络、硬盘等)比高可靠计算机的性能、价格比更高，更何况无论多么可靠地计算机也会出现故障.其次，电源、网络等其他硬件也会出现故障；第三,软件出现故障的几率远远高于硬件；第四，各种人为因素,例如错误的操作，也导致故障.由于这些因素，云计算系统需要很好地处理各种原因导致的故障,自动从故障中恢复，并且不影响运行中的上层运用程序。3。1.1 多副本的数据云计算分布式文件系统保存了数据的多个副本(例如，GFS缺省保存3份),当某个副本失效后，分布式文件系统的master会在适当的时间启动副本复制,使得数据的副本数保持设定的数量，保证了数据的安全；3.1.2 Worker 故障分布式分布式文件系统的worker可能出现故障，master通过内置的heartbeat/lease监控所有worker的状态，一旦确认某个worker故障，master会把该worker保存的数据的副本个数减一，以便系统在适当时间启动副本复制以保证数据不会丢失；3.1.3 Master故障 为了避免master成为系统的单点，master也有多个副本：其中一个是主master，其余为辅master,主master承担着master的职责，例如应答用户和worker的请求,记录操作日志等；辅master通过操作日志保持与主master的准同步。当主master发生故障后，在分布式选举协议作用下，一个辅master会升级成主master，保证系统的继续运行；3.1.4 应用程序容错出于容错和故障恢复的原因，云计算系统的上层应用程序不能假设它正在或将要使用哪个worker,也不能假设数据存储在或将要存储到哪个worker上，当应用程序需要使用数据时，云计算客户端库将许文云计算系统的master获得数据副本所在的位置，冰箱其中一个副本（通常是与该客户端网络“距离”最近的)发出数据请求，如果该worker在开始或者中途出现故障或因为其他原因无法完成该请求，则云计算客户端库自动转向另外一个副本，这对上层应用是完全透明的.第四章 云计算的发展趋势4.1 正规的决策框架促进云投资的优化 云设备的益处很多，包括运营成本模式从资金密集型转变为低成本型,在具有更高灵活性的同时降低了其复杂性。它也可以把重点从IT资源转向高增值活动业务，或支持潜在风险较低的业务创新.然而，这些潜在优势需要进行仔细的审查和消除潜在风险,包括它的安全性和透明度，性能和可用性,供应商的锁定,许可整发放的限制和市场的需求潜力等问题.而这些因素使个人云产品的评估环境变得复杂.4。2 混合云计算是当务之急 混合云是指企业外部的公用的云计算服务和内部的基础设施或应用服务的协调和组合。随着时间的推移,混合云计算会形成一个统一模式，其中有由多个云平台（内部或外部）因需要在不断变化业务需求的基础上组成的一个单独的“云。 Gartner建议企业集中短期精力在应用程序和数据集成上，并利用混合方案解决内部和外部应用程序之间联系的固定问题。凡使用公共云应用服务或运行公共云基础设施自定义应用程序的,都应遵循元素与内部系统相结合从而形成一个混合环境的原则。4.3云经纪业将促进云消费 由于云计算数量在市场上的激增，云辅助设备的消费需求也在增加。云服务经纪业(CSB)是一个在云计算中起中介作用的服务提供商.Gartner在去年对云服务经纪业这一概念兴趣倍增,他预言,在未来的三年里，无论是IT还是业务单位，其云服务消费都不涉及IT产业，而且这一趋势将随着个体经纪业的增多而讯速发展. Gartner认为,IT部门为应对这一挑战需探索，它作为云服务经纪业,如何建立一个包含云采纳和鼓励经营单位来IT组织寻求咨询和支持的购买过程，并通过这种方式来实现自我定位。云服务经纪业可以通过修改现有流程和工具来实现其预期计划，如内部门户网站和服务目录的改动。结论 本文讨论了当前云计算技术发展的前沿技术，通过具体的云计算实例进行详细分析使读者能够掌握云计算的内部含义。总体上来说，云计算可以大规模分布式的基础架构以及平台之上的云计算应用程序两发面去理解,而本文的重点则放在云计算的基础架构建设发面，这是构建整个云计算平台的根本，总结本文的云计算系统实例以及相关的研究现状,相信随着云计算的概念的提出以及相应系统构建实践经验的获得，在不久的将来，工业界和学术界对云计算的研究无疑成为一个热点。参考文献1陈洁；基于云计算的Wiki网站的构建D；安徽大学；2010年2http：/3http：/news。xinhuanet。com/eworld/201007/17/c_12342957。htm4陈国良，安红,陈凌.并行算法实践M。北京:高等教育出版社，20045http：/6http：/www.soft6。com/html/news/20/207400.shtml7http：/labs.chinamobile。com/know/437408http:/www。ciotimes。com/cloud/cfw/61787。html9Randal E， Bryant Data-Intensive supercomputing:the case for DISCR。CMU TechnicalReport CMU-CS07128.May 10，2007.