云计算体系架构与关键技术一.doc

云计算体系架构与关键技术一

14
2020年4月19日
文档仅供参考，不当之处，请联系改正。
云计算:体系架构与关键技术（一）

本文系统地分析和总结云计算的研究现状，划分云计算体系架构为核心服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标，深入全面地介绍了云计算的关键技术及最新研究进展。在云计算基础设施方面，介绍了云计算数据中心设计与管理及资源虚拟化技术:在大规模数据处理方面，分析了海量数据处理平台及其资源管理与调度技术;在云计算服务保障方面，讨论了服务质量保证和安全与隐私保护技术。针对新型的云计算应用和云计算存在的局限性，又探讨并展望了今后的研究方向。最后，介绍了东南大学云计算平台以及云计算研究与应用方面的相关成果。
1引言
    近年来，社交网络、电子商务、数字城市、在线视频等新一代大规模互联网应用发展迅猛。这些新兴的应用具有数据存储量大、业务增长速度快等特点。据统计至 ，社交网站Facebook己存储了15TB的数据，而且每天新增60TB数据；电子商务网站淘宝的B2C业务在 增长了4倍，其数据中心存储了14PB数据，而且每天需要处理SOOTB数据。与此同时，传统企业的软硬件维护成本高昂；在企业的IT投入中，仅有20%的投入用于软硬件更新与商业价值的提升，而80%则投入用于系统维护。根据 IDC对200家企业的统计，部分企业的信息技术人力成本达到1320美元/每人/每台服务器，而部署一个新的应用系统需要花费5.4周。
    为了解决上述问题， Google、Amazon等公司提出了“云计算”的构想。根据美国国家标准与技术研究院(NIST)的定义，云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式。计算机资源服务化是云计算重要的表现形式，它为用户屏蔽了数据中心管理、大规模数据处理、应用程序部署等问题。经过云计算，用户能够根据其业务负载快速申请或释放资源，并以按需支付的方式对所使用的资源付费，在提高服务质量的同时降低运维成本。
    作为信息产业的一大创新，云计算模式一经提出便得到工业界、学术界的广泛关注。其中Amazon等公司的云计算平台提供可快速部署的虚拟服务器，实现了基础设施的按需分配。MapReduce等新型并行编程框架简化了海量数据处理模型。Google公司的App Engine云计算开发平台为应用服务提供商开发和部署云计算服务提供接口。
    Salesforce公司的客户关系管理(CRM, customerrelationship management)服务等云计算服务将桌面应用程序迁移到互联网，实现应用程序的泛在访问。同时，各国学者对云计算也展开了大量研究工作。早在 ，斯坦福大学等多所美国高校便开始和Google, IBM合作，研究云计算关键技术。近年来，随着云计算研究的深入，众多国际会议(如SIGCOMM、OSDI, SIGMOD, CCS等)上陆续发表了云计算相关研究成果.另外，以Eucalyptus为代表的开源云计算平台的出现，加速了云计算服务的研究和普及。
    不但如此，各国政府纷纷将云计算列为国家战略，投入了相当大的财力和物力用于云计算的部署。其中，美国政府利用云计算技术建立联邦政府网站，以降低政府信息化运行成本。英国政府建立国家级云计算平台(G-Cloud)，超过2/3的英国企业开始使用云计算服务。在中国，北京、上海、深圳、杭州、无锡等城市开展了云计算服务创新发展试点示范工作;电信、石油石化、交通运输等行业也启动了相应的云计算发展计划，以促进产业信息化。
    然而，云计算本质上并非一个全新的概念。早在1961年，计算机先驱John McCarthy就预言:“未来的计算资源能像公共设施(如水、电)一样被使用。”为了实现这个目标，在之后的几十年里，学术界和工业界陆续提出了集群计算、效用计算、网格计算、服务计算等技术，而云计算正是从这些技术发展而来。
    在这些传统技术中，集群计算将大量独立的计算机经过高速局域网相连，从而提供高性能计算能力。效用计算为用户提供按需租用计算机资源的途径。网格计算整合大量异构计算机的闲置资源(如计算资源和磁盘存储等)，组成虚拟组织，以解决大规模计算问题。服务计算作为连接信息技术和商业服务的桥梁，研究如何用信息技术对商业服务建模、操作和管理。
    对云计算而言，其借鉴了传统分布式计算的思想。一般情况下，云计算采用计算机集群构成数据中心，并以服务的形式交付给用户，使得用户能够像使用水、电一样按需购买云计算资源。从这个角度看，云计算与网格计算的目标非常相似。可是云计算和网格计算等传统的分布式计算也有着较明显的区别:首先云计算是弹性的，即云计算能根据工作负载大小动态分配资源，而部署于云计算平台上的应用需要适应资源的变化，并能根据变化做出响应；其次，相对于强调异构资源共享的网格计算，云计算更强调大规模资源池的分享，经过分享提高资源复用率，并利用规模经济降低运行成本:最后，云计算需要考虑经济成本，因此硬件设备、软件平台的设计不再一味追求高性能，而要综合考虑成本、可用性、可靠性等因素。
    基于上述比较并结合云计算的应用背景，云计算的特点可归纳如下。
    1)弹性服务。服务的规模可快速伸缩，以自动适应业务负载的动态变化。用户使用的资源同业务的需求相一致，避免了因为服务器性能过载或冗余而导致的服务质量下降或资源浪费。
    2)资源池化。资源以共享资源池的方式统一管理。利用虚拟化技术，将资源分享给不同用户，资源的放置、管理与分配策略对用户透明。
    3)按需服务。以服务的形式为用户提供应用程序、数据存储、基础设施等资源，并能够根据用户需求，自动分配资源，而不需要系统管理员干预。
    4)服务可计费。监控用户的资源使用量，并根据资源的使用情况对服务计费。
    5)泛在接入。用户能够利用各种终端设备(如PC电脑、笔记本电脑、智能手机等)随时随地经过互联网访问云计算服务。
    正是因为云计算具有上述5个特性，使得用户只需连上互联网就能够源源不断地使用计算机资源，实现了“互联网即计算机”的构想。
    综上所述，云计算是分布式计算、互联网技术、大规模资源管理等技术的融合与发展(如图1所示)，其研究和应用是一个系统工程，涵盖了数据中心管理、资源虚拟化、海量数据处理、计算机安全等重要问题。本文经过归纳云计算特点与体系架构，总结和分析云计算各层服务的关键技术及系统实例，针对当前云计算存在的问题，提出未来研究的方向。

    图1云计算与相关技术的联系

2云计算体系架构
    云计算能够按需提供弹性资源，它的表现形式是一系列服务的集合。结合当前云计算的应用与研究，其体系架构可分为核心服务、服务管理、用户访问接口3层，如图2所示。核心服务层将硬件基础设施、软件运行环境、应用程序抽象成服务，这些服务具有可靠性强、可用性高、规模可伸缩等特点，满足多样化的应用需求。服务管理层为核心服务提供支持，进一步确保核心服务的可靠性、可用性与安全性。用户访问接口层实现端到云的访问。

    图2云计算体系架构
    2.1核心服务层
    云计算核心服务一般能够分为3个子层:基础设施即服务层(IaaS, infrastructure as a service )、平台即服务层(PaaS, platform as a service )、软件即服务层(SaaS, software as a service)。表1对3层服务的特点进行了比较。
    IaaS提供硬件基础设施部署服务，为用户按需提供实体或虚拟的计算、存储和网络等资源。在使用IaaS层服务的过程中，用户需要向IaaS层服务提供商提供基础设施的配置信息，运行于基础设施的程序代码以及相关的用户数据。由于数据中心是IaaS层的基础，因此数据中心的管理和优化问题近年来成为研究热点。另外，为了优化硬件资源的分配，IaaS层引入了虚拟化技术。借助于Xen、KVM、VMware等虚拟化工具，能够提供可靠性高、可定制性强、规模可扩展的IaaS层服务。
    PaaS是云计算应用程序运行环境，提供应用程序部署与管理服务。经过PaaS层的软件工具和开发语言，应用程序开发者只需上传程序代码和数据即可使用服务，而不必关注底层的网络、存储、操作系统的管理问题。由于当前互联网应用平台(如Facebook.Google、淘宝等)的数据量日趋庞大，PaaS层应当充分考虑对海量数据的存储与处理能力，并利用有效的资源管理与调度策略提高处理效率。
    SaaS是基于云计算基础平台所开发的应用程序。企业能够经过租用SaaS层服务解决企业信息化问题，如企业经过GMail建立属于该企业的电子邮件服务。该服务托管于Google的数据中心，企业不必考虑服务器的管理、维护问题。对于普通用户来讲，SaaS层服务将桌面应用程序迁移到互联网，可实现应用程序的泛在访问。
    表1

2.2服务管理层
    服务管理层对核心服务层的可用性、可靠性和安全性提供保障。服务管理包括服务质量(QoS,quality of service)保证和安全管理等。
    云计算需要提供高可靠、高可用、低成本的个性化服务。然而云计算平台规模庞大且结构复杂，很难完全满足用户的QoS需求。为此，云计算服务提供商需要和用户进行协商，并制定服务水平协议(SLA,service level agreement )，使得双方对服务质量的需求达成一致。当服务提供商提供的服务未能达到SLA的要求时，用户将得到补偿。
    另外，数据的安全性一直是用户较为关心的问题。云计算数据中心采用的资源集中式管理方式使得云计算平台存在单点失效问题。保存在数据中心的关键数据会因为突发事件(如地震、断电)、病毒入侵、黑客攻击而丢失或泄露。根据云计算服务特点，研究云计算环境下的安全与隐私保护技术(如数据隔离、隐私保护、访问控制等)是保证云计算得以广泛应用的关键。
    除了QoS保证、安全管理外，服务管理层还包括计费管理、资源监控等管理内容，这些管理措施对云计算的稳定运行同样起到重要作用。
    2.3用户访问接口层
    用户访问接口实现了云计算服务的泛在访问，一般包括命令行、Web月及务、Web门户等形式。命令行和Web服务的访问模式既可为终端设备提供应用程序开发接口，又便于多种服务的组合。Web门户是访问接口的另一种模式。经过Web门户，云计算将用户的桌面应用迁移到互联网，从而使用户随时随地经过浏览器就能够访问数据和程序，提高工作效率。虽然用户经过访问接口使用便利的云计算服务，可是由于不同云计算服务商提供接口标准不同，导致用户数据不能在不同服务商之间迁移。为此，在Intel , Sun和Cisco等公司的倡导下，云计算互操作论坛(CCIF, cloud computing interop-erability forum)宣告成立，并致力于开发统一的云计算接口(UCI, unified cloud interface)，以实现“全球环境下不同企业之间可利用云计算服务无缝协同工作”的目标。
3云计算关键技术
    云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。为了达到这个目标，需要数据中心管理、虚拟化、海量数据处理、资源管理与调度、QoS保证、安全与隐私保护等若干关键技术加以支持。本节详细介绍核心服务层与服务管理层涉及的关键技术和典型应用，并从IaaS,PaaS、SaaS 3个方面依次对核心服务层进行分析。
    3.1IaaS
    IaaS层是云计算的基础。经过建立大规模数据中心，IaaS层为上层云计算服务提供海量硬件资源。同时，在虚拟化技术的支持下，IaaS层能够实现硬件资源的按需配置，并提供个性化的基础设施服务。基于以上两点，IaaS层主要研究2个问题:①如何建设低成本、高效能的数据中心;②如何拓展虚拟化技术，实现弹性、可靠的基础设施服务。
    3.1.1 数据中心相关技术
    数据中心是云计算的核心，其资源规模与可靠性对上层的云计算服务有着重要影响。Google、Facebook等公司十分重视数据中心的建设。在 ，Facebook的数据中心拥有30 000个计算节点，截止 ，计算节点数量更是达到60 000个；Google公司平均每季度投入约6亿美元用于数据中心建设，其中仅 第4季度便投入了25亿美元。