解读云计算与云数据存储发展趋势技术研究.docx

解读云计算及云数据存储开展趋势技术研究
目前，亚马逊、微软、谷歌、IBM、Intel等公司纷纷提出了“云方案〞。例如亚马逊的AWS(Amazon Web services)、IBM和谷歌联合进展的“蓝云〞方案等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进展深层次的研究。例如谷歌同华盛顿大学以及清华大学合作，启动云计算学术合作方案(Academic Cloud Computing Initiative)，推动云计算的普及，加紧对云计算的研究。美国卡内基梅隆大学等提出对数据密集型的超级计算(DISC：Data Intensive Super Computing)进展研究，本质上也是对云计算相关技术开展研究。由此可见，在各大公司以及学术界的共同推动下，云计算技术将会持续开展。
一、云计算(Cloud Computing)
1.1 什么是云计算
现有的研究成果对云、云计算的定义并没有达成共识，目前各大主流厂商的云计算理念也不一样，对云计算的理解不尽一样。IBM的技术白皮书“Cloud Computing〞中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进展动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消效劳(deprovision)等。在云计算平台中的效劳器可以是物理的效劳器或者虚拟的效劳器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANS)，网络设备，防火墙以及其他平安设备等。云计算在描述应用方面，它描述了一种可以通过互联网Internet进展访问的可扩展的应用程序。“云应用〞使用大规模的数据中心以及功能强劲的效劳器来运行网络应用程序及网络效劳。任何一个用户可以通过适宜的互联网接入设备以及一个标准的浏览器就能够访问一个云计算应用程序。中国云计算网将云定义为：“云计算是分布式计算(Distributed Computing)、并行计算(Parallel Computing)和网格计算(Grid Computing)的开展或者说是这些科学概念的商业实现。
1.2 云计算的体系构造
云计算平台是一个强大的“云〞网络，连接了大量并发的网络计算和效劳，可利用虚拟化技术扩展每一个效劳器的能力，将各自的资源通过云计算平台结合起来，提供超级计算和存储能力。一个通用的云计算体系构造如图1所示。

图1：云计算体系构造
云端用户：提供云用户请求效劳的交互界面，用户通过Web浏览器可以注册、登陆及定制效劳、配置和管理用户。
效劳目录：用户在取得相应权限后可以选择或定制的效劳列表。
管理系统和部署工具：提供管理和效劳，能管理云用户，能对用户授权、认证、登录进展管理，并可以管理可用计算资源和效劳，接收用户发送的请求，根据用户请求并转发到相应的应用程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。
监控：监控和计量云系统资源的使用情况，以便作出迅速反响，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配适宜的用户。
效劳器集群：虚拟的或物理的效劳器，由管理系统管理，负责高并发量的用户请求处理、大运算量的计算处理、用户Web应用效劳，云数据存储时采用相应数据切割算法，采用并行方式上传和下载大容量数据。
用户可通过云用户端从列表选择所需效劳，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。
二、基于云计算的云存储技术
云存储在云计算(Cloud Computing)概念上延伸和开展出来的一个新的概念。云计算使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的开展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部效劳器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络效劳提供者可以在数秒之内，处理数以千万计甚至亿计的信息，到达和“超级计算机〞同样强大的网络效劳。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
2.1 云存储系统的构造模型
及传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、效劳器、应用软件、公用访问接口、接入网、和客户端程序等多个局部组成的复杂系统。各局部以存储设备为核心，通过应用软件来对外提供数据存储和业务访问效劳。云存储系统的构造模型如图2所示：

图2：云存储系统的构造模型
云存储系统的构造模型由四层组成。
①存储层
存储层是云存储最根底的局部。存储设备可以是FC光纤通道存储设备，可以是NAS和SCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。
②根底管理层
根底管理层是云存储最核心的局部，也是云存储中最难以实现的局部。根底管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种效劳，并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份容灾技术和措施可以保证云存储中的数据不会丧失，保证云存储自身的平安和稳定。
③应用接口层
应用接口层是云存储最灵活多变的局部。不同的云存储运营单位可以根据实际业务类型，开发不同的应用效劳接口，提供不同的应用效劳。比方视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。
④访问层
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储效劳。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

2.2 云数据存储技术
为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供效劳。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。
云计算的数据存储技术主要有谷歌的非开源的GFS(Google )和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed )。大局部IT厂商，包括yahoo、Intel的“云〞方案采用的都是HDFS的数据存储技术。未来的开展将集中在超大规模的数据存储、数据加密和平安性保证、以及继续提高I/O速率等方面。
2.2.1 Google (GFS)
GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进展访问的应用。运行于廉价的普通硬件上，但可以提供容错功能。可以给大量的用户提供总体性能较高的效劳。
一个GFS集群由一个Master和大量的Chunkserver构成，并被许多客户(Client)访问，如图3所示。Master和Chunkserver通常是运行用户层效劳进程的Linux机器。只要资源和可靠性允许，Chunkserver和Client可以运行在同一个机器上。

图3：Google 架构
文件被分成固定大小的块。每个块由一个不变的、全局唯一的64位的Chunk-Handle标识，Chunk-Handle是在块创立时由Master分配的。ChunkServer将块当作Linux文件存储在本地磁盘并可以读和写由Chunk-Handle和位区间指定的数据。出于可靠性考虑，每一个块被复制到多个Chunkserver上。默认情况下，保存三个副本，但这可以由用户指定。
Master维护文件系统所以的元数据(Metadata)，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约(Lease)管理，孤儿块的垃圾收集，ChunkServer间的块迁移。Master定期通过HeartBeat消息及每一个ChunkServer通信，给ChunkServer传递指令并收集它的状态。
及每个应用相联的GFS客户代码实现了文件系统的API并及Master和ChunkServer通信以代表应用程序读和写数据。客户及Master的交换只限于对元数据(Metadata)的操作，所有数据方面的通信都直接和ChunkServer联系。客户和ChunkServer都不缓存文件数据。因为用户缓存的益处微乎其微，这是由于数据太多或工作集太大而无法缓存。不缓存数据简化了客户程序和整个系统，因为不必考虑缓存的一致性问题。但用户缓存元数据(Metadata)。ChunkServer也不必缓存文件，因为块时作为本地文件存储的。
2.2.2 Hadoop Distributed (HDFS)
Hadoop中的分布式文件系统HDFS由一个管理结点(NameNode)和N个数据结点(DataNode)组成，如图4所示，Namenode是中心效劳器，管理文件系统的Namespace和客户端对文件的访问。每个DataNode结点均是一台普通的计算机。在使用上同熟悉的单机上的文件系统非常类似，一样可以建目录，创立，复制，删除文件，查看文件内容等。但其底层实现上是把文件切割成Block，然后这些Block分散地存储于不同的DataNode上，每个Block还可以复制数份存储于不同的DataNode上，到达容错容灾之目的。NameNode那么是整个HDFS的核心，它通过维护一些数据构造，记录了每一个文件被切割成了多少个Block，这些Block可以从哪些DataNode中获得各个DataNode的状态等重要信息。

图4：HDFS架构
三、云存储未来开展趋势
云存储已经成为未来存储开展的一种趋势，目前，云存储厂商正在将各类搜索、应用技术和云存储相结合，以便能够向企业提供一系列的数据效劳。但是，未来云存储的开展趋势，主要还是要从平安性、便携性及数据访问等角度进展开展。
四、完毕语
云计算是一种新型的计算模式。它的最主要特征是系统拥有大规模数据集、基于该数据集，向用户提供效劳。为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供效劳。未来云存储的开展还是要从平安性、便携性及数据访问等角度进展深入开展。