云计算技术Amazon云计算AWS2精.pptx

电子工业出版社云计算(第二版)配套课件解放军理工大学 刘鹏 教授主编华东交通大学 刘鹏 制作第第3章章 Amazon云计算云计算AWS 云计算（第二版）购买网址：当当网 京东商城姊妹力作实战Hadoop购买网址：当当网 京东商城提提 纲纲 Amazon平台基础存储架构：Dynamo 弹性计算云EC2 简单存储服务S3 简单队列服务SQS 简单数据库服务Simple DB 关系数据库服务RDS 内容推送服务CloudFront 其他Amazon云计算服务 AWS应用实例 小结 基本概念 S3系统构架在Dynamo之上，采取的并不是传统的关系数据库存储方式，原因：使文件操作尽量简单、高效；使用关系数据库只会增加系统的复杂性 1.对象数据（任意类型）和元数据（描述数据的数据）元数据是通过一对键-值（Name-Value）集合来定义 元数据名称名 称 含 义last-modified对象被最后修改的时间ETag利用MD5哈希算法得出的对象值Content-Type对象的MIME（多功能网际邮件扩充协议）类型，默认为二进制/八位组Content-Length对象数据长度，以字节为单位系统默认元数据系统默认元数据 基本概念 2键对象的唯一标示符3桶存储对象容器（最多创建100个桶，不限桶中数量）桶具体命名规则建议使用规则S3S3的基本结构图的基本结构图 基本操作 基本操作根据Amazon提供的技术文档，目前S3支持的主要操作包括：Get、Put、List、Delete和Head 操 作 目 标GetPutListDeleteHead桶获取桶中对象创建或更新桶列出桶中所有键删除桶无对象获取对象数据和元数据创建或更新对象无删除对象获取对象元数据数据一致性模型 S3系统采用冗余存储优势：某些服务器出现故障时用户仍然可以对其数据进行操作弊端：用户在操作时可能会出现如下几种情况（1）一个进程写入一个新的对象并立即尝试读取它，但在该改变被传送到S3的多个服务器前，服务器对该操作可能返回“键不存在”（2）一个进程写入一个新的对象并立即尝试列出桶中已有的对象，但在该改变被传送到S3的多个服务器前，该对象很可能不会出现在列表中（3）一个进程用新数据替换现有的对象并立即尝试读取它，但在该改变被传送到S3的多个服务器前，S3可能会返回以前的数据（4）一个进程删除现有的对象并立即尝试读取它，但在该改变被传送到S3的多个服务器前，S3可能会返回被删除的数据（5）一个进程删除现有的对象并立即尝试列出桶中的所有对象，但在该改变被传送到S3的多个服务器前，S3可能会列出被删除的对象 为什么出现这些现象？出现这些现象是因为S3为了保证用户数据的一致性而采取的一种折中手段，即在数据被充分传播到所有的存放节点之前返回给用户的仍是原数据S3安全措施 1.身份认证基于HMAC-SHA1的数字签名方式来确定用户身份S3S3数字签名具体实现过程数字签名具体实现过程S3安全措施 S3S3数字签名具体实现过程数字签名具体实现过程权 限允许操作目标具体权限内容READ桶列出已有桶对象读取数据及元数据WRITE桶创建、覆写、删除桶中对象READ_ACP桶读取桶的ACL对象读取对象中的ACLWRITE_ACP桶覆写桶的ACP对象覆写对象的ACPFULL_CONTROL桶允许进行以上所有操作，是S3提供的最高权限对象2.访问控制列表 S3提供的可供用户自行定义的访问控制策略列表 S3中有三大类型的授权用户1）所有者 2）个人授权用户 3）组授权用户提提 纲纲 Amazon平台基础存储架构：Dynamo 弹性计算云EC2 简单存储服务S3 简单队列服务SQS 简单数据库服务Simple DB 关系数据库服务RDS 内容推送服务CloudFront 其他Amazon云计算服务 AWS应用实例 小结 SQS基本模型 简单队列服务（Simple Queue Service，SQS）Amazon为解决其云计算平台之间不同组件的通信而专门设计开发SQS由三个基本部分组成系统组件（Component）队列（Queue）消息（Message）S SQ QS S基基本本模模型型 两个重要概念 消息消息是发送者创建的具有一定格式的文本数据，接收对象可以是一个或多个组件。消息的大小是有限制的，目前Amazon规定每条消息不得超过8KB，但是消息的数量并未做限制 队列队列是存放消息的容器，类似于S3中的桶，队列的数目也是任意的，创建队列时用户必须给其指定一个在SQS账户内唯一的名称 消息 消息1消息的格式（1）消息ID（Message ID）（2）接收句柄（Receipt Handle）（3）消息体（Body）（4）消息体MD5摘要（MD5 of Body）2消息取样队列中的消息冗余存储，目的是为了保证系统的高可用性 基于加权随机分布（Based on a Weighted Random Distribution）的消息取样 基于加权随机分布的消息取样基于加权随机分布的消息取样 消息消息3.消息的可见性超时值及生命周期可见性超时值：可见性表明该消息可以被所有的组件查看，可见性超时值相当于一个计时器 计时器两种操作：扩展（Extend）和终止（Terminate）消息可见性超时值及生命周期消息可见性超时值及生命周期 身份认证 数字签名具体实现过程数字签名具体实现过程 提提 纲纲 Amazon平台基础存储架构：Dynamo 弹性计算云EC2 简单存储服务S3 简单队列服务SQS 简单数据库服务Simple DB 关系数据库服务RDS 内容推送服务CloudFront 其他Amazon云计算服务 AWS应用实例 小结 重要概念 简单数据库服务Simple DB（SDB）主要用于存储结构化的数据，并为这些数据提供查找、删除等基本的数据库功能 SDB基本结构图中包含了SDB中以下几个最重要的概念1用户账户（Customer Accout）2域（Domain）数据容器 3条目（Item）一个实际的对象 4属性（Attribute）条目的特征 5值（Value）每个条目的某属性的具体内容SDBSDB基本结构图基本结构图 SDB和关系型数据库有很多相同之处，但也有很大的不同 传统的关系数据库表结构SDB树状结构SDB为了系统的高可用性采取了最终一致性数据模型，每次操作设定了一个超时值，同时SDB也对关系数据库做了一些有益的改进 SDBSDB树状组织方式树状组织方式 存在的问题及解决办法 SDB主要存在的问题主要存在的问题支持的操作类型不够支持的操作类型不够存储方式简单存储方式简单解决方式解决方式整数补零整数补零 负整数集添加正向偏移量负整数集添加正向偏移量 ISO 8601对日期进行转换对日期进行转换 Simple DB和其他AWS的结合使用 提提 纲纲 Amazon平台基础存储架构：Dynamo 弹性计算云EC2 简单存储服务S3 简单队列服务SQS 简单数据库服务Simple DB 关系数据库服务RDS 内容推送服务CloudFront 其他Amazon云计算服务 AWS应用实例 小结 SQL和NoSQL数据库的对比 SQLNoSQL数据模型 数据处理 接口层 优势、劣势 严格约束 无约束 一致性、可用性可用、分区容忍性SQL语言访问 API实现 高一致性，ACID能力非常强，移植性很高；但在可扩展性方面能力较弱 高可扩展性，并发处理能力强；缺乏数据一致性保证，查询困难 RDS数据库原理 Share-NothingShare-Nothing架构架构Amazon RDSAmazon RDS一种云中的MySQL数据库系统，采用集群方式将MySQL数据库移植到云中，在一定的范围内解决了关系数据库的可扩展性问题 MySQL集群采用了Share-Share-NothingNothing架构 集群MySQL通过表单划分（Sharding）的方式将一张大表划分为若干个小表，分别存储在不同的数据库服务器上，从逻辑上保证了数据库可扩展可扩展性性 RDS数据库原理 集群集群MySQLMySQL通过通过主从备份主从备份和和读副本技术读副本技术提高提高可靠性和数据可靠性和数据处理能力处理能力 集群集群MySQL MySQL RDS的使用 Amazon将RDS中的MySQL服务器实例称做DB Instance，通过基于Web的API进行创建和管理，其余的操作可以通过标准的MySQL通信协议完成 可以通过两种工具对RDS进行操作命令行工具：Amazon提供的Java应用套装，负责处理DB Instance的管理，比如创建、参数调整、删除等MySQL客户端：可以与MySQL服务器进行通信的应用程序，比如MySQL Administrator客户端谢谢 谢！谢！http:/