《云计算第三版》Amazon云计算AWS专题培训课件.ppt

云计算(第三版)Amazon云计算AWSof52云计算第三版配套PPT课件3.1 基础存储架构Dynamo3.2 弹性计算云EC23.3 简单存储服务S33.4 非 关 系 型 数 据 库 服 务Si m pl e D B和DynamoDB3.5 关系数据库服务RDS3.6 简单队列服务SQS3.7 内容推送服务CloudFront3.8 其他Amazon云计算服务3.9 AWS应用实例3.10 小结在电子商务中积累的大量基础性设施和各类先进技术，很早地进入了云计算领域，并在提供计算、存储等服务方面处于领先地位。Amazon开发并提供了一系列云计算服务这些云计算服务共同构成了Amazon Web Service（AWS）亚马逊 Amazon弹性计算云EC2简单存储服务S3简单数据库服务Simple DB简单队列服务SQS弹性MapReduce服务内容推送服务CloudFront电子商务服务DevPayFPS提供的服务主要包括of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo3.1.1 Dynamo概况3.1.2 Dynamo架构的主要技术of52云计算第三版配套PPT课件Dynamo概况3.1 基础存储架构Dynamo面向服务的Amazon平台基本架构为了保证其稳定性，Amazon的系统采用完全的分布式、去中心化的架构作为底层存储架构的Dynamo也同样采用了无中心的模式Dynamo只支持简单的键/值（key/value）方式的数据存储，不支持复杂的查询Dynamo中存储的是数据值的原始形式，即按位存储，并不解析数据的具体内容6of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo3.1.1 Dynamo概况3.1.2 Dynamo架构的主要技术of52云计算第三版配套PPT课件Dynamo需要解决的主要问题及解决方案3.1 基础存储架构DynamoDynamo在设计时被定位为一个基于分布式存储架构的，高可靠、高可用且具有良好容错性的系统。下图列举了Dynamo设计时面临的主要问题及所采取的解决方案。问 题采取的相关技术数据均衡分布改进的一致性哈希算法数据备份参数可调的弱quorum机制数据冲突处理向量时钟（Vector Clock）成员资格及错误检测基于Gossip协议的成员资格和错误检测临时故障处理Hinted handoff（数据回传机制），永久故障处理Merkle哈希树8of52云计算第三版配套PPT课件Dynamo的存储节点3.1 基础存储架构DynamoDynamo中的存储节点呈无中心的环状分布。preference listcoordinator存储与某个特定键值相对应的数据的节点列表执行一次读或写操作的节点通常，coordinator 是 preference list 上的第一个节点两个基本概念9of52云计算第三版配套PPT课件Dynamo采用了分布式的数据存储架构，均衡的数据分布可以保证负载平衡和系统良好的扩展性。因此，如何在各个节点上数据的均衡性是影响Dynamo性能的关键问题。Dynamo中使用改进后的一致性哈希算法，并在此基础上进行数据备份，以提高系统的可用性。3.1 基础存储架构Dynamo数据均衡分布的问题数据10of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据均衡分布的问题一致性哈希算法是目前主流的分布式哈希表（Distributed Hash Table，DHT）协议之一，于1997年由麻省理工学院提出。一致性哈希算法通过修正简单哈希算法，解决了网络中的热点问题，使得DHT可以真正地应用于P2P环境中。一致性哈希算法11of52云计算第三版配套PPT课件数据均衡分布的问题 一致性哈希算法平衡性 单调性分散性负载 两步进行：求出设备节点的哈希值，并配置到环上的一个点；接着计算数据的哈希值，按顺时针方向将其存放到环上第一个大于或等于数据哈希值的节点上；添加新节点时，按照上述规则，调整相关数据到新的节点上。删除节点和添加节点过程相反 of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo一致性哈希算法除了能够保证哈希运算结果充分分散到整个环上外，还能保证在添加或删除设备节点时只会影响到其在哈希环中的前驱设备节点，而不会对其他设备节点产生影响。一致性哈希算法可以大大降低在添加或删除节点时引起的节点间的数据传输开销数据均衡分布的问题13of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据均衡分布的问题改进的一致性哈希算法Dynamo中引入了虚拟节点的概念每个虚拟节点都隶属于某一个实际的物理节点，一个物理节点根据其性能的差异被分为一个或多个虚拟节点。各个虚拟节点的能力基本相当，并随机分布在哈希环上。14of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据均衡分布的问题Dynamo将整个哈希环划分成Q等份，每个等份称为一个数据分区（Partition）在存储数据时，每个数据会被先分配到某个数据分区，再根据负责该数据分区的虚拟节点，最终确定其所存储的物理节点。减小数据分布不均衡的可能性添加或删除设备节点时引起较小的数据传输数据分区的好处1215of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据备份在Dynamo中，每个数据的副本备份存储在哈希环顺时针方向上该数据所在虚拟节点的后继节点中。数据备份在存储数据的同时进行，会使每次写操作的延时变长。Dynamo中对写操作进行了优化，保证一个副本必须写入硬盘，其他副本只要写入节点的内存即返回写成功。每个虚拟节点上实际存储了分配给它以及分配它的前N-1个前驱虚拟节点的数据。思考思考：Amazon可以保证相邻的节点分别位于不同地区区域，即使某个数据中心由于自然灾害或断电的原因整体瘫痪，仍可以保证在世界上其他数据中心中保存有数据的备份。这里就有一个非常重要的问题如何进行节点分布，保证相邻节点位于不同的数据中心？16of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo数据冲突问题Dynamo选择通过牺牲一致性来保证系统的可靠性和可用性，没有采用强一致性模型而采用了最终一致性模型。可靠性（Reliability）可用性（Availability）一致性（Consistency）分布式系统架构中通常考虑的三个因素由于Dynamo中可能出现同一个数据被多个节点同时更新的情况，且无法保证数据副本的更新顺序，这有可能会导致数据冲突。17of52云计算第三版配套PPT课件数据冲突问题如 何 解 决18of52云计算第三版配套PPT课件3.1 基础存储架构DynamoDynamo中的向量时钟通过node,counter 对 来表示。node表示操作节点counter是其对应的计数器，初始值为 0节点每进行一次更新操作则计数器加 1数据冲突问题Dynamo中采用了向量时钟技术（Vector Clock）19of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测由于Dynamo采用了无中心的架构，每个成员节点都需要保存其他节点的路由信息为了保证每个节点都能拥有最新的成员节点信息，Dynamo中采用了一种类似于Gossip（闲聊）协议的技术20of52云计算第三版配套PPT课件成员资格及错误检测 lDynamo中每个节点就是一个Dynamo成员，为了使系统间数据转发更迅速，规定每个成员节点都要保存其它节点的路由信息l由于机器或人为因素，成员的加入或撤离时常发生，为了保证每个节点保存的都是最新的成员信息，每个节点每隔固定时间（1秒）利用一种类似于Gossip（闲聊）协议的方式从其它节点中任选一个进行通信。l连接成功，双方交换各自保存的信息（存储数据情况，路由信息）of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测节点A节点B1保存的所有节点版本2比A中新的节点信息3B索要的节点信息更新更新Dynamo中还通过Gossip来实现错误检测任何节点向其他节点发起通信后，如果对方没有回应，则认为对方节点失效22of52云计算第三版配套PPT课件成员资格及错误检测 l节点之间交换信息的过程中，如果节点失效，则会产生无效的传送信息，加重传输负担，Dynamo的错误检测机制：一旦发现对方节点无回应，则认为该节点失效，选择别的节点通信；同时定期向失效节点发消息，若对方有回应则重新建立通信。基于基于GossipGossip协议的最优传遍路径协议的最优传遍路径 of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测为了避免新加入的节点之间不能及时发现其他节点的存在，Dynamo中设置了一些种子节点（Seed Node）。种子节点和所有的节点都有联系。当新节点加入时，它扮演一个中介的角色，使新加入节点之间互相感知。新节点 1新节点 2种子节点ACB24of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo成员资格及错误检测自底向上每一层代表一次随机通信第一层节点1将信息交换给节点2第二层节点1和2同时开始随机选择其他节点交换信息直到N个节点全部传遍结论：Dynamo中的节点数不能太多Amazon采用了分层Dynamo结构来解决该问题假如一个新节点加入节点总数为N的系统，并以最优的方式传播，那么将新节点信息传遍整个系统需要的时间复杂度为Log(N)25of52云计算第三版配套PPT课件容错机制 l由于成本方面的原因，Dynamo中很多服务器采用的是普通PC主机；l其硬盘性能和专业服务器硬盘相差很远，出错很难避免；lDynamo中容错机制非常重要 临时故障处理机制 永久性故障处理机制 of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo容错机制为了处理临时失效的节点，Dynamo中采用了一种带有监听的数据回传机制（Hinted Handoff）临时故障处理机制当虚拟节点A失效后，会将数据临时存放在节点D的临时空间中，并在节点A重新可用后，由节点D将数据回传给节点A。27of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo容错机制永久性故障处理机制1347892561347896011101213141110141312171615Merkle树 AMerkle树 BDynamo采用Merkle哈希树技术来加快检测和减少数据传输量28of52云计算第三版配套PPT课件容错机制 2）永久性故障处理机制 Merkle哈希树技术每个虚拟节点保存三颗Merkle树，即每个键值区间建立一个Merkle树哈希树的叶子节点是存储每个数据分区内所有数据对应的哈希值，父节点是其所有子节点的哈希值 of52云计算第三版配套PPT课件容错机制 2）永久性故障处理机制 系统比较两颗同一键值区的Merkle哈希树时，首先查看根节点；如果相同表示数据一致，不需要进行数据同步；否则不需要继续比较，直到哈希值不同的叶子节点，快速定位差异；Merkle树最大特点是只要比较某个子树就可以完成数据同步检测和定位，进而进行同步，大大减少了同步过程中需要传输数据量。of52云计算第三版配套PPT课件3.1 基础存储架构Dynamo3.2 弹性计算云EC23.3 简单存储服务S33.4 非 关 系 型 数 据 库 服 务Si m pl e D B和DynamoDB3.5 关系数据库服务RDS3.6 简单队列服务SQS3.7 内容推送服务CloudFront3.8 其他Amazon云计算服务3.9 AWS应用实例3.10 小结of52云计算第三版配套PPT课件3.2 弹性计算云EC23.2.1 EC2的基本架构3.2.2 EC2的关键技术3.2.3 EC2的安全及容错机制of52云计算第三版配套PPT课件主主要要特特性性 灵活性灵活性：EC2允许用户对运行实例类型、数量自行配置，还可以选择实例运行的地理位置，根据用户的需求随时改变实例的使用数量 低成本低成本：EC2使得企业不必为暂时的业务增长而购买额外的服务器等设备。EC2的服务都是按小时来收费，而且价格非常合理 安全性安全性：EC2向用户提供了一整套安全措施，包括基于密钥对机制的SSH方式访问、可配置的防火墙机制等，同时允许用户对它的应用程序进行监控 易用性易用性：用户可以根据Amazon提供的模块自由构建自己的应用程序，同时EC2还会对用户服务请求自动进行负载平衡 容错性容错性：利用系统提供的诸如弹性IP地址之类的机制，在故障发生时EC2能最大程度地保证用户服务仍能维持在稳定的水平 弹性计算云EC2 of52云计算第三版配套PPT课件3.2 弹性计算云EC2主要包括了Amazon机器映象、实例、存储模块等组成部分，并能与S3等其他Amazon云计算服务结合使用。EC2的基本架构34of52云计算第三版配套PPT课件3.2 弹性计算云EC2Amazon机器映象（AMI）Amazon机器映像（Amazon Machine Image，AMI）是包含了操作系统、服务器程序、应用程序等软件配置的模板当用户使用EC2服务去创建自己的应用程序时，首先需要构建或获取相应的AMI四种获取AMI的途径免费使用Amazon提供的公共AMI根据自身需要定制一个或多个私有AMI向开发者付费购买AMI使用其他开发者分享的共享AMI1234构建好的AMI分为Amaznon EBS支持和实例存储支持两类35of52云计算第三版配套PPT课件3.2 弹性计算云EC2实例（Instance）EC2中实例由AMI启动，可以像传统的主机一样提供服务。同一个AMI可以用于创建具有不同计算和存储能力的实例。Amazon提供了多种不同类型的实例，分别在计算、GPU、内存、存储、网络、费用等方面进行了优化Amazon还允许用户在应用程序的需求发生变更时，对实例的类型进行调整，从而实现按需付费。Amazon EC2还为实例提供了许多附加功能，帮助用户更好地部署和管理应用程序。36of52云计算第三版配套PPT课件3.2 弹性计算云EC2弹性块存储（EBS）EBS存储卷的设计与物理硬盘相似，其大小由用户设定，目前提供的容量从1GB到1TB不等。EBS存储卷适用于数据需要细粒度地频繁访问并持久保存的情形，适合作为文件系统或数据库的主存储。快照功能是EBS的特色功能之一，用于在S3中存储Amazon EBS卷的时间点副本。实例EBSEBSEBSEBS 37of52云计算第三版配套PPT课件3.2 弹性计算云EC23.2.1 EC2的基本架构3.2.2 EC2的关键技术3.2.3 EC2的安全及容错机制of52云计算第三版配套PPT课件3.2 弹性计算云EC2地理区域和可用区域地理区域Region Zone可用区域Availability Zone按照实际的地理位置划分是否有独立的供电系统和冷却系统等美东（北佛吉尼亚）美西（俄勒冈）美西（北加利佛尼亚）欧洲（爱尔兰）亚太（新加坡）亚太（东京）亚太（悉尼）南美（圣保罗）美西服务政府的GovCloud区域中国（北京）区域通常将每个数据中心看做一个可用区域39of52云计算第三版配套PPT课件3.2 弹性计算云EC2地理区域和可用区域EC2地理区域A地理区域B可用区域A1可用区域A2可用区域A3可用区域B1可用区域B2可用区域B3EC2系统中包含多个地理区域，而每个地理区域中又包含多个可用区域。为了确保系统的稳定性，用户最好将自己的多个实例分布在不同的可用区域和地理区域中。40of52云计算第三版配套PPT课件3.2 弹性计算云EC2EC2的通信机制IP地址EC2的实例一旦被创建就会动态地分配公共IP地址和私有IP地址公共IP地址（Public IP Address）私有IP地址（Private IP Address）弹性IP地址（Elastic IP Address）网络地址转换技术私有IP地址由动态主机配置协议（DHCP）分配产生41of52云计算第三版配套PPT课件3.2 弹性计算云EC2弹性负载平衡弹性负载平衡功能允许EC2实例自动分发应用流量，从而保证工作负载不会超过现有能力，并且在一定程度上支持容错。弹性负载平衡功能可以识别出应用实例的状态，当一个应用运行不佳时，它会自动将流量路由到状态较好的实例资源上，直到前者恢复正常才会重新分配流量到其实例上。42of52云计算第三版配套PPT课件3.2 弹性计算云EC2监控服务EC2实例状态资源利用率需求状况CPU利用率磁盘读取写入网络流量Amazon CloudWatch提供了AWS资源的可视化检测功能用户只需要选择EC2实例，设定监视时间，CloudWatch就可以自动收集和存储检测数据43of52云计算第三版配套PPT课件3.2 弹性计算云EC2自动缩放需求高峰期需求下降时确保EC2实例的处理能力无缝增大自动缩小EC2实例规模以降低成本自动缩放可以按照用户自定义的条件，自动调整EC2的计算能力：自动缩放功能特别适合周期性变化的应用程序，它由CloudWatch自动启动。44of52云计算第三版配套PPT课件3.2 弹性计算云EC2服务管理控制台网页请求弹性负载平衡自动缩放弹性计算EC2服务管理控制台工具API监控服务实时可视监视各项技术通过互相配合来实现EC2的可扩展性和可靠性45of52云计算第三版配套PPT课件3.2 弹性计算云EC23.2.1 EC2的基本架构3.2.2 EC2的关键技术3.2.3 EC2的安全及容错机制of52云计算第三版配套PPT课件EC2的安全及容错机制3.2 弹性计算云EC2当一个组的规则改变后，改变的规则自动适用于组中所有的成员。安全组是一组规则，用户利用这些规则来决定哪些网络流量会被实例接受，其他则全部拒绝。当用户的实例被创建时，如果没有指定安全组，则系统自动将该实例分配给一个默认组。默认组只接受组内成员的消息，拒绝其他消息。EC247of52云计算第三版配套PPT课件EC2的安全及容错机制3.2 弹性计算云EC2用户使用密钥对登录服务SSH是目前对网络上传输的数据进行加密的一种很可靠的协议，当用户创建一个密钥对时，密钥对的名称（Key Pair Name）和公钥（Public Key）会被存储在EC2中用户创建新实例时，EC2会将它保存的信息复制一份放在实例的元数据（Metadata）中，然后用户使用自己保存的私钥（Private Key）就可以安全地登录EC2并使用相关服务48of52云计算第三版配套PPT课件EC2的安全及容错机制3.2 弹性计算云EC2EC2引入了弹性IP地址的概念 弹性IP地址和用户账号绑定而不是和某个特定的实例绑定,这给系统的容错带来极大的方便，每个账号默认绑定5个弹性IP地址。当系统正在使用的实例出现故障时，用户只需要将弹性IP地址通过网络地址转换NAT转换为新实例所对应的私有IP地址 通过弹性IP地址改变映射关系总可以保证有实例可用49of52云计算第三版配套PPT课件本章未完待续