阿里云体系架构.ppt

数据中心 DataCenterLinux分布式文件系统Distributed File System任务调度Job Scheduling集群部署Deployment集群监控Monitoring弹性计算服务(ECS)开放结构化数据服务(OTS)开放存储服务(OSS)开放数据处理服务(ODPS)云引擎(ACE)地图、电邮、搜索、安全、渲染、PW社区云市场及第三方服务大规模分布式计算系统（飞天）关系型数据库服务(RDS)资源管理Resource Management安全管理Security Management远程过程调用Remote Procedure Call分布协同服务Distributed Coordination Service开放缓存服务(OCS)阿里云体系架构-1级架构图 管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级 监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级 监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。门类齐全的云服务产品，满足用户存储，计算，数据库，大数据分析的需求 以飞天大规模分布式计算系统为平台支撑，统一管理集群的系统资源，控制分布式应用的运行 多用户的运行环境，资源共享，安全隔离Linux数据中心 Data Center基于Kerberos的用户认证，基于权能机制的访问控制和授权。提供点对点的进程间远程调用服务，支持通讯信道的数据压缩和一致性校验。提供命名服务、状态同步服务和分布式锁服务。调度和分配集群的内存和计算等资源，管理进程的生命周期和资源使用。确保多用户之间公平有效地共享集群资源。分布式文件系统Distributed File System任务调度Job Scheduling 一个10PB级别、上亿个文件的文件系统 提供类POSIX的API 支持随机读、追加写。面向海量数据处理和大规模计算类型的复杂应用，提供了灵活高效的数据驱动的多级流水线并行计算框架。开放存储服务(OSS)开放结构化数据服务(OTS)开放数据处理服务(ODPS)弹性计算服务(ECS)关系型数据库服务(RDS)Aliyun APIDeployment集群布署 Monitoring集群监控以绿色高效的云数据中心和大规模Linux服务器集群为基础资源管理Resource Management安全管理Security Management远程过程调用Remote Procedure Call分布协同服务Distributed Coordination Service飞天大规模分布式计算系统 (Apsara)阿里云体系架构-1级架构图阿里云的技术层次（云计算&大数据）联机事物处理(OLTP)联机分析处理(OLAP)大数据分析及处理搜索检索x86服务器&Linux弹性计算服务SLB/ECS(分布式)关系数据库DRDS/RDS大数据ODPS/ADS开放存储OSS分布式文件系统分布协同服务任务调度安全管理远程过程调用资源管理集群部署集群监控网络设备机房环境云计算大数据产品/服务阿里云系统架构阿里云系统架构阿里云阿里云技术架构技术架构阿里云的产品体系分布式文件系统-（一层结构）分布式文件系统-盘古客户端主要为：ECSOSS/OSAODPS/OpensearchOTS/SLS分布式文件系统-二层结构Paxos任务调度系统-伏羲物理部署示意图IAAS基础服务-ECS弹性服务器IAAS基础服务-SLB负载均衡IAAS基础服务-ESS弹性伸缩服务IAAS基础服务-OSS基础架构http:/ NoSQL数据库服务，提供海量结构化数据的存储和实时访问。OTS以实例和表的形式组织数据，通过数据分片和负载均衡技术实现规模上的无缝扩展。应用通过OTS API或者操作管理控制台来使用 OTS 服务阿里云体系架构PAAS-开放表格服务大规模：大规模：基于 阿里云云操作系统 通用性通用性：支持 表，视图，事务，增删更新 查 等 功能，支持 partition,primay key高可用：高可用：通过自动故障迁移来提供高可用性；通过存储的冗余备份来确保数据的安全。实时性：实时性：支持实时的数据插入、删除和更新；支持实时的随机查询、范围查询和偏移查询，并可通过视图和分页的方式让查询更高效。一致性：一致性：通过数据分区内的事务，使得数据的更改和查询保持强一致性宜用性：宜用性：通过提供多语言SDK（包括C+、Python、C#等）让用户的开发更便捷。经济性：经济性：仅按用户的实际资源使用进行计费。PAAS-开放表结构服务(OTS)PAAS-大数据计算服务ODPS功能组成PAAS-大数据计算服务ODPS架构图PAAS-大数据计算服务ODPS多数据中心PAAS-大数据计算服务多租户PAAS-大数据计算服务-数据交换PAAS-云数据库服务-RDS云数据库-关系型数据库服务，是一种稳定、可靠、可弹性伸缩的在线服务数据库。p在线的关系数据库服务p即开即用p支持四种DB引擎;MySQL、SQLServer、postgreSQL，PPASp支持在线的扩容、备份回滚、性能监控 和分析等功能抵御90%的攻击自动备份、恢复、审计，和自动监控多重容灾，可用性99.95%配置可弹性伸缩安全性可用性易用性可扩展性RDS采用主从备份架构，具有高可用和数据可靠性PAAS-云数据库服务-RDS总体架构PAAS-云数据库服务-RDS数据量性能瓶颈，单实例最大14000IOPS、25000OPS，承载2TPAAS-云数据库服务-RDSPAAS中间件-分布式关系数据库DRDS分布式关系数据库DRDS，是一种水平拆分、可平滑扩缩容，读写分离的在线分布式数据库服务。DRDS使用中间件产品。PAAS中间件-分布式关系数据库DRDSPAAS中间件-分布式关系数据库DRDSPAAS中间件-分布式关系数据库DRDSPAAS中间件-分布式关系数据库DRDSPaas中间件-分布式关系数据库DRDS-功能栈PAAS中间件-分布式关系数据库DRDS-读写分离PAAS中间件-DRDS-分库分表PAAS中间件-DRDS-分库分表1 F 2 F 3 F 4 M 5 F 6 M 7 M 8 M 9 M 10 F 2F4M6M8M10F1F3F5F7 M2 F10 F4 M6 M8 M1 F3 F5 F7 M9 M分库ID分表GenderPAAS中间件-DRDS-SQL路由Select*from customerWhere id=7And gender=M按照查询条件做路由：1：定位数据库2：定位表分片PAAS中间件-DRDS-扩容用户视角系统视角PAAS中间件-DRDS-平滑扩容阿里云分析性数据库为什么快底层存储使用SSD盘，更强的磁盘IO能力表关联的时候，使用快速hash join智能索引自动结合数据状况创建合理的索引数据做就近处理、没有传输的开销尽量在内存中做各种表的关联和计算