云数据库的前世与今生.pdf

2019.7云数据库前世今生云数据库前世今生目录目录历史历史 History平安云数据库平安云数据库 PingAn Cloud Database现况现况 Now趋势趋势 Future1历史历史 History历史历史什么是云数据库什么是云数据库？传统架构传统架构云架构云架构用用户户/schema/schema隔离隔离CDB/PDBCDB/PDB数据库数据库历史历史什么是云数据库什么是云数据库？InstanceDATABASE只要是使用云上资源，例如计算和存储，创建的数据库就是云数据只要是使用云上资源，例如计算和存储，创建的数据库就是云数据库库？历史历史什么是云数据库什么是云数据库？云上的数据库云上的数据库云数据库云数据库=?=?2现状现状 Now基于虚拟机基于虚拟机优势：优势：独立的操作系统独立的资源：CPU、内存、存储 最高的隔离性和安全性劣势：劣势：较高的性能损耗较低的部署密度较长的诊断路径可能的数据丢失与早期的基于虚拟机的云数据库的区别在于，现在基于虚拟机的云数据库考虑了云数据库整体的编排，从架构设计角度即考虑了包括高可用性、故障自动切换，两地三中心部署等用户需求，内置高可用及高安全等特性。用户可以自助创建高可用、高安全的云数据库，无需关心底层的资源申请和实现，数据库创建即可用。用户体验得到极大提升。现状现状HypervisorKernelECSOSECSOSECSOSECSOS基于裸金属基于裸金属优势：优势：最好的性能表现较高的部署密度清晰的诊断路径劣势：劣势：共享操作系统共享主机资源，Cgroup隔离较差的隔离性通过裸金属的形态来部署云数据库，可以满足高性能，低延迟，运行IO敏感型负载等要求。该形态下，各租户共享一个操作系统，通过cgroup等技术控制每个数据库实例使用的CPU、内存、网卡、存储IO等资源，从而实现租户间资源隔离。相对于虚拟机形态的云数据库，裸金属形态的云数据库部署密度高，性能表现优异。由于共享一个操作系统内核，虽然安全隔离性要弱一些，要好于早期的Schema隔离和CDB/PDB等形态。现状现状KernelCGNamespaceCGNamespaceCGNamespace基于容器化基于容器化优势：优势：较好的性能表现最高的部署密度简单灵活的部署劣势：劣势：共享操作系统共享主机资源，Cgroup隔离较好的隔离性成熟度不足 对于容器化形态的云数据库，各租户共享一个操作系统内核，其隔离性较虚拟机形态有一定差距，但部署密度会高于虚拟机形态，资源管理上更加灵活。其性能则介于虚拟机形态和裸金属形态两者之间。目前虽然有云提供商支持容器化形态的云数据库，但整体上来讲，容器化领域对数据库这类有状态的应用还不够成熟，均在摸索阶段，各项相关技术也在快速演进和发展中。现状现状KernelDockerBins/LibsContainer EngineDockerBins/LibsDockerBins/Libs所见即所得所见即所得快速交付快速交付开发人员开发人员运维人员运维人员 丰富多样的数据库产品服务，灵活组合，解决各种业务场景 便捷的购买方式，灵活多样的账单体系，快速交付，按需付费 通过Serverless API，开发人员甚至无需关心底层使用何种数据库，数据存储在何处，仅需关心业务逻辑实现降低运维成本降低运维成本DBREDBRE云端运维人员云端运维人员技能扩展技能扩展更多业务场景更多业务场景专注解决方案专注解决方案专注数据库设计专注数据库设计 运维人员无需关心DB高可用方案，容灾方案，备份方案等 通过云上的便捷运维分析工具，践行DBRE 专注于更高效的数据库设计，更好的协助开发完成业务开发 云端运维人员，除了加强专业技能外，还要了解云计算里的其他组件作用，关联关系，相互影响等 面对更多的客户业务场景，更海量的运维数据，需要思考如何使用产生的更海量的运维数据，为客户提供更专业有效的解决方案专注业务开发专注业务开发云数据库的价值云数据库的价值3 3平安云数据库平安云数据库PingAn Cloud Database云计算云计算云云数据库数据库安全安全云云数据库数据库监控监控云数据库云数据库编排编排/调度调度服务服务AIOPS标准服务标准服务裸机虚拟容器云存储云存储块文件对象备份加密数据中心数据中心&SD-WAN&SD-WAN DNS白名单ELB云网络云网络DRDSRDSREDISDDSTiDBUIUI、APIAPI、SDKSDK加密审计SQL防御增值服务增值服务故障自愈动态阈值根因分析顶层设计顶层设计数据联邦数据迁移数据归档AIOPSDMSPAAUD计量计费自助服务任务管理资源管理DNS的ACL白名单策略分布式防火墙CDFWcgroup等优化资源分配算法，合理的资源调配，细粒度资源管控实现利润最大化合规审计库级加密加密中间件等支持弹性扩缩容，通过机器学习做更精准的容量伸缩，满足业务在不同负载下对成本控制的极致追求DMSDTSAIOPS透明运维灵活的套餐设置，多种计费策略，满足不同业务需求生态生态资源管控资源管控租户隔离租户隔离计量计量安全安全计费计费设计考量设计考量云安全考虑云安全考虑数据破坏数据丢失业务流量被劫持不安全的接口和API拒绝服务恶意的内部人员共享技术漏洞存储安全：存储加密，数据库透明加密，中间件加密，用户加密，备份，容灾传输安全：SSL，备份加密，攻击保护，SQL注入租户用户：RAM控制，用户操作审计，DB操作审计云数据库提供商：变更记录，主机/DB操作审计合规审计合规审计数据安全数据安全物理隔离：防火墙，独占主机逻辑隔离：IPVS/IPtable，docker，VM，VPC，白名单，ACL隔离安全性隔离安全性安全合规安全合规统一入口统一入口无需关心后端无需关心后端数据联邦数据联邦数据迁移数据迁移 数据联邦技术，将多个或多种数据源组合，向应用提供统一虚拟视图，应用不需要知道数据的存储位置，数据结构和保存方式 使用数据联邦技术，应用无需关心后端是否使用相同类型的数据源，也无需ETL的数据迁移 数据联邦技术，为应用对数据的使用提供更大的便捷性和实时性异构数据迁移异构数据迁移大版本升级大版本升级数据归档数据归档冷热分离冷热分离提升性能提升性能节约成本节约成本多云部署多云部署 应用迁移上云，数据库拆分，版本升级等场景，均涉及数据迁移，是云数据库生态的重要组成部分 数据迁移服务，能大幅降低数据库实施重大变更业务的停服时间 数据迁移服务，能实现数据库异地多活，核心业务数据异步解耦，赋能业务 数据归档是业务数据生命周期管理的重要内容 数据归档通过对冷热数据的分离，使得大表变小表，对热数据使用缓存或高性能存储，能大幅提升业务系统性能 数据归档对冷数据进行压缩存储，列存，使用底性能的设备，能大幅降低 IT 成本无需数据移动无需数据移动数据生态数据生态产品架构图产品架构图平安云提供关系型数据库RDS（Relational Database Service）服务，支持MySQL和PostgreSQL两种引擎，提供容灾、备份、临时恢复、监控等方面的全套解决方案，是一种稳定可靠、可弹性伸缩的在线数据库服务。关系型数据库关系型数据库RDSRDS关键功能及服务关键功能及服务 支持MySQL和PostgreSQL两种引擎 提供主从双机热备高可用机制、容灾机制 支持自动备份，以及备份策略调整 支持在线扩容，在线缩容，丰富的套餐选项 支持通过监控大盘查看性能数据 服务可用性不低于99.967%数据持久性：不低于99.9999%主可用区RTO15min，RPO=0min 灾备可用区RTO30min RPO15min应用场景应用场景l数据数据强一致强一致场景场景存储和处理交易、账户等数据，提供安全审计，跨地域容灾，数据强一致的数据库服务。l 企业核心级业务场景企业核心级业务场景提供的双机高可用和共享存储架构。l 读写分离读写分离场景场景针对读多写少的场景，可将热点库增加只读实例，大幅提升读取能力。Thetis云数据库安全组CDFW主可用主可用区区 高可用高可用分布式磁盘&磁带混合文件系统FDE加密Thetis同同城可用区城可用区高可用高可用replicationThetis远程可用区远程可用区高可用高可用replication云数据库安全组CDFW云数据库安全组CDFWsnapshotSSL加密传输SSL加密传输SSL加密传输SSL加密传输SSL加密传输快照备份FDE加密FDE加密网络CDX接入层CDX接入层CDX接入层应用SSL加密传输SSL加密传输SSL加密传输SSL加密传输SSL加密传输SSL加密传输关键功能及服务关键功能及服务 支持Redis主从版和集群版两种部署架构 支持在线扩容，在线缩容 支持自动备份以及备份策略调整 支持通过监控大盘查看性能数据 服务可用性不低于99.95%数据持久性：不低于99.99%RTO5min RPO5min应用场景应用场景l应用应用缓存缓存场景场景可以将用户的基础资料、图片等信息缓存至 Redis 中，提高读取性能和应用加载速度。l高并发应用高并发应用场景场景数据持久化，主备双机冗余数据存储，可用于存储高并发场景的数据。产品架构图产品架构图弹性缓存弹性缓存RedisRedis平安云提供弹性缓存Redis服务，兼容开源 Redis 协议和键值对存储。采用主从高可用方案，提供数据持久化、在线扩容、横向扩展、监控、报警等方面的全套解决方案。产品架构图产品架构图文档数据库文档数据库DDSDDS平安云提供文档型数据库服务DDS（Document Database Service）服务，稳定可靠、易用安全、支持弹性伸缩。完全兼容MongoDB协议，适用于动态扩展、模式自由、灵活高效等非关系型数据库应用场景。关键功能及服务关键功能及服务 完全兼容MongoDB协议 提供主从高可用机制、容灾机制 支持自动备份，以及备份策略调整 支持在线扩容，在线缩容，丰富的套餐选项 支持通过监控大盘查看性能数据 服务可用性不低于99.967%数据持久性：不低于99.9999%同城可用区RTO5min RPO5min应用场景应用场景l非结构化非结构化业务业务场景场景DDS动态模式的特性可支持敏捷开发、快速上线的需求，同时具有海量数据存储扩容与回缩能力。l核心系统业务场景核心系统业务场景可利用文档型数据库模式自由、内存操作、自动分片特性，以较低的开发成本实现复杂的业务逻辑与云级别的伸缩性。Thetis云数据库安全组CDFW主主节点节点分布式磁盘&磁带混合文件系统Thetis同同城从节点城从节点replicationThetis远程从节点远程从节点replication云数据库安全组CDFW云数据库安全组CDFWsnapshot快照备份网络CDX接入层CDX接入层CDX接入层应用产品架构图产品架构图分布式关系型数据库分布式关系型数据库DRDSDRDS平安云提供分布式关系型数据库服务（Distributed Relational Database Service，简称 DRDS），完美解决单机数据库服务瓶颈问题，可部署一主多容灾架构，提供容灾、监控等方面的全套解决方案。关键功能及服务关键功能及服务 支持MySQL协议 支持在线扩容，在线缩容，丰富的套餐选项 支持通过监控大盘查看性能数据 支持单机RDS实例转换为DRDS实例 服务可用性不低于99.967%数据持久性：不低于99.9999%DRDS组件RTO=0min，RPO=0min MySQL组件的SLA同RDS应用场景应用场景l海量数据场景海量数据场景满足多种需要采集海量数据的场景，如大数据分析、工业监控、物联网传感设备等，解决了单机数据库容量瓶颈和难扩展的问题。l高并发应用场景高并发应用场景线性水平扩展能力较单机数据库更能提升数据库的处理能力及访问效率。对用户基数大、营销活动频繁的实时交易场景也可以轻松应对。云数据库安全组CDFW云数据库安全组CDFW云数据库安全组CDFW网络应用负载均衡负载均衡负载均衡RDSn-prdRDS1-ldrRDS2-ldrDRDSDRDSRDS0-ldrRDS2-prdRDS0-prd分片非分片RDSn-ldrRDS1-prdDRDSDRDSZooKeeperRDS1-readonlyRDS0-readonlyRDS2-readonlyRDSn-readonlyDRDSDRDSZooKeeperRDS1-rdrRDS2-rdrRDS0-rdrRDSn-rdrRDS1-readonlyRDS0-readonlyRDS2-readonlyRDSn-readonly主可用区同城可用区远程可用区4 4趋势趋势 Future自治数据库自治数据库AUTONOMOUS DATABASE自治数据库是一个云端数据库，它使用机器学习，AI算法，消除了与数据库调优、安全性、备份、更新相关的人工操作，以及传统上由数据库管理员(DBA)执行的其他常规管理任务。自治驱动自治驱动自治数据库可自动执行所有常规的数据库和基础设施的管理与监控，利用机器学习和AI算法，根据业务的行为特征，智能完成参数调整，SQL优化等调优任务，大幅降低整个体系的管理成本自治安全自治安全自治数据库能自动实施在线补丁安装，智能识别敏感数据进行透明加密，使数据库免受网络攻击，有效防范外部攻击和内部恶意访问，有效避免业务损失自治修复自治修复自治数据库要求大多数的维护都是在线实施的，能有效消除各类停机，也能自主应对计划外维护，保障业务持续稳定趋势趋势容器化容器化趋势趋势随着容器技术的发展，容器的安全隔离性、性能将会不断提升。涉及数据库负载这类数据持久化应用的相关技术也越来越成熟，容器化的云数据库将会大力发展，数据库容器化会是未来云数据库的一个主流趋势。数据库技术可以结合诸如Kubernetes的容器集群编排技术，实现异构数据库的统一管理，更加高密度的云数据库部署，优化资源管理，提高资源使用率，降低资源使用成本；还可以通过NewSQL分布式数据库结合Kubernetes的编排能力，使云数据库具有更强的自愈能力和更强大的扩展能力，一方面做到故障发生时对用户无感知，另一方面可以实现无缝扩容。趋势趋势与存储深度与存储深度融合融合数据库和存储之间的界限会越来越模糊，而我们现在已经看到这种趋势。云数据库可以利用云计算环境中云存储强大的IO能力和计算能力，一方面将数据库的计算引擎和存储引擎解耦，实现不同层面的按需灵活扩容；另一方面将数据库的部分计算和IO相关负载下沉到存储层面，从而降低数据库引擎的负载，从整体上可以达到降低成本、提高系统吞吐量、降低时延的效果。Log is the Database（日志即数据库）就是在这一背景下提出的理念。趋势趋势无服务化趋势无服务化趋势无服务器化（Serverless）的云数据库也是未来的发展趋势。无服务器化数据库是指用户申请数据库服务时，不再需要指定套餐大小（CPU和存储资源需求），无需关心数据库如何被创建和释放；用户只需专注于其业务实现，无需关心数据被如何存放，无需对数据库进行运维和优化；用户无需关注其业务负载，无需为应对业务峰值，购买大容量套餐，造成业务成本浪费，云数据库会根据其业务负载，实时动态弹性扩缩容其业务所需资源，真正做到按需付费。甚至在数据库没有负载的时候，系统会释放所有占用的计算资源，我们称之为Auto Scale Down to Zero。在这段期间，用户完全不需要支付计算资源费用；而在新的负载进来时，系统又能够快速的启动，并且对用户提供服务。对于用户而言，整个过程透明、无感知。对于云提供商来说，无服务器化可以提高云数据库部署密度，可以更充分利用云资源。趋势趋势 目前，云数据库仍然处于一个百花齐放、百家争鸣的时代，并不存在一个统一的标准。云数据库的种类、生态，极其相关的技术，以及用户的需求都在快速变化中。但目的只有一个，快速捕捉用户需求，利用云中强大的资源能力，向用户提供简单易用的数据库服务。趋势趋势 无论何种数据格式，无论何种负载，无论何种业务模型，云数据库都能提供有效的数据存储和访问。数据库技术的发展，促进了其他领域很多技术的产生和革新；而其他领域技术的发展，反过来也对数据库技术起到了相当大的促进作用。这是一个相辅相成的过程，这是一个良性的循环，在云数据库领域，这一循环必将持续下去。让让我们期待一个云数据库更好的明天我们期待一个云数据库更好的明天！趋势趋势