云时代的数据库技术趋势.pdf

封面页（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）卷首语 阿里云数据库率先提出云原生数据库 2.0概念，通过打造云原生一站式的数据管理与服务，旨在为用户提供：更快、更稳、更安全、更好用的数据库产品。本峰会将邀请数据库学术界领军人物为您介绍云时代的数据库发展趋势；行业权威人士就相关数据库行业标准进行深入解读；技术大咖带来 Serverless、云原生HTAP 等前沿技术介绍；标杆客户与您分享云原生数据库的最佳实践；开源社区及高校学术负责人与您共论数据库的开源生态建设与人才培养。目录 一、开场致辞.6 二、云时代的数据库技术趋势.7 三、数据库行业的 Serverless 标准发布与解读.15 四、生而不凡：PolarDB 将云原生进行到底.22 4.1 生而不凡：PolarDB 将云原生进行到底.22 4.2 PolarDB 在典型行业的最佳实践.31 五、云原生的一体化透明分布式数据库.34 5.1 云原生一体化透明分布式数据库.34 5.2 良品铺子核心系统云原生实践.42 六、云原生数据仓库：加速业务数据化，数据价值化.47 6.1 云原生数据仓库：加速业务数据化，数据价值化.47 6.2 云原生数据仓库 AnalyticDB 重磅发布.51 6.3 AnalyticDB MySQL 湖仓版在 B 站的最佳实践.56 七、多模融合：让海量数据存得起看得见.60 7.1 Lindrom 多模融合：让海量数据存得起，看得见.60 7.2 小米大数据运维管理体系的建设与实践.67 八、简单易用的一站式数据管理与服务.76 8.1 简单易用一站式数据管理与服务.76 8.2 DMS 一站式能力.80 九、云数据库 RDS 的最新功能与最佳实践.86 9.1 云数据库 RDS 重磅功能发布与最佳实践.86 9.2 欢聚集团 RDS 实践.96 十、云原生智能化 DBaaS.101 十一、达摩院加持下的数据库前沿技术.108 十二、云原生数据库的场景化解决方案.117 12.1 云时代数据库应用最佳实践.117 12.2 多来点云原生数据库多活实践.122 十三、打造世界级云原生数据库开源社区.128 一、开场致辞 6 一、开场致辞 致辞嘉宾：李飞飞，阿里巴巴集团副总裁、阿里云数据库产品事业部负责人、ACM 和 IEEE 会士（FELLOW）感谢大家在这个特殊时期，能够排除困难来到现场，参加 2022 云栖大会云原生数据库峰会。阿里云数据库团队也为本次峰会做了非常充分的准备，不同于往届论坛形式，为方便大家更集中的观看、学习和分享，本次峰会把分享内容集中放在一个论坛内，不再设置其他分论坛。昨天我也在一个会上分享了关于阿里云数据库领域产品的发展趋势，这就是“四化”，即云原生化、平台化、一体化和智能化。云原生化：即 Serverless，计算和存储分离。平台化：是基于云平台构建数据库系统和核心能力；以及数据库产品提供标准的 API，在未来的很多场景中，用户是基于 API 构建更加丰富的数据库使用场景。一体化：是指将多业务场景引擎进行数据无缝共享。智能化：结合 AI 技术，让数据更加智能，便于使用。如果将以上“四化”结合起来，可以看到一个明显的趋势：数据的平台化。通过数据的平台化，提供一站式数据管理服务。这是我们对行业的一个思考。接下来我们会有丰富的内容呈现，希望大家多多点评，并提出宝贵的意见。愿我们一起将数据库技术和产品做得更好。谢谢大家！二、云时代的数据库技术趋势 7 二、云时代的数据库技术趋势 作者：杜小勇，中国人民大学明理书院院长、中国计算机学会理事、数据库专委会资深委员 数据库的发展主要受三种因素驱动。其一，数据模型的发展会带来数据或管理系统的变化，此外底层体系架构的变化和应用需求的驱动也会带来数据库系统的巨大变革。东数西算工程，指通过构建数据中心、云计算、大数据一体化的新型算力网络体系，将东部算力需求有序引导到西部，利用西部较好的自然条件构建数据中心，建构全国性的算力网络。我们有理由相信，东数西算会改变中国的算力格局。东数西算里“数”主要为解决当前普遍存在的数据孤岛问题。二、云时代的数据库技术趋势 8 数字经济是当下的核心话题，其主要目的在于释放数据价值。网络界的著名定律梅特卡夫定律告诉我们，节点越多，连接越多，则价值也会越大。数字经济背景下，参与共享和协同的数据越多，数据价值也可以得到更大的增长。因此，数字经济的核心任务即在于打破数据孤岛。由于大家“不会、不愿、不想”，使得数据之间的共享和协同异常困难。因此，跨域、高效、安全的数据共享与协同是未来的刚需，这也催生了跨域数据管理。我们希望算力网络上的数据库之间能够实现有效、安全的数据共享。二、云时代的数据库技术趋势 9 跨域可以从三个方面进行解读。第一，跨空间域。两个数据集在物理空间上是远距离的，通过算力网络进行连接，主要问题在于网络的不确定性。第二，跨管辖域。每个数据库都有自己的数据模型，不同数据模型之间如何进行数据交换和共享是一大挑战。第三，跨信任域。每个数据库系统之间并不是完全相互信任，如何保障数据安全是主要问题。二、云时代的数据库技术趋势 10 当前，很多大厂采用了三地五中心的分布式架构来支持跨空间域的需求。这其中存在资源浪费，也存在安全性问题。需要解决的问题在于如何在广域网的基础上实现跨域的有效数据管理，会面临网络的不稳定和数据传输延时等挑战。通常专用网络的时延为 10 微秒，数据中心内网络时延大概为百微秒级别，而跨空间域网络的时延大约需要 10 毫秒甚至更高。在较高时延下，如何实现传统的分布式数据管理是一大挑战。其次，相比于专用网络和局域网，跨域网络抖动会更严重，网络传输的时延也会发生数量级的变化。二、云时代的数据库技术趋势 11 跨空间域数据管理的挑战覆盖了数据库管理的方方面面，比如存储管理、查询处理、事务管理等。而目前，跨空间域的数据管理技术已经取得了一定的进展。比如通过避免跨域数据访问来解决存储管理的问题；通过减少数据传输量解决查询处理的问题；事务处理方面包括减少传输次数、减少数据传输量以及降低服务执行的不确定概率等。未来，随着不确定性网络向确定性网络转变，相关研究也一定会取得更大进展。二、云时代的数据库技术趋势 12 跨管辖域数据管理方面，主要需解决不同数据模型之间的数据统计管理和交互。上世纪 80 年代，数据库领域提出了联邦数据库的概念，为了解决公司在并购过程中出现的问题，也提出了相关的概念，这些概念在今天也有不同的呈现，比如企业数据中台等场景也有类似的要求。当前，跨管辖域数据管理面临的挑战主要为面向异构数据的统一高效查询以及多源异构数据的即席语义融合。目前的语义融合多为根据特定任务，offline 构建，可能要花费数月才能完成。我们期待有一种新的技术来支撑 ad-hoc 语义融合。当前，跨管辖域的数据管理技术也已取得一定进展，比如统一查询、质量提升以及高时效。二、云时代的数据库技术趋势 13 企业、机构为了数据保护形成相对独立的域称为信任域，信任域之间的数据共享存在障碍。在此背景下，如何实现可信的共享、安全的计算以及隐私的保护是重中之重。解决方案主要分为事前、事中、事后。事前包括跨域用户的访问，事中主要包括基于区块链的合约执行以及面向隐私保护的计算技术，事后主要为审计技术等。二、云时代的数据库技术趋势 14 相关方面的研究也已取得一定的进展，比如基于密码学、新硬件以及统计学的解决方案。跨域数据管理背景下，如何将技术统一应用起来，仍然存在诸多挑战。数据要素跨域、高效、安全共享协同催生了跨域数据管理，也为数据管理带来了全新挑战。三、数据库行业的 Serverless 标准发布与解读 15 三、数据库行业的 Serverless 标准发布与解读 作者：姜春宇，中国信通院云计算与大数据研究所主任 Serverless 是指构建和运行应用程序无需管理服务器的概念，描述了一种更细粒度的部署和模型，将应用程序打包成多个功能，上传至平台并执行，以响应确切的要求。Serverless 很重要的一点在于无需要关心应用运行的资源，而 Serverful 需要考虑资源的分配和底层资源的实现；计费方式上，Serverless 按照使用情况计费，可以实现毫秒级计费，且快速伸缩无感知。而 Serverful 为小时级计费，以及弹性伸缩需要较长时间。Serverless 能够带来最极致的弹性，其演进经历了四个阶段：第一阶段：在自己的机房构建数据库。第二阶段：PaaS 平台的服务，可以购买服务，这也是基本的云端数据库的特征。第三阶段：云原生数据库，资源的池化能力和弹性能力大幅提升。第四阶段：无服务数据库，拥有极致的弹性、极致的性价比和极致的无感知。三、数据库行业的 Serverless 标准发布与解读 16 2020 年，全球 Serverless 服务市场营收 400+亿，其中中国 Serverless 服务市场营收 60+亿，占全球市场的 14%，而国内的数据库市场份额占全球 5%，说明我国Serverless 的市场能力较为优异。传统数据库的容器架构与 Serverless 架构结合，使云原生数据在弹性、自动化方面具有极大的创新价值，Serverless 提供了极强的弹性伸缩能力。Serverless 技术中，资源的池化和弹性的扩展紧密相关，首先要实现资源的池化，才能实现极致的弹性。而资源池化最核心的点在于存储资源的池化，存储计算分离以后，在存储层面为上层输出的计算提供了弹性。数据计算池无需做任何牵引，用户的业务数据不受影响。此前，存储计算互相耦合的时候，存储和计算无法分别扩展，因为数据库是一种特殊的形态，存储层需要规划。因此如果不解耦，则无法分别扩展。实现池化后，需要对运行的应用和负载进行多维度的监控，包括 CPU、内存、连接数等，达至阈值以后自动伸缩，进行资源调度。因此未来 Serverless 很大的竞争空间在于谁能够提供更高效的资源调度，比如秒级。为了更多地降低用户成本，提升云上资源的利用率，云原生数据库需要将内存与计算节点进行深度解耦，实现 CPU+内存+持久化存储的三层解耦模型。三、数据库行业的 Serverless 标准发布与解读 17 Serverless 的另一关键技术为高可用。在扩展过程中，单台机器经常出现扩展的瓶颈，需要进行跨服务器、跨硬件扩缩容。而此过程中，业务需要正常运行，因此，高可用至关重要，它包含四个特性：第一，自动切换能力。当前业界主要有两种解决方案，一是集群各个节点通过一致性协议的去中心化解决方案；二是利用云原生数据库中心化共享存储的分布式锁解决方案。第二，热备节点。热备节点是一个资源弱化版的 RO 节点，同时也是一个更接近主节点、随时准备接班的灾备节点。相比普通的只读节点，它保留有限的读服务，预留更多的 CPU 和内存资源去优化切换速度。第三，链接保持。对于迁移时的空闲链接，可以引入中间件 Proxy，利用 Proxy的链接技术保证用户链接不中断。第四，无损事务续传。对于切换瞬间正在执行的事务，一方面 Proxy 无法从数据库内核中找回原有事务的上下文，另一方面新主会将未提交的悬挂事务回滚，释放这些事务持有的锁。在该种场景下，链接保持会失效。数据库内核还需提供无损事务续传的能力以解决这一缺陷。三、数据库行业的 Serverless 标准发布与解读 18 云原生数据库必须提供全局强一致的事务读写能力，才能使事务一致性的 RO 节点替 RW 节点透明地分担用户负载。那么，高性能的能力如何体现？需要将计算层面的算子进行分离，将读写分离，将写操作做成单独的服务，承接大吞吐量的写操作。另外，引入新的硬件解决性能瓶颈。单一的 CPU 或者某一种计算芯片擅长处理的任务不一样，因此我们需要新的硬件类型比如 GPU、FPGA 等来进行优化，使性能进一步提高。三、数据库行业的 Serverless 标准发布与解读 19 Serverless 的低成本体现在除了计算和存储以外的资源，元数据、接入层、负载均衡、优化器等一系列服务也进行池化，使得部署、切换、弹性的过程非常高效快速，降低使用的门槛和成本。Serverless 数据库的应用场景非常丰富。比如税务系统每年固定时间段的报税会使得应用特别繁忙，而其余时间多为闲置状态此类可变多负载场景可以通过 Serverless 技术实现资源的弹性。双十一期间流量难以预估，此类不可预测的工作负载也特别适合 Serverless 无感的极致弹性。大型企业可能有上千个数据库实例，同时感知这些数据库实例资源的使用情况难度极大，因此，可以使用 Serverless 弹性无感的自动化能力，通过监控实现自动伸缩。再比如大型软件可能有成千上万的客户在使用，每一个客户都是一个租户，底下又挂了数据库实例，同时管理成千上万个数据库实例是个巨大的挑战，此时也特别适合使用 Serverless。三、数据库行业的 Serverless 标准发布与解读 20 Serverless 数据库的发展趋势大多与资源的池化、资源的标准化等相关。比如屏蔽底层的数据库操作，提升易用性，业务人员无需考虑数据库如何部署、如何启动。比如计算资源标准化，统一底层资源。原先自建的机房和服务器会面临很多不一样的问题，而使用了 Serverless 云原生数据库以后，即可实现标准化，统一使用，统一调度。计费方式也更加精确，按需计费，解耦以后计算资源的颗粒度非常小，计算时长从原先的小时或天变为秒级。扩缩容无感，实现更快的业务反应，以及更快的资源调度，实现极致的资源利用率也是未来的发展方向。三、数据库行业的 Serverless 标准发布与解读 21 数据库引入 Serverless 技术后，具备智能弹性扩缩容能力能够随着用户业务的请求数的增加和减少，自动“膨胀”和“缩小”，实现资源的智能“吞吐”。另外，随着资源池化能力的进一步释放，在同一数据中心内，计算、内存和存储资源的三层解耦逐渐从理论走向实际，成为云原生数据库资源管理的新趋势。我们相信，Serverless 白皮书的发布是 Serverless 技术前进的起点。也相信阿里这样的企业会沿着这条路径不断前进，不断提供更极致的弹性、极致的性价比和极致的性能。四、生而不凡：PolarDB 将云原生进行到底 22 四、生而不凡：PolarDB 将云原生进行到底 作者：杨辛军，阿里巴巴集团研究员、PolarDB for MySQL 产品部负责人 贾新华，阿里云数据库事业部资深产品专家 4.1 生而不凡：PolarDB 将云原生进行到底 PolarDB 诞生 5 周年，已经成为较为成功的商业数据库，线上运行核数突破 500000核，拥有全球 80+可用区。PolarDB 是基于 MySQL 与 PG 的升级版数据库，因此对 MySQL 与 PG 实现了完全兼容。另外，PolarDB 注重于云原生数据库的发展，因此在云原生方面做了很多研究，我们每年都会在顶会发表论文，将研究成果与大家共同分享。四、生而不凡：PolarDB 将云原生进行到底 23 上图为 PolarDB 的最新架构图，依然坚持了模块化建设的路径。PolarDB 在存算分离以及物理复制方面已经非常成熟，因此逐渐开始往另一层次发展，今年我们发布了很多新的节点，包括 HTAP 节点、X-engine 节点、多写节点、AI 节点等。很多节点可以进行自由搭配和转换，以适配客户需要的应用场景。也实现了 Scale Out 与 Scale Up 两个方向的弹性伸缩。PolarDB 是共享资源的数据库，对资源硬件非常关注。我们充分利用新硬件实现软硬一体化，将硬件的红利分享给用户。四、生而不凡：PolarDB 将云原生进行到底 24 今年，PolarDB 实现了两个硬件的升级。其一为 Smart-SSD，它是基于 FPGA 的 SSD存储。通过 Smart-SSD 进行数据的压缩后可实现 2.0-3.0 的压缩比。左下角的性能图显示，使用 Smart-SSD 后，相比于线上的云盘保持着非常大的优势。同时，因为我们可以做数据压缩，使用户成本降低 60%。所以我们有机会将存储售价降低 50%，让利给用户。另一个硬件升级是将 RDMA 网络升级到 100G，通过 RDMA 实现了 PolarDB 的高性能全局强一致性，能够使各类节点更稳固，能够搭建更大的架构供更丰富的场景使用。也保证了不管在哪个节点或节点之间存在多少 latency，都可以成功地读到写入。通过 RDMA 的升级，性能提高了近 63 倍。四、生而不凡：PolarDB 将云原生进行到底 25 PolarDB HTAP 新推出了 In-Memory Column Index 功能。物理复制将数据从一个节点复制到另外一个节点时，实现了行列转换，将行存的数据转换为列存。通过执行算子与执行器对列存性能进行了分析，如右图所示，效果显著。行存方面，PolarDB 发布了 ePQ 并行查询新特性。其中 e 代表弹性，ePQ 可以实现节点之间的并行查询。左图为 4 个 32 节点的并行查询，结果显示整体执行时间较 MySQL 提升 60 多倍，单条执行时间最大提升 150 倍。右侧为对 60 亿+大表的分组聚集，执行时间小于60s，而实现并行查询之前，耗时约 8h。四、生而不凡：PolarDB 将云原生进行到底 26 PolarDB 正式商业化发布“库表级多写”。在分库分表的场景下，可以对一个节点、多个表进行 scaling。每个表有一个主节点，一个节点管理多个库、表，库表级多写的优势在于可以共享 shared-everything 架构，每个节点都可以看见所有数据，因此，增加节点或减少节点时无需对数据进行迁移，拥有极佳的弹性能力，可轻松对节点做增减，无需进行数据的重复迁移。另外，它实现了多主互备，每个节点都是另外节点的备节点，备节点也可以成为主节点，提高了备节点的利用率。四、生而不凡：PolarDB 将云原生进行到底 27 另外，我们实现了行级多写的灰度发布。利用 Polar Fusion 实现了事务、锁、缓存信息的全局协调。上图为阿里云 PolarDB 与友商的对比，PolarDB 多写在冲突写和无冲突写场景下均具有非常大的优势。PolarDB 即将支持全球就近写，可以在全球范围内，通过并行的物理复制技术，实现两秒以内的延迟。能够支持表级别的就近写，数据会进行双向同步，保证数据的全局一致性。四、生而不凡：PolarDB 将云原生进行到底 28 X-Engine 基于 LSM 架构，能够保证非常高的压缩率。可以将 X-Engine 与 InnoDB并行插入，数据可以在两个引擎之间自动流动。因此，用户可以针对数据的冷热自行分配数据在何处。使用 X-Engine 进行压缩后，淘宝图片库实现了近 6 倍的压缩，淘宝交易订单压缩近 3 倍，性能方面相较于标准集群版略有不足但是相近。四、生而不凡：PolarDB 将云原生进行到底 29 PolarDB 的 Serverless 不仅支持纵向、单节点地弹，也支持横向、跨节点地弹，实现了极致弹性，包括热备节点、断点续传、连接保持等。上图可以看出，PolarDB Serverless 能够根据压力自动增加 PCU 数量，从而自动提升 QPS。压力停止后，PCU 逐渐降低。单节点规格达到上限后，可通过自动增加只读接节点来应对突发压力，提升性能。四、生而不凡：PolarDB 将云原生进行到底 30 PolarDB 一直在性能方面进行持续优化。通过云原生架构全路径的深度优化、高性能存储的引擎优化以及高性能索引 PolarIndex 大幅提高了性能。DDL 方面我们也在持续改进。并行 DDL 使得建索引的速度提升 15-20 倍。同时，我们正在实现 Multiversion Dictionary，可实现 Instant DDL，无需实现全表的重建，通过 Dictionary 的改变即可生效。四、生而不凡：PolarDB 将云原生进行到底 31 4.2 PolarDB 在典型行业的最佳实践 游戏行业痛点与 PolarDB 的实践：版更期间备份时间大于 1 小时，以及玩家经常丢失装备，需要快速找回。而PolarDB 支持秒级备份以及库表级、行级的闪回，可以大幅缩短版更时间，从小时级降低至分钟级。游戏设备越来越充足，装备信息越来越多，导致大部分字段长度可能超过 1 M，非常影响更新性能。通过 PolarDB 对 BLOG 字段实现专项优化，装备更新性能提升 5 倍。游戏活动较为频繁，而活动会导致负载快速变化。PolarDB 支持多主架构，能够大幅缩短缩短滚服合服时间，实现分钟级快速的响应。游戏往往全球发行，导致部分玩家登录速度过慢。而 PolarDB 的 GDN 能够实现业务就近访问，使效率提升 40%以上。四、生而不凡：PolarDB 将云原生进行到底 32 零售行业往往有供应链、销售以及运营分析，系统均独立构建且系统之间的构建较复杂。可以通过 PolarDB 的 IMCI 特性，免去复杂架构，实现实时分析，无 ETL、更稳定。SaaS 行业租户多且租户量会快速变化，PolarDB 提供的 Serverless 能力可以根据实际使用来分配资源，使成本降低约 60%。另外，SaaS 场景下多租户之间会共用资源，导致互相影响，PolarDB 提供了多主架构，实现了租户资源的严格隔离。另外，零售行业会存在百万级的 DDL，而 PolarDB 提供了高性能的 DDL，包括秒级DDL、并行 DDL 等，可在海量表的情况下实现 DDL 时性能无抖动、业务无堵塞。四、生而不凡：PolarDB 将云原生进行到底 33 泛政府行业也存在几个关键痛点首先，需要自研数据库，而 PolarDB 数据库代码自研率超 80%，可满足各种合规方面的要求，使供应链更安全；同时，升级传统商业数据库较为复杂，风险不可控，而 PolarDB 提供了高度兼容 Oracle 的能力，能够使成本显著降下，此外，PolarDB提供了一系列工具链与方法论，使升级过程可控、可管理。其次，泛政府行业合规要求同城、异地容灾，而 PolarDB 提供了两地三中心容灾，既可以实现同城的高可用，也可以实现异地的高可用；另外，泛政府行业正在做数据大集中，要求高扩展，而 PolarDB 单机可扩展 100T 共享存储以及 32 计算节点，可以免去分库分表，实现业务无侵入。五、云原生的一体化透明分布式数据库 34 五、云原生的一体化透明分布式数据库 作者：黄贵，阿里云数据库事业部资深技术专家、PolarDB-X 产品部负责人 罗轶群，良品铺子 CIO 5.1 云原生一体化透明分布式数据库 分布式数据库概念已经诞生几十年，早期更多只是作为研究对象，直到 2000 年左右才真正走向应用，主要用于各大企业尤其是互联网企业解决扩展性、高并发、高吞吐等访问问题。直到近几年，分布式数据库才真正在商业化应用中投入使用。如今分布式数据库有效解决了很多问题，比如在新零售、电商、在线教育等场景下，解决了在线交易系统高并发读写问题；在传统行业制造业、政企、交通、能源等场景下，解决了海量数据大集中问题；在对于容灾有着非常高要求的金融领域场景下，解决了跨地域高可用问题。商业化应用过程中，分布式数据库仍然面临着很多问题，主要包括以下几个方面：第一，兼容性。能否与传统数据保持兼容。第二，使用门槛。是否必须要有足够大体量才用使用？能否像使用单机数据库一样简单方便？第三，扩展能力。数据扩展以后，面临跨数据分片，分布式事务是能否保持高性能？五、云原生的一体化透明分布式数据库 35 第四，运维复杂度。分布式数据结构较复杂，涉及到集群化部署以及多个节点之间交互，如何控制运维复杂度？PolarDB-X 是非常典型存储计算分离分布式架构。GMS 是元数据管理中心。CN 是状态计算节点，负责解析与执行。DN 用于存放数据节点。CDC 是全局一致 Binlog 组件负责输出，与 MySQL 兼容、全局一致的日志内容。整个 PolarDB-X 架构在云平台上，因此称为云原生分布式数据库。五、云原生的一体化透明分布式数据库 36 PolarDB-X 具有三个显著特点：兼容原生 MySQL 生态。一体化透明分布式，可以像使用单机数据库一样使用，无需了解过多分布式概念。具有非常强大企业级能力。比如高可用能力，RPO=0 情况下也可实现跨地域高可用；比如 HTAP 能力，可同时支持两种负载；另外，针对企业对于数据安全要求也做了大量工作。实际上要做到一个产品 100%兼容另外一个产品难度极大，因为原有产品会不断地发展迭代。因此我们做兼容性的原则主要针对企业级用户需求和侧重点对大部分能力和语法实现了兼容。另外还实现了生态上的兼容，以保证原有使用 MySQL 数据库的用户能够非常方便地、透明地迁移到分布式数据库上，无需修改应用，也无需修改数据结构，可以完整无缝对接到原有生态上。五、云原生的一体化透明分布式数据库 37 为了实现生态兼容，我们开发了 CDC 全局一致 Binlog 组件，能够提供完全兼容单机 MySQL 的 Binlog，无缝接入现有生态工具同步到下游生态。同时，PolarDB-X 也可以作为 MySQL 的备节点，利用 MySQL Replication 组成高可用架构。一体化的重要方向是集中分布式一体化。分布式数据库在商业应用过程中，并不是所有用户都在一开始就具有大体量、高并发的需求，大多是随着业务发展逐渐出现大体量的需求。因此，PolarDB-X 提供了两种不同形。一种为标准版，集中式形态，100%兼容单机 MySQL，具有更低的使用成本，另一种为企业版，用户可以从标准版平滑升级到分布式企业版形态。五、云原生的一体化透明分布式数据库 38 为了在分布式层面提供更好的单机体验，我们提出了透明式的概念，其中的重要能力为 AUTO 模式，可以在创建数据库时指定数据库为自动模式，数据库会根据容量大小做自动分区，无需主动干预。但同时也保留了手工分区的能力，更好地契合业务。另外PolarDB-X 提供了在线与历史归档数据一体化，可以通过事先设置数据过期规则，自动将历史数据归档存储到 OSS。在线数据与历史数据可以通过统一的 SQL语法、统一的接入点进行访问。目前历史归档数据相对在线数据存储成本最多下降了有 20 倍。这个功能目前已经在公有云版本上线。五、云原生的一体化透明分布式数据库 39 分布式架构并不是银弹，无法解决所有问题，也存在设计上的相应代价。从架构上来看，即便是在单机系统上，即便只有 2 个 NUMA 节点，跨 NUMA Node的访问也会使性能下降至少 1 倍。而到了分布式系统上，总线变为网络，一旦涉及到远程访问，性能更是会出现急剧下降，比如单个全局二级索引，写入性能下降 30%。这个是分布式系统带来的非常显著的代价。想要透明式的体验必然会导致性能不达预期，要想保持性能需要精心设计数据分布规则，小心地限制使用特性。为此，PolarDB 推出了表组的概念。根据业务特点，自动将有相近统一的分区键组合到同一个表组中。具有相同业务属性的表往往具有事务关联性，原本需要做分布 五、云原生的一体化透明分布式数据库 40 式跨数据分片的事务处理变为可以在单机上进行，有效消除了分布式事务带来的开销。且我们实现了自动化表组聚合，无需过多的人工干预。当然也支持人工指定规则，更好地利用特性，更好地优化。数据分区以后带来的显著问题在于数据分布不均，包括数据量不均衡以及访问不均衡导致出现局部数据热点。识别到热点以后，PolarDB-X 可以通过一些操作在不影响业务运行的情况下打散热点，让系统变得更平缓，从而实现分布式系统处理高并发的请求。五、云原生的一体化透明分布式数据库 41 要做好分布式系统的运维，对运维人员以及数据架构均有极高的要求，必须了解服务系统的概念，而且分布式系统本身的系统复杂性较高，分析异常时面临的链路较长。PolarDB-X 构建了可实时观测的运维平台，能够对异常数据进行非常密集的监控，通过分析实时洞察 SQL 执行过程中的耗时、线程瓶颈，并显示热力图，运维人员可以直观地查看每个分区上的访问热度如何。还可进行诊断分析，包括规划分析、空间分析以及死锁分析。还会做系统关联，分析全链路每个阶段的耗时、性能指标以及系统整体运行情况，最后根据系统运行情况做实时优化，比如对性能有瓶颈的问题自动推荐索引。通过以上手段，能够更有效地定位问题，更有效地分析数据，从而得到更平滑的体验。对于分布式系统，在运维过程中的一个非常典型的问题是能否做实时的数据字典定义。对于数据量非常庞大的数据表而言，对表结构做定义往往会牵涉到大规模的数据迁移工作，会对系统造成极大冲击。因此，我们设计了 Online DDL，所有 DDL 均在线，不影响业务运行。同时尽可能做并发的数据结构修改、数据搬迁以及复制，有效降低对系统的冲击，提升整个数据搬迁的过程。五、云原生的一体化透明分布式数据库 42 5.2 良品铺子核心系统云原生实践 从 2006 年的第一家门店，到 2016 年首次在纽约时代广场亮相，再到 2020 年 A 股高调上市，良品铺子已经成为终端零售行业的龙头企业，业务覆盖 19 个省份、100多个城市，拥有线下门店 3000+，每年营业额破百亿。在不同时间、不同地段、不同门店，良品铺子的促销活动都可能会不一样。我们是典型的以客户为中心的智能门店，通过对采购信息的实时抓取以及对采购流程的灵活调度，来得出每一家门店在什么时间点、什么的样客户需要什么样的产品，背后的 POS 业务系统支撑了该套逻辑。五、云原生的一体化透明分布式数据库 43 POS 系统本质上是一个集会员、交易、商品库存于一体的中台业务模型，通过统一的接口服务以及统一的数据传输服务，实现门店之间的数据共享以及门店与中心的数据流转。新零售重新定义了人物入场关系，一切以人为中心，而这一点恰好是良品铺子最核心的企业文化。引入全新的技术也好，投入业务改造也好，我们的最终目的是希望全面提升人的体验。所谓内外兼修，内外是指店内与店外或线上与线下，我们希望通过数字化的形式打通线上与线下，为用户提供更便捷的购买体验，比如线上购买，线下提货。我们希望实现渠道协作。门店在新零售架构下起着非常重要的纽带作用，不仅仅关联了用户与商品，也关联了门店与中心。因此，提供一个一体化完整的解决方案对于多渠道协作至关重要。最后，我们希望精准营销，建立智慧门店。智慧门店恰恰也是良品铺子最重要的战略目标与发展趋势。它为我们带来的不仅仅是营收增长，更多的是帮助我们更精确地了解客户，为客户提供更有价值的商品。五、云原生的一体化透明分布式数据库 44 为了满足业务诉求，我们对数据库的选型提出了几点要求：第一，简单易用。只有简单易用，才能真正意义上满足业务高速迭代的诉求，才是业务创新的基础。作为用户，我们并不希望引入全新的技术是以付出特别高的学习成本为代价。第二，海量与灵活。要做统一管理，做多渠道协调。面对企业的全量数据，如何保证存得下、算得动以及保证数据安全性？因此对数据库的弹性能力及高可用能力都提出了更高的要求。第三，稳定。POS 系统是直接面对客户的 2C 业务，它的崩溃会对企业造成直接的损失与不可估量的社会负面效应，因此，稳定是选型中的最大考量。基于以上考虑，最终我们选择了 PolarDB-X。它孵化于阿里巴巴集团内部，在零售行业摸爬滚打多年，有着非常丰富的行业经验与解决方案，成熟稳定。五、云原生的一体化透明分布式数据库 45 POS 的核心业务系统通过微服务的方式打造成多个业务域，每个业务域都运行在相应的 PolarDB-X 集群。通过 PolarDB-X 提供全局的 BinLog 能力，可以将数据实时一致地同步到下游分布式数据库，完成更复杂的报表操作或数仓操作。大促到来时，依托于 PolarDB-X 的云原生弹性很好地支撑业洪峰的到来。该套架构已在良品铺子稳定运行多年，经历了多次大促考验，日均交易量突破 100万，数据库响应时间始终保持在 3 毫秒以内。PolarDB-X 今年发布了很多有意义的功能，比如数据自定义存储、数据冷热分层等，帮助我们更有效地利用存储资源，更好地节约存储成本。五、云原生的一体化透明分布式数据库 46 PolarDB-X 不仅提供了 MySQL 协议的兼容，也提供了 Binlog 周边生态的兼容，为用户屏蔽了分布式技术所带来的技术门槛，真正实现了像使用单机数据库一样简单地使用分布式数据库。在我们引入 PolarDB-X 后，支撑了峰值单日调用 9000 万次，接口性能提升 20%。我们业务 7*24 小时在线，从未发生过因数据故障而引发损失。另外，PolarDB-X 提供的云原生能力和分层能力，也帮助我们大幅降低了成本。最后，良品铺子希望与阿里云数据库继续合作，为新零售信息化建设继续添砖加瓦。六、云原生数据仓库：加速业务数据化，数据价值化 47 六、云原生数据仓库：加速业务数据化，数据价值化 作者：林亮，阿里巴巴集团研究员/OLAP 产品部负责人 薛菲，阿里云数据库事业部高级产品专家 陈浩，哔哩哔哩 Bilibili 资深数据开发专家 6.1 云原生数据仓库：加速业务数据化，数据价值化 数据仓库旨在帮助企业实现业务数据化与数据价值化。数据在经济生活各个领域中持续发挥着重要作用。海量数据被创造出来，数据规模化、多样化、实时化、智能化的趋势日渐明。截至 2020 年，全球数据规模已达到 79ZB，且根据 IDC 预测，截至 2025 年，数据将增长 230%。数据格式愈发多样化，有结构化数据、半结构化数据与非结构化数据，数据可能来自数据库，也可能来自日志或者其他存储，而这些来自不同源、不同类型的数据不断增加了企业数据分析的成本。另一方面，数据的实时化趋势日趋明显。到 2025 年，将有 30%的数据是实时数据，69%的企业将实时与敏捷作为未来企业数字化升级中面临的 top 5 的挑战与诉求。六、云原生数据仓库：加速业务数据化，数据价值化 48 一系列数据变化也带来了整体智能化分析趋势的增长。预期在 2023 年，将有 33%企业采用智能分析，预计截至 2025 年，将有 60%基于传统数据构建的模型将会被替代。伴随着以上趋势，数据处理架构也会变得更加复杂。传统数据架构存在复杂的搭建与运维问题，数据被存储在多种不同的系统中，很难很好地解决企业在数据分析过程中面临的高可用、高可靠和容灾等问题。企业希望能够有一套开箱即用的数据解决方案，不用陷入高昂的数据成本与复杂的内容中。另一方面，更多数据开始在平台上汇总，企业希望能够利用该优势，满足自身不断增长的数据规模与处理能力的需求。六、云原生数据仓库：加速业务数据化，数据价值化 49 阿里云的云原生数据仓库 AnalyticDB 数仓版正是基于以上需求应运而生，它既能够支持实时分析，也能够支持海量数据处理，能够帮助企业快速构建起云原生数仓并且一体化支持存储与分析。通过数据库与大数据技术一体化，实现了高吞吐的实时增删改、高性能的分析，同时支持复杂 ETL，与上下游生态高度兼容，方便企业构建数仓。得益于云的特性，AnalyticDB 天然具有弹性，能够为客户提供最高性价比的方案。AnalyticDB 具有六大核心竞争力，同时具备数据库的易用性与大数据规模，能够帮助客户最高节省 90%的数据搭建成本。核心竞争力一：存储计算分离，计算支持分时弹性，能够很好地适应波峰波谷的业务场景波峰到来时，资源可以自动弹出，很好地满足业务需求，同时也降低了使用成本。核心竞争力二：存储冷热分层，支持智能自适应分层。热数据被存储在高性能的介质中，提升了查询性能；冷数据被存储在低廉的介质上，降低了存储成本。核心竞争力三：计算资源组隔离，保障重要、稳定的计算任务。计算资源可以被弹性分配到资源组织中，也可以根据自己的需要实现物理资源上的隔离，重要业务不会被临时或异常任务影响。不同的任务可以路由到不同的资源组织中，使得一套系统可以支撑不同业务类型的处理需求。六、云原生数据仓库：加速业务数据化，数据价值化 50 核心竞争力四：计算混合负载调度，支持离在线一体。降低了计算资源成本，同时降低了开发复