Mysql快速全同步复制技术的设计和应用_吴振海.pdf

第 33 卷第 2 期2023年6月Vol.33 No.2Jun.2023湖 南 工 程 学 院 学 报（自 然 科 学 版）Journal of Hunan Institute of Engineering（Natural Science Edition）收稿日期：2023-04-28作者简介：吴振海（2002-），男，研究方向：应用数学.通信作者：何格新（1974-），男，高级工程师，研究方向：数据库国产化.吴振海1，何格新2（1.东南大学 数学学院，南京 211189；2.尚选（深圳）软件技术有限公司，深圳 518028）摘要：Mysql半同步复制技术在高性能的数据管理中被广泛采用，但它在可靠性方面却存在不足.本文对半同步复制技术进行优化，提出了一种快速全同步复制技术，通过对半同步数据复制过程中的事务流程设置、线程资源合理应用、批量日志应用等技术手段，在保证数据可靠性的基础上降低复制过程中的性能损失，实现了快速的全同步复制.测试结果表明，快速全同步复制技术可以在性能、可靠性和一致性方面做到很好的均衡，有效提高了Mysql存储集群的业务承载能力.关键词：Mysql；异步复制；半同步复制；全同步复制中图分类号：TP311.131文献标识码：A文章编号：1671-119X（2023）02-0038-07Mysql快速全同步复制技术的设计和应用0 引言数据复制是将主机节点服务器上的数据及其变更应用到一个或多个备机节点服务器里，达到主机节点和备机节点数据相同的目的.复制功能是实现数据库系统高可用性、可扩展性、灾难恢复能力、备份等功能的基础，在分布式数据库多副本读写、读写分离、备份容灾等场景应用非常广泛.根据复制技术的发生时机及复制后果，Mysql复制技术可分为异步复制、同步复制、半同步复制三种1.异步复制是Mysql 原生支持的复制技术，主机节点将事务信息写入Binlog文件中时，主机节点会通过 Binlog dump 线程给备机节点发送这些新的Binlog变化，并不等待从库的响应继而提交事务并写入Binlog，所以异步复制不能保证这些事务变化的Binlog数据可靠传输并应用到任何备机节点，从而有数据丢失的可能性1.在 2010 年发布的 Mysql 5.5 版本中，引入了半同步复制，半同步复制解决了异步复制存在的数据可靠性问题，主机节点需要等待至少一个备机节点收到且成功把日志写入Relay log文件，客户端才可收到复制完成的确认消息，从而进入事务的下一个阶段.与异步复制相比，半同步复制在提交成功返回时已知数据至少存在于两个位置，从而提高了数据完整性2.但半同步复制依然存在数据丢失的可能性，在半同步复制中，如果出现异常，在没有任何从库反馈确认消息的情况下，会导致事务等待超时，这种情况下主库将退化为异步复制，直到至少有一个半同步从库恢复正常后，主库才恢复半同步复制.为 提 高 数 据 的 可 靠 性，在 2016 年 发 布 的Mysql 5.7.17版本中引入了一个全新的技术，称之为InnoDB Group Replication，也就是全同步复制.在全同步复制中，当主库执行完一个事务，必须等所有的从库都执行了该事务才返回给客户端，这样就可以完全保证数据在所有节点都被成功复制.但因需等待所有从库执行完该事务才能返回，全同步复制的主机节点完成一个事务的时间会被拉长，导致性能急剧降低1.采用何种复制技术，往往需要在性能、可靠性、一致性三个方面做好均衡.异步复制性能最优，但可靠性差.同步复制可靠性和数据一致性高，但性能表DOI:10.15987/ki.hgbjbz.2023.02.005第2期现最差.半同步复制性能接近异步复制（经测试，半同步复制相对异步复制有10%左右的性能损失，而全同步复制的性能损失超过20%），也可以提供较高的可靠性，但在网络异常等故障的情况下，半同步复制会退化为异步复制，可靠性也无法得到保障.在实际应用中，数据库同步既要求具有全同步复制的数据可靠性，又要求能有接近异步复制的性能.为此，本文设计了快速全同步复制技术，它通过直接在Mysql的事务处理流程中设置断点来处理数据复制，并且应用线程池技术降低系统资源的占用及采用批量提交等技术手段，解决了Mysql现有复制技术的主要问题，达到降低复制带来的性能损失以及在任何情况下保证数据不丢失的目的.1 快速全同步复制技术原理1.1 快速全同步复制快速全同步复制是Mysql存储集群主机节点和备机节点通过Binlog进行复制的一种技术，通过数据复制期间线程资源的重复利用及批量确认等优化手段，在保证主机节点变更日志已经传输到备机节点的基础上，快速响应数据库客户的请求和响应.快速全同步复制技术的架构如图 1 所示，具体运行步骤如下：图1 快速全同步复制技术架构图第一步：主机节点（Master）接收到客户程序的提交请求，在完成本地提交后将数据变更日志通过Binlog Dump 线程发往备机节点（Slave），此时并不给客户程序反馈请求操作成功的消息.第二步：备机节点接收到 n 个 Binlog 变更日志后，IO 线程将变更日志写入备机节点的 Relay Log完成后，将写入成功的确认消息（ACK）发回到主机节点的ACK 消息队列（ACK Wait Queue）线程池.第三步：主机节点的Wait线程池收到备机节点的确认消息后，反馈给客户程序，本次请求的处理结束.1.2 快速全同步复制的特点Mysql半同步复制5.6版本和5.7版本的基本原理如图2所示3.Mysql 5.6半同步Mysql 5.7增强半同步图2 Mysql半同步复制架构图吴振海，等：Mysql快速全同步复制技术的设计和应用392023年湖南工程学院学报（自然科学版）Mysql5.6 的半同步是after commit机制的复制，用户事务在主机节点完成提交之后，用户线程直到等到备机节点确认消息（ACK）后才反馈给客户程序事务成功.Mysql5.7 及以后的增强半同步是 aftersync 的复制机制，用户事务在主机节点提交完成之前，用户线程直到等到备机节点确认消息（ACK）后才完成提交并反馈给客户程序事务成功.这两种不同机制的差别导致了主机节点上不同事务间数据一致性的差别，在性能上和可靠性上没有根本的改变4.1.2.1 线程复用无论是 5.6 版本的半同步复制还是 5.7 版本及以后的增强半同步复制，在用户会话等待备机节点确认消息（Wait ACK）期间，用户会话始终占用一个线程，直到该事务完成才退出.在一个负载高的系统，大量用户会话在等待 ACK 期间将占用大量的线程资源而影响性能.而快速全同步复制利用了线程池技术，每个事务 Commit（包括 DDL、AUTOCOMMIT STMT、COMMIT、XA PREPARE、XA COMMIT 等）在完成所有提交过程后，将 Wait ACK 数据包发送到客户端之前等待备机节点确认.在等待完整 WaitACK时，由于使用了线程池，事务或其会话不占用任何操作系统线程，数据库的工作线程将继续处理来自其他连接的其他请求，这种机制避免了资源浪费，从而使性能明显得到提升.1.2.2 数据可靠性保证在半同步复制中，如果数据复制发生异常（备机节点不可以用或者数据复制所用的网络发生异常）的情况下，主机节点会暂停（Mysql 默认 10 s 左右）对应用的响应，复制方式将降为异步复制.直到数据复制恢复正常，将恢复为半同步复制.当复制方式降为异步复制时，数据可靠性就无法保障，这在某些业务场景是不允许的.而快速全同步复制，在默认情况下是不可以降级为异步复制的（只在特殊情况下方可通过参数配置支持降级），从而保证数据在任何情况下都不会丢失.下面从两个不同场景进行分析，当出现异常的情况时，快速全同步复制如何处理这种异常.场景一：主机节点到备机节点的网络异常.在这种情况下，数据本身虽然没有丢失，但考虑到可靠性要求，数据至少有一个或 N 个副本.因此，在这种异常期间，所有用户的数据都可以在主机节点提交，但客户程序不能获取到数据库事务完成的消息.因此，应用程序需要处理这种异常以保障高可靠性.在分布式数据库中，通常会有一个HA 的组件来自动做切换或其他的操作，如果网路长时间不恢复，将触发主机节点切换的行为.主机节点一旦切换到其他的服务器上（原来的备机节点），之前没有获得确认的事务将在新的主机节点重新提交，而在原来旧的备机节点上已提交的事务也将被回退.在这种情况下，数据不会丢失且始终有N个副本，也不会出现重复提交.场景二：多个备机节点故障.在快速全同步复制中，可以定义至少有1个或N个数据副本，当可用数据副本的数量低于设定的值，用户的请求将不能获得提交确认，直到故障的副本备机节点被修复.1.2.3 批量写入快速全同步复制在性能上的优化还包括批量Relay Log 写入和组提交.批量Relay Log写入是指备机节点可以根据参数配置，在接收到一定数量的Binlog 之后才写入 Relay Log，然后将 ACK 消息批量反馈到主机节点的应用程序.这在一定程度上提高了备机节点的写入效率，并使复制性能得到明显提升.2 快速全同步复制的功能实现Mysql过去的半同步复制和全同步复制技术是通过插件的方式实现，而快速全同步复制技术为了提高复制性能及实现高可靠性，直接在Mysql的事务处理流程里设置断点及增加相应函数，通过在事务处理过程中，增加等待备机节点的 ACK 消息等一系列流程后才完成事务来实现快速全同步.本文设计的快速全同步复制技术具体应用在 Sharding-sphere的Sharding-proxy分库分表解决方案场景上，具体的应用方案如下.在如图 3 所示的架构中，应用程序通过 Shard-ing-Proxy 访问存储集群里的数据，Sharding-Proxy40第2期复制 SQL 语句的路由下发 SQL 到对应的存储集群.在每个存储集群里，通过快速全同步技术实现高可用性5，HA manager 负责集群监测和角色管理（如主从切换）.快速全同步技术定义了一系列的数据库参数和状态变量，用于控制和展示快速全同步技术的运行，主机节点和备机节点的实现原理及过程如下.图3 分库分表数据库集群架构图2.1 主机节点快速全同步复制采用了 after-commit 的同步模式.在处理用户会话的工作线程完成事务T提交或prepare（XA prepare）且还未向客户端确认成功（即发送OK包）之前，主节点检查事务T的binlog是否已经收到足够数量的备机ACK.通过主机节点设置参数数据库参数 Fullsync_consistency_level，定义了主节点需要让每个事务等待多少个备机的 ACK，如果是0就不等待任何ACK；如果大于0则等待定义数量备机的ACK.在数据库集群中，数据库管理员根据集群节点数量为每个 Master 节点设置合理的 Fullsync_consis-tency_level.通常的设定方法是对于一个2*n+1个节点的存储节点，设置Fullsync_consistency_level=n，从而在同时有n个节点消失的情况下，集群仍然可以正常写入.也可以支持其他策略，比如要求所有备机全部确认等.若释放条件满足，则工作线程直接返回成功状态给客户端，且完成本次请求处理，否则工作线程就把会话对象放到Fullsync ACK等待队列，然后去处理其他连接中收到的请求.主节点收到 ACK 后会对等待队列中的会话做释放条件检查，满足释放条件的会话会被释放，也就是返回成功状态给客户端.在等待备机ACK的过程中，用户会话并不占用工作线程.如超时（Fullsync_timeout）未收到足够的ACK来释放一个等待的会话时，Mysql存储集群有如下两种策略（由全局变量disable_fullsync_on_slave_ack_timeout来控制）：（1）如果 disable_fullsync_on_slave_ack_timeout=1，那么 fullsync 会自动退化为异步，这样后续等待的事务将不再做 fullsync 等待，当主节点再次收到备机ACK后，会自动启用Fullsync机制.（2）如果 disable_fullsync_on_slave_ack_timeout=0，那么Fullsync等待超时的会话，会返回错误（错误号9000）给客户端，对于数据库集群来说，就是计算节点收到了这个错误，会触发主备切换.2.2 备机节点备机收到事件组（event group，即 Binlog 事务，包括普通显式事务，XA事务第一阶段，XA事务第二阶段，DDL语句，autocommit语句这几种类型，下文 简 称 EG）的 终 止 Binlog 事 件（XID_EVENT、XA_PREPARE_LOG_EVENT 或者 DDL 事务）后，它会决定是否需要把收到的若干个 EG 写到 RelayLog 文件并且刷到持久存储系统（即 flush&fsync吴振海，等：Mysql快速全同步复制技术的设计和应用412023年湖南工程学院学报（自然科学版）relay log）中，然后发送 ACK 给主节点来确认这些收到的EG.这个决定基于最小化资源消耗和最优化性能来确定：如果备机收到了足够多的EG（配置参数：full-sync_fsync_ack_least_txns），或足够量的Binlog（配置参数：fullsync_fsync_ack_least_event_bytes），或太久没有发送 ACK（配置参数：fullsync_fsync_ack_wait_max_milli_secs），它就会落盘Relay Log再发送ACK.一个 ACK 包含这些信息：备机的 server_id，落盘的最后一个 EG 在主节点 Binlog 中的终止位置（文件编号和偏移值）.主节点收到一个备机的ACK后就可以确认这个备机收到并持久存储了ACK位置之前的所有EG.使用fullsync_relaylog_fsync_ack_level 全局变量来控制一个备机节点落盘 Relay Log 和发送 ACK行为的时机，其含义如表1所示：表1 全局变量表fullsync_relaylog_fsync_ack_level012备机行为不发送ACKfsync relay log发送ACKflush&fsync relay log后发送ACK备机有两种方法发送 ACK 给主节点，这两种方法都要求备机使用Mysql客户端库连接主节点，这样每个备机节点有两个连接连到主节点，一个是备机的IO线程的连接，另一个是备机发送ACK的连接.在此连接中备机发送Mysql存储集群特有的COM_BINLOG_ACK 命令或者发送 Mysql 存储集群可以理解的SQL语句，前者性能更好，但是后者可以让各种第三方 Binlog 存储组件向主节点发送ACK.（1）发送COM_BINLOG_ACK命令使用 Mysql 存储集群的客户端库文件及其mysql.h 头文件编译程序，然后调用 mysql_send_binlog_ack（）函数发送ACK.Mysql存储集群快速全同步功能使用此方法发送ACK给其主节点.（2）使用 SLAVE server_id CONSISTENT TOfile_index offset SQL语句这种方法可以使用任何社区版 Mysql 客户端库，Mysql存储集群的主节点可以正确处理该语句，把它当作确认ACK.此方法特别适合各种Binlog存储组件.2.3 Mysql存储集群快速全同步的状态变量这些状态变量可以帮助DBA观察快速全同步的运行情况和性能，并且作为辅助调节快速全同步配置参数的依据，如表2所示.表2 快速全同步复制状态变量表状态变量名称fullsync_received_replica_acksfullsync_txns_ackedfullsync_txns_timed_out_waiting_for_acksfullsync_txns_received_by_replicafullsync_replica_skipped_old_trx_acksfullsync_replica_ack_upto_file and fullsync_replica_ack_upto_offset；含义展示接收到副本的ACK数量展示收到ACK的事务数量展示等待ACK 超时的事务数量展示副本接收到的事务数量展示因为收到的TXN太旧副本跳过发送ACKs的次数展示Fullsync副本已经上升的位置（master的binlog文件中的文件和偏移量）2.4 快速全同步配置参数Mysql存储集群快速全同步支持丰富的配置参数，让用户在性能、资源消耗和一致性方面取得适当的平衡.这些变量都是 Mysql 的全局变量，其意义 和 用 法 说 明 如 表 3 所 示.关 键 的 参 数 如 en-able_fullsync 开启快速全同步复制，fullsync_timeout设置了等待超时时间等.42第2期表3 快速全同步复制配置参数表快速全同步变量名称fullsync_consistency_levelfullsync_warning_timeoutfullsync_timeoutlog_fullsync_replica_acksenable_fullsyncdisable_fullsync_on_slave_ack_timeout含义在事务提交结束时，在答复事务提交给客户端之前，是否以及如何等待fullsync副本ACKs.0：不等待；99：等待简单多数副本；100：等待所有副本；1，98：等待这个数量的ACK定义超时警告时间：如果一个副本ACK在事务开始等待后的几毫秒内未到达，在错误日志中写入超时警告定义超时错误时间：如果副本ACK在事务开始等待后的许多毫秒内仍未到达，则将错误返回给客户机，并在错误日志中写入超时错误定义日志副本是否访问mysqld错误日志.请注意，当启用fullsync时，可能会有大量此类日志很少使用定义是否启用fullsync机制定义当副本没有及时ACK和超时发生时，是否禁用fullsync，如果为false，则主节点在没有正在运行的副本时无法写入3 功能验证和性能测试3.1 功能验证功能验证主要是验证在故障情况下，快速全同步复制的存储集群的事务回退，主机节点和备机节点的切换是否正常和检查数据是否丢失.测试目的：验证快速全同步复制的高可靠性.测试环境（配置）：一主两从的三节点Mysql存储集群.参数设置：Fullsync_consistency_level=1；disable_fullsync_on_slave_ack_timeout=0；fullsync_relaylog_fsync_ack_level=2；测试方法：在模拟业务系统运行的过程中，对集群执行破坏性操作，检查数据的一致性及可靠性.测试结束如表4所示.表4 快速全同步复制功能测试表场景描述异常关闭存储节点的主机节点，备机节点切换为新主机节点异常关闭存储集群的一个备机节点异常关闭存储集群的两个备机节点三个节点同时宕机断开主机节点与一个备机节点网路断开主机节点与两个备机节点的网路（两个备机节点间网路正常）断开主机节点与两个备机节点的网路（两个备机节点间网路断开）测试操作1.ps 查看相关的进程信息2.kill掉其进程3.检查备机节点的数据一致性1.ps 查看相关的进程信息2.检查模拟业务的操作3.检查备机节点的数据一致性1.ps 查看相关的进程信息2.检查模拟业务的操作3.检查备机节点的数据一致性1.ps 查看相关的进程信息2.检查模拟业务的操作3.恢复两个节点4.检查备机节点的数据一致性1.检查模拟业务的操作2.检查复制状态3.检查数据一致性1.检查主备机切换2.检查模拟业务的操作3.检查复制状态4.检查数据一致性1.检查主备机切换2.检查模拟业务的操作3.检查复制状态4.检查数据一致性测试结果通过通过通过通过通过通过通过备注切换，快速同步技术保证数据一致性只要有一个备机节点，模拟业务正常运行无备机节点，模拟业务不能提交事务系统恢复后，保持数据一致性多数节点在线，不影响业务操作和数据一致性主机节点切换到一个备机节点，存储集群在余下的两个节点恢复到正常复制状态大于N个节点网路断开，集群不可以写入，业务异常退出吴振海，等：Mysql快速全同步复制技术的设计和应用432023年湖南工程学院学报（自然科学版）表4的测试结果说明，快速全同步技术在各种意外故障的场景下，可以保证数据的高可靠性.3.2 性能测试本次测试是通过对比快速全同步和Mysql增强半同步的写入性能（在相同的配置情况下），来验证快速全同步复制技术是否具有性能上的优势.测试软件：Sysbench 1.0.20（using system Lua-JIT 2.1.0-beta3）.服务器配置：CPU16cores32Threads，内存：128G，存储：1 个 NVMe SSD.软件版本及配置：Mysql增强半同步：Server version：8.0.26 MysqlCommunity Server+半同步复制插件；Mysql 存储集群快速全同步复制：基于 8.0.26Mysql Community Server+快速全同步功能；数据库参数配置一致.Sysbench 测试场景：场景：oltp_write_only；每个事务执行如下 3 种操作：execute_index_updates（）；execute_non_index_updates（）；execute_delete_inserts（）.测试数据量：-tables18-table-size5000000，表占用操作系统存储空间：22 G.测试结果：Write_Only TPS6000500040003000200010000每秒交易数864128192256320384448512并发线程数快速全同步MySQL增强半同步图4 性能测试图如图4 所示的测试结果表明，快速全同步复制性能比 Mysql 半同步（Semi_sync）在性能上提升约10%.4 结语Mysql的传统复制技术在不同的场景下已经获得广泛使用，但依然存在可靠性和复制性能二者不能兼得的问题.本文研究的快速全同步复制技术弥补了传统复制技术的不足，通过线程池和批量应用日志等技术的合理应用，在性能和可靠性等方面获得提升，通过测试验证，在保证数据可靠性基础上快速全同步技术的性能比Mysql半同步复制技术有较大的提升，这在分布式数据库某些场景下具有一定的应用价值.但快速全同步技术并没有对复制延迟的指标和影响做深入分析和研究.因此，在具体应用快速全同步技术过程中，如果业务对复制延迟有严格要求，需要评估后再根据实际情况使用.参 考 文 献1 巴伦 施瓦茨，彼得 扎伊采夫，瓦迪姆 特卡琴科.高性能MySQL M.宁海元，周振兴，赵立勋，等，译.3版.北京：电子工业出版社，2021.2 田关伟.MySQL复制技术分析研究 J.哈尔滨师范大学自然科学学报，2015（4）：45-48.3张伟丽，江春华，魏劲起.Mysql复制技术的研究和应用 J.计算机科学，2012，39（S3）：168-170.4罗小波，沈刚.数据生态：Mysql复制技术与生产实践 M .北京：电子工业出版社，2020.5 姜承尧.Mysql技术内幕：Innodb 存储引擎 M.北京：机械工业出版社，2011.6 彭成辉.基于HBase分布式数据库集群系统构建方法 J.信息技术与信息化，2022（7）：95-97.7倪帅.分布式内存数据库高可靠列式存储引擎的设计与实现 D.成都：电子科技大学，2021.8杨飞.分布式数据库中间件DBScale的设计与实现 D.哈尔滨：哈尔滨工业大学，2015.（下转第66页）（注：文献 6 8 为阅读文献）442023年湖南工程学院学报（自然科学版）Study on Tensile Properties of Basalt/Ramie FabricReinforced Polylactic Acid CompositesTAN Dongyi1，YANG Shaorong1，ZENG Shuangsui2，KUANG Xiaoju1，YUE Yan1（1.College of Textile and Fashion，Hunan Institute of Engineering，Xiangtan 411104，China；2.Shaoxing Fangyuan Testing Technology Co.，Ltd，Shaoxing 312080，China）Abstract：Basalt fiber is a high-performance fiber with natural degradation.As a natural fiber，ramie fiberhas a wide range of sources，strong regeneration capacity and low cost.With basalt fabric and ramie fabric asreinforcements，and poly-lactic acid as substrates，mixed composite materials are prepared by compressionmoulding process and then the influence of thermal pressure time，poly-lactic acid content and laminatingmode on the tensile properties are discussed.The results show that with the increase of thermal pressuretime，the tensile performance of R/B composite increases and then decreases.When the thermal pressure timeis 25min and the poly-lactic acid content is 70%，the tensile performance is the best.The B/R/B composite ma-terial，while ramie fabric is in the core layer，is higher than the R/B/R composite material while the basalt fab-ric is in the core layer.Therefore，it is appropriate to lay the weak material in the core layer when preparingthe mixed composites.Keywords：basalt fabric；ramie fabric；poly-lactic acid；laminating modeDesign and Application of Mysql Fast Full SynchronizationReplication Technology（上接第44页）WU Zhenhai1，HE Gexin2（1.School of Mathematics，Southeast University，Nanjing 211189，China；2.Shangxuan（Shenzhen）Software Technology Co.，Ltd，Shenzhen 518109，China）Abstract：Mysql semi-synchronous replication technology is widely used in high performance data manage-ment，but it has some shortcomings in reliability.In this paper，the semi-synchronous replication technologyis optimized，and a fast fully synchronous replication technology is proposed.Through the transaction processsetting，rational application of thread resources，batch log application and other technical means in the pro-cess of semi-synchronous data replication，the performance loss in the process of replication is reduced on thebasis of ensuring data reliability，and the fast fully synchronous replication is realized.The test results showthat the fast fully synchronous replication technology can achieve a good balance in performance，reliabilityand consistency，and effectively improve the service carrying capacity of the Mysql storage cluster.Keywords：Mysql；asynchronous replication；semi-synchronous replication；fully synchronous replication66