MySQL 8.0 主从复制性能提升

2022-11-02 11:37:30

MySQL的并行复制，从5.6开始，经过几代的改进，终于在性能上有了不小的提升。

MySQL 5.6
该版本开始提供并行复制功能，但是5.6的并行复制是schema级别的，所以只有binlog的row event操作的是不同的schema对象，且没有DDL和Foreign Key依赖的情况下，才能实现并行复制。由于单schema的情况实际上是很常见的，所以这并不是真正意义上的并行复制。

如上图所示，5.6的并行复制由Coordinator判断event的schema，并把不同schema的event提交到不同的worker上实现并行复制。

MySQL 5.7
开始，并行复制使用了“组提交（Group Commit）”的方法实现，即是说5.7的并行复制打破了5.6并行复制不能在单个schema的限制，5.7可以基于主库上事务的提交顺序，在从库上回放。也就是说，如果两个事务不会相互影响，在主库可以同时提交刷盘，从库复制时也就可以同时提交。通过设置binlog_group_commit_sync_delay参数，可以延长主库commit时日志刷盘前等待的时间（会影响主库写入性能），从而使更多不会冲突的事务可以作为组提交，从而提高从库的复制效率。虽然5.7的这种方式算得上是真正的并行复制了，但是由于依赖主库上并行，从库才能并行，假如主库上并发不高，从库上就只能“线性”复制了。

MySQL 8.0
MySQL 8.0新增参数binlog_transaction_dependency_tracking，可以配置为基于5.7的并行复制COMMIT_ORDER，并较5.7新添加了WRITESET或WRITESET_SESSION模式（WRITESET跟WRITESET_SESSION的区别就是，WRITESET_SESSION 需要保证同一个会话内的事务的先后顺序），即事务在提交时，会影响的行的主键、唯一键、外键等信息以 HASH(DB名，TABLE名，KEY名称，KEY_VALUE1, KEY_VALUE2,.....) 加入到当前事务的 WRITESET中，在复制之前，只需要检测WRITESET是否有并集，即可知道事务是否可以并行回放。

如图，在主库的并发情况如下时

在WRITESET开启后，备库的复制将会如下图的方式并行执行

性能对比（COMMIT_ORDER & WRITESET & WRITESET_SESSION）
首先准备3对主从复制的副本集，binlog_transaction_dependency_tracking分别配置为COMMIT_ORDER、WRITESET、WRITESET_SESSION。

使用sysbench的oltp并发操作数据库的主库：

mysqladmin create sbtest
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
 --test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 --oltp-table-size=10000000 --rand-init=on prepare
 
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
--test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 \
--oltp-table-size=10000000 --num-threads=100 --oltp-read-only=off \
--report-interval=10 --rand-type=uniform --max-time=120 \
 --max-requests=0 --percentile=99 run

同时使用mysqladmin分别在主库、从库执行，可以看到主库、从库上的并发和负载情况，下面的命令将会每隔1秒输出3列数据，分别为：正在执行请求数，当前连接数，正在运行线程数

(mysqladmin ext -i1 | awk '/Queries/{q=$4-qp;qp=$4}/Threads_connected/{tc=$4}/Threads_running/{printf "%5d %5d %5d\n", q, tc, $4}')

通过性能测试不难发现，MySQL 8.0 WRITESET_SESSION模式在单线程时和COMMIT_ORDER模式差距不大，但随着线程数增加，WRITESET_SESSION优势很明显，而WRITESET在线程较少时，性能上有了质的飞跃。但随着线程数的增加，各种方式性能趋近于相同。

MySQL 8.0 现已登陆云数据库 RDS版，如有需要，可在阿里云控制台云购买使用！
（本文图片来源于网络）
参考文献：https://mysqlhighavailability.com/improving-the-parallel-applier-with-writeset-based-dependency-tracking/

码农公寓

相关文章