MySQL 高可用MMM架构

一。MMM概述

MMM(Master-Master replication manager for MySQL,MySQL主主复制管理器双主架构

是一套支持双主故障切换和双主日常管理的脚本程序。MMM 使用Perl语言开发,主要用来监控和管理 MySQL Master-Master(双主)复制,虽然叫做双主复制,但是业务上同一时刻只允许对一个主进行写入,另一台备选主上提供部分读服务,以加速在主主切换时备选主的预热,可以说MMM这套脚本程序一方面实现了故障切换的功能,另一方面其内部附加的工具脚本也可以实现多个 Slave 的 read 负载均衡。

工作过程

集群中有monitor管理服务器,两个master服务器和多个从服务器,主服务器之间互相进行数据同步,共用一个VIP,一台提供服务,另一台只提供部分读的服务。从服务器分配不同的VIP并且同步同一台主服务器的数据,当monitor发现主服务器出现故障,将自动调配另一台主服务器提供服务保证业务的不中断,如果从服务器发生故障那该服务器的VIP将漂移到其他从服务器上保证用户依然能对该VIP进行访问。管理员可以通过命令在monitor上对集群服务的状态查询并进行相应的管理。

二。MMM的应用

MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip,同时它还可以备份数据,实现两节点之间的数据同步等。由于MMM无法完全保证数据的一致性,所以MMM适用于对数据的一致性要求不是很高,但是又想最大程度地保证业务可用性的场景。

*如果追求数据高一致性的情况建议使用MHA高可用架构

三。MMM 高可用架构组成

MMM是一套灵活的脚本程序,基于perl实现,用来对 mysql replication进行监控和故障迁移,并能管理 MySQL Master-Master 复制的配置。

 

mmm_mon:监控进程,负责所有的监控工作,决定和处理所有节点角色活动。此脚本需要在监控主机上运行。

mmm_agent:运行在每个MySQL服务器上的代理进程,完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。

mmm_control:一个简单的脚本,提供管理mmm_mon进程的命令。

mysql-mmm的监管端会提供多个虚拟 IP(VIP),包括一个可写 VIP,多个可读 VIP,通过监管的管理,这些 IP 会绑定在可用 MySQL 之上,当某一台 MySQL 宕机时,监管会将 VIP 迁移至其他 MySQL。

*探针:主要的工作就是健康检查

 

在整个监管过程中,需要在 MySQL 中添加相关授权用户,以便让 MySQL 可以支持监控主机的维护。授权的用户包括一个mmm_monitor用户和一个 mmm_agent用户。

四。MySQL MMM搭建准备

MySQL 高可用MMM架构

1. 设备环境

服务器

操作系统

IP

所需的软件/工具

master01(db1)

Centos 7

192.168.150.35

VIP:192.168.150.200

mysql5.7mysql-mmm

master02(db2)

Centos 7

192.168.150.30

VIP:192.168.150.200

mysql5.7mysql-mmm

slave01(db3)

Centos 7

192.168.150.25 

VIP:192.168.150.210

mysql5.7mysql-mmm

slave02(db4)

Centos 7

192.168.150.20  

VIP:192.168.150.211

mysql5.7mysql-mmm

monitor

Centos 7

192.168.150.15

mysql-mmm

2. 配置思路

##主从同步配置##

MySQL所有服务器增加相应配置项开启日志文件(注意sever-id不一致)并且进入数据库授予同步权限,从服务器指定相同的master主机,主服务器互相指定进行同步

##安装配置MySQL-MMM###

(1)所有服务器安装MySQL-MMM

(2)对mmm主配置文件mmm_common.conf进行配置相应项,所有服务器配置文件相同,并根据不同主机更改每台数据库服务器的代理配置文件

(3)在monitor监控服务器上修改监控配置文件,添加所有主机信息

(4)所有数据库服务器给予代理进程和监控进程执行权限,刷新

(5)数据库文件启动mysql-mmm-agent.service服务,monitor服务器启动 mysql-mmm-monitor.service 服务,在monitor对群集进行相应的测试管理

五。MySQL-MMM配置步骤

systemctl stop firewalld

setenforce 0

 

##搭建 MySQL 多主多从模式##

1. 修改 master01 配置文件

vim /etc/my.cnf
......
[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 1                                             #每台Mysql主机的server-id不能相同
log-error=/usr/local/mysql/data/mysql_error.log           #错误日志
general_log=ON                                            #通用查询日志
general_log_file=/usr/local/mysql/data/mysql_general.log
slow_query_log=ON                                         #慢查询日志
slow_query_log_file=mysql_slow_query.log
long_query_time=5
binlog-ignore-db=mysql,information_schema                 #不需要同步的库名,这两个是存放了一些用户信息等默认存在的数据库,无需同步,自行管理
log_bin=mysql_bin                                         #开启二进制日志用于主从数据复制
log_slave_updates=true                                    #允许slave从master复制数据时可以写入到自己的二进制日志
sync_binlog=1                                             #"双1设置",MySQL 在每写一次二进制日志时都会同步到磁盘中去   
innodb_flush_log_at_trx_commit=1                          #"双1设置",每次事务提交时MySQL都会把缓存的数据写入日志文件,并且刷到磁盘中去
auto_increment_increment=2                                #自增字段一次递增多少
auto_increment_offset=1                                   #自增字段的起始值

systemctl restart mysqld

MySQL 高可用MMM架构 

##sync_binlog=1innodb_flush_log_at_trx_commit=1"双1设置"

如果不设置默认根据事务大小等情况进行写入数据,设置后每提交一次事务都会写入数据,这两项设置是防止服务器宕机数据没写入硬盘造成丢失,但如果每一次都执行会占据服务器一定的处理性能,所以建议根据情况设置

innodb_flush_log_at_trx_commit

如果innodb_flush_log_at_trx_commit设置为0∶ log buffer将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行.该模式下,在事务提交的时候,不会主动触发写入磁盘的操作;

如果innodb_flush_log_at_trx_commit设置为1∶每次事务提交时MySQL都会把log buffer的数据写入 log file,并且flush(刷到磁盘)中去;

如果innodb_flush_log_at_trx_commit设置为2∶每次事务提交时MySOL都会把log buffer的数据写入 log file,但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行—次 flush(刷到磁盘)操作。

注意∶由于进程调度策略问题,这个"每秒执行一次 flush(刷到磁盘)操作"并不是保证100%的"每秒"。

sync_binlog

Sync_binlog 的默认值是0,像操作系统刷其他文件的机制一样,MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。

当sync_binlog =N(N>0),MySQL 在每写 N次二进制日志binary log时,会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。

注意∶如果启用了autocommit,那么每一个语句statement就会有一次写操作;否则每个事务对应一个写操作。

2. 把配置文件复制到其它3台数据库服务器上并启动服务器

*注意:配置文件中的 server_id 要修改

scp /etc/my.cnf root@192.168.150.30:/etc/

scp /etc/my.cnf root@192.168.150.25:/etc/

scp /etc/my.cnf root@192.168.80.20:/etc/

 

systemctl restart mysqld

MySQL 高可用MMM架构

3. 配置主主复制,两台主服务器相互复制

#在两台主服务器上都执行授予从的权限,从服务器上不需要执行

mysql -uroot -p123456

grant replication slave on *.* to ‘aaa‘@‘192.168.150.%‘ identified by ‘123456‘;

 

##在两台主服务器上查看,记录日志文件名称和同步点

show master status;

MySQL 高可用MMM架构

##在master01上配置同步指向master02服务器

mysql -uroot -p123456

change master to

master_host=‘192.168.150.30‘,master_user=‘aaa‘,master_password=‘123456‘,

master_log_file=‘mysql_bin.000001‘,master_log_pos=453;

 

start slave;

show slave status\G;                                   #查看同步设置是否有误

   Slave_IO_Running: Yes

   Slave_SQL_Running: Yes

MySQL 高可用MMM架构

##在 master02 上配置同步指向master01服务器

mysql -uroot -p123456

change master to

master_host=‘192.168.150.35‘,master_user=‘aaa‘,master_password=‘123456‘,

master_log_file=‘mysql_bin.000001‘,master_log_pos=453;

 

start slave;

show slave status\G

    Slave_IO_Running: Yes

    Slave_SQL_Running: Yes

 MySQL 高可用MMM架构

##配置主从复制,在两台从服务器上执行指向master01服务器

mysql -uroot -p123456

change master to

master_host=‘192.168.150.35‘,master_user=‘aaa‘,master_password=‘123456‘,

master_log_file=‘mysql_bin.000001‘,master_log_pos=453;

 

start slave;

show slave status\G

    Slave_IO_Running: Yes

    Slave_SQL_Running: Yes

 MySQL 高可用MMM架构

4. 测试主主、主从同步情况

在master01 上create database AAA01;

查看其他数据库 show databases;

在master02上create database AAA02;

查看其他数据库 show databases;

 MySQL 高可用MMM架构

 

###安装配置 MySQL-MMM ###

5. 在所有服务器上安装 MySQL-MMM

#如果原本使用本地源的需要将自带的在线源.repo文件释放出来在进行安装

cd /etc/yum.repos.d/

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

yum -y install epel-release

yum -y install mysql-mmm*

 MySQL 高可用MMM架构

6. 在master01上对 MySQL-MMM 进行配置

cd /etc/mysql-mmm/
vim mmm_common.conf
……
<host default>
    cluster_interface        ens33
    ……
    replication_user         aaa                            #同步的用户
    replication_password    123456                          #同步的密码
    agent_user             mmm_agent
    agent_password        123456

<host db1>
    ip      192.168.150.35
    mode   master
    peer    db2
</host>

<host db2>
    ip      192.168.150.30
    mode    master
    peer    db1
</host>

<host db3>
    ip      192.168.150.25
    mode    slave
</host>

<host db4>
    ip      192.168.150.20
    mode    slave
</host>

<role writer>
    hosts   db1, db2
    ips     192.168.150.200   
    mode    exclusive                         #只有一个host可以进行写操作模式
</role>

<role reader>
    hosts   db3, db4
    ips     192.168.150.210, 192.168.150.211
    mode    balanced                          #多个 slave 主机可以进行读操作模式
</role>

 MySQL 高可用MMM架构

 MySQL 高可用MMM架构

##把配置文件复制到其它 4 台主机,所有主机该配置文件内容都是一样的

scp mmm_common.conf root@192.168.150.30:/etc/mysql-mmm/

scp mmm_common.conf root@192.168.150.25:/etc/mysql-mmm/

scp mmm_common.conf root@192.168.150.20:/etc/mysql-mmm/

scp mmm_common.conf root@192.168.150.15:/etc/mysql-mmm/

 MySQL 高可用MMM架构

7. 修改所有数据库服务器的代理配置文件mmm_agent.conf

vim /etc/mysql-mmm/mmm_agent.conf

include mmm_common.conf

this db1                                                  #根据不同的主机分别修改为 db1,db2,db3,db4

MySQL 高可用MMM架构

8. monitor监控服务器上修改监控配置文件mmm_mon.conf

vim /etc/mysql-mmm/mmm_mon.conf
include mmm_common.conf
<monitor>
.....
ping_ips  192.168.150.35,192.168.150.30,192.168.150.25,192.168.150.20   #指定所有数据库服务器的IP
auto_set_online  10                                                     #指定自动上线时间
</monitor>

<host default>
    monitor_user        mmm_monitor        #指定mmm_monitor的用户名
    monitor_password    123456             #指定mmm_monitor的密码
</host>

 

MySQL 高可用MMM架构

9. 在所有数据库服务器对代理进程和监控进程授权

(1)在所有数据库上为mmm_agent(代理进程)授权

grant super,replication client,process on *.* to ‘mmm_agent‘@‘192.168.150.%‘ identified by ‘123456‘;

 

(2)在所有数据库上为mmm_moniter(监控进程)授权

grant replication client on *.* to ‘mmm_monitor‘@‘192.168.150.%‘ identified by ‘123456‘;

flush privileges;

MySQL 高可用MMM架构

##在所有数据库服务器上启动 mysql-mmm-agent

systemctl start mysql-mmm-agent.service

systemctl enable mysql-mmm-agent.service

 

##在monitor 服务器上启动 mysql-mmm-monitor

systemctl start mysql-mmm-monitor.service   

10. 在monitor服务器上测试群集

1查看各节点的情况

mmm_control show

  db1(192.168.150.35) master/ONLINE. Roles: writer(192.168.150.200)

  db2(192.168.150.30) master/ONLINE. Roles:

  db3(192.168.150.25) slave/ONLINE. Roles: reader(192.168.150.211)

  db4(192.168.150.20) slave/ONLINE. Roles: reader(192.168.150.210)

MySQL 高可用MMM架构

2检测监控功能是否都完善,需要各种OK

mmm_control checks all

MySQL 高可用MMM架构

3更改绑定VIP的主机

mmm_control move_role writer db2

MySQL 高可用MMM架构

11. 故障测试

1停止 master01 确认 VIP 是否移动到 master02 上

systemctl stop mysqld.service

mmm_control move_role writer db1

注意:master01主服务器恢复服务后,不会抢占

 

mmm_control show

  db1(192.168.80.20) master/HARD_OFFLINE. Roles:

  db2(192.168.80.30) master/ONLINE. Roles: writer(192.168.80.188)

MySQL 高可用MMM架构

2停止一台从服务器,另一台将接管两个虚拟IP,以保证业务不停止在恢复宕机的从服务器VIP还会回去

mmm_control show

MySQL 高可用MMM架构

12. 客户端测试

##在 master01 服务器上为monitor服务器地址授权登录

grant all on *.* to ‘bbb‘@‘192.168.150.%‘ identified by ‘123456‘;

flush privileges;

 

##在monitor服务器上使用 VIP 登录

yum install -y mariadb-server mariadb

systemctl start mariadb.service

 

mysql -ubbb -p123456 -h 192.168.150.200

 

#创建数据,测试同步情况

create database BBB;

MySQL 高可用MMM架构

MySQL 高可用MMM架构

 

MySQL 高可用MMM架构

上一篇:【AIX 命令学习】加载与卸载文件系统!


下一篇:[Android] 缓存机制