3.Mysql之MHA实战(03)

1.前言

  前面基本上已经都讲完了MHA的原理部分,这小结主要是动手实操一下MHA

2.前提准备

  1.首先下载MHA软件包   

(1)#下载mha软件
  mha官网:https://code.google.com/archive/p/mysql-master-ha/
  github下载地址:https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads

  2.规划:

     我这里的一主两从的结构

   主节点:192.168.31.201:3307        从节点1:192.168.31.201:3308          从节点2:192.168.31.202:3307

     这里说明一下:manager包可以安装在任意一个节点上都行(一个),然后node包要安装到所有的节点上

     因此,这里我把manager包安装到从节点2上面,node节点包需要三台都安装

   3.配置免密钥

    mha所有的机器上都应该配置免密钥才行,这个是为后面的ssh 连接做准备的

    ssh-keygen -t rsa     ssh-copy-id  root@hostip      这个免密配置的有问题?  

  在主库中操作:
    rm -rf /root/.ssh

    ssh-keygen

    cd /root/.ssh

    mv id_rsa.pub authorized_keys

    scp -r /root/.ssh root@hostip:/root ###操作是将主库中的/root/.ssh 文件拷贝到其他从库的根目录下

  4.在主库中创建mha需要的用户(注意:应该此时主从复制已经存在,所以当主库建立用户mha时,从库中也相应的生成mha用户)

    grant all privileges on *.* to mha@'172.17.94.%' identified by '123';

3.开始实操

  安装依赖包(很重要)

yum install perl-DBI perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes perl-Params-Validate perl-DateTime -y

yum install epel-release -y

  然后再用  rpm -ivh  + mha-manager包名称安装

  MHA软件构成 

Manager工具包主要包括以下几个工具:
masterha_manger             启动MHA 
masterha_check_ssh      检查MHA的SSH配置状况 
masterha_check_repl         检查MySQL复制状况 
masterha_master_monitor     检测master是否宕机 
masterha_check_status       检测当前MHA运行状态 
masterha_master_switch  控制故障转移(自动或者手动)
masterha_conf_host      添加或删除配置的server信息

Node工具包主要包括以下几个工具:
这些工具通常由MHA Manager的脚本触发,无需人为操作
save_binary_logs            保存和复制master的二进制日志(脚本) 
apply_diff_relay_logs       识别差异的中继日志事件并将其差异的事件应用于其他的(脚本)
purge_relay_logs            清除中继日志(不会阻塞SQL线程)(脚本)

  配置文件

准备配置文件(这里的配置文件时安装MHA管理节点)
创建配置文件目录
 mkdir -p /etc/mha
创建日志目录
 mkdir -p /var/log/mha/app1
编辑mha配置文件
vim /etc/mha/app1.cnf
[server default]
manager_log=/var/log/mha/app1/manager        ###这个自己定义就可以了,这个是mha比较重要的日志
manager_workdir=/var/log/mha/app1            ###这个自己定义就可以了
master_binlog_dir=/data/binlog               ###这个是主库的binlog日志的位置,全局的binlog日志位置master_ip_failover_script=/usr/local/bin/master_ip_failover #添加脚本位置,这个是应用透明代理的(vip)管理的地方
user=mhapassword=123                               
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root                               
[server1]                                   
hostname=192.168.31.201
port=3307                                  
[server2]            
hostname=192.168.31.201
port=3308
[server3]
hostname=192.168.31.202
port=3308

4.开始启动

  节点状态检查(管理节点)

masterha_check_ssh  --conf=/etc/mha/app1.cnf    #互信检查
   
masterha_check_repl  --conf=/etc/mha/app1.cnf    #主从状态检查

  启动MHA  

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &

  关闭MHA

masterha_stop   --conf=/etc/mha/app1.cnf

  查看MHA状态 

masterha_check_status --conf=/etc/mha/app1.cnf####通过以下命令来验证
mysql -umha -p123 -h 192.168.31.201 -P3307 -e "show variables like 'server_id'"
mysql -umha -p123 -h 192.168.31.202 -P3307 -e "show variables like 'server_id'"
mysql -umha -p123 -h 192.168.31.201 -P3308 -e "show variables like 'server_id'" 

5.故障模拟以及处理

  模拟

    1.这里模拟停掉主库

      -->systemctl stop mysqld3307

    2.停掉主库后,发现mha进行退出,且mha中的配置文件中关于主库的配置信息被清除了

    3.通过mha的日志文件manager发现新的主节点已经被选择出来了

  处理:

    通过上面可以发现原主节点被宕掉了,且mha进程退出了,关于原主节点在配置文件中也被清除了,因此:

      当修复原主节点后,用change master to 命令重新指向新的主节点

      添加原主节点的信息到mha的配置文件中

      重启mha进程

6.VIP应用透明(master_ip_failover)

  实际应用中,如果MHA成功完成了Mysql的主从的切换,但由于切换前后主从IP发生了变更,需要需改连接信息来适配新环境,这个过程在线业务会受到影响,一般有三种方法来解决这个问题,第一种方式是通过keepalived来管理vip,即通过对浮动IP的管理来解决IP的改变,第二中是通过自定义脚本方式,自动迁移VIP,原理和第一种类似,第三种方式采用Mysql中间件,即应用和后端Mysql环境之前,增加中间件,从而通过中间件来‘感知’后端环境的变化

  这里主要介绍第二种通过自定义脚本的方式实现VIP漂移

  第一步:这里是master_ip_failover脚本修改后的一部分: 

###这个ip地址一定是可以访问的,在虚拟机中可以在相应的网段中找出一个没有使用的即可,但是如果是ECS服务器则不能使用VIP,就不能搭建透明代理
my $vip = '192.168.31.200/24';     
my $key = '0';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

   第二步:到master节点上配置:ifconfig  eth0:0 192.168.31.200/24    

   第三步:  重启MHA进程 

  

7.binlog-server配置

  主库宕机,也许会造成主库binlog复制不及时而导致数据丢失的情况出现,因此配置binlog-server进行时时同步备份,是必要的一种安全手段。    

  1.修改mha配置文件 

vim /etc/mha/mha1.cnf
在最后添加模块
[binlog1]           #添加binlog模块
no_master=1         #不允许切换为主
hostname=192.168.50.152       #本地IP
master_binlog_dir=/data/binlogserver/       #binlog存放位置优先级比全局的高

  2.拉取主库上的binlog日志到mysql-db03的存放目录里  

mkdir -p /data/mysql/binlog    #创建存放目录
cd /data/mysql/binlog/ #进入存放目录
mysqlbinlog -R --host=192.168.50.149 --user=mha --password=123456 --raw --stop-never mysql-bin.000001 &     #拉取主库binlog 主库IP  注意binlog日志名称
ll      #查看是否拉取了binlog
ps -ef | grep mysqlbinlog | grep -v grep  #查看拉取进程
#启动mha进程
nohup masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/mha1/manager.log 2>&1 &    
#查看mha进程
ps -ef | grep perl | grep -v grep       

8.附录

  1.app1.conf配置 

[server default]
manager_log=/etc/mha/log/app1.log
manager_workdir=/etc/mha/app1/
master_binlog_dir=/data/mysql3306
master_ip_failover_script=/etc/mha/master_ip_failover
master_ip_online_change_script=/etc/mha/master_ip_online_change
ping_interval=1
remote_workdir=/tmp
secondary_check_script=/bin/masterha_secondary_check -s ip235 -s ip236 --user=root --master_host=ip230 --master_ip=192.168.0.230 --master_port=3306
ssh_user=root
user=mha
password=mha
repl_password=repl
repl_user=repl
#report_script=/usr/local/send_report ##告警脚本,可自行修改,这里没有使用
#设置故障发生后关闭故障主机的脚本(主要作用是关闭主机防止发生脑裂,这里没有使用,类似Fence功能)
#shutdown_script="/usr/local/bin/power_manager --command=stopssh2 --host=test-1 --ssh_user=root"
[server1]
hostname=192.168.0.230
port=3306
[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.0.235
port=3306
[server3]
hostname=192.168.0.236
port=3306

  2.配置解释 

manager_log=/etc/mha/log/app1.log  #日志位置
manager_workdir=/etc/mha/app1/  # MHA工作目录
master_binlog_dir=/data/mysql3306  #设置Master保存binlog位置的目录
master_ip_failover_script=/etc/mha/master_ip_failover #自动Failover脚本
master_ip_online_change_script=/etc/mha/master_ip_online_change #设置手动切换脚本
ping_interval=1  #设置监控主库的间隔
remote_workdir=/tmp  #binlog临时保存目录
secondary_check_script=/bin/masterha_secondary_check -s ip235 -s ip236 --user=root --master_host=ip230 --master_ip=192.168.0.230 --master_port=3306 #检查存活脚本
ssh_user=root #ssh登录名
user=mha  #MHA监控所有MySQL节点的用户名
password=mha  #MHA监控所有MySQL节点的密码
repl_user=repl #MySQL复制的用户名
repl_password=repl #MySQL复制的密码# 告警脚本,可自行修改,这里没有使用 #report_script=/usr/local/send_report
[server2]
candidate_master=1  #候选主库
check_repl_delay=0  #忽略延迟大小
hostname=192.168.0.235

  3.master_ip_failover脚本 

#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

my $vip = '192.168.0.20/24';
my $key = 'wvip';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
);

exit &main();

sub main {

    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
     return 0  unless  ($ssh_user);
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

  4.master_ip_online_change脚本

#!/usr/bin/env perl  
use strict;  
use warnings FATAL =>'all';  
  
use Getopt::Long;  
  
my $vip = '192.168.0.20/24';  # Virtual IP  
my $key = "wvip";  
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";  
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";  
my $exit_code = 0;  
my $orig_master_ssh_user='root';  
my $new_master_ssh_user='root';

my (  
  $command,              $orig_master_is_new_slave, $orig_master_host,  
  $orig_master_ip,       $orig_master_port,         $orig_master_user,  
  $orig_master_password,      $new_master_host,  
  $new_master_ip,        $new_master_port,          $new_master_user,  
  $new_master_password,   
);  
GetOptions(  
  'command=s'                => \$command,  
  'orig_master_is_new_slave' => \$orig_master_is_new_slave,  
  'orig_master_host=s'       => \$orig_master_host,  
  'orig_master_ip=s'         => \$orig_master_ip,  
  'orig_master_port=i'       => \$orig_master_port,  
  'orig_master_user=s'       => \$orig_master_user,  
  'orig_master_password=s'   => \$orig_master_password,  
  'orig_master_ssh_user=s'   => \$orig_master_ssh_user,  
  'new_master_host=s'        => \$new_master_host,  
  'new_master_ip=s'          => \$new_master_ip,  
  'new_master_port=i'        => \$new_master_port,  
  'new_master_user=s'        => \$new_master_user,  
  'new_master_password=s'    => \$new_master_password,  
  'new_master_ssh_user=s'    => \$new_master_ssh_user,  
);  
  
  
exit &main();  
  
sub main {  
  
#print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";  
  
if ( $command eq "stop" || $command eq "stopssh" ) {  
  
        # $orig_master_host, $orig_master_ip, $orig_master_port are passed.  
        # If you manage master ip address at global catalog database,  
        # invalidate orig_master_ip here.  
        my $exit_code = 1;  
        eval {  
            print "\n\n\n***************************************************************\n";  
            print "Disabling the VIP - $vip on old master: $orig_master_host\n";  
            print "***************************************************************\n\n\n\n";  
&stop_vip();  
            $exit_code = 0;  
        };  
        if ($@) {  
            warn "Got Error: $@\n";  
            exit $exit_code;  
        }  
        exit $exit_code;  
}  
elsif ( $command eq "start" ) {  
  
        # all arguments are passed.  
        # If you manage master ip address at global catalog database,  
        # activate new_master_ip here.  
        # You can also grant write access (create user, set read_only=0, etc) here.  
my $exit_code = 10;  
        eval {  
            print "\n\n\n***************************************************************\n";  
            print "Enabling the VIP - $vip on new master: $new_master_host \n";  
            print "***************************************************************\n\n\n\n";  
&start_vip();  
            $exit_code = 0;  
        };  
        if ($@) {  
            warn $@;  
            exit $exit_code;  
        }  
        exit $exit_code;  
}  
elsif ( $command eq "status" ) {  
        print "Checking the Status of the script.. OK \n";  
        `ssh $orig_master_ssh_user\@$orig_master_host \" $ssh_start_vip \"`;  
        exit 0;  
}  
else {  
&usage();  
        exit 1;  
}  
}  
  
# A simple system call that enable the VIP on the new master  
sub start_vip() {  
`ssh $new_master_ssh_user\@$new_master_host \" $ssh_start_vip \"`;  
}  
# A simple system call that disable the VIP on the old_master  
sub stop_vip() {  
`ssh $orig_master_ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;  
}  
  
sub usage {  
print  
"Usage: master_ip_failover –command=start|stop|stopssh|status –orig_master_host=host –orig_master_ip=ip –orig_master_port=po  
rt –new_master_host=host –new_master_ip=ip –new_master_port=port\n";  
}

 

参考文章:https://www.cnblogs.com/ywrj/p/9443215.html

     https://blog.csdn.net/leshami/article/details/45165929

     https://blog.csdn.net/zd2931516196/article/details/82693229   (邮件告警)

     https://blog.csdn.net/shm19990131/article/details/107428560  (邮件告警)

      

 

 

 

 

 

 

    

上一篇:Mac OS如何安装配置Homebrew


下一篇:个人项目