Redis 5 之后版本的高可用集群搭建

5.0之后版本的高可用集群搭建

Redis系统介绍:

Redis的基础介绍与安装使用步骤:https://www.jianshu.com/p/2a23257af57b
Redis的基础数据结构与使用:https://www.jianshu.com/p/c95c8450c5b6
Redis核心原理:https://www.jianshu.com/p/4e6b7809e10a
Redis 5 之后版本的高可用集群搭建:https://www.jianshu.com/p/8045b92fafb2
Redis 5 版本的高可用集群的水平扩展:https://www.jianshu.com/p/6355d0827aea
Redis 5 集群选举原理分析:https://www.jianshu.com/p/e6894713a6d5
Redis 5 通信协议解析以及手写一个Jedis客户端:https://www.jianshu.com/p/575544f68615


集群方案比较:
redis3.0版本的集群模式
哨兵模式:

在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态,如果master节点异常,则会做主从切换,将某一台slave作为master,哨兵的配置略微复杂,并且性能和高可用性等各方面表现一般,特别是在主从切换的瞬间存在访问瞬断的情况,而且哨兵模式只有一个主节点对外提供服务,没法支持很高的并发,且单个主节点内存也不宜设置得过大,否则会导致持久化文件过大,影响数据恢复或主从同步的效率。


Redis 5 之后版本的高可用集群搭建 10.png
高可用集群模式:

redis集群是一个由多个主从节点群组成的分布式服务器群,它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式,这种集群模式没有中心节点,可水平扩展,据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式,且集群配置非常简单。


Redis 5 之后版本的高可用集群搭建 11.png
开始搭建
一、安装redis

参考之前博客:Redis的基础介绍与安装使用步骤:https://www.jianshu.com/p/2a23257af57b

下载地址:http://redis.io/download
1、安装gcc
yum install gcc
2、把下载好的redis-5.0.2.tar.gz放在/usr/local文件夹下,并解压
wget http://download.redis.io/releases/redis-5.0.2.tar.gztar xzf redis-5.0.2.tar.gzcd redis-5.0.2
3、进入到解压好的redis-5.0.2目录下,进行编译与安装
make & make install
4、启动并指定配置文件
src/redis-server redis.conf

(注意要使用后台启动,所以修改redis.conf里的daemonize改为yes)

5、验证启动是否成功
ps -ef | grep redis
6、进入redis客户端
cd /usr/local/redis/redis-5.0.2/src./redis-cli
7、退出客户端
exit
8、退出redis服务:
pkill redis-serverkill 进程号src/redis-cli shutdown
二、开始集群搭建

redis集群需要至少要三个master节点,我们这里搭建三个master节点,并且给每个master再搭建一个slave节点,总共6个redis节点,这里用一台机器(可以多台机器部署,修改一下ip地址就可以了)部署6个redis实例,三主三从,搭建集群的步骤如下:

第一步:在第一台机器的/usr/local下创建文件夹redis-cluster,然后在其下面创建6个文件夾如下:
mkdir -p /usr/local/redis-clustermkdir 8001 8002 8003 8004 8005 8006
第二步:把之前的redis.conf配置文件copy到8001下,修改如下内容:

1)daemonize yes

2)port 8001(分别对每个机器的端口号进行设置)

3)dir /usr/local/redis-cluster/8001/(指定数据文件存放位置,必须要指定不同的目录位置,不然会丢失数据)

4)cluster-enabled yes(启动集群模式)

5)cluster-config-file nodes-8001.conf(集群节点信息文件,这里800x最好和port对应上)

6)cluster-node-timeout 5000

  1. bind 127.0.0.1(去掉bind绑定访问ip信息)

  2. protected-mode no (关闭保护模式)

9)appendonly yes

如果要设置密码需要增加如下配置:

10)requirepass xxx (设置redis访问密码)

11)masterauth xxx (设置集群节点间访问密码,跟上面一致)

第三步:把修改后的配置文件,copy到8002-8006,修改第2、3、5项里的端口号,可以用批量替换:
%s/源字符串/目的字符串/g
第四步:分别启动6个redis实例,然后检查是否启动成功
/usr/local/redis/redis-5.0.2/src/redis-server /usr/local/redis-cluster/800*/redis.conf
Redis 5 之后版本的高可用集群搭建 1.png
查看是否启动成功
ps -ef | grep redis
Redis 5 之后版本的高可用集群搭建 2.png
第五步:用redis-cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis-trib.rb实现)
/usr/local/redis/redis-5.0.2/src/redis-cli -a xxx --cluster create --cluster-replicas 1 192.168.5.100:8001 192.168.5.100:8002 192.168.5.100:8003 192.168.5.100:8004 192.168.5.100:8005 192.168.5.100:8006
Redis 5 之后版本的高可用集群搭建 3.png
Redis 5 之后版本的高可用集群搭建 4.png

代表为每个创建的主服务器节点创建一个从服务器节点

第七步:验证集群:

1)连接任意一个客户端即可:

./redis-cli -c -a xxx -h 192.168.5.100 -p 8001

提示:-a访问服务端密码,-c表示集群模式,指定ip地址和端口号

例如:

/usr/local/redis-5.0.2/src/redis-cli -a xxx -c -h 192.168.5.100 -p 8001
Redis 5 之后版本的高可用集群搭建 5.png

注意这里进入到8002了,redirected。

2)进行验证: cluster info(查看集群信息)、cluster nodes(查看节点列表)


Redis 5 之后版本的高可用集群搭建 6.png
Redis 5 之后版本的高可用集群搭建 7.png

3)进行数据操作验证

4)关闭集群则需要逐个进行关闭,使用命令:

/usr/local/redis/src/redis-cli -a xxx -c -h 192.168.0.60 -p 8001 shutdown
Redis 5 之后版本的高可用集群搭建 8.png
Redis 5 之后版本的高可用集群搭建 9.png
如有问题欢迎留言,感觉有帮助,可以点个喜欢:)。
如需转载,请注明出处,谢谢:)。


39人点赞   Redis  



作者:挂机的啊洋zzZ
链接:https://www.jianshu.com/p/8045b92fafb2
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。









CentOS 7搭建Redis5.0.5集群(三台机器,3主3备)

准备工作

  1. 准备三台centos 7的机器:如下图机器的分配情况(每台机器关闭防火墙):
IP master节点 salve节点
192.168.0.166 redis-166:7001 redis-166:7002
192.168.0.167 redis-167:7001 redis-167:7002
192.168.0.168 redis-168:7001 redis-168:7002
  1. 设置三台机器的/etc/hosts,每台都要添加如下三行,保存退出

[root@localhost tools]# vim /etc/hosts192.168.0.166 redis-166192.168.0.167 redis-167192.168.0.168 redis-168

  • 1
  • 2
  • 3
  • 4
  1. 官网下载redis-5.0.5版本: http://download.redis.io/releases/redis-5.0.5.tar.gz
  2. 把下载的包上传到上面3台centos中

开始安装

我们以192.168.0.166机器安装为例,其他两台只是配置文件的IP不一样
  1. 如果centos中没有gcc环境,则需要先安装gcc。如果有就直接看下一步。

[root@localhost tools]# yum install -y gcc

  • 1
  1. 解压redis包到当前目录下

[root@localhost tools]# tar -zxvf redis-5.0.5.tar.gz

  • 1
  1. 进入刚解压出来的redis目录,开始编译安装

[root@localhost tools]# cd redis-5.0.5/[root@localhost redis-5.0.5]# make && make PREFIX=/usr/local/redis install

  • 1
  • 2
  1. 查看是否编译安装成功,执行 如下命令,如果输出0 表示redis安装成功了

[root@localhost redis-5.0.5]# echo $?0

  • 1
  • 2
  1. 配置环境变量,在/etc/profile文件最后添加如下内容:

[root@localhost tools]# vim /etc/profile###### redis env ######export REDIS_HOME=/usr/local/redisexport PATH=$PATH:$REDIS_HOME/bin

  • 1
  • 2
  • 3
  • 4
  • 5
  1. 其他167和168两台机器,安装redis跟上面166机器完全一样

集群配置

我们还是以192.168.0.166机器安装为例,其他两台只是配置文件的IP不一样
  1. 分别创建两个7001和7002的配置文件目录conf,日志目录logs,数据存储目录data,如下命令:

mkdir -p /usr/local/redis/redis_cluster/7001/conf/mkdir -p /usr/local/redis/redis_cluster/7001/logs/mkdir -p /usr/local/redis/redis_cluster/7001/data/mkdir -p /usr/local/redis/redis_cluster/7002/conf/mkdir -p /usr/local/redis/redis_cluster/7002/logs/mkdir -p /usr/local/redis/redis_cluster/7002/data/

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  1. 创建7001的配置文件,并添加如下内容:

vim /usr/local/redis/redis_cluster/7001/conf/redis.conf# 绑定服务器域名或IP地址bind redis-166# 设置端口,区分集群中Redis的实例port 7001# 后台运行daemonize yes# pid进程文件名,以端口号命名pidfile /var/run/redis-7001.pid# 日志文件名称,以端口号为目录来区分logfile /usr/local/redis/redis_cluster/7001/logs/redis.log# 数据文件存放地址,以端口号为目录名来区分dir /usr/local/redis/redis_cluster/7001/data# 启用集群cluster-enabled yes# 配置每个节点的配置文件,同样以端口号为名称cluster-config-file nodes_7001.conf# 配置集群节点的超时时间cluster-node-timeout 15000# 启动AOF增量持久化策略appendonly yes# 发生改变,则记录日志appendfsync always

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  1. 创建7002的配置文件,并添加如下内容:

vim /usr/local/redis/redis_cluster/7002/conf/redis.conf# 绑定服务器域名或IP地址bind redis-166# 设置端口,区分集群中Redis的实例port 7002# 后台运行daemonize yes# pid进程文件名,以端口号命名pidfile /var/run/redis-7002.pid# 日志文件名称,以端口号为目录来区分logfile /usr/local/redis/redis_cluster/7002/logs/redis.log# 数据文件存放地址,以端口号为目录名来区分dir /usr/local/redis/redis_cluster/7002/data# 启用集群cluster-enabled yes# 配置每个节点的配置文件,同样以端口号为名称cluster-config-file nodes_7002.conf# 配置集群节点的超时时间cluster-node-timeout 15000# 启动AOF增量持久化策略appendonly yes# 发生改变,则记录日志appendfsync always

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  1. 其他167和168两台机器,集群配置跟上面166机器配置只是域名不同,其他设置都是一样的

启动集群

  1. 在保证上面166,167,168都配置完成后,开始启动166,167,168各节点

redis-server /usr/local/redis/redis_cluster/7001/conf/redis.confredis-server /usr/local/redis/redis_cluster/7002/conf/redis.conf

  • 1
  • 2
  1. 查看各机器上的各节点是否都启动成功

[root@localhost redis-5.0.5]# ps -ef | grep redisroot 6460 1 0 14:14 ? 00:00:10 /usr/local/redis/bin/redis-server redis-166:7001 [cluster]root 6471 1 0 14:14 ? 00:00:10 /usr/local/redis/bin/redis-server redis-166:7002 [cluster]

  • 1
  • 2
  • 3
  • 4

[root@localhost redis-5.0.5]# ps -ef | grep redisroot 6532 1 0 14:14 ? 00:00:10 /usr/local/redis/bin/redis-server redis-167:7001 [cluster]root 6548 1 0 14:14 ? 00:00:10 /usr/local/redis/bin/redis-server redis-167:7002 [cluster]

  • 1
  • 2
  • 3
  • 4

[root@localhost redis-5.0.5]# ps -ef | grep redisroot 6486 1 0 14:14 ? 00:00:10 /usr/local/redis/bin/redis-server redis-168:7001 [cluster]root 6498 1 0 14:14 ? 00:00:10 /usr/local/redis/bin/redis-server redis-168:7002 [cluster]

  • 1
  • 2
  • 3
  • 4
  1. 使用 reids-cli 创建Redis集群 (注:这里必须使用IP,如果使用像redis-166这样的域名,则会报错,具体原因我也不清楚)

redis-cli --cluster create 192.168.0.166:7001 192.168.0.167:7001 192.168.0.168:7001 192.168.0.166:7002 192.168.0.167:7002 192.168.0.168:7002 --cluster-replicas 1

  • 1
  1. 查看我们刚创建集群的状态,如下命令:(在3台集群中的任意一台机器查看任意节点都一样,会带出所有的节点信息)

[root@localhost redis-5.0.5]# redis-cli --cluster check 192.168.0.167:7001192.168.0.167:7001 (b909c05c...) -> 0 keys | 5462 slots | 1 slaves.192.168.0.166:7001 (e136a43b...) -> 0 keys | 5461 slots | 1 slaves.192.168.0.168:7001 (4bf0b7df...) -> 1 keys | 5461 slots | 1 slaves.[OK] 1 keys in 3 masters.0.00 keys per slot on average.>>> Performing Cluster Check (using node 192.168.0.167:7001)M: b909c05ca4c89695fee7b4799050312ed20c989e 192.168.0.167:7001 slots:[5461-10922] (5462 slots) master 1 additional replica(s)M: e136a43b8dbfd7612f48fe2c17e33203d5329eed 192.168.0.166:7001 slots:[0-5460] (5461 slots) master 1 additional replica(s)M: 4bf0b7df6ce34ad2d3ee87ab500b200f3ae64cee 192.168.0.168:7001 slots:[10923-16383] (5461 slots) master 1 additional replica(s)S: 84ada651baf494cbcdbfe26232b0061146260a3d 192.168.0.167:7002 slots: (0 slots) slave replicates e136a43b8dbfd7612f48fe2c17e33203d5329eedS: 4b9a181365ba49dde3def4d9d562c5a4d4ef657e 192.168.0.166:7002 slots: (0 slots) slave replicates 4bf0b7df6ce34ad2d3ee87ab500b200f3ae64ceeS: 02c3fc75bc6e6d4e070563f2b42a41f2616f66a5 192.168.0.168:7002 slots: (0 slots) slave replicates b909c05ca4c89695fee7b4799050312ed20c989e[OK] All nodes agree about slots configuration.>>> Check for open slots...>>> Check slots coverage...[OK] All 16384 slots covered.

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  1. 测试集群是否正常:
    在集群中的任意一台测试都可以,如我们可以在166上连接167上的7002节点并添加一个数据

[root@localhost redis-5.0.5]# redis-cli -c -h 192.168.0.167 -p 7002192.168.0.167:7002> set key001 helloRredis-> Redirected to slot [274] located at 192.168.0.166:7001OK192.168.0.166:7001> get key001"helloRredis"192.168.0.166:7001>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

再去167上连接7001节点和168上连接7001或者7002看是否可以查询到数据

[root@localhost redis-5.0.5]# redis-cli -c -h 192.168.0.167 -p 7001192.168.0.167:7001> get key001-> Redirected to slot [274] located at 192.168.0.166:7001"helloRredis"192.168.0.166:7001> 

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

[root@localhost redis-5.0.5]# redis-cli -c -h 192.168.0.168 -p 7002192.168.0.168:7002> get key001-> Redirected to slot [274] located at 192.168.0.166:7001"helloRredis"192.168.0.166:7001>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  1. 出现上面的结果,说明我们搭建的集群运作正常
  2. 如果需要配置开机自启动,添加如下两行:(每台机器都要配置),保存退出即可。以后开机就会自动启动集群

[root@localhost redis-5.0.5]# vim /etc/rc.local/usr/local/redis/bin/redis-server /usr/local/redis/redis_cluster/7001/conf/redis.conf/usr/local/redis/bin/redis-server /usr/local/redis/redis_cluster/7002/conf/redis.conf

  • 1
  • 2
  • 3
  • 4
  1. 如果上面设置了,还是不能开机自启动,则有可能是/etc/rc.d/rc.local没有执行权限,需要给一个执行权限,如下:

[root@localhost redis-5.0.5]# chmod +x /etc/rc.d/rc.local

  • 1
    1. 到此集群全部搭建完成。
上一篇:FIL服务器T一天可以挖多少币?FIL年底会达到750U?


下一篇:1T流量***与安全生态圈 记百度云加速3.0发布会