哨兵+redis主从部署架构-docker部署

架构图

  1. 哨兵的介绍
    sentinel , 中文是哨兵。
    哨兵是redis 集群架构中非常重要的一个组件,主要功能如下:
    (1)集群监控:负责监控reidis master 和slave 进程是否正常工作;
    (2)消息通知:如果某个redis实例有故障,那么哨兵负责发送消息作为报警通知给管理员;
    (3)故障转移:如果master node挂掉了,会自动转移到slave node上;
    (4)配置中心:如果故障转移发生了,通知client 客户端新的master 地址;
    哨兵本身也是分布式的作为一个哨兵集群去运行,互相协同工作;
    (1)故障转移时, 判断一个master node宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举的问题;
    (2)即使部分哨兵节点挂了,哨兵集群还是能正常工作的,因为如果 一个作为高可用机制重要组成部分的故障转移系统本身是单点的,那就坑爹了;目前采用的是sentinel 2 版本,sentinel2 相对于 sentinel 1 来说,重写了很多代码,主要是让故障转移的机制和算法变得更加健壮和简单。
  2. 哨兵的核心知识
    (1)哨兵至少需要3个实例,来保证自己的健壮性;
    (2)哨兵+redis 主从的部署架构,是不会保证数据0丢失的,只能保证redis 集群的高可用性;
    (3)对于哨兵+redis主从这种负责的部署架构,尽量在测试环境和生产环境,都进行充足的测试和演练

部署

准备docker环境

hostnamectl set-hostname  l-gz-txy-lyy-uat-redis-master-001

sudo yum install -y yum-utils
sudo yum-config-manager \
    --add-repo \
    //download.docker.com/linux/centos/docker-ce.repo
	
sudo yum install docker-ce docker-ce-cli containerd.io -y
systemctl start docker
systemctl enable docker

三台虚拟机

10.180.3.125:7000 主节点
10.180.3.181:7000 从节点
10.180.3.90:7000 从节点

主节点创建redis data和conf目录

mkdir -p /data/redis/7000
mkdir /data/redis/7000/conf
mkdir /data/redis/7000/data
cd /data/redis/7000/conf

修改redis.conf主要配置

cat > /data/redis/7000/conf/redis.conf <<EOF
port 7000
masterauth "[email protected]"
requirepass "[email protected]"
protected-mode yes
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
#logfile "/var/redis.log"
databases 16
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir ./
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
 repl-timeout 1
repl-disable-tcp-nodelay no
replica-priority 100
maxmemory 1024000kb
maxmemory-policy volatile-lru
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 512mb
aof-load-truncated yes
aof-use-rdb-preamble yes
lua-time-limit 5000
cluster-enabled no
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes
EOF

配置sentinel


cat >/data/redis/7000/conf/sentinel.conf <<EOF
port 27000
daemonize yes
sentinel monitor mymaster 10.180.3.125 7000 1
sentinel auth-pass mymaster [email protected]
EOF

拷贝整个/data/redis目录到备节点

scp -r /data/redis [email protected]:/data/

主从节点都启动redis容器

cat >start.sh<<EOF
docker run -d -ti -p 7000:7000 -p 27000:27000 \
-v /data/redis/7000/conf/redis.conf:/usr/local/etc/redis/redis.conf \
-v /data/redis/7000/conf/sentinel.conf:/usr/local/etc/redis/sentinel.conf \
-v /data/redis/7000/data:/data \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
--privileged=true --restart always --name redis_7000 \
uhub.service.ucloud.cn/jackhe/redis-sentinel:latest redis-server /usr/local/etc/redis/redis.conf
EOF
chmod +x start.sh
sh start.sh

从节点进去容器,设置自己为从节点

docker exec -it  redis_7000  bash
redis-cli -h 127.0.0.1 -c -p 7000 -a [email protected]
SLAVEOF 10.180.3.125 7000

分别进去主从节点的容器,启动sentinel
redis-sentinel /usr/local/etc/redis/sentinel.conf

输入info查看是否设置成功

image-20220107144302245

启动完成后,关闭主节点redis容器,等待30秒查看备节点是否切换为主节点
启动回主节点redis容器,查看主节点是否已经作为备节点连接上,同时启动sentinel

部署逻辑

docker 启动redis——》从节点声明为slave——》启动sentinel

验证可用性

  • 在master上set key
# Keyspace
127.0.0.1:7000> set a 1
OK
127.0.0.1:7000> get a
"1"
  • 在任意slave上get
# Keyspace
127.0.0.1:7000> get a
"1"
  • 脚本测试
from redis.sentinel import Sentinel
sentinel = Sentinel([('10.180.3.198', 27000)], 
                    password='[email protected]',socket_timeout=0.5)
master = sentinel.discover_master("mymaster")
print(master)

压测

redis-benchmark -h 10.180.3.125 -p 27000 -a [email protected] -c 100 -n 100000 -q

Tags: