Kubernetes(k8s)部署redis-cluster集群

2021 年 11 月 5 日
筆記
Kubernetes, Liunx, Redis, 运维

Redis Cluster 提供了一种运行 Redis 安装的方法，其中数据在多个 Redis 节点之间自动分片。

Redis Cluster 还在分区期间提供了一定程度的可用性，这实际上是在某些节点出现故障或无法通信时继续操作的能力。但是，如果发生较大的故障（例如，当大多数主节点不可用时），集群将停止运行。

那么在实践中，您从 Redis Cluster 中得到了什么？

在多个节点之间自动拆分数据集的能力。
当部分节点出现故障或无法与集群的其余部分通信时继续操作的能力。

转载请在文章开头附上原文链接地址：//www.cnblogs.com/Sunzz/p/15237497.html

Redis 集群 TCP 端口

每个 Redis Cluster 节点都需要打开两个 TCP 连接。用于为客户端提供服务的普通 Redis TCP 端口，例如 6379，以及名为集群总线端口的第二个端口。集群总线端口将通过将 10000 添加到数据端口（在此示例中为 16379）或通过使用集群端口配置覆盖它来派生。

第二个高端口用于集群总线，即使用二进制协议的节点到节点通信通道。节点使用集群总线进行故障检测、配置更新、故障转移授权等。客户端永远不要尝试与集群总线端口通信，而应始终与普通 Redis 命令端口通信，但请确保在防火墙中打开这两个端口，否则 Redis 集群节点将无法通信。

请注意，要使 Redis 集群正常工作，您需要为每个节点：

用于与客户端通信的普通客户端通信端口（通常为 6379）对需要访问集群的所有客户端以及所有其他集群节点（使用客户端端口进行密钥迁移）开放。
集群总线端口必须可从所有其他集群节点访问。

如果您不同时打开两个 TCP 端口，您的集群将无法按预期工作。

集群总线使用不同的二进制协议，用于节点到节点的数据交换，更适合使用很少的带宽和处理时间在节点之间交换信息。

Redis 集群和 Docker

目前 Redis Cluster 不支持 NATted 环境，也不支持重新映射 IP 地址或 TCP 端口的一般环境。

Docker 使用一种称为端口映射的技术：与程序认为正在使用的端口相比，在 Docker 容器内运行的程序可能会使用不同的端口公开。这对于在同一服务器中同时使用相同端口运行多个容器非常有用。

为了使 Docker 兼容 Redis Cluster，需要使用Docker的主机组网方式。请查看docker官方文档：//docs.docker.com/engine/userguide/networking/dockernetworks/ 的--net=host选项以获取更多信息。

Redis Cluster 数据分片

Redis Cluster 不使用一致散列，而是一种不同形式的分片，其中每个键在概念上都是我们所谓的散列槽的一部分。

Redis 集群中有 16384 个哈希槽，要计算给定键的哈希槽是多少，我们只需取密钥的 CRC16 模数 16384。

Redis 集群中的每个节点都负责哈希槽的一个子集，例如，您可能有一个包含 3 个节点的集群，其中：

节点 A 包含从 0 到 5500 的哈希槽。
节点 B 包含从 5501 到 11000 的哈希槽。
节点 C 包含从 11001 到 16383 的哈希槽。

这允许在集群中轻松添加和删除节点。例如，如果我想添加一个新节点 D，我需要将一些哈希槽从节点 A、B、C 移动到 D。同样，如果我想从集群中删除节点 A，我可以移动 A 提供的哈希槽到 B 和 C。当节点 A 为空时，我可以将其从集群中完全删除。

由于将哈希槽从一个节点移动到另一个节点不需要停止操作，因此添加和删除节点或更改节点持有的哈希槽百分比不需要任何停机时间。

Redis Cluster 支持多键操作，只要涉及到单个命令执行（或整个事务，或 Lua 脚本执行）的所有键都属于同一个哈希槽。用户可以使用称为散列标签的概念强制多个键成为同一个散列槽的一部分。

Redis Cluster 规范中记录了哈希标签，但要点是如果键中的 {} 括号之间有一个子字符串，则只有字符串内的内容会被哈希，因此例如this{foo}key和another{foo}key 保证在同一个哈希槽中, 并且可以在具有多个键作为参数的命令中一起使用。

Redis Cluster 主副本模型

为了在主节点子集出现故障或无法与大多数节点通信时保持可用，Redis 集群使用主副本模型，其中每个哈希槽具有从 1（主节点本身）到 N 个副本（N -1 个额外的副本节点）。

在我们包含节点 A、B、C 的示例集群中，如果节点 B 发生故障，集群将无法继续，因为我们不再有办法为 5501-11000 范围内的哈希槽提供服务。

然而，当集群创建时（或稍后），我们为每个主节点添加一个副本节点，这样最终的集群由主节点 A、B、C 和副本节点 A1、B1、C1 组成. 这样，如果节点 B 出现故障，系统就能够继续运行。

节点 B1 复制 B，并且 B 失败，集群会将节点 B1 提升为新的 master 并继续正常运行。

但是需要注意的是，如果节点 B 和 B1 同时发生故障，Redis Cluster 将无法继续运行。

Redis 集群一致性保证

Redis Cluster 无法保证强一致性。实际上，这意味着在某些情况下，Redis Cluster 可能会丢失系统已向客户端确认的写入。

Redis Cluster 会丢失写入的第一个原因是因为它使用异步复制。这意味着在写入期间会发生以下情况：

您的客户端写入主 B。
主 B 向您的客户端回复 OK。
主 B 将写入传播到其副本 B1、B2 和 B3。

如您所见，B 在回复客户端之前不会等待来自 B1、B2、B3 的确认，因为这对 Redis 来说是一个令人望而却步的延迟惩罚，因此如果您的客户端写入某些内容，B 会确认写入，但会在此之前崩溃能够将写入发送到其副本，其中一个副本（未收到写入）可以提升为主，永远失去写入。

这与大多数配置为每秒将数据刷新到磁盘的数据库发生的情况非常相似，因此您已经能够推理出这种情况，因为过去使用不涉及分布式系统的传统数据库系统的经验。同样，您可以通过强制数据库在回复客户端之前将数据刷新到磁盘来提高一致性，但这通常会导致性能低得令人望而却步。在 Redis Cluster 的情况下，这相当于同步复制。

基本上，需要在性能和一致性之间进行权衡。

Redis 集群在绝对需要时支持同步写入，通过WAIT命令实现。这使得丢失写入的可能性大大降低。但是，请注意，即使使用同步复制，Redis Cluster 也没有实现强一致性：在更复杂的故障场景下，始终有可能将无法接收写入的副本选为 master。

还有一个值得注意的场景是 Redis 集群将丢失写入，这种情况发生在网络分区期间，客户端与少数实例（至少包括一个主实例）隔离。

以我们的 6 个节点集群为例，它由 A、B、C、A1、B1、C1 组成，有 3 个主节点和 3 个副本节点。还有一个客户端，我们将其称为 Z1。

分区发生后，可能在分区的一侧有 A、C、A1、B1、C1，而在另一侧有 B 和 Z1。

Z1 仍然能够写入 B，B 将接受其写入。如果分区在很短的时间内愈合，集群将正常继续。但是，如果分区持续足够的时间让 B1 在分区的多数侧提升为 master，则 Z1 同时发送给 B 的写入将丢失。

请注意，Z1 能够发送到 B 的写入量有一个最大窗口：如果分区的多数方已经有足够的时间来选举一个副本作为主节点，那么少数方的每个主节点都将停止接受写入。

这个时间量是 Redis Cluster 的一个非常重要的配置指令，称为节点超时。

节点超时后，主节点被视为发生故障，并且可以由其副本之一替换。类似地，在节点超时后，主节点无法感知大多数其他主节点，它会进入错误状态并停止接受写入。

二、最终可用的yaml文件

部署的是三个master,三个slave的redis-cluster集群

1. redis-cluster.yaml

(1)如果集群节大于6台，可以放开116-127行的注释。

(2)redis集群密码修改

　　63-64，163行 “PASSWORD” ,可根据自己情况进行修改。

(3)存储类修改

　　修改192行 storageClassName: YOU-K8S-SC 为自己的存储类.

　　195行存储大小根据自己情况确定。

redis-cluster.yaml 文件内容如下

  1 ---
  2 apiVersion: v1
  3 kind: ConfigMap
  4 metadata:
  5   name: init-cluster
  6 data:
  7   init_cluster.sh: |
  8     #!/bin/bash
  9     ns=$NAMESPACE
 10     RedisPwd=$1 
 11     cluster_domain=`awk '/search/{print $NF}'  /etc/resolv.conf`
 12     
 13     function cluster_init(){
 14         sleep 3
 15         n0=`/usr/bin/dig  +short redis-cluster-0.redis-service.${ns}.svc.${cluster_domain}`
 16         n1=$(/usr/bin/dig +short redis-cluster-1.redis-service.${ns}.svc.${cluster_domain})
 17         n2=$(/usr/bin/dig +short redis-cluster-2.redis-service.${ns}.svc.${cluster_domain})
 18         n3=$(/usr/bin/dig +short redis-cluster-3.redis-service.${ns}.svc.${cluster_domain})
 19         n4=$(/usr/bin/dig +short redis-cluster-4.redis-service.${ns}.svc.${cluster_domain})
 20         n5=`ip a|grep inet|tail -1|awk '{print $2}'|awk -F "/" '{print $1}'`
 21         #n5=`/usr/bin/dig  +short redis-cluster-5.redis-service.${ns}.svc.cluster.local`
 22         #n5=$(/usr/bin/dig +short redis-cluster-5.redis-service.${ns}.svc.cluster.local)
 23         echo "0:$n0 1:$n1 2:$n2 3:$n3 4:$n4 5:$n5"
 24         echo yes | /usr/local/bin/redis-cli -a $RedisPwd  --cluster create ${n0}:6379 ${n1}:6379 ${n2}:6379 ${n3}:6379 ${n4}:6379 ${n5}:6379 --cluster-replicas 1 && echo "redis-cluster init finshed" || echo "xxxx.... "
 25     }
 26     
 27     function set_password(){
 28         sleep 5
 29         echo "start save cluster password"
 30         /usr/local/bin/redis-cli -h redis-cluster -p 6379 config set masterauth $RedisPwd && \
 31         /usr/local/bin/redis-cli -h redis-cluster config set requirepass $RedisPwd
 32         echo "end save cluster password"
 33         sleep 1
 34         
 35        # for i in $(seq 0 5)
 36        # do
 37        #     redis_host=redis-cluster-${i}.redis-service.${ns}.svc.${cluster_domain}
 38        #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd config set masterauth  $RedisPwd
 39        #     /usr/local/bin/redis-cli -h ${redis_host} config set requirepass $RedisPwd
 40        #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd  config rewrite
 41        # done
 42     }
 43     cluster_init && set_password
 44     echo "ok......"
 45 
 46 ---
 47 apiVersion: v1
 48 kind: ConfigMap
 49 metadata:
 50   name: redis-cluster-config
 51 data:
 52   redis.conf: |
 53     bind 0.0.0.0
 54     appendonly yes
 55     cluster-enabled yes
 56     cluster-config-file nodes.conf
 57     cluster-node-timeout 5000
 58     dir /data/
 59     port 6379
 60     pidfile /var/run/redis.pid
 61     logfile "redis.log"
 62     protected-mode no
 63     masterauth "PASSWORD"
 64     requirepass "PASSWORD"
 65 
 66 ---
 67 apiVersion: v1
 68 kind: Service
 69 metadata:
 70   name: redis-service
 71   labels:
 72     app: redis-cluster
 73 spec:
 74   ports:
 75   - name: redis-port
 76     port: 6379
 77   clusterIP: None
 78   selector:
 79     app: redis-cluster
 80     appCluster: redis-cluster
 81 ---
 82 apiVersion: v1
 83 kind: Service
 84 metadata:
 85   name: redis-cluster
 86   labels:
 87     app: redis-cluster
 88 spec:
 89   ports:
 90   - name: redis-port
 91     protocol: "TCP"
 92     port: 6379
 93     targetPort: 6379
 94   selector:
 95     app: redis-cluster
 96     appCluster: redis-cluster
 97 
 98 ---
 99 apiVersion: apps/v1
100 kind: StatefulSet
101 metadata:
102   name: redis-cluster
103 spec:
104   serviceName: "redis-service"
105   replicas: 6
106   selector:
107     matchLabels:
108       app: redis-cluster
109   template:
110     metadata:
111       labels:
112         app: redis-cluster
113         appCluster: redis-cluster
114     spec:
115       terminationGracePeriodSeconds: 20
116 #      affinity:
117 #        podAntiAffinity:
118 #          preferredDuringSchedulingIgnoredDuringExecution:
119 #          - weight: 100
120 #            podAffinityTerm:
121 #              labelSelector:
122 #                matchExpressions:
123 #                - key: app
124 #                  operator: In
125 #                  values:
126 #                  - redis-cluster
127 #              topologyKey: kubernetes.io/hostname
128       containers:
129       - name: redis
130         image: linuxpy/redis:cluster-v3
131         imagePullPolicy: Always
132         env:
133           - name: NAMESPACE
134             valueFrom:
135               fieldRef:
136                 fieldPath: metadata.namespace
137           - name: POD_NAME
138             valueFrom:
139               fieldRef:
140                 fieldPath: metadata.name
141           - name: MY_POD_IP
142             valueFrom:
143               fieldRef:
144                 fieldPath: status.podIP
145         command:
146           - "redis-server" 
147         args:
148           - /usr/local/etc/redis.conf
149           - --cluster-announce-ip
150           - "$(MY_POD_IP)"
151         resources: 
152           requests:  
153             cpu: "100m"                  
154             memory: "100Mi" 
155         lifecycle:
156           postStart:
157             exec:
158               command:
159               - /bin/bash
160               - -c
161               - > 
162                 if [ `hostname` = "redis-cluster-5" ]; then
163                 bash /opt/init_cluster.sh "PASSWORD" 1>/tmp/init.log 2>&1;
164                 fi;
165         ports:
166           - name: redis
167             containerPort: 6379
168             protocol: "TCP"
169           - name: cluster
170             containerPort: 16379
171             protocol: "TCP"
172         volumeMounts:
173           - name: "data" 
174             mountPath: "/data/"
175           - name: redis-cluster-config
176             mountPath: /usr/local/etc/
177           - name: init-cluster
178             mountPath: /opt/
179       volumes:
180         - name: redis-cluster-config
181           configMap:
182             name: redis-cluster-config
183         - name: init-cluster
184           configMap:
185             name: init-cluster
186 
187   volumeClaimTemplates:
188   - metadata:
189       name: data
190     spec:
191       accessModes: [ "ReadWriteOnce" ]
192       storageClassName: YOU-K8S-SC
193       resources:
194         requests:
195           storage: 1Gi

2.部署redis-cluster

kubectl -n xxxx apply -f redis-cluster.yaml

3.验证

连接集群, 一定要使用 -c ，指明是连接redis集群，-a 是指定密码。

redis-cli -h redis-cluster -a abcd -c

二、详细过程

如果你对具体的过程没有兴趣，只想找一个能用得yaml文件，那就不用往下看了。

1.集群初始化脚本 init_cluster.sh

$NAMESPACE k8s通过环境变量传进来, redis集群密码通过变量传进来

#!/bin/bash
ns=$NAMESPACE
RedisPwd=$1 
cluster_domain=`awk '/search/{print $NF}'  /etc/resolv.conf`

function cluster_init(){
    sleep 3
    n0=`/usr/bin/dig  +short redis-cluster-0.redis-service.${ns}.svc.${cluster_domain}`
    n1=$(/usr/bin/dig +short redis-cluster-1.redis-service.${ns}.svc.${cluster_domain})
    n2=$(/usr/bin/dig +short redis-cluster-2.redis-service.${ns}.svc.${cluster_domain})
    n3=$(/usr/bin/dig +short redis-cluster-3.redis-service.${ns}.svc.${cluster_domain})
    n4=$(/usr/bin/dig +short redis-cluster-4.redis-service.${ns}.svc.${cluster_domain})
    n5=`ip a|grep inet|tail -1|awk '{print $2}'|awk -F "/" '{print $1}'`
    #n5=`/usr/bin/dig  +short redis-cluster-5.redis-service.${ns}.svc.cluster.local`
    #n5=$(/usr/bin/dig +short redis-cluster-5.redis-service.${ns}.svc.cluster.local)
    echo "0:$n0 1:$n1 2:$n2 3:$n3 4:$n4 5:$n5"
    echo yes | /usr/local/bin/redis-cli -a $RedisPwd  --cluster create ${n0}:6379 ${n1}:6379 ${n2}:6379 ${n3}:6379 ${n4}:6379 ${n5}:6379 --cluster-replicas 1 && echo "redis-cluster init finshed" || echo "xxxx.... "
}

function set_password(){
    sleep 5
    echo "start save cluster password"
    /usr/local/bin/redis-cli -h redis-cluster -p 6379 config set masterauth $RedisPwd && \
    /usr/local/bin/redis-cli -h redis-cluster config set requirepass $RedisPwd
    echo "end save cluster password"
    sleep 1
    
   # for i in $(seq 0 5)
   # do
   #     redis_host=redis-cluster-${i}.redis-service.${ns}.svc.${cluster_domain}
   #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd config set masterauth  $RedisPwd
   #     /usr/local/bin/redis-cli -h ${redis_host} config set requirepass $RedisPwd
   #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd  config rewrite
   # done
}
cluster_init && set_password
echo "ok......"

2.sources.list 文件

这里使用阿里云镜像，目的是安装软件，让镜像中有dig命令来获取各个节点得IP地址。

deb http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb http://mirrors.aliyun.com/debian-security buster/updates main
deb-src http://mirrors.aliyun.com/debian-security buster/updates main
deb http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib

3. 制作镜像的Dockerfile

FROM redis:5.0
ADD sources.list /etc/apt/sources.list
ADD redis.conf init_cluster.sh /usr/local/etc/
RUN apt-get update && apt-get install dnsutils iproute2 -y && apt-get clean && rm -rf /var/lib/apt/lists/*

4.制作镜像

docker build -t you-redis:cluster-v3 .

5.遇到的问题

init_cluster.sh文件中获取最后一个pod的ip，不知道为什么后而种方式死活就是不行

n5=`ip a|grep inet|tail -1|awk '{print $2}'|awk -F "/" '{print $1}'`
#n5=`/usr/bin/dig  +short redis-cluster-5.redis-service.${ns}.svc.cluster.local`
#n5=$(/usr/bin/dig +short redis-cluster-5.redis-service.${ns}.svc.cluster.local)

参考：//redis.io/topics/cluster-tutorial

Tags: Kubernetes Liunx Redis 运维