Docker 搭建 Redis Cluster 集群環境

2020 年 9 月 5 日
筆記
docker, Redis, redis cluster, 容器, 容器化, 容器技術, 微服務

使用 Docker 搭建 Redis Cluster，最重要的環節就是容器通信的問題，這一塊我們在之前的文章中已經給大家解決了《Docker 網絡模式詳解及容器間網絡通信》，本篇文章主要練習使用多個容器完成 Redis Cluster 集群環境的搭建，順便為學習 Docker Compose 鋪鋪路。俗話說沒有對比就沒有傷害，通過對比才能感受到 Docker Compose 的好處😄。

　　關於 Redis Cluster 集群更多的內容請閱讀《最通俗易懂的 Redis 架構模式詳解》。

環境

　　本文所使用的基礎設施環境如下：

CentOS 7.8.2003
Docker version 19.03.12

搭建

　　整體搭建步驟主要分為以下幾步：

創建網絡；
下載 Redis 鏡像（其實這步可以省略，因為創建容器時，如果本地鏡像不存在，就會去遠程拉取）；
編寫 Redis 配置文件；
創建 Redis 容器；
創建 Redis Cluster 集群。

創建網絡

　　為什麼需要創建網絡？因為：默認的 bridge 網絡是無法使用 DNS 的，所以我們就需要自定義網絡。說簡單點就是為了讓容器可以直接通過容器名稱進行通信。

　　從 Docker 1.10 版本開始，docker daemon 實現了一個內嵌的 DNS server，使容器可以直接通過容器名稱進行通信。方法很簡單，只要在創建容器時使用 --name 為容器命名即可。

　　但是使用 Docker DNS 有個限制：只能在 user-defined 網絡中使用。也就是說，默認的 bridge 網絡是無法使用 DNS 的，所以我們就需要自定義網絡。

　　通過 docker network create 命令可以創建自定義網絡模式，默認為 bridge 網橋/橋接模式，完整命令如下：

docker network create redis-net

　　通過 docker network ls 查看網絡模式：

　　我們還可以通過 docker network inspect redis-net 查看 redis-net 網絡的詳細信息：

編寫 Redis 配置文件

創建目錄及文件

# 創建目錄
mkdir -p /usr/local/docker-redis/redis-cluster
# 切換至指定目錄
cd /usr/local/docker-redis/redis-cluster/
# 編寫 redis-cluster.tmpl 文件
vi redis-cluster.tmpl

編寫配置文件

　　redis-cluster.tmpl 文件內容如下：

port ${PORT}
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}

port：節點端口；
requirepass：添加訪問認證；
masterauth：如果主節點開啟了訪問認證，從節點訪問主節點需要認證；
protected-mode：保護模式，默認值 yes，即開啟。開啟保護模式以後，需配置 bind ip 或者設置訪問密碼；關閉保護模式，外部網絡可以直接訪問；
daemonize：是否以守護線程的方式啟動（後台啟動），默認 no；
appendonly：是否開啟 AOF 持久化模式，默認 no；
cluster-enabled：是否開啟集群模式，默認 no；
cluster-config-file：集群節點信息文件；
cluster-node-timeout：集群節點連接超時時間；
cluster-announce-ip：集群節點 IP，這裡需要特別注意一下，如果要對外提供訪問功能，需要填寫宿主機的 IP，如果填寫 Docker 分配的 IP（172.x.x.x），可能會導致外部無法正常訪問集群；
cluster-announce-port：集群節點映射端口；
cluster-announce-bus-port：集群節點總線端口。

　　每個 Redis 集群節點都需要打開兩個 TCP 連接。一個用於為客戶端提供服務的正常 Redis TCP 端口，例如 6379。還有一個基於 6379 端口加 10000 的端口，比如 16379。

　　第二個端口用於集群總線，這是一個使用二進制協議的節點到節點通信通道。節點使用集群總線進行故障檢測、配置更新、故障轉移授權等等。客戶端永遠不要嘗試與集群總線端口通信，與正常的 Redis 命令端口通信即可，但是請確保防火牆中的這兩個端口都已經打開，否則 Redis 集群節點將無法通信。

　　在 redis-cluster 目錄下執行以下命令：

for port in `seq 6371 6376`; do \
  mkdir -p ${port}/conf \
  && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
  && mkdir -p ${port}/data;\
done

上面是一段 shell for 語句，意思就是循環創建 6371 ~ 6376 相關的目錄及文件。

　　查看命令執行結果，如果沒有 tree 命令先安裝 yum install -y tree。

　　以下內容為每個節點的配置文件詳細信息。

[root@localhost redis-cluster]# cat /usr/local/docker-redis/redis-cluster/637{1..6}/conf/redis.conf
port 6371
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6371
cluster-announce-bus-port 16371

port 6372
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6372
cluster-announce-bus-port 16372

port 6373
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6373
cluster-announce-bus-port 16373

port 6374
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6374
cluster-announce-bus-port 16374

port 6375
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6375
cluster-announce-bus-port 16375

port 6376
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6376
cluster-announce-bus-port 16376

創建 Redis 容器

創建容器

　　將宿主機的 6371 ~ 6376 之間的端口與 6 個 Redis 容器映射，並將宿主機的目錄與容器內的目錄進行映射（目錄掛載）。記得指定網絡模式，使用我們自己創建的 redis-net 網絡。

for port in $(seq 6371 6376); do \
  docker run -di -p ${port}:${port} -p 1${port}:1${port} \
  --restart always --name redis-${port} --net redis-net \
  -v /usr/local/docker-redis/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \
  -v /usr/local/docker-redis/redis-cluster/${port}/data:/data \
  redis redis-server /usr/local/etc/redis/redis.conf; \
done

　　docker ps -n 6 查看容器是否創建成功。

　　docker network inspect redis-net | grep -i -E "name|ipv4address" 查看給每個節點分配的IP信息。

創建 Redis Cluster 集群

　　隨便進入一個容器節點，並進入 /usr/local/bin/ 目錄：

# 進入容器
docker exec -it redis-6371 bash
# 切換至指定目錄
cd /usr/local/bin/

　　接下來我們就可以通過以下命令實現 Redis Cluster 集群的創建。

redis-cli -a 1234 --cluster create 172.18.0.2:6371 172.18.0.3:6372 172.18.0.4:6373 172.18.0.5:6374 172.18.0.6:6375 172.18.0.7:6376 --cluster-replicas 1

　　出現選擇提示信息，輸入 yes，結果如下所示：

　　集群創建成功如下：

　　以下內容是創建集群時返回的詳細信息，也就是上兩幅圖中的所有內容。

root@705a5ec95a2e:/usr/local/bin# redis-cli -a 1234 --cluster create 172.18.0.2:6371 172.18.0.3:6372 172.18.0.4:6373 172.18.0.5:6374 172.18.0.6:6375 172.18.0.7:6376 --cluster-replicas 1
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 172.18.0.6:6375 to 172.18.0.2:6371
Adding replica 172.18.0.7:6376 to 172.18.0.3:6372
Adding replica 172.18.0.5:6374 to 172.18.0.4:6373
M: 4dbede8f79c98a8cf63556387ce8c2a793d20089 172.18.0.2:6371
   slots:[0-5460] (5461 slots) master
M: c2117d59666f20be5a29485b2e22753991a2dcb9 172.18.0.3:6372
   slots:[5461-10922] (5462 slots) master
M: a5a8fdda426785c54a0e557b753ef571d22581a7 172.18.0.4:6373
   slots:[10923-16383] (5461 slots) master
S: 4aca662dbc0d40498592c11c8dcb94b62c39b15c 172.18.0.5:6374
   replicates a5a8fdda426785c54a0e557b753ef571d22581a7
S: 55fe2da8fe4fb1acdf950a6030a6304713eb613b 172.18.0.6:6375
   replicates 4dbede8f79c98a8cf63556387ce8c2a793d20089
S: be84c1e8600986d5ebfbd2e18611dc4d1ace41a7 172.18.0.7:6376
   replicates c2117d59666f20be5a29485b2e22753991a2dcb9
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join

>>> Performing Cluster Check (using node 172.18.0.2:6371)
M: 4dbede8f79c98a8cf63556387ce8c2a793d20089 172.18.0.2:6371
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: be84c1e8600986d5ebfbd2e18611dc4d1ace41a7 192.168.10.10:6376
   slots: (0 slots) slave
   replicates c2117d59666f20be5a29485b2e22753991a2dcb9
M: c2117d59666f20be5a29485b2e22753991a2dcb9 192.168.10.10:6372
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: a5a8fdda426785c54a0e557b753ef571d22581a7 192.168.10.10:6373
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: 4aca662dbc0d40498592c11c8dcb94b62c39b15c 192.168.10.10:6374
   slots: (0 slots) slave
   replicates a5a8fdda426785c54a0e557b753ef571d22581a7
S: 55fe2da8fe4fb1acdf950a6030a6304713eb613b 192.168.10.10:6375
   slots: (0 slots) slave
   replicates 4dbede8f79c98a8cf63556387ce8c2a793d20089
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

　　至此一個高可用的 Redis Cluster 集群搭建完成，如下圖所示，該集群中包含 6 個 Redis 節點，3 主 3 從。三個主節點會分配槽，處理客戶端的命令請求，而從節點可用在主節點故障後，頂替主節點。

查看集群狀態

　　我們先進入容器，然後通過一些集群常用的命令查看一下集群的狀態。

# 進入容器
docker exec -it redis-6371 bash
# 切換至指定目錄
cd /usr/local/bin/

檢查集群狀態

　　因為我們使用了自定義的網絡進行容器管理，這樣可以使容器直接通過容器名稱通信。推薦使用這種方式。

# 使用 IP
redis-cli -a 1234 --cluster check 192.168.10.10:6371
# 使用容器名稱
redis-cli -a 1234 --cluster check redis-6372:6372

查看集群信息和節點信息

# 連接至集群某個節點
redis-cli -c -a 1234 -h redis-6373 -p 6373
# 查看集群信息
cluster info
# 查看集群結點信息
cluster nodes

SET/GET

　　在 6371 節點中執行寫入和讀取，命令如下：

# 進入容器並連接至集群某個節點
docker exec -it redis-6371 /usr/local/bin/redis-cli -c -a 1234 -h redis-6371 -p 6371
# 寫入數據
set name mrhelloworld
set aaa 111
set bbb 222
# 讀取數據
get name
get aaa
get bbb

　　別著急，讓我來解釋一下上圖中的操作過程：

首先進入容器並連接至集群某個節點；
然後執行第一個 set 命令 set name mrhelloworld，name 鍵根據哈希函數運算以後得到的值為 [5798]。當前集群環境的槽分配情況為：[0-5460] 6371節點，[5461-10922] 6372節點，[10923-16383] 6373節點，所以該鍵的存儲就被分配到了 6372 節點上；
再來看第二個 set 命令 set aaa，這裡大家可能會有一些疑問，為什麼看不到 aaa 鍵根據哈希函數運算以後得到的值？因為剛才重定向至 6372 節點插入了數據，此時如果還有數據插入，正好鍵根據哈希函數運算以後得到的值也還在該節點的範圍內，那麼直接插入數據即可；
接着是第三個 set 命令 set bbb，bbb 鍵根據哈希函數運算以後得到的值為 [5287]，所以該鍵的存儲就被分配到了 6371 節點上；
然後是讀取操作，第四個命令 get name，name 鍵根據哈希函數運算以後得到的值為 [5798]，被重定向至 6372 節點讀取；
第五個命令 get aaa，aaa 鍵根據哈希函數運算以後得到的值也在 6372 節點，直接讀取；
第六個命令 get bbb，bbb 鍵根據哈希函數運算以後得到的值為 [5287]，被重定向至 6371 節點讀取。

　　通過以上操作我們得知 name 鍵的存儲被分配到了 6372 節點，如果直接連接 6372 節點並獲取該值會怎麼樣？沒錯，不需要重定向節點，因為數據就在該節點，所以直接讀取返回。

　　總結下來就是，在 Redis Cluster 集群模式中，無論連接哪個節點，每次我們執行寫入或者讀取操作的時候，所有的鍵會根據哈希函數運算並映射到 0 ~ 16383 整數槽內，如果恰好對應的槽就在你當前連接的節點中，則直接執行命令，否則重定向至對應節點執行命令。