Redis集群的離線安裝以及原理理解

2019 年 10 月 3 日
筆記

　　本文主要是記錄一下Redis集群在linux系統下離線的安裝步驟，畢竟在生產環境下一般都是無法聯網的，Redis的集群的Ruby環境安裝過程還是很麻煩的，涉及到很多的依賴的安裝，所以寫了一個文章來進行記錄。本文分為兩部分，第一部分先通過原生命令的安裝來實現redis集群的部署，通過原生命令的安裝對於了解redis集群的實現原理有很大的幫助，第二部分通過官方工具Ruby來進行Redis集群的安裝，通過Ruby安裝Redis集群的時候主要是搭建好Ruby環境，真正Redis集群的安裝配置通過Ruby還是很簡單的。

　　一、通過原生命令安裝Redis集群（僅做理解Redis集群原理使用）

　　　　1.配置開啟所需要的Redis節點　　　　

　　　　　因為這裡只是做一個簡單的Redis集群原理演示，所以假設此時Redis服務已經安裝完畢，在config文件夾下創建六個redis.conf配置文件，分別為redis-7000.conf、redis-7001.conf、redis-7002.conf、redis-7003.conf、redis-7004.conf、redis-7005.conf。其內容如下：

port ${port}  daemonize yes  dir "/opt/redis/redis/data/"  dbfilename "dump-${port}.rdb"  logfile "${port}.log"  cluster-enabled yes //開啟節點的集群功能  cluster-config-file nodes-${port}.conf  cluster-require-full-coverage no  cluster-node-timeout 15000

　　　　　依次啟動六個redis後台服務
　　　　　redis-server redis-7000.conf
　　　　　redis-server redis-7001.conf
　　　　　redis-server redis-7002.conf
　　　　　redis-server redis-7003.conf
　　　　　redis-server redis-7004.conf
　　　　　redis-server redis-7005.conf
　　　　　ps -ef | grep redis查看啟動情況：

　　　　2.通過集群命令meet完成節點之間的相互通訊　　　　

　　　　meet：cluster meet ip port
　　　　redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7001
　　　　redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7002
　　　　redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7003
　　　　redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7004
　　　　redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7005
　　　　通過埠為7000的節點，其他的節點也可以相互感知到對方的存在，然後每兩個節點之間都會通訊。

　　　　驗證：登錄埠號為7000節點以後，分別輸入cluster nodes和cluster info 命令。
　　　　

　　　　3.指派槽

　　　　完成了節點之間的通訊以後，就需要給每個主節點分配虛擬槽，一共存在16384個slot,redis節點之間互相知道哪個槽在哪個節點上，如果數據訪問到了不屬於自己的槽的redis,redis會告訴數據應該去訪問哪個redis
　　　　指派槽的命令：cluster addslots slot[slot…]
　　　　redis-cli -h 127.0.0.1 -p 7000 cluster addslots {0…5641}
　　　　redis-cli -h 127.0.0.1 -p 7001 cluster addslots {5642…10922}
　　　　redis-cli -h 127.0.0.1 -p 7002 cluster addslots {10923…16383}
　　　　在這裡發現使用addslots 只能一個一個輸入，感覺非常扯，使用數組的方式redis會報錯，用網上的解決辦法是將大括弧里的三個點改為兩個點，我試了試不行的，如果有什麼好的解決辦法可以提供一下。　　　　

　　　　4.配置節點的主從關係　　　　

　　　　cluster replicate node-id
　　　　redis-cli -h 127.0.0.1 -p 7003 cluster replicate ${node-id-7000}
　　　　redis-cli -h 127.0.0.1 -p 7004 cluster replicate ${node-id-7001}
　　　　redis-cli -h 127.0.0.1 -p 7005 cluster replicate ${node-id-7002}
　　　　到此通過原生命令安裝Redis集群就已經完成了，中間的步驟存在問題，無法分配slots,但是可以幫助簡單的理解一下由Redis的單節點到Redis的集群都需要做什麼工作。　

　二、通過Ruby離線安裝Redis集群　　　　

　　　　1.安裝環境以及安裝包說明　　　　

系統：Centos7(安裝的時候選擇安裝了gcc)  安裝包：redis-4.0.6.tar.gz //redis 的安裝包  　　　　ruby-2.5.6.tar.gz //集群搭建需要Ruby環境  　　　　rubygems-3.0.6.zip    //redis集群需要的ruby插件，rubygems是ruby的一個包管理工具，通過rubygems安裝redis-3.2.2.gem  　　　　zlib-1.2.11.tar.gz    //可能缺少的基礎環境zlib  　　　　openssl-1.0.2t.tar.gz //可能缺少的基礎環境openssl

　　　　2.安裝步驟　　　　

　　　　(1)解壓編譯redis 　　　　　

mkdir /usr/local/redis //創建redis工作目錄  cp redis-4.0.6.tar.gz /usr/local/redis //將redis的安裝包拷貝到redis目錄下  cd /usr/local/redis //進去redis文件下  tar -vxf redis-4.0.6.tar.gz //解壓縮  ln -s redis-4.0.6 redis //建立軟連接  cd redis //進入redis目錄下  make && make install //編譯安裝redis

　　　　(2)創建集群目錄　　　　　

cd /usr/local/redis  mkdir redis_cluster //在redis安裝目錄下創建redis_cluster目錄  mkdir redis700{0,1,2,3,4,5}//批量創建六個redis節點工作目錄，三主三從。

　　　　(3)配置redis.conf

　　　　　cd /usr/local/redis/redis_cluster //進去集群工作目錄
　　　　　vim redis.conf //創建redis.conf文件並添加一下內容

port 7000 //配置集群的埠  bind 本機的IP //這裡的默認配置是127.0.0.1改為內網ip。  daemonize yes //允許redis在後台運行  pidfile /var/run/redis-7000.pid //改成和埠一致  cluster-enabled yes // 開啟集群 把注釋去掉  cluster-config-file node-7000.conf //集群的配置，和埠一致  cluster-node-timeout 15000 // 請求超時，默認為15秒  appendonly yes // aof日誌開啟，有需要就開啟，每一次寫操作都會記錄一條日誌。

　　　　將redis.conf 分別copy到六個節點的文件下
　　　　cp redis.conf redis7000/ //將配置文件拷貝到redis7000節點的工作目錄下
　　　　cp redis.conf redis7001/
　　　　cp redis.conf redis7002/
　　　　cp redis.conf redis7003/
　　　　cp redis.conf redis7004/
　　　　cp redis.conf redis7005/

　　　　因為配置文件是根據7000埠模本的配置寫的，所以除了redis7000目錄下的redis.conf,其他工作目錄下的配置文件都需要將文件內容中的埠號修改為對應的工作目錄的埠號。　　　

　　　(4)啟動服務　　　　　　

　　　　cd /usr/local/redis/redis_cluster
　　　　依次啟動所有節點
　　　　redis-server redis7000/redis.conf
　　　　redis-server redis7001/redis.conf
　　　　redis-server redis7002/redis.conf
　　　　redis-server redis7003/redis.conf
　　　　redis-server redis7004/redis.conf
　　　　redis-server redis7005/redis.conf
　　　　查看啟動情況：ps -ef | grep redis
　　　　

　　　　(5)安裝ruby

mkdir /usr/local/ruby //創建ruby工作目錄  cp ruby-2.5.6.tar.gz /usr/local/ruby //將安裝包拷貝到該目錄下  cd /usr/local/ruby //進入ruby工作目錄  tar -vxf ruby-2.5.6.tar.gz // 解壓縮  cd ruby-2.5.6/  ./configure  make && make install

　　　　　查看安裝情況：ruby -v
　　　　

　　　　(6)安裝rubygems

mkdir /usr/local/rubygems //創建rubygems工作目錄  cp rubygems-3.0.6.zip /usr/local/rubygems //將安裝包拷貝到該目錄下  cd /usr/local/rubygems //進入ruby工作目錄  unzip rubygems-3.0.6.zip // 解壓縮  cd rubygems-3.0.6/  ruby setup.rb

　　　　執行 ruby setup.rb 的時候出現以下錯誤：

　　　　　　解決辦法：缺少了zlib包，需要安裝zlib 。　　　　

　　　　(7)安裝zlib

mkdir /usr/local/zlib //創建zlib工作目錄  cp zlib-1.2.11.tar.gz /usr/local/zlib //將安裝包拷貝到該目錄下  cd /usr/local/zlib //進入zlib工作目錄  tar -vxf zlib-1.2.11.tar.gz // 解壓縮  cd zlib-1.2.11/  ./configure --prefix=/usr/local/zlib

make  make install

　　　　(8)編譯ruby中的zlib 　　　　　　

cd /usr/local/ruby/ruby-2.5.6/ext/zlib/  ruby extconf.rb

　　　　　出現以下錯誤資訊：

　　　　　發現原來是要將文件安裝到本地運行庫的裡面才行，所有安裝的時候需要額外配置資訊。重新執行一下命令：

ruby extconf.rb --with-zlib-include=/usr/local/zlib/include/ --with-zlib-lib=/usr/local/zlib/lib //會生成一個Makefile文件

　　　　繼續下一步：make && make install
　　　　又出現報錯資訊：

　　　　這個時候打開ext/zlib/Makefile文件，找到下面一行把路徑進行修改一下。

　　　　zlib.o: $(top_srcdir)/include/ruby.h 改成：zlib.o: ../../include/ruby.h
　　　　如下圖：

　　　　修改完成，然後保存,然後重新：make && make install
　
　　zlib的錯誤都解決以後再繼續重新安裝rubygems。

cd /usr/local/rubygems/rubygems-3.0.6  ruby setup.rb

這次就安裝成功了，如下圖：
　　　　

　　　　(9)安裝redis-3.0.0.gem

cp redis-3.0.0.gem /usr/local/redis/redis  cd /usr/local/redis/redis  gem install redis-3.3.0.gem

　　　　出現以下錯誤資訊：

　　　因為Redis集群交互是需要OpenSSL，所系我們還需要安裝OpenSSL。　　　　

　　　　(10)安裝openssl

mkdir /usr/local/openssl //創建openssl工作目錄  cp openssl-1.0.2t.tar.gz /usr/local/openssl //將安裝包拷貝到該目錄下  cd /usr/local/openssl //進入openssl工作目錄  tar -vxf openssl-1.0.2t.tar.gz // 解壓縮  cd openssl-1.0.2t/  ./config -fPIC --prefix=/usr/local/openssl enable-shared  ./config -t  make && make install

　　　　安裝成功：
　　　　

　　　　(11)編譯ruby中的openssl

cd /usr/local/ruby/ruby-2.5.6/ext/openssl/  ruby extconf.rb --with-openssl-include=/usr/local/openssl/include/ --with-openssl-lib=/usr/local/openssl/lib 此時會生成Makefile文件，下面出現的錯誤需要修改本文件  make && make install

　　　　出現以下錯誤資訊：

　　　　解決辦法：vim Makefile 把Makefile文件中所有的 $(top_srcdir) 換成 ../.. 注意替換所有
　　　　替換完成後，重新進行

make && make install

　　　　安裝成功：

　　　　安裝成功以後繼續進行第九步的安裝redis-3.0.0.gem

cd /usr/local/redis/redis/  gem install redis-3.0.0.gem

　　　　安裝成功：

　　　　到這裡ruby環境總算是安裝成功了，真是不容易啊，其實redis cluster的安裝的主要內容還是上面的Ruby環境的安裝配置過程。　　　　

　　　　(12)啟動redis集群　　　　　　

cd /usr/local/redis/redis/src/

　　　　在該目錄下執行命令：

./redis-trib.rb create --replicas 1 192.168.182.132:7000 192.168.182.132:7001 192.168.182.132:7002 192.168.182.132:7003 192.168.182.132:7004 192.168.182.132:7005

　　
　　輸入yes
　　安裝成功：
　　　　

　　　　(13)驗證集群狀態　　　　　　

　　　　　　以普通方式連接到7002埠的節點 redis-cli -p 7002 -h 192.168.182.132
　　　　　　參數說明： -p port 埠 -h host 主機 -c cluster 集群
　　　　　　連接進集群之後輸入ping , 如果響應了pong 表示連接集群成功;
　　　　　　CLUSTER INFO 列出當前節點的資訊,CLUSTER NODES 列出當前集群中的節點資訊;

　　　　執行命令：set hello word

　　　　7002節點報錯，客戶端該數據應該使用7000埠的客戶端才能添加(是因為登錄的時候沒有加-c)
　　　　登錄7000埠的客戶端重新set hello world，添加數據成功(上次在7002中添加hello world沒有成功，所以在7000中獲取hello是沒有內容的)

　　　　使用集群方式連接集群redis-cli -p 7003 -h 192.168.182.132 -c（7003是7000的備機）
　　　　查詢hello:

get hello

　　　
　　　　重新設置hello的值：

set hello java

　　　　設置成功：

　　　　通過對比發現如果登錄的時候不加-c（非集群模式登錄，登錄的是單節點）,添加數據時，如果數據的key的虛擬槽位沒有在該redis上則不能添加成功，即單節點登錄，對redis的操作不會進行重定向。　　　　

　　　　(14)驗證集群的主從配置　　　　

　　　　關閉7002埠的節點
　　　　kill -9 7002redis節點的pid
　　　　登錄到7000埠的節點：

redis-cli -p 7000 -h 192.168.182.132 -c
cluster nodes

　　　　CLUSTER NODES 前面的字元串是節點的id。從這個命令還可以知道哪些節點還活著，哪些節點已經掛了。帶著fail的都是已經掛掉的節點。

　　　　集群資訊顯示7002節點已經down掉，7005取代7002成為主節點

　　總結：雖然整個過程是讓人很糟心的，但是總歸是成功了，實踐出真理。