docker搭建mysql集群
一、集群方案
1、Replication
- 速度快,但僅能保證弱一致性,適用於保存價值不高的數據,比如日誌、帖子、新聞等。
- 採用master-slave結構,在master寫入會同步到slave,能從slave讀出;但在slave寫入無法同步到master。
- 採用異步複製,master寫入成功就向客戶端返回成功,但是同步slave可能失敗,會造成無法從slave讀出的結果
- 需要該方案的請查看我的另一篇文章://www.cnblogs.com/lvlinguang/p/15205389.html
2、PXC (Percona XtraDB Cluster)
- 速度慢,但能保證強一致性,適用於保存價值較高的數據,比如訂單、客戶、支付等。
- 數據同步是雙向的,在任一節點寫入數據,都會同步到其他所有節點,在任何節點上都能同時讀寫。
- 採用同步複製,向任一節點寫入數據,只有所有節點都同步成功後,才會向客戶端返回成功。事務在所有節點要麼同時提交,要麼不提交。
二、安裝PXC集群
1、安裝鏡像
docker pull percona/percona-xtradb-cluster:5.7.33
2、重命名鏡像(縮短鏡像名稱)
docker tag percona/percona-xtradb-cluster:5.7.33 pxc
# 移除原鏡像
docker rmi percona/percona-xtradb-cluster:5.7.33
3、創建net1網段
- 出於安全考慮,給PXC集群創建Docker內部網絡
# 創建網段
docker network create --subnet=172.18.0.0/24 net1
# 查看網段
# docker network inspect net1
# 刪除網段
# docker network rm net1
4、創建五個數據卷(pxc無法直接存取宿組機的數據,所以創建五個docker數據卷)
docker volume create v1
docker volume create v2
docker volume create v3
docker volume create v4
docker volume create v5
# 查看數據卷位置
#docker inspect v1
# 刪除數據卷
#docker volume rm v1
5、創建5節點的PXC集群
- 第一個節點創建完成之後,需要等1分鐘左右才能創建後面的節點。可以通過navicat連接第一個節點測試下,可以連接就說明可以了
#創建第1個MySQL節點
docker run -d --name=mysql-node1 -p 3310:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -v v1:/var/lib/mysql --net=net1 --ip 172.18.0.2 pxc
#創建第2個MySQL節點
docker run -d --name=mysql-node2 -p 3311:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v2:/var/lib/mysql --net=net1 --ip 172.18.0.3 pxc
#創建第3個MySQL節點
docker run -d --name=mysql-node3 -p 3312:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v3:/var/lib/mysql --net=net1 --ip 172.18.0.4 pxc
#創建第4個MySQL節點
docker run -d --name=mysql-node4 -p 3313:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v4:/var/lib/mysql --net=net1 --ip 172.18.0.5 pxc
#創建第5個MySQL節點
docker run -d --name=mysql-node5 -p 3314:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v5:/var/lib/mysql --net=net1 --ip 172.18.0.6 pxc
6、測試集群
- 通過navicat連接任意一個數據庫,進行增、刪、改操作操作,觀察其它庫是否進行同步操作
三、Haproxy負載均衡
- 雖然搭建了集群,但是不使用數據庫負載均衡,單節點處理所有請求,負載高,性能差,如下圖
- 使用Haproxy做負載均衡,可以將請求均勻地發送給每個節點,單節點負載低,性能好,如下圖
1、安裝haproxy鏡像
docker pull haproxy:2.3.13
2、新建目錄
mkdir -p /home/apps/haproxy
3、新建Haproxy配置文件
vim /home/apps/haproxy/haproxy.cfg
# 增加以下內容
global
#工作目錄
chroot /usr/local/etc/haproxy
#日誌文件,使用rsyslog服務中local5日誌設備(/var/log/local5),等級info
log 127.0.0.1 local5 info
#守護進程運行
daemon
defaults
log global
mode http
#日誌格式
option httplog
#日誌中不記錄負載均衡的心跳檢測記錄
option dontlognull
#連接超時(毫秒)
timeout connect 5000
#客戶端超時(毫秒)
timeout client 50000
#服務器超時(毫秒)
timeout server 50000
#監控界面
listen admin_stats
#監控界面的訪問的IP和端口
bind 0.0.0.0:8888
#訪問協議
mode http
#URI相對地址
stats uri /dbs
#統計報告格式
stats realm Global\ statistics
#登錄帳戶信息
stats auth admin:123456
#數據庫負載均衡
listen proxy-mysql
#訪問的IP和端口
bind 0.0.0.0:3306
#網絡協議
mode tcp
#負載均衡算法(輪詢算法)
#輪詢算法:roundrobin
#權重算法:static-rr
#最少連接算法:leastconn
#請求源IP算法:source
balance roundrobin
#日誌格式
option tcplog
#在MySQL中創建一個沒有權限的haproxy用戶,密碼為空。Haproxy使用這個賬戶對MySQL數據庫心跳檢測
option mysql-check user haproxy
server mysql-node1 172.18.0.2:3306 check weight 1 maxconn 2000
server mysql-node2 172.18.0.3:3306 check weight 1 maxconn 2000
server mysql-node3 172.18.0.4:3306 check weight 1 maxconn 2000
server mysql-node4 172.18.0.5:3306 check weight 1 maxconn 2000
server mysql-node5 172.18.0.6:3306 check weight 1 maxconn 2000
#使用keepalive檢測死鏈
option tcpka
3、在數據庫集群中創建空密碼、無權限用戶haproxy,來供Haproxy對MySQL數據庫進行心跳檢測
# 進入容器
docker exec -it mysql-node1 /bin/bash
# 登錄mysql
mysql -uroot -p123456
# 創建用戶
create user 'haproxy'@'%' identified by '';
4、創建第1個Haproxy負載均衡服務器
docker run -it -d --name haproxy-node1 -p 4001:8888 -p 4002:3306 --restart always --privileged=true -v /home/apps/haproxy:/usr/local/etc/haproxy --net=net1 --ip 172.18.0.7 haproxy:2.3.13
5、啟動Haproxy
# 進入容器
docker exec -it haproxy-node1 /bin/bash
# 啟動haproxy
haproxy -f /usr/local/etc/haproxy/haproxy.cfg
四、訪問測試
1、頁面訪問
- ip:4001/dbs,在配置文件中定義有用戶名admin,密碼123456
2、數據庫訪問
- 使用navacat訪問代理集群,端口為4002
3、測試docker掛掉
- 分別下線第一和第二個節點,通過訪問其它節點或代理節點都能正常使用
五、節點宕機或重啟
1、從節點宕機後的操作
- 如果指定的主節點沒有宕機,直接啟動從節點容器,數據會自動同步
2、主節點宕機後的操作
- 【重啟用此操作】如果主節點是最後一個離開集群的(說明數據是最新的),只要重啟主節點即可,主節點的啟動需要設置safe_to_bootstrap: 1 才能啟動
# 修改grastate.dat
vim /var/lib/docker/volumes/v1/_data/grastate.dat
# 將以下值改為1
safe_to_bootstrap: 1
# 啟動主節點
docker start mysql-node1
- 如果其他節點還在運行中,主節點掛掉了(說明主節點的數據已經不是最新的了),需要刪除主節點容器,原來的數據卷無需刪除(繼續使用,避免數據丟失),然後再以從節點方式加入集群,注意加參數 “-e CLUSTER_JOIN=mysql-node2″,指定可用的從節點啟動
docker run -d --name=mysql-node1 -p 3310:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node2 -v v1:/var/lib/mysql --net=net1 --ip 172.18.0.2 pxc
3、另一種啟動方式,刪除集群容器和數據卷中的grastate.dat文件,重新創建
- 該方案會以主節點的數據恢復,如果主節點數據不是最新的,會造成數據丟失
# 移除容器
docker rm mysql-node1 mysql-node2 mysql-node3 mysql-node4 mysql-node5
# 移除數據卷中的grastate.dat文件
rm -rf /var/lib/docker/volumes/v1/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v2/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v3/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v4/_data/grastate.dat
rm -rf /var/lib/docker/volumes/v5/_data/grastate.dat
# 按上面的方式重新創建集群容器