MySQL 同步複製及高可用方案總結
- 2020 年 4 月 9 日
- 筆記
1.前言
mysql作為應用程式的數據存儲服務，要實現mysql資料庫的高可用。必然要使用的技術就是資料庫的複製，如果主節點出現故障可以手動的切換應用到從節點，這點相信運維同學都是知道，並且可以實現的。但是這種情況只是手動的切換，對可用性有要求的業務需要分別實現主庫和從庫的高可用，保障在資料庫出現down機的情況下，可以自動實現資料庫的故障轉移，保障應用的可用性和用戶體驗。
本文將會對一些常用的資料庫高可用方案進行介紹，根據你不同的場景，選擇合適的高可用方案即可。
2.MMM高可用方案
2.1.Mysql-MMM介紹
MMM(Master-Master replication managerfor Mysql，Mysql主主複製管理器)是一套靈活的腳本程式，基於perl實現，用來對mysql replication進行監控和故障遷移，並能管理mysql Master-Master複製的配置(同一時間只有一個節點是可寫的)。
2.2.組件
mmm_mond：監控進程，負責所有的監控工作，決定和處理所有節點角色活動。此腳本需要在監管機上運行。
mmm_agentd：運行在每個mysql伺服器上的代理進程，完成監控的探針工作和執行簡單的遠端服務設置。此腳本需要在被監管機上運行。
mmm_control：一個簡單的腳本，提供管理mmm_mond進程的命令。
mysql-mmm的監管端會提供多個虛擬IP（VIP），包括一個可寫VIP，多個可讀VIP，通過監管的管理，這些IP會綁定在可用mysql之上，當某一台mysql宕機時，監管會將VIP遷移至其他mysql。
在整個監管過程中，需要在mysql中添加相關授權用戶，以便讓mysql可以支援監理機的維護。授權的用戶包括一個mmm_monitor用戶和一個mmm_agent用戶，如果想使用mmm的備份工具則還要添加一個mmm_tools用戶。
2.3.架構圖
正常工作時：
主節點故障時：
2.4.MMM優點
（1）高可用性，擴展性好，出現故障自動轉移，對於主主同步，在同一時間只提供一台資料庫寫操作，保證數據的一致性。
（2）配置簡單，容易操作。
2.5.MMM缺點
（1）需要一台備份伺服器，浪費資源
（2）需要多個虛擬IP
（3）agent可能意外終止，引起裂腦。
3.MHA介紹
MHA（Master High Availability）目前在MySQL高可用方面是一個相對成熟的解決方案，它由日本DeNA公司youshimaton（現就職於Facebook公司）開發，是一套優秀的作為MySQL高可用性環境下故障切換和主從提升的高可用軟體。在MySQL故障切換過程中，MHA能做到在0~30秒之內自動完成資料庫的故障切換操作，並且在進行故障切換的過程中，MHA能在最大程度上保證數據的一致性，以達到真正意義上的高可用。
3.1.MHA架構介紹
該軟體由兩部分組成：MHA Manager（管理節點）和MHA Node（數據節點）。MHA Manager可以單獨部署在一台獨立的機器上管理多個master-slave集群，也可以部署在一台slave節點上。MHA Node運行在每台MySQL伺服器上，MHA Manager會定時探測集群中的master節點，當master出現故障時，它可以自動將最新數據的slave提升為新的master，然後將所有其他的slave重新指向新的master。整個故障轉移過程對應用程式完全透明。
在MHA自動故障切換過程中，MHA試圖從宕機的主伺服器上保存二進位日誌，最大程度的保證數據的不丟失(配合mysql半同步複製效果更佳)，但這並不總是可行的。例如，如果主伺服器硬體故障或無法通過ssh訪問，MHA沒法保存二進位日誌，只進行故障轉移而丟失了最新的數據。使用MySQL 5.5的半同步複製，可以大大降低數據丟失的風險。MHA可以與半同步複製結合起來。如果只有一個slave已經收到了最新的二進位日誌，MHA可以將最新的二進位日誌應用於其他所有的slave伺服器上，因此可以保證所有節點的數據一致性。
注意：目前MHA主要支援一主多從的架構，要搭建MHA,要求一個複製集群中必須最少有三台資料庫伺服器，一主二從，即一台充當master，一台充當備用master，另外一台充當從庫，因為至少需要三台伺服器，出於機器成本的考慮，淘寶也在該基礎上進行了改造，目前淘寶TMHA已經支援一主一從。
3.2.MHA架構圖
正常工作時架構圖：
主庫down機時架構：
3.3.故障轉移過程
（1）從宕機崩潰的master保存二進位日誌事件（binlog events）;
（2）識別含有最新更新的slave；
（3）應用差異的中繼日誌（relay log）到其他的slave；
（4）應用從master保存的二進位日誌事件（binlog events）；
（5）提升一個slave為新的master；
（6）使其他的slave連接新的master進行複製；
（7）在新的master啟動vip地址，保證前端請求可以發送到新的master。
3.4.MHA優點
（1）不需要備份伺服器
（2）不改變現有環境
（3）操作非常簡單
（4）可以進行日誌的差異修復
（5）可以將任意slave提升為master
3.5.MHA缺點
（1）需要全部節點做ssh秘鑰
（2）MHA出現故障後配置文件會被修改，如果再次故障轉移需要重新修改配置文件。
（3）自帶的腳本還需要進一步補充完善，且用perl開發，二次開發困難。
4.DRBD+（heartbeat,corosync）
4.1.方案簡介
本方案採用Heartbeat或者corosync雙機熱備軟體來保證資料庫的高穩定性和連續性，數據的一致性由DRBD這個工具來保證（如果可以盡量放到分散式存儲上面）。默認情況下只有一台mysql在工作，當主mysql伺服器出現問題後，系統將自動切換到備機上繼續提供服務，當主資料庫修復完畢，又將服務切回繼續由主mysql提供服務。
4.2.組件
Heartbeat,corosync作為心跳檢測機制，監控primary節點的狀態。當主節點宕掉之後，迅速提升secondary節點為新的主節點，並切換IP；
drbd負責數據同步
4.3.架構圖
4.4.數據同步過程
mysql進行刷盤時，會通過不同的sync方式，最終將數據寫入disk；
drbd收到刷盤成功的資訊後，將對應的磁碟塊位置，和變更動作，通過網路傳遞至secondary節點；
secondary的drbd接收到變更資訊後，將這些資訊落盤；
4.5.切換過程
前提：secondary節點的mysql服務不啟動；
heartbeat檢測到primary的mysql服務停止，則摘掉IP、umount掉數據盤、將primary切換為secondary；
在原來的secondary上，提升drbd同步為primary，掛載數據盤，啟動mysql服務、綁定IP；
從庫跟著IP和埠自動進行遷移；
4.6.方案優點
（1）歷史悠久、安全性高、穩定性高、可用性高、出現故障自動切換。
（2）數據一致性強
4.7.方案缺點
（1）需要一台備份伺服器，浪費資源
（2）不方便擴展
（3）無論drbd還是headbetart，corosync都可能發生裂腦
5.Mysql route介紹
5.1.什麼是mysql route
MySQL Router是處於應用client和dbserver之間的輕量級代理程式，它能檢測，分析和轉發查詢到後端資料庫實例，並把結果返回給client。是mysql-proxy的一個替代品。其架構圖和功能如下。
（1）Router實現讀寫分離，程式不是直接連接資料庫IP，而是固定連接到mysql router。MySQL Router對前端應用是透明的。應用程式把MySQL Router當作是普通的mysql實例，把查詢發給MySQL Router,而MySQL Router會把查詢結果返回給前端的應用程式。
（2）從資料庫伺服器故障，業務可以正常運行。由MySQL Router來進行自動下線不可用伺服器。程式配置不需要任何修改。
（3）主資料庫故障，由MySQL Router來決定主從自動切換，業務可以正常訪問。程式配置不需要做任何修改。
5.2.讀寫分離原理
MySQL Router接受前端應用程式請求後，根據不同的埠來區分讀寫，把連接讀寫埠的所有查詢發往主庫，把連接只讀埠的select查詢以輪詢方式發往多個從庫，從而實現讀寫分離的目的。讀寫返回的結果會交給MySQL Router,由MySQL Router返回給客戶端的應用程式。
5.3.Mysql router用途
MySQL Router的主要用途是讀寫分離，主主故障自動切換，負載均衡，連接池等。
5.4.Mysql router主主故障自動切換的坑
Mysql router主主故障切換功能經過測試沒有問題，但是有一個比較大的坑需要注意，主庫發生切換之後，從庫的連接的master伺服器地址不會發生改變，需要自己寫腳本進行判斷。
5.5.優點
（1）基於DAL層實現mysql的高可用。
（2）可以同時實現主主故障切換和讀寫分離。
（3）插件式架構允許用戶進行額外的功能擴展。
5.6.缺點
（1）高可用功能需要進一步完善：存在主庫切換之後，從庫不會自動切換主庫地址的坑。
（2）讀寫情況使用不同埠，需要修改應用程式。
6.mysql Cluster
中國用的非常少，主要因為一下三點：
（1）需要更改存儲引擎
（2）付費
（3）中國幾乎沒有使用案例
優點：
高可用，可用率達99.999%
7.結束語
上面的高可用方案，只是我自己比較熟悉的，而且也是應用比較多的。mysql畢竟發展了有20多年了，各種高可用方案還是很多的，其他的高可用方案各位鑰匙有興趣，可以自己研究。
