如何設計可以動態擴容縮容的分庫分表方案？

• 2019 年 11 月 22 日
• 筆記

停機擴容（不推薦）

這個方案就跟停機遷移一樣，步驟幾乎一致，唯一的一點就是那個導數的工具，是把現有庫表的數據抽出來慢慢倒入到新的庫和表裡去。但是最好別這麼玩兒，有點不太靠譜，因為既然分庫分表就說明數據量實在是太大了，可能多達幾億條，甚至幾十億，你這麼玩兒，可能會出問題。

從單庫單表遷移到分庫分表的時候，數據量並不是很大，單表最大也就兩三千萬。那麼你寫個工具，多弄幾台機器並行跑，1小時數據就導完了。這沒有問題。

如果 3 個庫 + 12 個表，跑了一段時間了，數據量都 1~2 億了。光是導 2 億數據，都要導個幾個小時，6 點，剛剛導完數據，還要搞後續的修改配置，重啟系統，測試驗證，10 點才可以搞完。所以不能這麼搞。

優化後的方案

一開始上來就是 32 個庫，每個庫 32 個表，那麼總共是 1024 張表。

我可以告訴各位同學，這個分法，第一，基本上中國的互聯網肯定都是夠用了，第二，無論是並發支撐還是數據量支撐都沒問題。

每個庫正常承載的寫入並發量是 1000，那麼 32 個庫就可以承載32 * 1000 = 32000 的寫並發，如果每個庫承載 1500 的寫並發，32 * 1500 = 48000 的寫並發，接近 5萬/s 的寫入並發，前面再加一個MQ，削峰，每秒寫入 MQ 8 萬條數據，每秒消費 5 萬條數據。

有些除非是中國排名非常靠前的這些公司，他們的最核心的系統的資料庫，可能會出現幾百台資料庫的這麼一個規模，128個庫，256個庫，512個庫。

1024 張表，假設每個表放 500 萬數據，在 MySQL 里可以放 50 億條數據。

每秒的 5 萬寫並發，總共 50 億條數據，對於中國大部分的互聯網公司來說，其實一般來說都夠了。

談分庫分表的擴容，第一次分庫分表，就一次性給他分個夠，32 個庫，1024 張表，可能對大部分的中小型互聯網公司來說，已經可以支撐好幾年了。

一個實踐是利用 32 * 32 來分庫分表，即分為 32 個庫，每個庫里一個表分為 32 張表。一共就是 1024 張表。根據某個 id 先根據 32 取模路由到庫，再根據 32 取模路由到庫里的表。

剛開始的時候，這個庫可能就是邏輯庫，建在一個資料庫上的，就是一個mysql伺服器可能建了 n 個庫，比如 32 個庫。後面如果要拆分，就是不斷在庫和 mysql 伺服器之間做遷移就可以了。然後系統配合改一下配置即可。

比如說最多可以擴展到32個資料庫伺服器，每個資料庫伺服器是一個庫。如果還是不夠？最多可以擴展到 1024 個資料庫伺服器，每個資料庫伺服器上面一個庫一個表。因為最多是1024個表。

這麼搞，是不用自己寫程式碼做數據遷移的，都交給 dba 來搞好了，但是 dba 確實是需要做一些庫表遷移的工作，但是總比你自己寫程式碼，然後抽數據導數據來的效率高得多吧。

哪怕是要減少庫的數量，也很簡單，其實說白了就是按倍數縮容就可以了，然後修改一下路由規則。

這裡對步驟做一個總結：

1. 設定好幾台資料庫伺服器，每台伺服器上幾個庫，每個庫多少個表，推薦是 32庫 * 32表，對於大部分公司來說，可能幾年都夠了。
2. 路由的規則，orderId 模 32 = 庫，orderId / 32 模 32 = 表
3. 擴容的時候，申請增加更多的資料庫伺服器，裝好 mysql，呈倍數擴容，4 台伺服器，擴到 8 台伺服器，再到 16 台伺服器。
4. 由 dba 負責將原先資料庫伺服器的庫，遷移到新的資料庫伺服器上去，庫遷移是有一些便捷的工具的。
5. 我們這邊就是修改一下配置，調整遷移的庫所在資料庫伺服器的地址。
6. 重新發布系統，上線，原先的路由規則變都不用變，直接可以基於 n 倍的資料庫伺服器的資源，繼續進行線上系統的提供服務。