mydumper 介紹及使用
- 2019 年 10 月 16 日
- 筆記
1 Mydumper 介紹
Mydumper是一個針對MySQL和Drizzle的高性能多執行緒備份和恢復工具。
Mydumper主要特性：
- 輕量級C語言寫的
- 多執行緒備份，備份後會生成多個備份文件
- 事務性和非事務性表一致的快照(適用於0.2.2以上版本)
- 快速的文件壓縮
- 支援導出binlog
- 多執行緒恢復(適用於0.2.1以上版本)
- 以守護進程的工作方式，定時快照和連續二進位日誌(適用於0.5.0以上版本)
- 開源 (GNU GPLv3)
註：mydumper 這個執行速度很快比 mysqldump 快多少倍，不要聽網上說快多少倍就用它，具體要做實際壓測才行，根據實際場景來選擇。
mydumper 的最新版本 0.9 ,2015-11-6更新到了最後一個版本， mydumper到現在已近4年沒更新了，而官方的一些工具升級很快的，性能肯定有提升。
mysqldump 加上合理備份參數，實際備份也很快。
https://launchpad.net/mydumper
2 mydumper 安裝
mydumper使用c語言編寫，使用glibc庫
mydumper安裝所依賴的軟體包，glibc, zlib, pcre, pcre-devel, gcc, gcc-c++, cmake, make, mysql客戶端庫文件
- 安裝依賴軟體包，將mysql客戶端庫文件路徑添加至/etc/ld.so.conf, 如/usr/local/mysql/lib
2. 解壓軟體包進入目錄，cmake .
3. make && make install
安裝步驟
[root@mysql-150 ~]# yum -y install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake [root@mysql-150 ~]# wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz [root@mysql-150 ~]# tar zxf mydumper-0.9.1.tar.gz [root@mysql-150 ~]# cd mydumper-0.9.1/ [root@mysql-150 mydumper-0.9.1]# pwd /root/mydumper-0.9.1 [root@mysql-150 mydumper-0.9.1]# cmake . [root@mysql-150 mydumper-0.9.1]# make [root@mysql-150 mydumper-0.9.1]# make install #安裝完成後生成兩個二進位文件mydumper和myloader位於/usr/local/bin目錄下 [root@mysql-150 bin]# ls /usr/local/bin/ mydumper myloader
2.1 mydumper 參數解釋
-B, --database 要備份的資料庫，不指定則備份所有庫 -T, --tables-list 需要備份的表，名字用逗號隔開 -o, --outputdir 備份文件輸出的目錄 -s, --statement-size 生成的insert語句的位元組數，默認1000000 -r, --rows 將表按行分塊時，指定的塊行數，指定這個選項會關閉 --chunk-filesize -F, --chunk-filesize 將表按大小分塊時，指定的塊大小，單位是 MB -c, --compress 壓縮輸出文件 -e, --build-empty-files 如果表數據是空，還是產生一個空文件（默認無數據則只有表結構文件） -x, --regex 是同正則表達式匹配 'db.table' -i, --ignore-engines 忽略的存儲引擎，用都厚分割 -m, --no-schemas 不備份表結構 -k, --no-locks 不使用臨時共享只讀鎖，使用這個選項會造成數據不一致 --less-locking 減少對InnoDB表的鎖施加時間（這種模式的機制下文詳解） -l, --long-query-guard 設定阻塞備份的長查詢超時時間，單位是秒，默認是60秒（超時後默認mydumper將會退出） --kill-long-queries 殺掉長查詢 (不退出) -b, --binlogs 導出binlog -D, --daemon 啟用守護進程模式，守護進程模式以某個間隔不間斷對資料庫進行備份 -I, --snapshot-interval dump快照間隔時間，默認60s，需要在daemon模式下 -L, --logfile 使用的日誌文件名(mydumper所產生的日誌), 默認使用標準輸出 --tz-utc 跨時區是使用的選項，不解釋了 --skip-tz-utc 同上 --use-savepoints 使用savepoints來減少採集metadata所造成的鎖時間，需要 SUPER 許可權 --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist -h, --host 連接的主機名 -u, --user 備份所使用的用戶 -p, --password 密碼 -P, --port 埠 -S, --socket 使用socket通訊時的socket文件 -t, --threads 開啟的備份執行緒數，默認是4 -C, --compress-protocol 壓縮與mysql通訊的數據 -V, --version 顯示版本號 -v, --verbose 輸出資訊模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認為 2
2.2 myloader 參數解釋
-d, --directory 備份文件的文件夾 -q, --queries-per-transaction 每次事物執行的查詢數量，默認是1000 -o, --overwrite-tables 如果要恢復的表存在，則先drop掉該表，使用該參數，需要備份時候要備份表結構 -B, --database 需要還原的資料庫 -e, --enable-binlog 啟用還原數據的二進位日誌 -h, --host 主機 -u, --user 還原的用戶 -p, --password 密碼 -P, --port 埠 -S, --socket socket文件 -t, --threads 還原所使用的執行緒數，默認是4 -C, --compress-protocol 壓縮協議 -V, --version 顯示版本 -v, --verbose 輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認為2
使用案例：
備份 beta 庫 到 /data/backup/mysql 文件夾中
[root@mysql-150 mysql]# mydumper -u root -p 123456 -P 3306 -h 127.0.0.1 -B beta -o /data/backup/mysql/ [root@mysql-150 mysql]# pwd /data/backup/mysql [root@mysql-150 mysql]# tree . ├── beta-schema-create.sql ├── beta.t1-schema.sql ├── beta.t1.sql ├── beta.t2-schema.sql ├── beta.t2.sql └── metadata
從上面可以可以看出
備份所生成的文件
目錄中包含一個metadata文件
-
記錄了備份資料庫在備份時間點的二進位日誌文件名，日誌的寫入位置，
-
如果是在從庫進行備份，還會記錄備份時同步至主庫的二進位日誌文件及寫入位置
每個表有兩個備份文件： -
database.table-schema.sql 表結構文件
-
database.table.sql 表數據文件
恢復 beta 庫
# 刪除 beta 庫 root@localhost [(none)]>drop database beta; # myloader 恢復 [root@mysql-150 mysql]# myloader -u root -p 123456 -h 127.0.0.1 -B beta -d /data/backup/mysql/ # 驗證 root@localhost [(none)]>show databases;
3 mydumper 備份原理
3.1 備份過程資訊
1. 先把general_log 打開
root@localhost [(none)]>show variables like 'general_log'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | general_log | OFF | +---------------+-------+ 1 row in set (0.01 sec) root@localhost [(none)]>set global general_log=1; Query OK, 0 rows affected (0.02 sec) root@localhost [(none)]>show variables like '%general%'; +------------------+-------------+ | Variable_name | Value | +------------------+-------------+ | general_log | ON | | general_log_file | general.log | +------------------+-------------+ [root@mysql-150 ~]# tail -f /data/mysql/mysql3306/data/general.log
2. 刪除原來備份數據，進行重新備份
# 刪除備份數據 [root@mysql-150 mysql]# cd /data/backup/mysql/ [root@mysql-150 mysql]# pwd /data/backup/mysql [root@mysql-150 mysql]# rm -rf * # mydumper備份 [root@mysql-150 mysql]# mydumper -u root -p 123456 -P 3306 -h 127.0.0.1 -B beta -o /data/backup/mysql/
主要是這些步驟
UNLOCK TABLES後截圖沒截圖玩，最後有5個quit 資訊
上面兩個截圖是完整的備份步驟
3. 單個庫備份過程(這個庫是的引擎是 innodb)
這裡我總結一下
1. 第一個發起備份的tcp資訊 FLUSH TABLES WITH READ LOCK # 加全局鎖，防止寫入 START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */ # 開啟事務 /*!40101 SET NAMES binary*/ # 獲取當前資料庫的狀態資訊，就是資料庫當前正在使用的二進位日誌及當前執行二進位日誌位置，執行了哪些GTID SHOW MASTER STATUS SHOW SLAVE STATUS 2. 剩下的4個tcp 資訊內容基本是同時工作的(也就是多執行緒)，內容都是 SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ #把當前會話事務隔離級別改為可重複讀 START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */ # 開啟事務 3. 獲取相應的庫資訊，表資訊，數據資訊 Init DB beta SHOW TABLE STATUS SHOW CREATE DATABASE `beta` SELECT /*!40001 SQL_NO_CACHE */ * FROM `beta`.`t1` SELECT /*!40001 SQL_NO_CACHE */ * FROM `beta`.`t2` SHOW CREATE TABLE `beta`.`t1` SHOW CREATE TABLE `beta`.`t2` 4. 解鎖 UNLOCK TABLES /* FTWRL */ 5. 最後備份結束，退出事務
註：由於我的庫很小，所以一下就結束了。
3.2 備份原理
1、主執行緒 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，保證數據的一致性
2、讀取當前時間點的二進位日誌文件名和日誌寫入的位置並記錄在metadata文件中，以供即使點恢復使用
3、N個（執行緒數可以指定，默認是4）dump執行緒把事務隔離級別改為可重複讀 並開啟讀一致的事物
4、dump non-InnoDB tables, 首先導出非事物引擎的表
5、主執行緒 UNLOCK TABLES 非事物引擎備份完後，釋放全局只讀鎖
6、dump InnoDB tables, 基於事物導出InnoDB表
7、事物結束
