xtrabackup使用詳解

• 2019 年 10 月 5 日
• 筆記

原理：

    在InnoDB內部會維護一個redo日誌文件，我們也可以叫做事務日誌文件。事務日誌會存儲每一個InnoDB表數據的記錄修改。當InnoDB啟動時，InnoDB會檢查數據文件和事務日誌，並執行兩個步驟：它應用（前滾）已經提交的事務日誌到數據文件，並將修改過但沒有提交的數據進行回滾操作。

    Xtrabackup在啟動時會記住log sequence number（LSN），並且複製所有的數據文件。複製過程需要一些時間，所以這期間如果數據文件有改動，那麼將會使數據庫處於一個不同的時間點。這時，xtrabackup會運行一個後台進程，用於監視事務日誌，並從事務日誌複製最新的修改。Xtrabackup必須持續的做這個操作，是因為事務日誌是會輪轉重複的寫入，並且事務日誌可以被重用。所以xtrabackup自啟動開始，就不停的將事務日誌中每個數據文件的修改都記錄下來。上面就是xtrabackup的備份過程。

接下來是準備（prepare）過程。在這個過程中，xtrabackup使用之前複製的事務日誌，對各個數據文件執行災難恢復（就像mysql剛啟動時要做的一樣）。當這個過程結束後，數據庫就可以做恢復還原了。

過程是備份—->準備。就是說：先將文件全部複製過來，再根據事務日誌對部分操作進行回滾。

以上的過程在xtrabackup的編譯二進制程序中實現。程序innobackupex可以允許我們備份MyISAM表和frm文件從而增加了便捷和功能。

Innobackupex會啟動xtrabackup，直到xtrabackup複製數據文件後，然後執行FLUSH TABLES WITH READ LOCK來阻止新的寫入進來並把MyISAM表數據刷到硬盤上，之後複製MyISAM數據文件，最後釋放鎖。

備份MyISAM和InnoDB表最終會處於一致，在準備（prepare）過程結束後，InnoDB表數據已經前滾到整個備份結束的點，而不是回滾到xtrabackup剛開始時的點。這個時間點與執行FLUSH TABLES WITH READ LOCK的時間點相同，所以myisam表數據與InnoDB表數據是同步的。

類似oracle的，InnoDB的prepare過程可以稱為recover（恢復），myisam的數據複製過程可以稱為restore（還原）。

xtrabackup的安裝：

官網下載rpm包或者tar.gz包解壓就能用，此外需要通過epel的yum安裝依賴包libev

# yum install libev -y

# rpm -ivh percona-xtrabackup-24-2.4.3-1.el6.x86_64.rpm

rpm包釋放的可執行文件如下：

/usr/bin/innobackupex    # 封裝過的perl腳本

/usr/bin/xbcloud

/usr/bin/xbcloud_osenv

/usr/bin/xbcrypt

/usr/bin/xbstream

/usr/bin/xtrabackup      # 主程序

xtrabackup的使用：

1、完全備份

# innobackupex –user=DBUSER –password=SECRET /path/to/backup/dir/

生成的是一個以當前日期命名的文件夾。

如果要使用一個最小權限的用戶進行備份，則可基於如下命令創建此類用戶：

> GRANT PROCESS, RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'bkpuser'@'localhost' IDENTIFIED BY '123456';

> FLUSH PRIVILEGES;

使用innobakupex備份時，其會調用xtrabackup備份所有的InnoDB表，複製所有關於表結構定義的相關文件(.frm)、以及MyISAM、MERGE、CSV和ARCHIVE表的相關文件，同時還會備份觸發器和數據庫配置信息相關的文件。這些文件會被保存至一個以時間命名的目錄中。

在備份的同時，innobackupex還會在備份目錄中創建如下文件：

(1)xtrabackup_checkpoints —— 備份類型（如完全或增量）、備份狀態（如是否已經為prepared狀態）和LSN(日誌序列號)範圍信息；

每個InnoDB頁(通常為16k大小)都會包含一個日誌序列號，即LSN。LSN是整個數據庫系統的系統版本號，每個頁面相關的LSN能夠表明此頁面最近是如何發生改變的。

(2)xtrabackup_binlog_info:mysql服務器當前正在使用的二進制日誌文件及至備份這一刻為止二進制日誌事件的位置。

(3)xtrabackup_binlog_pos_innodb:二進制日誌文件及用於InnoDB或XtraDB表的二進制日誌文件的當前position。

(4)xtrabackup_binary:備份中用到的xtrabackup的可執行文件；

(5)backup-my.cnf:備份命令用到的配置選項信息；

在使用innobackupex進行備份時，還可以使用–no-timestamp選項來阻止命令自動創建一個以時間命名的目錄；如此一來，innobackupex命令將會創建一個BACKUP-DIR目錄來存儲備份數據。

完全備份恢復示例：

備份：

在node1上執行：

# /etc/init.d/mysqld stop

# innobackupex –user=root –password=xxxx –no-timestamp /backups/

# scp -rp /backups/ root@node2:/tmp

恢復：

在node2上執行恢復：

1、node2上停止mysql服務(如果啟動的話)，並刪除mysql的數據目錄下所有文件: 

# /etc/init.d/mysqld stop

# rm -fr /data/mysql/*

2、在node2上執行整理操作：

# innobackupex –apply-log /tmp/backups/

3、在node2上執行恢復操作，並修改文件屬主屬組：

# innobackupex –copy-back /tmp/backups/

# chown -R mysql.mysql /data/mysql/*

4、在node2上啟動mariadb服務：

# /etc/init.d/mysqld start

2、增量備份

每個InnoDB的頁面都會包含一個LSN信息，每當相關的數據發生改變，相關的頁面的LSN就會自動增長。這正是InnoDB表可以進行增量備份的基礎，即innobackupex通過備份上次完全備份之後發生改變的頁面來實現。

要實現第一次增量備份，可以使用下面的命令進行：

# innobackupex –user=root –password=xxxx –incremental /backup –incremental-basedir=BASEDIR

其中，BASEDIR指的是完全備份所在的目錄，此命令執行結束後，innobackupex命令會在/backup目錄中創建一個新的以時間命名的目錄以存放所有的增量備份數據。另外，在執行過增量備份之後再一次進行增量備份時，其–incremental-basedir應該指向上一次的增量備份所在的目錄。

注意: 增量備份僅能應用於InnoDB或XtraDB表，對於MyISAM表而言，執行增量備份時其實進行的是完全備份。

「準備」(prepare)增量備份與整理完全備份有着一些不同，尤其要注意的是：

(1)需要在每個備份(包括完全和各個增量備份)上，將已經提交的事務進行「重放」。「重放」之後，所有的備份數據將合併到完全備份上。

(2)基於所有的備份將未提交的事務進行「回滾」。

於是，操作就變成了：

# innobackupex –apply-log –redo-only BASE-DIR

接着執行：

# innobackupex –apply-log –redo-only BASE-DIR –incremental-dir=INCREMENTAL-DIR-1

而後是第二個增量：

# innobackupex –apply-log –redo-only BASE-DIR –incremental-dir=INCREMENTAL-DIR-2

其中BASE-DIR指的是完全備份所在的目錄，而INCREMENTAL-DIR-1指的是第一次增量備份的目錄，INCREMENTAL-DIR-2指的是第二次增量備份的目錄，其它依次類推，即如果有多次增量備份，每一次都要執行如上的操作；

增量備份、恢復示例：

1、先做一個完全備份

# innobackupex –user=root /backups/  會在/backups/下生成一個以當前時間命名的文件夾。如下圖：

2、對數據表執行些修改等操作

【數據表的修改操作略過】

3、執行增量備份

# innobackupex –incremental /backups/ –incremental-basedir=/backups/2015-11-08_19-24-05

說明：

有時候查看增量備份的文件中的xtrabackup_checkpoints發現其數值沒變化，可能是LSN變化太小了。執行大量的數據表修改等操作後，會發現其LSN是會變化的，有時候不變也是正常的。

補充個腳本的方式執行全備份、增量備份：  全備份：  innobackupex --user=root --password=123456 /backups/    增量備份：  innobackupex --user=root --password=123456 --incremental /backups/  --incremental-basedir=/backups/$(ls -l /backups| awk '{print $NF}'|tail -1)  # 將上面的2個添加到cron計劃任務即可，備份的路徑是/backups/目錄下。

4、合併備份文件

# innobackupex –user=root –password=123456 –apply-log-only –redo-only /backups/2015-11-08_19-57-53/

# innobackupex –user=root –password=123456 –apply-log-only –redo-only /backups/2015-11-08_19-57-53/ –incremental-dir=/backups/2015-11-08_19-59-31/

# cat /backups/2015-11-08_19-57-53/xtrabackup_checkpoints # 檢驗是否合併成功

5、執行恢複數據到數據庫的操作

# innobackupex –user=root –password=123456 –copy-back /backups/2015-11-08_19-57-53/   【注意這裡填的應該是basedir的路徑】

# ls -lh /data/mysql/   查看文件是否恢復 

# chown -R mysql.mysql /data/mysql/  修改文件權限 

6、啟動MySQL查看是否數據已恢復

# /etc/init.d/mysqld start