Rsync服務詳解
Rsync簡介
什麼是rsync?
Rsync是一款開源的、快速的、多功能的、可實現全量及增量的本地或遠程數據同步備份的優秀工具。Rstync軟體適用於unix/linux/windows等多種作業系統平台。
Rsync英文全稱為Remotesynchronization，即遠程同步。從軟體的名稱就可以看出來，Rsync具有可使本地和遠程兩台主機之間的數據快速複製同步鏡像、遠程備份的功能，這個功能類似ssh帶的scp命令，但又優於scp命令的功能，scp每次都是全量拷貝，而rsync可以增量拷貝。當然，Rsync還可以在本地主機的不通分區或目錄之間全量及增量的複製數據，這又類似cp命令，但同樣也優於cp命令，cp每次都是全量拷貝，而rsync可以增量拷貝。此外，利用Rsync還可以實現刪除文件和目錄功能，這又相當於rm命令。
一個rsync相當於scp，cp，rm，並且優於他們每一個命令。
在同步備份數據時，默認情況下，Rsync通過其獨特的」quick check」演算法，它僅同步大小或者最後修改時間發生變化的文件或目錄，當然也可以根據許可權，屬主等屬性的變化同步，但需要制定相應的參數，甚至可以實現只同步一個文件里有變化的內容部分，所以，可以實現快速的同步備份數據。
Rsync2.x和rsync3.x差異
# CentOS5,rsync2.x對比方法，把所有的文件對比一遍，然後進行同步。
# CentOS6,rsync3.x對比方法，一邊對比差異，一邊對差異的部分進行同步。
rsync特性
# 支援拷貝特殊文件如鏈接文件，設備等。
# 可以有排除指定文件或目錄同步的功能，相當於打包命令tar的排除功能。
# 可以做到保持源文件或目錄的許可權、時間、軟硬鏈接、屬主、組等所有屬性均不改變-p。
# 可以實現增量同步，既只同步發生變化的數據，因此數據傳輸效率很高。
# 可以使用rcp,rsh,ssh等方式來配合傳輸文件（rsync本身對數據不加密）。
# 可以通過sockert（進程方式）傳輸文件和數據（服務端和客戶端）。
# 支援匿名或認證（無需系統用戶）的進程模式傳輸，可實現方便安全的進行數據備份及鏡像。
# 注意：需要注意拷貝的時候源目錄加「/」和不加「/」的區別（加「/」表示只拷貝該目錄之下的文件；不加「/」表示連該目錄一起拷貝）
rsync應用場景
定時備份
# 可以通過crond + rsync 來實現
實時備份
# 可以通過inotify（sersync）+ rsync來實現
inotify使用
作為客戶端命令，常用參數如下
inotify命令參數
# -avz --多個參數的集合
# -v, --verbose 詳細模式輸出，傳輸時的進度等資訊
# -z， --compress 傳輸時進行壓縮以提高傳輸效率,--compress-level=NUM可按級別壓縮。
# -a，--archive 歸檔模式，表示以遞歸方式傳輸文件，並保持所有文件屬性，等於-rtopgDl
# -r，--recursive 對子目錄以遞歸模式，即目錄下所有目錄有同樣傳輸
# -t，--times，保持文件時間資訊
# -o，--owner 保持文件屬主資訊
# -p，--perms 保持文件許可權
# -g，--group 保持文件屬組資訊
# -P，--progress 顯示同步的過程及傳世時的進度等資訊（大寫的P）
# -D，devices 保持設備文件資訊
# -l，--links 保持軟鏈接
# -e，--rsh=COMMAND 使用的信道協議，指替代rsh的shell程式。例如:ssh
# -exclude=PATTERN指排斥不需要傳輸的文件模式
# --bwlimit=RATE 限速，默認是以kbit/s為單位
# --delete --刪除（本地沒有，遠端也沒有），讓目標目錄SRC和源目錄數據DST一致，適用於兩個目錄完全一樣
innotify的三種工作模式之本地模式
Rsync的本地模式，即將本地系統的文件或目錄從一個目錄移動到另外一個目錄中，相當於一個系統命令來使用（不常用）。
命令格式
# rsync [OPTION...]SRC... [DEST]
Example
[root@jenkins data]# echo 1234 > test1.txt
[root@jenkins data]# ls
test1.txt
[root@jenkins data]# rsync /data/test1.txt /data/test2.txt
[root@jenkins data]# cat /data/test2.txt
1234
innotify的三種工作模式之shell模式
Rsync的遠程shell模式，即將本地系統文件或目錄從一台伺服器傳輸向另外一台伺服器，類似於scp命令。既可以推送數據到其他伺服器，也可以下拉文件到本地。（該模式也不常用）
命令格式
# Pull: rsync[OPTION...] [USER@]HOST:SRC... [DEST]
# Push: rsync[OPTION...] SRC... [USER@]HOST:DEST
Example: 將一個文件傳輸到另一台伺服器
[root@client data]# rsync -avz /data/test1.txt [email protected]:/root/
[email protected]'s password:
sending incremental file list
test1.txt
sent 97 bytes received 35 bytes 37.71 bytes/sec
total size is 5 speedup is 0.04
[root@server ~]# cat test1.txt
1234
Example: 將一台主機的文件下載到本地
[root@client data]# rsync -avz 39.108.140.0:/root/test1.txt /data/test3.txt
[email protected]'s password:
receiving incremental file list
test1.txt
sent 43 bytes received 97 bytes 56.00 bytes/sec
total size is 5 speedup is 0.04
[root@client data]# cat test3.txt
1234
加密傳輸(隧道傳輸)
Rsync的傳輸協議默認是不加密的明文傳輸，如果有加密傳輸文件的需求，可以自定義加密管道管道協議。使用參數：-e來指定相應的管道協議。
Example: 跨主機加密傳輸文件，指定ssh協議
[root@client data]# rsync -avz /etc/hosts -e 'ssh -p 22' [email protected]:
[email protected]'s password:
sending incremental file list
sent 43 bytes received 12 bytes 22.00 bytes/sec
total size is 211 speedup is 3.84
# -e 指定加密協議以及協議埠號
限速傳輸
Rsync的傳輸默認是不限速的，傳輸時可能會佔用很大的網路頻寬，影響業務正常使用。可以使用參數：-bwlimit來限制傳輸時的網路頻寬
Example: 傳輸時限速為1M/s
[root@client data]# dd if=/dev/zero of=test bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00811283 s, 1.3 GB/s
[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1
# 不限速
[root@client data]# rsync -avz /data/test -e 'ssh -p 22' [email protected]:/data
[email protected]'s password:
sending incremental file list
test
sent 10,293 bytes received 35 bytes 2,950.86 bytes/sec
total size is 10,485,760 speedup is 1,015.27
# 限速
[root@client data]# rsync -avz /data/test -e 'ssh -p 22' --bwlimit=1 [email protected]:/data
[email protected]'s password:
sending incremental file list
test
sent 10,293 bytes received 35 bytes 826.24 bytes/sec
total size is 10,485,760 speedup is 1,015.27
# bwlimit的參數默認為1K bits/s
文件備份需要注意的事項
# 1. 備份需要考慮頻寬限速(rsync,scp,ftp都有限速功能)
# 2. 備份需要選擇業務低谷
innotify的三種工作模式之Daemon模式
Daemon，即守護進程。該模式是在一台rsync伺服器上安裝並運行一個rsync的服務進程，其他的客戶端通過rsync命令上傳文件到伺服器中。該模式是rsync最常用的功能，用來做數據的定時或者實時備份，下面來具體安裝和介紹daemon模式。
Daemon模式的安裝與配置
環境清單
| 節點名 | IP | 軟體版本 | 硬體 | 網路 | 說明 |
|---|---|---|---|---|---|
| server | 39.108.140.0 | rsync-3.1.2 | 1C2G | 阿里雲 | 測試環境 |
| Client | 47.95.119.205 | rsync-3.1.2 | 1C2G | 阿里雲 | 測試環境 |
安裝
[root@server data]# yum -y install rsync
[root@server data]# rpm -qa |grep rsync
rsync-3.1.2-10.el7.x86_64
配置服務端
修改/etc/rsyncd.conf
該配置文件時rsync伺服器端默認的配置文件，該文件默認不存在，需要自己手動創建！填入內容如下：
cat rsyncd.conf
uid = rsync # 配置用戶，遠端命令要使用rsync用戶訪問共享目錄(訪問目錄的許可權)
gid = rsync # 配置rsync服務程式的用戶組
use chroot = no # 安全相關
max connections = 200 # 設置最大連接數
timeout = 300 # 設置超時時間
pid file = /var/run/rsyncd.pid # 定義進程文件
lock file = /var/run/rsync.lock # 定義鎖文件
log file = /var/log/rsyncd.log # 定義日誌文件
[backup] # 配置一個數據存儲的模組
path = /data # 模組備份數據路徑
ignore errors
read only = false
list = false
hosts allow = 47.95.119.205,172.25.1.0/24 # 配置登錄許可權，可以多個IP網段用逗號隔開
#hosts deny = 0.0.0.0/32
auth users = rsync_backup # 配置匿名服務登錄用戶(訪問服務的許可權)
secrets file = /etc/rsync.password # 配置匿名用戶和密碼文件
配置用戶
# 創建用戶名為rsync的用戶，只讓其運行程式，不給其登錄系統的許可權以及家目錄
[root@server data]# useradd rsync -s /sbin/nologin -M
[root@server data]# tail -1 /etc/passwd
rsync:x:1001:1001::/home/rsync:/sbin/nologin
配置存儲路徑
創建目錄/data，並將其所屬用戶和用戶組修改為rsync，因為程式需要用rsync用戶來訪問這個目錄，如果rsync沒有許可權訪問該目錄，那麼客戶端也無法上傳文件到備份數據目錄。命令如下：
[root@server data]# mkdir /data/ -p
[root@server data]# chown rsync:rsync /data/
[root@server data]# ls -ld /data/
drwxr-xr-x 2 rsync rsync 4096 Jul 29 23:12 /data/
配置虛擬用戶文件
/etc/rsync.password
rsync有一個重要的特性，就是可以使用一個虛擬的用戶（不是實際存在的用戶）來訪問系統服務。為了使用這個功能，我們需要創建一個虛擬的用戶文件，該文件已經在rsyncd.conf配置文件裡面的secrets file定義好了，是/etc/rsync.password文件
[root@server data]# echo "rsync_backup:youmen" > /etc/rsync.password
[root@server data]# cat /etc/rsync.password
rsync_backup:youmen
[root@server data]# chmod 600 /etc/rsync.password
# 文件創建完成之後，需要修改文件的許可權屬性為600，否則程式無法正常運行
配置開機自啟動
[root@server data]# echo '/usr/bin/rsync --daemon' >> /etc/rc.local
[root@server data]# tail -1 /etc/rc.local
/usr/bin/rsync --daemon
配置客戶端
/etc/rsync.password
相對於伺服器端來說，客戶端的配置很簡單，只需要創建一個密碼文件就行了。這個密碼文件也是默認不存在，需要手動創建。
[root@client data]# echo "youmen" > /etc/rsync.password
[root@client data]# cat /etc/rsync.password
youmen
[root@client data]# chmod 600 /etc/rsync.password
[root@client data]# ls -l /etc/rsync.password
-rw------- 1 root root 7 Jul 29 23:29 /etc/rsync.password
使用rsync
啟動並驗證服務
[root@server data]# rsync --daemon
[root@server data]# ss -atnlp |grep 873
LISTEN 0 5 *:873 *:* users:(("rsync",pid=25230,fd=3))
LISTEN 0 5 :::873 :::* users:(("rsync",pid=25230,fd=5))
# 重啟
[root@server data]# pkill rsync
[root@server data]# rsync --daemon
同步數據
命令格式
# 下載: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
# rsync [OPTION...]rsync://[USER@]HOST[:PORT]/SRC... [DEST]
# 上傳: rsync [OPTION...] SRC... [USER@]HOST::DEST
# rsync [OPTION...] SRC...rsync://[USER@]HOST[:PORT]/DEST
創建測試數據
客戶端
[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1
[root@client data]# ls
10.dat 2.dat 4.dat 6.dat 8.dat
1.dat 3.dat 5.dat 7.dat 9.dat
服務端
[root@server data]# seq 2 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 0.000147976 s, 6.9 MB/s
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 9.5039e-05 s, 10.8 MB/s
[root@server data]# ls
1.dat 2.dat
下載數據測試
Example1
