rsync+sersync數據同步
- 2019 年 10 月 6 日
- 筆記
RSYNC數據備份
RSYNC=Remote Sync 遠程同步 高效，一定要結合shell.
官方網站：https://rsync.samba.org/
Author： Andrew Tridgell, Wayne Davison, and others
Andrew Tridgell是Samba項目的領導者和主要開發人員，同時還在參與開發rsync、Linux Kernel。
#rsync —version #查看rsync版本，可以看到相關作者相信
rsync version 3.0.6 protocol version 30
Copyright (C)1996–2009 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
與SCP的比較：scp=無法備份大量數據，類似windows的複製
rsync=邊複製 ，邊統計，邊比較
Rysnc特性和優點
可以鏡像保存整個目錄樹和文件系統。
可以很容易做到保持原來文件的許可權、時間、軟硬鏈接等等。
無須特殊許可權即可安裝。
快速：第一次同步時 rsync 會複製全部內容，但在下一次只傳輸修改過的文件。
壓縮傳輸：rsync 在傳輸數據的過程中可以實行壓縮及解壓縮操作，因此可以使用更少的頻寬。
安全：可以使用scp、ssh等方式來傳輸文件，當然也可以通過直接的socket連接。
支援匿名傳輸，以方便進行網站鏡象。
選擇性保持：符號連接，硬鏈接，文件屬性，許可權，時間等
常見備份分類
完整備份，差異備份，增量備份
完整備份：每次備份都是從備份源將所有的文件或目錄備份到目的地
差量備份：備份上次完全備份以後有變化的數據(他針對的上次的完全備份,他備份過程中不清除存檔屬性)
增量備份：備份上次備份以後有變化的數據.(他才不管是那種類型的備份,有變化的數據就備份,他會清除存檔屬性)
運行模式和埠
採用C/S模式（客戶端/伺服器模式）[ 就是一個點到點的傳輸，直接使用rsync命令 ]
埠873
發起端和備份源
四個名詞的解釋：
發起端：負責發起rsync同步操作的客戶機叫做發起端，通知伺服器我要備份你的數據
備份源：負責相應來自客戶機rsync同步操作的伺服器腳在備份源，需要備份的伺服器
服務端：運行rsyncd服務，一般來說，需要備份的伺服器
客戶端：存放備份數據
數據同步方式
推push：一台主機負責把數據傳送給其他主機，伺服器開銷很大，比較適合後端伺服器少的情況
拉pull：所有主機定時去找一主機拉數據，可能就會導致數據緩慢
推：目的主機配置為rsync伺服器，源主機周期性的使用rsync命令把要同步的目錄推過去（需要備份的機器是客戶端，存儲備份的機器是服務端）
拉：源主機配置為rsync伺服器，目的主機周期性的使用rsync命令把要同步的目錄拉過來（需要備份的機器是服務端，存儲備份的機器是客戶端）
兩種方案，rsync都有對應的命令來實現
Xinetd管理Rsync工作原理
使用rsync來同步是先通過xinetd監聽873號埠，如果rsync進來的是873號埠，那麼xinetd就會通知它所管轄的rsync服務來做回應，接下來就是rsync倆服務於之間的通訊
Rsync服務安裝
實驗拓撲：
（源主機172.17.120.54）====（目標主機 172.17.120.55）
Rsync服務依賴Xinetd，是使用超級服務來管理的
需要在目標機器上安裝rsync服務端
[172.17.120.54-55]#yum -y install xinetd rsync
[172.17.120.55]#rsync –daemon
[172.17.120.55]#netstat -antup | grep 873
tcp 0 0:::873 :::* LISTEN 2349/xinetd
Rsync命令
rsync命令和scp命令很相似
-a, –archive archive mode 許可權保存模式,相當於 -rlptgoD 參數，存檔，遞歸，保持屬性等
-r, –recursive 複製所有下面的資料，遞歸處理
-p, –perms 保留檔案許可權 ，文件原有屬性
-t, –times 保留時間點，文件原有時間
-g, –group 保留原有屬組
-o, –owner 保留檔案所有者(root only)
-D, –devices 保留device資訊(root only)
-l, –links 複製所有的連接 ，拷貝連接文件
-z, –compress 壓縮模式, 當資料在傳送到目的端進行檔案壓縮.
-H, –hard-links 保留硬鏈接文件
-A, –acls 保留ACL屬性文件，需要配合–perms
-P,-P參數和 –partial –progress 相同.只是為了把參數簡單化,表示傳進度
–version， 輸出rsync版本
-v , –verbose 複雜的輸出資訊
-u, –update 僅僅進行更新，也就是跳過已經存在的目標位置，並且文件時間要晚於要備份的文件，不覆蓋新的文件
–port=PORT， 定義rsyncd(daemon)要運行的port(預設為tcp 873)
–delete， 刪除那些目標位置有的文件而備份源沒有的文件
–password-file=FILE ，從 FILE 中得到密碼
–bwlimit=KBPS， 限制 I/O 頻寬
–filter 「-filename」，需要過濾的文件
–exclude=filname，需要過濾的文件
–progress，顯示備份過程
常用的 –avz
使用rsync備份數據
對A機器：172.17.120.54網站根目錄的/var/www/html/目錄備份到B機器：172.17.120.55的/tmp/test/
源伺服器:172.17.120.54
目標伺服器:172.17.120.55
創建測試數據
[172.17.120.54]# mkdir /var/www/html/
[172.17.120.54]# cp -r /boot/* /var/www/html/ //boot目錄下的所有數據作為測試數據
[172.17.120.55]# mkdir /tmp/test
[172.17.120.54]# rsync -avz –delete /var/www/html/ [email protected]:/tmp/test/
rsyncd.conf配置文件
配置文件分為兩部分：全局參數，模組參數
全局參數：對rsync伺服器生效，如果模組參數和全局參數衝突，衝突的地方模組參數生效
模組參數：定義需要通過rsync輸出的目錄定義的參數
常見的全局參數：
port #→指定後台程式使用的埠號，默認為873。
uid #→該選項指定當該模組傳輸文件時守護進程應該具有的uid，配合gid選項使用可以確定哪些可以訪問怎麼樣的文件許可權，默認值是" nobody"。
gid #→該選項指定當該模組傳輸文件時守護進程應該具有的gid。默認值為" nobody"。
max connections #→指定該模組的最大並發連接數量以保護伺服器，超過限制的連接請求將被告知隨後再試。默認值是0，也就是沒有限制。
lock file #→指定支援max connections參數的鎖文件，默認值是/var/run/rsyncd.lock。
motd file #→" motd file"參數用來指定一個消息文件，當客戶連接伺服器時該文件的內容顯示給客戶，默認
是沒有motd文件的。
log file #→" log file"指定rsync的日誌文件，而不將日誌發送給syslog。
pid file #→指定rsync的pid文件，通常指定為「/var/run/rsyncd.pid」，存放進程ID的文件位置。
hosts allow = #→單個IP地址或網路地址 //允許訪問的客戶機地址
常見的模組參數：主要是定義伺服器哪個要被同步輸出，其格式必須為「 [ 共享模組名 ]」 形式，這個名字就是在 rsync 客戶端看到的名字，其實很像 Samba 伺服器提供的共享名。而伺服器真正同步的數據是通過 path 來指定的。
Comment #→給模組指定一個描述，該描述連同模組名在客戶連接得到模組列表時顯示給客戶。默認沒有描述定義。
Path #→指定該模組的供備份的目錄樹路徑，該參數是必須指定的。
read only #→yes為只允許下載，no為可以下載和上傳文件到伺服器
exclude #→用來指定多個由空格隔開的多個文件或目錄(相對路徑)，將其添加到exclude列表中。這等同於在客戶端命令中使用―exclude或—-filter來指定某些文件或目錄不下載或上傳(既不可訪問)
exclude from #→指定一個包含exclude模式的定義的文件名，伺服器從該文件中讀取exclude列表定義，每個文件或目錄需要佔用一行
include #→用來指定不排除符合要求的文件或目錄。這等同於在客戶端命令中使用–include來指定模式，結合include和exclude可以定義複雜的exclude/include規則。
include from #→指定一個包含include模式的定義的文件名，伺服器從該文件中讀取include列表定義。
auth users #→該選項指定由空格或逗號分隔的用戶名列表，只有這些用戶才允許連接該模組。這裡的用戶和系統用戶沒有任何關係。如果" auth users"被設置，那麼客戶端發出對該模組的連接請求以後會被rsync請求challenged進行驗證身份這裡使用的challenge/response認證協議。用戶的名和密碼以明文方式存放在" secrets file"選項指定的文件中。默認情況下無需密碼就可以連接模組(也就是匿名方式)。
secrets file #→該選項指定一個包含定義用戶名:密碼對的文件。只有在" auth users"被定義時，該文件才有作用。文件每行包含一個username:passwd對。一般來說密碼最好不要超過8個字元。沒有默認的secures file名，注意：該文件的許可權一定要是600，否則客戶端將不能連接伺服器。
hosts allow #→指定哪些IP的客戶允許連接該模組。定義可以是以下形式：
單個IP地址，例如：192.167.0.1，多個IP或網段需要用空格隔開，
整個網段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0
「*」則表示所有，默認是允許所有主機連接。
hosts deny #→指定不允許連接rsync伺服器的機器，可以使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義。
list #→該選項設定當客戶請求可以使用的模組列表時，該模組是否應該被列出。如果設置該選項為false，
可以創建隱藏的模組。默認值是true。
timeout #→通過該選項可以覆蓋客戶指定的IP超時時間。通過該選項可以確保rsync伺服器不會永遠等待一個崩潰的客戶端。超時單位為秒鐘，0表示沒有超時定義，這也是默認值。對於匿名rsync伺服器來說，一個理想的數字是600。
用配置文件定義目錄輸出
[172.17.120.55]# vim /etc/rsyncd.conf //文件不存在，需要自己創建
uid = root #運行進程的身份
gid = root #運行進程的組
port = 873 #監聽埠
use chroot = no #是否囚牢，鎖定家目錄，rsync被黑之後，黑客無法再rsync運行的家目錄之外創建文件，選項設置為yes
max connections = 20 #最大連接數
pid file = /var/run/rsyncd.pid #進程PID，自動生成
lock file = /var/run/rsync.lock #指max connectios參數的鎖文件
log file = /var/log/rsyncd.log #日誌文件位置
[test] #共享模組名稱
path = /tmp/test #路徑
comment = rsync files #描述
ignore errors #指定在 rsync 伺服器上運行 delete 操作時是否忽略 I/O 錯誤
read only = no #設置服務端文件讀寫許可權
list = no #是否允許查看模組資訊
auth users = rsyncuser #備份的用戶，和系統用戶無關
secrets file =/etc/rsync.passwd #存放用戶的密碼文件，格式是 用戶名：密碼
創建用戶密碼
[172.17.120.55]# vim /etc/rsync.passwd
rsyncuser:password123
[172.17.120.55]# chmod 600 /etc/rsync.passwd //目錄權限必須是700或者600，否則的話身份驗證會失效，設置rsync user的時候
啟動服務測試
啟動rsync與xinetd服務
[172.17.120.54-55]#systemctl start xinetd #啟動xinetd服務
[172.17.120.55]#systemctl enable xinetd #將xinetd服務加入開機項
[172.17.120.55]#rsync –daemon –config=/etc/rsyncd.conf #載入配置文件rsyncd.conf啟動rsync服務
[172.17.120.55]#netstat -antup | grep :873
tcp 0 0:::873 :::* LISTEN 45089/xinetd
測試，rsync語法： rsync 選項 用戶名@備份源伺服器IP::共享模組名 目標目錄
[172.17.120.54]# rsync -avz –delete /var/www/html [email protected]::test
Password: #輸入密碼password123
密碼處理
新建一個文件保存好密碼，然後在rsync命令中使用–password-file指定此文件即可
[172.17.120.54]# vim /etc/rsync.passwd
password123
[172.17.120.54]# chmod 600 /etc/rsync.passwd
[172.17.120.54]#rsync -avz –delete /var/www/html [email protected]::test –password-file=/etc/rsync.passwd
腳本實現定時自動備份
[172.17.120.54]# vim autobackup.sh
#!/bin/bash
rsync -avz –delete /var/www/html [email protected]::test –password-file=/opt/passfile
[172.17.120.54]# chmod +x autobackup.sh
[172.17.120.54]# rm -rf /web-back/* //測試腳本
[172.17.120.54]# sh autobackup.sh
[172.17.120.54]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root
Rsync+sersync實現數據實時同步
- sersync+rsync原理
2、inotify和sersync同步的區別
- 配置sersync+rsync實現實時同步
一台裝sersync一台裝rsync服務
Sersync伺服器（數據源,源機器）：192.168.0.63
Rsync伺服器（備份端,目標機器）：192.168.0.64
一、為什麼要用rsync+sersync架構？
1、sersync是基於inotify開發的，類似於inotify-tools的工具
2、sersync可以記錄下被監聽目錄中發生變化的（包括增加、刪除、修改）具體某一個文件或者某一個目錄的名字，然後使用rsync同步的時候，只同步發生變化的文件或者目錄
二、rsync+inotify-tools與rsync+sersync架構的區別？
1、rsync+inotify-tools
a、inotify只能記錄下被監聽的目錄發生了變化（增，刪，改）並沒有把具體是哪個文件或者哪個目錄發生了變化記錄下來；
b、rsync在同步的時候，並不知道具體是哪個文件或目錄發生了變化，每次都是對整個目錄進行同步，當數據量很大時，整個目錄同步非常耗時（rsync要對整個目錄遍歷查找對比文件），因此效率很低
2、rsync+sersync
a、sersync可以記錄被監聽目錄中發生變化的（增，刪，改）具體某個文件或目錄的名字；
b、rsync在同步時，只同步發生變化的文件或目錄（每次發生變化的數據相對整個同步目錄數據來說很小，rsync在遍歷查找對比文件時，速度很快），因此效率很高。
同步過程：
1. 在同步伺服器上開啟sersync服務，sersync負責監控配置路徑中的文件系統事件變化；
2. 調用rsync命令把更新的文件同步到目標伺服器；
3. 需要在主伺服器配置sersync，在同步目標伺服器配置rsync server（注意：是rsync服務）
同步過程和原理：
1. 用戶實時的往sersync伺服器上寫入更新文件數據；
2. 此時需要在同步主伺服器上配置sersync服務；
3. 在另一台伺服器開啟rsync守護進程服務，以同步拉取來自sersync伺服器上的數據；
通過rsync的守護進程服務後可以發現，實際上sersync就是監控本地的數據寫入或更新事件；然後，在調用rsync客戶端的命令，將寫入或更新事件對應的文件通過rsync推送到目標伺服器
原機器上開始部署sersync服務
1、下載sersync
在google code下載sersync的可執行文件版本，裡面有配置文件與可執行文件
[172.17.120.54]#wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz（有時下載失敗，所有要本地留存才行）
上傳到伺服器 /opt 目錄下
[172.17.120.54]#tar xvf sersync2.5.4_64bit_binary_stable_final.tar.gz
[172.17.120.54]#mv GNU-Linux-x86 sersync
2、配置sersync
[172.17.120.54]# cp confxml.xml confxml.xml.bak
更改優化sersync配置文件：
修改24–28行
<sersync>
<localpath watch=「/var/www/html/"> #本地同步目錄
<remote ip=「172.17.120.55」 name="test"/> #rsync模組名稱
修改31–34行，認證部分【rsync密碼認證】
<rsync>
<commonParams params="-artuz"/>
<auth start="true" users="rsyncuser" passwordfile=「/tmp/test/"/>
<userDefinedPort start="false" port="874"/><!– port=874 –>
<timeout start="false" time="100"/><!– timeout=100 –>
<ssh start="false"/>
開啟sersync守護進程同步數據
[172.17.120.54]#/opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml
測試
在172.17.120.54 /var/www/html/ 目錄 增刪改目錄文件,
看172.17.120.55 /tmp/test/ 目錄的變化
[172.17.120.54]#watch ls -l
設置sersync監控開機自動執行
[172.17.120.54]#vi /etc/rc.d/rc.local #編輯，在最後添加一行
[172.17.120.54]#/opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml ＃設置開機自動運行腳本
添加腳本監控sersync是否正常運行
[172.17.120.54]#vi /opt/check_sersync.sh #編輯，添加以下程式碼
#!/bin/sh
sersync="/opt /sersync/sersync2"
confxml="/opt /sersync/confxml.xml"
status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi
[172.17.120.54]#chmod +x /opt /check_sersync.sh #添加腳本執行許可權
把這個腳本加到任務計劃,定期執行檢測
補充： 多實例情況
1、配置多個confxml.xml文件（比如：www、bbs、blog….等等）
2、根據不同的需求同步對應的實例文件
[172.17.120.54]#/opt/sersync/sersync2 -d -o /opt/sersync/www_confxml.xml
[172.17.120.54]#/opt/sersync/sersync2 -d -o /opt/sersync/bbs_confxml.xml
關於運維學習、分享、交流，筆者開通了微信公眾號【運維貓】，感興趣的朋友可以關注下，歡迎加入，建立屬於我們自己的小圈子，一起學運維知識。
