02 . MongoDB複製集,分片集,備份與恢復
複製集
MongoDB複製集RS(ReplicationSet): 基本構成是1主2從的結構，自帶互相監控投票機制(Raft(MongoDB)Paxos(mysql MGR 用的是變種))
如果發生主庫宕機, 複製集內部會進行投票選舉，選擇一個新的主庫替代原有主庫對外提供服務。同時複製集會自動通知。客戶端程序, 主庫已經發生切換了, 應用就會連接到新的主庫;
4.png
配置Replication Set
1 . 單台配置多實例
// 多套目錄
su - mongod
mkdir -p /mongodb/{28017,28018,28019,28020}/{conf,data,log,bin}
2 . 配置文件
cat > /mongodb/28017/conf/mongod.conf <<EOF
systemLog:
destination: file
path: /mongodb/28017/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/28017/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger: # 引擎功能有事務、行級鎖(4.0以後事務支持才完全)
engineConfig:
cacheSizeGB: 1 # 緩衝功能,緩衝區大小
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
net:
bindIp: 192.168.0.4,127.0.0.1
port: 28017
replication: # 複製集相關的配置
oplogSizeMB: 2048 # 和二進制相關的日誌，這裡設置兩個G
replSetName: my_repl # 複製集的名
EOF
cp /mongodb/28017/conf/mongod.conf /mongodb/28018/conf/mongod.conf
cp /mongodb/28017/conf/mongod.conf /mongodb/28019/conf/mongod.conf
cp /mongodb/28017/conf/mongod.conf /mongodb/28020/conf/mongod.conf
sed -i 's#28017#28018#g' /mongodb/28018/conf/mongod.conf
sed -i 's#28017#28019#g' /mongodb/28019/conf/mongod.conf
sed -i 's#28017#28020#g' /mongodb/28020/conf/mongod.conf
啟動多個實例
mongod -f /mongodb/28017/conf/mongod.conf
mongod -f /mongodb/28018/conf/mongod.conf
mongod -f /mongodb/28019/conf/mongod.conf
mongod -f /mongodb/28020/conf/mongod.conf
關閉多個示例
mongod -f /mongodb/28017/conf/mongod.conf --shutdown
mongod -f /mongodb/28018/conf/mongod.conf --shutdown
mongod -f /mongodb/28019/conf/mongod.conf --shutdown
mongod -f /mongodb/28020/conf/mongod.conf --shutdown
查看4個端口是否啟動成功
netstat -lnp|grep 280
配置普通複製集
1主2從
mongo --port 28017 admin
// _id和配置文件的replication.replSetName保持一致
config = {_id: 'my_repl', members: [
{_id: 0, host: '192.168.0.4:28017'},
{_id: 1, host: '192.168.0.4:28018'},
{_id: 2, host: '192.168.0.4:28019'}]
}
// 初始化
rs.initiate(config)
// 查詢複製集狀態
rs.status();
配置1主1從1個arbiter
arbiter節點：主要負責選主過程中的投票，但是不存儲任何數據，也不提供任何服務
mongo --port 28017 admin
config = {_id: 'my_repl', members: [
{_id: 0, host: '10.9.119.18:28017'},
{_id: 1, host: '10.9.119.18:28018'},
{_id: 2, host: '10.9.119.18:28019',"arbiterOnly":true}]
}
rs.initiate(config)
rs.status();
添加arbiter節點
連接到主節點
>rs.status(); 查看哪個是主節點"stateStr" : "PRIMARY"
mongo --port 28017 admin
添加仲裁節點
>rs.addArb("192.168.0.4:28020")
查看節點狀態
>rs.isMaster()
"hosts" : [
"192.168.0.4:28017",
"192.168.0.4:28018",
"192.168.0.4:28019"
],
"arbiters" : [
"192.168.0.4:28020"
],
刪除節點和新增節點
rs.remove("192.168.0.4:28018"); // 刪除一個節點
rs.isMaster() // 查看節點狀態
rs.add("192.168.0.4:28018")// 新增從節點
rs.isMaster() // 查看節點狀態
特殊從節點
介紹:
** arbiter節點：主要負責選主過程中的投票，但是不存儲任何數據，也不提供任何服務
hidden節點：隱藏節點，不參與選主，也不對外提供服務。
delay節點： 延時節點，數據落後於主庫一段時間，因為數據是延時的，也不應該提供服務或參與選主，所以通常會配合hidden(隱藏), 一般用來解決邏輯損壞問題;**
**一般情況下會將delay+hidden一起配置使用**
配置延時節點（一般延時節點也配置成hidden）
cfg=rs.conf()
cfg.members[2].priority=0 //這個[2]是什麼意思，從rs.conf()的"members"開始數(從0開始),跟id沒關係
cfg.members[2].hidden=true // 隱藏起來,不參與業務
cfg.members[2].slaveDelay=120 // 延時從庫
rs.reconfig(cfg)
>rs.conf(); 如以下的"_id" : 3 就是[2]
{
"_id" : "my_repl",
"version" : 4,
"protocolVersion" : NumberLong(1),
"members" : [
{
"_id" : 0,
"host" : "192.168.0.4:28017",
"arbiterOnly" : false,
"buildIndexes" : true,
"hidden" : false,
"priority" : 1,
"tags" : {
},
"slaveDelay" : NumberLong(0),
"votes" : 1
},
{
"_id" : 1,
"host" : "192.168.0.4:28018",
"arbiterOnly" : false,
"buildIndexes" : true,
"hidden" : false,
"priority" : 1,
"tags" : {
},
"slaveDelay" : NumberLong(0),
"votes" : 1
},
{
"_id" : 3,
"host" : "192.168.0.4:28020",
"arbiterOnly" : true,
"buildIndexes" : true,
"hidden" : false,
"priority" : 0,
"tags" : {
},
"slaveDelay" : NumberLong(0),
"votes" : 1
},
...
配置延時節點前
{
"_id" : 3,
"host" : "192.168.0.4:28020",
"arbiterOnly" : true,
"buildIndexes" : true,
"hidden" : false,
"priority" : 0,
"tags" : {
},
"slaveDelay" : NumberLong(0),
"votes" : 1
},
-----------------------------------------------------------------
配置延時節點後
{
"_id" : 3,
"host" : "192.168.0.4:28020",
"arbiterOnly" : true,
"buildIndexes" : true,
"hidden" : true,
"priority" : 0,
"tags" : {
},
"slaveDelay" : NumberLong(120),
"votes" : 1
},
取消延時節點配置
cfg=rs.conf()
cfg.members[2].priority=1
cfg.members[2].hidden=false
cfg.members[2].slaveDelay=0
rs.reconfig(cfg)
rs.conf()查看取消配置後
{
"_id" : 3,
"host" : "192.168.0.4:28020",
"arbiterOnly" : true,
"buildIndexes" : true,
"hidden" : false,
"priority" : 0,
"tags" : {
},
"slaveDelay" : NumberLong(0),
"votes" : 1
},
分片集群
分片集群原理
MongoDB Sharding Cluster 分片集群
分片是一種用於在多台計算機之間分配數據的方法; MongoDB使用分片來支持具有非常大的數據集和高吞吐量操作的部署;
具有大數據集或高吞吐量應用程序的數據庫系統可能會挑戰單個服務器的容量;
例如，高查詢率可能會耗盡服務器的CPU容量;
大於系統RAM的工作集大小會增加磁盤驅動器的I/O容量;
解決系統增長的方法有兩種：垂直縮放和水平縮放;
垂直擴展
涉及增加單個服務器的容量，例如使用功能更強大的CPU，添加更多RAM或增加存儲空間量, 可用技術的局限性可能會限制一台計算機對於給定的工作負載沒有足夠的功能, 此外, 基於雲的提供程序具有基於可用硬件配置的嚴格上限, 結果, 對於垂直縮放有實際的最大值;
水平擴展
涉及劃分系統數據集並在多台服務器上加載, 並添加其他服務器以根據需要增加容量, 雖然單台計算機的整體速度或容量可能不高，但是每台計算機只能處理全部工作量的一部分,因此與單台高速大容量服務器相比, 可能會提供更高的效率, 擴展部署的容量僅需要根據需要添加其他服務器, 這可以比單台機器的高端硬件降低總體成本, 折衷方案是增加基礎結構和部署維護的複雜性;
MongoDB通過分片(sharding)支持水平擴展
MongoDB分片集群由以下組件組成:
shard: 每個碎片包含碎片數據的子集; 每個分片都可以部署為[副本集(replica-set);
mongos: **mongos**充當查詢路由器, 在客戶端應用程序和分片群集之間提供接口;
config-servers: 配置服務器存儲集群的元數據和配置設置, 從MongoDB 3.4開始，配置服務器必須部署為副本集(CSRS);
分片集群中組件的交互:
3.png
如何存儲的
mongo的自動分片就是靠Chunk遷移,拆分實現;
2.png
均衡特性
chunk分裂及遷移
隨着數據增長,其中的數據大小超過了配置的chunk size, 默認是64M, 則這個chunk就會分裂成兩個, 數據的增長會讓chunk分裂的越來越多, 這時候, 各個shard上的chunk數量就會不平衡, 這時,mongos中的一個組件balancer就會執行自動平衡, 把chunk從chunk數量最多的shard節點挪到最少的節點;
1.png
分片鍵shard key
必須為分片 collection 定義分片鍵
基於一個或多個列( 類似一個索引)
分片鍵定義數據空間;
想像key space 類似一條線上一個點數據
一個key range是一條線上一段數據;
我們可以按照分片鍵進行Range和Hash分片;
分片注意事項
分片鍵是不可變
分片鍵必須有索引
分片鍵大小限制512bytes
分片鍵用於路由查詢
Mongo不接受已進行collection級分片的collection上插入無分片鍵的文檔(也不支持空值插入)
配置分片集群
機器規劃
10個實例：38017-38026
mongos：38017
config-servers: 3台構成的複製集（1主兩從，不支持arbiter）38018-38020（複製集名字configsvr）
shard:
sh1：38021-28023 （1主兩從，其中一個節點為arbiter，複製集名字sh1）
sh2：38024-38026 （1主兩從，其中一個節點為arbiter，複製集名字sh2）
shard複製集配置
// 創建目錄
mkdir -p /mongodb/{38021,38022,38023,38024,38025,38026}/{conf,data,log}
// 配置文件
---------------------------sh1---------------------------
cat > /mongodb/38021/conf/mongodb.conf<<EOF
systemLog:
destination: file
path: /mongodb/38021/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/38021/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
bindIp: 0.0.0.0
port: 38021
replication:
oplogSizeMB: 2048
replSetName: sh1
sharding:
clusterRole: shardsvr
processManagement:
fork: true
EOF
cp /mongodb/38021/conf/mongodb.conf /mongodb/38022/conf/
cp /mongodb/38021/conf/mongodb.conf /mongodb/38023/conf/
sed -i 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf
sed -i 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf
---------------------------sh2---------------------------
cat > /mongodb/38024/conf/mongodb.conf<<EOF
systemLog:
destination: file
path: /mongodb/38024/log/mongodb.log
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/38024/data
directoryPerDB: true
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
bindIp: 0.0.0.0
port: 38024
replication:
oplogSizeMB: 2048
replSetName: sh2
sharding:
clusterRole: shardsvr
processManagement:
fork: true
EOF
cp /mongodb/38024/conf/mongodb.conf /mongodb/38025/conf/
cp /mongodb/38024/conf/mongodb.conf /mongodb/38026/conf/
sed -i 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf
sed -i 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf
啟動所有節點
mongod -f /mongodb/38021/conf/mongodb.conf
mongod -f /mongodb/38022/conf/mongodb.conf
mongod -f /mongodb/38023/conf/mongodb.conf
mongod -f /mongodb/38024/conf/mongodb.conf
mongod -f /mongodb/38025/conf/mongodb.conf
mongod -f /mongodb/38026/conf/mongodb.conf
搭建複製集
---------------------------sh1---------------------------
mongo --port 38021 admin
config = {_id: 'sh1', members: [
{_id: 0, host: '192.168.0.5:38021'},
{_id: 1, host: '192.168.0.5:38022'},
{_id: 2, host: '192.168.0.5:38023',"arbiterOnly":true}]
}
rs.initiate(config)
---------------------------sh2---------------------------
mongo --port 38024 admin
config = {_id: 'sh2', members: [
{_id: 0, host: '192.168.0.5:38024'},
{_id: 1, host: '192.168.0.5:38025'},
{_id: 2, host: '192.168.0.5:38026',"arbiterOnly":true}]
}
rs.initiate(config)
config-servers節點配置
** config-servers可以是一個節點，官方建議複製集。config-servers不能有arbiter;
mongodb 3.4之後，雖然要求config-servers為replica set，但是不支持arbiter;**
# 創建目錄
mkdir -p /mongodb/{38018,38019,38020}/{conf,data,log}
# 配置文件
cat > /mongodb/38018/conf/mongodb.conf <<EOF
systemLog:
destination: file
path: /mongodb/38018/log/mongodb.conf
logAppend: true
storage:
journal:
enabled: true
dbPath: /mongodb/38018/data
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
net:
bindIp: 0.0.0.0
port: 38018
replication:
oplogSizeMB: 2048
replSetName: configReplSet
sharding:
clusterRole: configsvr
processManagement:
fork: true
EOF
cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/
cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/
sed -i 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf
sed -i 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf
# 啟動所有節點
mongod -f /mongodb/38018/conf/mongodb.conf
mongod -f /mongodb/38019/conf/mongodb.conf
mongod -f /mongodb/38020/conf/mongodb.conf
# 配置複製集
mongo --port 38018 admin
config = {_id: 'configReplSet', members: [
{_id: 0, host: '192.168.0.5:38018'},
{_id: 1, host: '192.168.0.5:38019'},
{_id: 2, host: '192.168.0.5:38020'}]
}
rs.initiate(config)
mongos節點配置
# 創建目錄
mkdir -p /mongodb/38017/{conf,log}
# 配置文件
cat >/mongodb/38017/conf/mongos.conf<<EOF
systemLog:
destination: file
path: /mongodb/38017/log/mongos.log
logAppend: true
net:
bindIp: 0.0.0.0
port: 38017
sharding:
configDB: configReplSet/192.168.0.5:38018,192.168.0.5:38019,192.168.0.5:38020
processManagement:
fork: true
EOF
# 啟動mongos
mongos -f /mongodb/38017/conf/mongos.conf
# 連接到其中一個mongos的admin庫
mongo --port 38017 admin
# 添加分片
db.runCommand( { addshard : "sh1/192.168.0.5:38021,192.168.0.5:38022,192.168.0.5:38023",name:"shard1"} )
db.runCommand( { addshard : "sh2/192.168.0.5:38024,192.168.0.5:38025,192.168.0.5:38026",name:"shard2"} )
# 列出分片
db.runCommand( { listshards : 1 } )
# 分片集群整體狀態查看
sh.status();
分片策略
RANGE分片配置及測試
Ranged根據分片鍵值將數據劃分為多個範圍。然後，根據分片鍵值為每個塊分配一個範圍
test庫下的vast大表進行手工分片
# 激活數據庫分片功能
mongo --port 38017 admin
db.runCommand( { enablesharding : "test" } ) // ( { enablesharding : "數據庫名稱" } )
# 指定分片建對集合分片,創建索引
use test
>db.vast.ensureIndex( { id: 1 } )
# 開啟分片
use admin
>db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )
# 集合分片驗證
use test
>for(i=1;i<1000000;i++){ db.vast.insert({"id":i,"name":"ruan","age":23,"date":new Date()}); }
>db.vast.stats()
# 分片結果測試
連接sh1
mongo --port 38021
db.vast.count();
# 連接sh2
mongo --port 38024
db.vast.count();
哈希分片
哈希分片涉及計算分片鍵字段值的哈希值。然後，根據散列的分片鍵值為每個塊分配一個範圍;
注意：使用哈希索引解析查詢時，MongoDB自動計算哈希值。應用程序也不會需要計算哈希值;
對app庫下的vast大表進行hash;
# 連接到其中一個mongos
mongo --port 38017 admin
# 開啟數據庫分片功能
db.runCommand( { enablesharding : "app" } )
# 對app庫下的vast表建立hash索引
use app
db.vast.ensureIndex( { id: "hashed" } )
# 開啟分片
use admin
sh.shardCollection( "app.vast", { id: "hashed" } )
# 集合分片驗證
use app
for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"ruan","age":23,"date":new Date()}); }
# hash分片結果測試
# 連接sh1
mongo --port 38021
use app
db.vast.count();
# 連接sh2
mongo --port 38024
use app
db.vast.count();
分片操作
use admin
db.runCommand({ isdbgrid : 1}) # 判斷是否Shard集群
db.runCommand({ listshards : 1}) # 列出所有分片信息
db.printShardingStatus() # 查看分片的詳細信息
# 列出開啟分片的數據庫
use config
db.databases.find( { "partitioned": true } ) # 或者 db.databases.find() //列出所有數據庫分片情況
db.collections.find().pretty() # 查看分片的片鍵
# 刪除分片節點（謹慎）
sh.getBalancerState() 確認blance是否在工作
db.runCommand( { removeShard: "shard2" } ) # 刪除shard2節點(謹慎)
# 刪除操作一定會立即觸發blancer!!!
balancer操作
mongos的一個重要功能，自動巡查所有shard節點上的chunk的情況，自動做chunk遷移;
什麼時候工作？
** 1 . 自動運行，會檢測系統不繁忙的時候做遷移;
2 . 在做節點刪除的時候，立即開始遷移工作(生產刪除節點千萬避免業務高峰期) ;
3 . balancer只能在預設定的時間窗口內運行;**
關閉和開啟blancer（備份的時候）
mongos> sh.stopBalancer()
mongos> sh.startBalancer()
預設定的時間做balancer
連接到其中一個mongos
mongo --port 38017 admin
use config
sh.setBalancerState( true )
// 每天3-5點
db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )
sh.getBalancerWindow() // 查看balancer時間窗口
sh.status()
關於集合的balancer
關閉某個集合的balance
sh.disableBalancing("test.vast")
打開某個集合的balancer
sh.enableBalancing("test.vast")
確定某個集合的balance是開啟或者關閉
db.getSiblingDB("config").collections.findOne({_id : "test.vast"}).noBalance;
備份與恢復
備份工具
mongoexport/mongoimport 導入/導出的是JSON格式或者CSV格式
mongodump/mongorestore 導入/導出的是BSON格式
JSON可讀性強但體積較大，BSON則是二進制文件，體積小但對人類幾乎沒有可讀性
版本兼容性問題
在一些mongodb版本之間，BSON格式可能會隨版本不同而有所不同，所以不同版本之間用mongodump/mongorestore可能不會成功，具體要看版本之間的兼容性。當無法使用BSON進行跨版本的數據遷移的時候，使用JSON格式即mongoexport/mongoimport是一個可選項。
跨版本的mongodump/mongorestore個人並不推薦，實在要做請先檢查文檔看兩個版本是否兼容（大部分時候是不兼容的）
注意
JSON雖然具有較好的跨版本通用性，但其只保留了數據部分，不保留索引，賬戶等其他基礎信息。使用時應該注意;
應用場景
mongoexport/mongoimport
導入導出可以是json/csv
1 . 異構平台遷移 mysql <—> mongodb
2 . 同平台, 跨大版本：mongodb 2 <—> mongodb 3
mongodump/mongorestore
導入導出的是BSON格式,日常備份恢復時使用, 不同版本的BSON是不一樣的, 不能通用的;
導出工具mongoexport
Mongodb中的mongoexport工具可以把一個collection導出成JSON格式或CSV格式的文件。
可以通過參數指定導出的數據項，也可以根據指定的條件導出數據。
1 . 版本差異較大
** 2 . 異構平台數據遷移**
參數說明
mongoexport --help
# 參數說明：
-h:指明數據庫宿主機的IP
-u:指明數據庫的用戶名
-p:指明數據庫的密碼
-d:指明數據庫的名字
-c:指明collection的名字
-f:指明要導出那些列
-o:指明到要導出的文件名
-q:指明導出數據的過濾條件
--authenticationDatabase admin
單表備份至json格式
備份文件的名字可以自定義，默認導出了JSON格式的數據
mongoexport -h 127.0.0.1:27017 -uyoumen -pyoumen --authenticationDatabase admin -d app -c app -o /mongodb/bak/app.json
單表備份至csv格式
導出CSV格式的數據，需要使用–type=csv參數
-f導出的列頭
mongoexport -h 127.0.0.1:27017 -uyoumen -pyoumen --authenticationDatabase admin -d app -c app --type=csv -f id -o /mongodb/bak/app.csv
導入工具mongoimport
Mongodb中的mongoimport工具可以把一個特定格式文件中的內容導入到指定的collection中。該工具可以導入JSON格式數據，也可以導入CSV格式數據;
參數說明
mongoimport --help
# 參數說明：
-h:指明數據庫宿主機的IP
-u:指明數據庫的用戶名
-p:指明數據庫的密碼
-d:指明數據庫的名字
-c:指明collection的名字
-f:指明要導入那些列
-j, //並行多少CPU
恢復json格式表數據
mongoimport -h 127.0.0.1:27017 -uyoumen -pyoumen --authenticationDatabase admin -d app -c app /mongodb/bak/app.json
// -j 並行導入
恢復csv格式的文件
# csv格式的文件頭行，有列名字
mongoimport -uroot -padmin --port 27017 --authenticationDatabase admin -d app -c test2 --type=csv --headerline --file /mongodb/bak/app.csv
# csv格式的文件頭行，沒有列名字
mongoimport -uroot -padmin --port 27017 --authenticationDatabase admin -d app -c test3 --type=csv -f id --file /mongodb/bak/app.csv
異構平台遷移
mysql遷移mongodb
mysql開啟安全路徑
vim /etc/my.cnf --->添加以下配置
secure-file-priv=/tmp
重啟數據庫生效
systemctl restart mysql
導出mysql的表數據
select * from app.user into outfile '/tmp/user.csv' fields terminated by ',';
#fields terminated by ',' 字段間以,號分隔
#####其它參數
#optionally enclosed by '"' 字段用"號括起
#escaped by '"' 字段中使用的轉義符為"
#lines terminated by '\r\n'; 行以\r\n結束
處理csv文件
vim /tmp/user.csv ----> 添加對應第一行列名信息
mongodb中導入csv文件
mongoimport -uroot -padmin --port 27017 --authenticationDatabase admin -d app -c user --type=csv --headerline --file /tmp/user.csv
BSON工具介紹
mongodump能夠在Mongodb運行時進行備份，它的工作原理是對運行的Mongodb做查詢，然後將所有查到的文檔寫入磁盤。但是存在的問題時使用mongodump產生的備份不一定是數據庫的實時快照，如果我們在備份時對數據庫進行了寫入操作，則備份出來的文件可能不完全和Mongodb實時數據相等。另外在備份時可能會對其它客戶端性能產生不利的影響。
導出工具mongodump
參數說明
mongodump --help
參數說明：
-h:指明數據庫宿主機的IP
-u:指明數據庫的用戶名
-p:指明數據庫的密碼
-d:指明數據庫的名字
-c:指明collection的名字
-o:指明到要導出的文件名
-q:指明導出數據的過濾條件
-j n 並行n個CPU
--oplog 備份的同時備份oplog
全庫備份
mongodump -uroot -padmin --port 27017 --authenticationDatabase admin -o /mongodb/bak
備份單庫
mongodump -uroot -padmin --port 27017 --authenticationDatabase admin -d app -o /mongodb/bak
備份庫下的集合
mongodump -uroot -padmin --port 27017 --authenticationDatabase admin -d app -c test3 -o /mongodb/bak
壓縮備份
mongodump -uroot -padmin --port 27017 --authenticationDatabase admin -o /mongodb/bak --gzip
mongodump -uroot -padmin --port 27017 --authenticationDatabase admin -d app -o /mongodb/bak --gzip
mongodump -uroot -padmin --port 27017 --authenticationDatabase admin -d app -c test3 -o /mongodb/bak --gzip
導入工具mongorestore
參數說明
mongorestore --help
參數說明：
-h:指明數據庫宿主機的IP
-u:指明數據庫的用戶名
-p:指明數據庫的密碼
-d:指明數據庫的名字
-c:指明collection的名字
--drop表示恢復的時候把之前的集合drop掉(危險)
--oplogReplay 同時導入oplog文件
恢復全部
mongorestore -uroot -padmin --port 27017 --authenticationDatabase admin /mongodb/bak
恢復庫
mongorestore -uroot -padmin --port 27017 --authenticationDatabase admin -d app /mongodb/bak/app
恢復庫下的集合
mongorestore -uroot -padmin --port 27017 --authenticationDatabase admin -d app -c app /mongodb/bak/app/app.bson.gz
–drop恢復
mongorestore -uroot -padmin --port 27017 --authenticationDatabase admin -d app --drop /mongodb/bak/app
oplog介紹
mongodump和mongorestore對replica set或者master/slave使用
在replica set中oplog是一個定容集合（capped collection），它的默認大小是磁盤空間的5%（可以通過–oplogSizeMB參數修改）
oplog其中記錄的是整個mongod實例一段時間內數據庫的所有變更（插入/更新/刪除）操作。當空間用完時新記錄自動覆蓋最老的記錄。其覆蓋範圍被稱作oplog時間窗口。需要注意的是，因為oplog是一個定容集合，所以時間窗口能覆蓋的範圍會因為你單位時間內的更新次數不同而變化。
想要查看當前的oplog時間窗口預計值，可以使用以下命令：
> rs.printReplicationInfo()
configured oplog size: 2048MB <--集合大小
log length start to end: 60295secs (16.75hrs) <--預計窗口覆蓋時間
oplog first event time: Sat Apr 17 2021 00:26:26 GMT+0800 (CST)
oplog last event time: Sat Apr 17 2021 17:11:21 GMT+0800 (CST)
now: Sat Apr 17 2021 17:11:29 GMT+0800 (CST)
查看oplog的詳細信息
use local
db.oplog.rs.find().pretty()
oplog應用
實現熱備，在備份時使用–oplog選項，–oplog 會記錄備份過程中的數據變化，會以oplog.bson保存下來
mongodump --port 28017 --oplog -o /mongodb/bak
ls /mongodb/bak/
admin oplog.bson
恢復
mongorestore --port 28017 --oplogReplay /mongodb/bak
oplog使用示例
背景：每天0點全備，oplog恢復窗口為48小時
某天，上午10點業務表被誤刪除。
恢復思路：
1、停應用
2、找測試庫
3、恢復昨天晚上全備
4、截取全備之後到world.city誤刪除時間點的oplog，並恢復到測試庫
5、將誤刪除表導出，恢復到生產庫
恢復步驟
備份現有的oplog.rs表
mongodump --port 28017 -d local -c oplog.rs -o /mongodb/bak
截取oplog並恢復到drop之前的位置
mongo --port 28017
use local
db.oplog.rs.find({op:"c"}).pretty();
-----------------
op的值說明：
"i": insert
"u": update
"d": delete
"c": db cmd
假設誤刪命令是db.test.drop() 這裡選」c「做關鍵查詢
-----------------
獲取到oplog誤刪除時間點位置
"ts" : Timestamp(1111111111, 1) 獲取時間這一關鍵段
恢復備份+oplog.bson
ls /mongodb/bak/local/
oplog.rs.bson oplog.rs.metadata.json
cp /mongodb/bak/local/oplog.rs.bson /mongodb/bak/oplog.bson
rm -rf /mongodb/backup/local/
mongorestore --port 28018 --oplogReplay --oplogLimit "1111111111:1" --drop /mongodb/bak/
即可恢復誤刪的集合
分片集群的備份思路
要備份什麼？
config server
shard 節點
---單獨進行備份
備份有什麼困難和問題？
(1)chunk遷移的問題
人為控制在備份的時候，避開遷移的時間窗口
(2)shard節點之間的數據不在同一時間點。
選業務量較少的時候
