MongoDB資料庫的使用

• 2021 年 3 月 30 日
• 筆記

MongoDB是一個基於分散式 文件存儲的NoSQL資料庫，適合存儲JSON風格文件的形式。

• 三元素：資料庫、集合和文檔。

  • 文檔：對應著關係資料庫中的行，就是一個對象，由鍵值對構成，是json的擴展Bson形式，示例

    {'name':'guojing','gender':'男'}

  • 集合：類似於關係資料庫中的表，儲存多個文檔，結構不固定，示例

    {'name':'guojing','gender':'男'}
    {'name':'huangrong','age':18}
    {'book':'shuihuzhuan','heros':'108'}

一、環境安裝與運行

• 安裝

  sudo apt-get install mongodb

　　配置文件為 /etc/mongodb.conf，默認埠號:27017

• 啟動伺服器

  sudo service mongodb start  #相當於執行命令 sudo mongod --config /etc/mongod.conf

• 關閉伺服器

  sudo service mongodb stop

• 重啟伺服器

  sudo service mongodb restart #修改了配置文件/etc/mongodb.conf後,需要重啟mongodb伺服器讓配置生效

• 啟動客戶端

  sudo mongo

二、資料庫操作

• 查看當前資料庫

  db

• 查看所有資料庫

  show dbs

• 切換(或創建)資料庫

  use 資料庫名

  切換資料庫，如果資料庫不存在，當插入數據或創建集合時，會自動創建這個資料庫

• 刪除資料庫

  db.dropDatabase()

  刪除當前指向的資料庫，如果不存在，則什麼也不做

三、集合操作

• 創建

  db.createCollection(name[,options])
  #name集合名稱
  #options可選，是一個用於指定集合配置的文檔，其中capped參數默認不設置上限(false)，若設置上限（true）則需要指定參數size,單位位元組

  #不設置集合大小
  db.createCollection("stu")
  #設置集合大小
  db.createCollection("sub", { capped : true, size : 10 } )

• 查看當前資料庫集合

  show collections

• 刪除集合

  db.集合名.drop()

四、數據操作

• 插入

  db.集合名.insert(文檔) 或 db.集合名.insert([文檔...])
  #如果不指定_id欄位，則分配一個唯一的ObjectId；如果指定_id欄位，且_id已經存在時，不做任何操作；如果一次性插入多條數據，以數組的方式傳入文檔
  

  # 不指定_id
  db.stu.insert({name:'gj',gender:1})
  
  #指定_id
  s1={_id:'20160101',name:'hr'}
  s1.gender=0
  db.stu.insert(s1)

• 刪除–(注意justOne參數)

  db.集合名.remove(條件，{justone:<boolean>}) #參數justOne默認false，刪除多條

  # 只刪除匹配到的一條數據
  db.stu.remove({gender:0},{justOne:true})
  
  #刪除所有
  db.stu.remove({})

• 修改–(注意$set以及multi參數)

  db.集合名.update({條件}，$操作符，{multi: <boolean>}]) #參數multi只和$操作符一起使用，默認false，只修改一條數據，true表示修改多條數據

  # 不使用操作符$set，修改整條文檔
  db.stu.update({name:'hr'},{name:'mnc'})
  
  #使用操作符$set指定屬性修改
  db.stu.update({name:'hr'},{$set:{name:'hys'}})
  
  #multi參數和$set一起使用，修改多條文檔
  db.stu.update({},{$set:{gender:0}},{multi:true})

• 保存

  db.集合名.save(document) 
  #在手動插入_id欄位時，如果_id已經存在，做全文檔更新操作，其餘均表示插入數據。

  db.stu.save({_id:'20160102','name':'yk',gender:1})
  db.stu.save({_id:'20160102','name':'wyk'}) #對上述文檔做修改

• 查詢

  • 基本查詢

    db.集合名.find({條件文檔}) #查詢所有
    db.集合名.findOne({條件文檔}) #只查詢第一條
    db.集合名.find({條件文檔}).pretty() #結果格式化輸出

  • 比較運算符

    • 等於：默認，沒有運算符
    • 小於： $lt
    • 小於等於： $lte
    • 大於：$gt
    • 大於等於：$gte
    • 不等於：$ne

      #查詢年齡大於等於18的學生
      db.stu.find({"age":{$gte:18}})

  • 邏輯運算符

    • 邏輯與：默認
    • 邏輯或：$or

      # 查詢年齡大於或等於18，並且性別為1的學生
      db.stu.find({"age":{$gte:18},"gender":1})
      
      #查詢年齡大於18，或性別為0的學生
      db.stu.find({$or:[{"age":{$gt:18}},{"gender":1}]})
      
      #查詢年齡小於18或者大於20，性別為1的學生
      db.stu.find({$or:[{"age":{$lt:18}},{"age":{$gt:20}}],"gender":1})

  • 範圍運算符

    • 在某個範圍$in,後面接數組
    • 不在某個範圍$nin，後面接數組

      #查詢年齡18、20以及22歲的學生
      db.stu.find({"age":{$in:[18,20,22]}})
      
      #查詢年齡不等於18或20的學生
      db.stu.find({"age":{$nin:[18,20]}})

  • 正則表達式

    • 使用/表達式/或者$regex

      #查詢姓黃的學生
      db.stu.find({"name":/^黃/})
      db.stu.find({"name":{$regex:"^黃"}})

  • 自定義查詢

    • 使用$where:function(){return 滿足條件的數據表達式}——運算符使用js語法,比如邏輯與(&&)，邏輯或(||)

      #查詢年齡18-22的學生
      db.stu.find({$where:function(){return this.age>18 && this.age<22}})
      
      #查詢年齡小於18或者大於22的學生
      db.stu.find({$where:function(){return this.age<18 || this.age>22}})

  • 投影

    • 只顯示部分欄位

      db.集合名.find({條件},{欄位名:1,...}) #1表示該欄位顯示，0不顯示；_id列默認顯示，不顯示需要明確設置為0

      #查詢姓名和年齡(顯示_id)
      db.stu.find({},{name:1,gender:1})
      
      #查詢姓名和年齡(不顯示_id)
      db.stu.find({},{_id:0,name:1,gender:1})

  • skip

    • 跳過指定數量的文檔

      db.集合名.find({條件}).skip(number) #number默認為0

      #查詢從第3條開始的學生資訊
      db.stu.find().skip(2)

  • limit

    • 讀取指定數量的文檔

      db.集合名.find({條件}).limit(number) #不寫number參數，默認讀取所有文檔

      #讀取3條學生資訊
      db.stu.find().limit(3)

  • skip和limit合用

    • 不區分先後順序

      #查詢第5-9條學生資訊
      db.stu.find().skip(4).limit(5) #相當於跳過4條數據，選5條

  • sort

    • 對結果集進行排序

      db.集合名稱.find({條件}).sort({欄位:1,...}) #1表示升序，-1表示降序

      #根據性別降序，再根據年齡升序
      db.stu.find().sort({"gender":-1,"age":1})

  • count

    • 對結果集中文檔數目進行統計，返回整數

      db.集合名.find({條件}).count() 
      或者 
      db.集合名.count({條件})

      #統計年齡大於20的男生人數
      db.stu.count({"age":{$gt:20},"gender":1})

  • distinct

    • 對數據去重，返回的是一個列表

      db.集合名.distinct("欄位名",{條件}) 

五、聚合（aggregate）

• 聚合主要用於計算數據，類似sql中的sum()、avg()

  db.集合名.aggregate([{管道:{表達式}}...])

• 管道

  • 文檔處理完畢後，通過管道進行下一次處理

  • 常用管道：

    • $group：將集合中的文檔分組，可用於統計結果
    • $match：過濾數據，只輸出符合條件的文檔
    • $project：修改輸入文檔的結構，如重命名、增加、刪除欄位、創建計算結果
    • $sort：將輸入文檔排序後輸出
    • $limit：限制聚合管道返回的文檔數
    • $skip：跳過指定數量的文檔，並返回餘下的文檔
    • $unwind：將數組類型的欄位進行拆分

• 表達式

  • 處理輸入文檔並輸出

  • 語法：表達式:『$欄位名』

  • 常用表達式：

    • $sum：計算總和，$sum:’$欄位’表示求和，注意$sum:1表示計數，
    • $avg：計算平均值
    • $min：獲取最小值
    • $max：獲取最大值
    • $push：在結果文檔中插入值到一個數組中（以列表的方式顯示欄位值）
    • $first：根據資源文檔的排序獲取第一個文檔數據
    • $last：根據資源文檔的排序獲取最後一個文檔數據

• $group

  • 文檔分組，用於統計結果
  • _id表示分組的依據，使用某個欄位的格式為’$欄位’

    # 統計男、女生人數
    db.stu.aggregate([{$group:{"_id":'gender',"couter":{$sum:1}}}])
    #結果文檔中顯示_id和counter的值

  • _id按照null分組，會將集合中所有文檔分為一組

    # 求學生總人數和平均年齡
    db.stu.aggregate([{$group:{_id:null,counter:{$sum:1},average_age:{$avg:"$age"}}}])

  • 使用$$ROOT可以將文檔內容加入到結果集的數組中

    #統計男、女生資訊
    db.stu.aggregate([{$group:{_id:"$gender",objects:{$push:"$$ROOT"}}}])

• $match

  • 過濾數據，輸出符合條件文檔

    #查詢年齡大於20的學生
    db.stu.aggregate([{$match:{age:{$gt:20}}}])
    
    #查詢年齡大於20的男、女生人數
    db.stu.aggregate([{$match:{age:{$gt:20}}},{$group:{_id:"$gender",counter:{$sum:1}}}])

• $project

  • 修改輸出文檔的結構

    #查找學生姓名、年齡
    db.stu.aggregate([{$project:{"_id":0,"name":1,"age":1}}])
    
    #查詢男生、女生人數，但僅輸出人數
    db.stu.aggregate([{$group:{_id:'$gender',counter:{$sum:1}}},{$project:{_id:0,counter:1}}])

• $sort

  • 將輸入文檔排序後輸出

    #查詢學生資訊，按年齡升序
    db.stu.aggregate([{$sort:{age:1}}])
    
    #查詢男生、女生人數，按人數降序
    db.stu.aggregate([{$group:{_id:'$gender',counter:{$sum:1}},{$sort:{counter:-1}}])

• $limit

  • 限制聚合管道返回的文檔數

    #查詢2條學生資訊
    db.stu.aggregate([{$limit:2}])

• $skip

  • 跳過指定數量的文檔，並返回餘下的文檔，$skip和$limi合用時，注意先寫skip，再寫limit

    #查詢從第3條開始的學生資訊
    db.stu.aggregate([{$skip:2}])
    
    #統計男生、女生人數，按人數升序，取第二條數據
    db.stu.aggregate([{$group:{_id:"$gender",counter:{$sum:1}}},{$sort:{"counter":1}},{$skip:1},{$limit:1}])

• $unwind

  • 將文檔中的某一個數組類型欄位拆分成多條，每條包含數組中的一個值

    db.集合名稱.aggregate([{$unwind:'$欄位名稱'}]) 

六、索引

• 提升查詢速度

• 創建大量數據

  for(var i=0;i<1000000;i++){db.stu.insert({name:'test'+i,num:i})}

• 性能分析工具：explain(“executionStats”)

  查詢語句.explain("executionStats")

  ‘millis’後面顯示的是查詢時間，單位ms

• 建立索引

  db.集合.ensureIndex({屬性:1或-1}) #1表示升序，-1表示降序，建立後的索引名稱為"屬性_1"或者"屬性_-1"

  例如：db.stu.ensureIndex({name:1})，建立後的索引名稱為”name_1″

• 建立唯一索引

  db.集合.ensureIndex({屬性:1},{"unique":true})

• 建立聯合索引

  db.集合名.ensureIndex({屬性1:1，屬性2:1...})

• 查看索引

  db.集合名.getIndexes()

• 刪除索引

  db.集合名.dropIndex("索引名稱") 

七、資料庫安全

為了更安全的訪問mongodb，需要訪問者提供用戶名和密碼，於是需要在mongodb中創建用戶。mongodb資料庫採用了角色-用戶-資料庫的安全管理方式。

• 常用系統角色如下：

  • root：只在admin資料庫中可用，超級帳號，超級許可權
  • Read：允許用戶讀取指定資料庫
  • readWrite：允許用戶讀寫指定資料庫

• 創建超級管理用戶：

  use admin #首先切換到admin資料庫
  
  db.createUser({
      user:'用戶名',
      pwd:'密碼',
      roles:[{role:'root',db:'admin'}]
  })

• 啟用安全驗證

  • 修改配置文件( /etc/mongodb.conf)

    #noauth = true
    auth = true #開啟安全驗證

  • 重啟服務

    sudo service mongodb restart

  • 終端連接

    # sudo mongo -u '用戶名' -p '密碼' --authenticationDatabase '資料庫名' 
    sudo mongo -u 'admin' -p '密碼' --authenticationDatabase 'admin'

• 普通用戶管理

  • 首先使用超級管理員登陸，然後再進行用戶管理操作

  • 創建普通用戶

    db.createUser({
        user:'用戶名',
        pwd:'密碼',
        roles:[{role:'readWrite',db:'資料庫名'}...] #數組裡可以有多個角色文檔，比如用戶在不同的資料庫里都有讀寫許可權
    })

  • 查看當前資料庫的用戶

    show users

  • 修改用戶：可以修改pwd、roles屬性

    db.updateUser('用戶名',{pwd:'新密碼',roles:[{'新角色'}...]})

  • 刪除用戶

    use admin  #切換到admin資料庫
    db.system.users.remove(條件)

  • 終端連接

     sudo mongo -u '用戶名' -p '密碼' --authenticationDatabase '資料庫名' 

八、複製

複製提供了數據的冗餘備份，並在多個伺服器上存儲數據的副本，允許從硬體故障和服務中斷中恢複數據，能夠實現無宕機維護(自動故障轉移與自動恢復)。

複製至少需要2個節點，其中1個為主節點，其它均為從節點。任何節點均可以成為主節點。

主節點負責所有寫入操作，從節點定期輪詢主節點獲取這些操作並執行這些操作，從而保證從節點的數據與主節點一致。

• 設置複製節點

  • 創建資料庫文件存放目錄（自定義）

    mkdir ~/Desktop/t1
    mkdir ~/Desktop/t2

  • 使用如下格式啟動mongod，如果在同一台主機上，注意port不能相同，replSet的名稱必須是一致的(名稱可以自定義)

    sudo mongod --bind_ip 192.168.196.128 --port 27017 --dbpath ~/Desktop/t1 --replSet rs0
    sudo mongod --bind_ip 192.168.196.128 --port 27018 --dbpath ~/Desktop/t2 --replSet rs0

  • 連接主伺服器（自定義一個）

    sudo mongo --host 192.168.196.128 --port 27017

  • 初始化

    rs.initiate()

    哪個伺服器執行初始化，哪個伺服器就作為主節點，rs是mongo伺服器中專門用於複本集操作的內置對象

  • 查看當前狀態

    rs.status()

  • 添加副本集

    rs.add("192.168.127.128:8899")

  • 連接從伺服器

    sudo mongo --host 192.168.196.128 --port 27018

  • 從伺服器設置

    rs.slaveOk()

    主伺服器插入數據，從伺服器就可以讀取數據了

  • 刪除從節點

    rs.remove('192.168.196.128:27018') #需要在主伺服器操作

    關閉主伺服器後再重新啟動，會發現原來的從伺服器變為了主伺服器，新啟動的伺服器（原來的主伺服器）變為了從伺服器，但是注意重新設置rs.slaveOk()

九、備份與恢復

• 備份

  • 語法

    sudo mongodump -h 伺服器地址 -d 需要備份的資料庫 -o 備份數據存放目錄

    mkdir ~/Desktop/test1_bak #創建存放備份數據的目錄
    sudo mongodump -h 192.168.196.128:27017 -d test1 -o ~/Desktop/test1_bak

• 恢復

  • 語法

    sudo mongorestore -h 伺服器地址 -d 恢復後資料庫名 --dir 備份數據所在位置

    sudo mongorestore -h 192.168.196.128:27017 -d test2 --dir ~/Desktop/test1_bak/test1

十、python交互

• 安裝pymongo包

  sudo pip3 install pymongo

• 引入包

  import pymongo

• 建立連接並創建客戶端

  有安全認證：client=MongoClient("mongodb://用戶名：密碼@host:27017/資料庫名稱")
  無安全認證：client=MongoClient("mongodb://localhost: 27017")

• 獲得資料庫(以test資料庫為例)

  db = client.資料庫名
  例如：db = client.test

• 獲得集合stu

  stu = db.stu

• 數據操作

  • 查詢

    • find_one 查找單個文檔

      stu1 = stu.find_one({條件}) #返回一條文檔，字典類型

    • find 查找多個文檔

      cursor = stu.find({條件}) #返回迭代器對象cursor
      #方式1：用for循環迭代取值
      for s in cursor:
      print(s) #字典類型
      
      #方式2：用next取值
      s1 = next(cursor)
      s2 = next(cursor)
      ...

  • 插入

    • insert_one 插入一條文檔

      stu.insert_one(文檔)

    • insert_many 插入多條文檔

      stu.insert_many([文檔1，文檔2...])

  • 更新

    • update 更新匹配到的第一條整條文檔

      stu.update({條件}，文檔) #注意條件中的數字一定要寫成字元串類型

    • update_one 與$set一起使用，指定屬性修改匹配到的第一條文檔

      stu.update_one({條件},{$set:{文檔}})

    • update_many 與$set一起使用，指定屬性修改多條文檔

      stu.update_many({條件},{$set:{文檔}})

  • 刪除

    • delete_one 刪除單條文檔

      stu.delete_one({條件})

    • delete_many 刪除多條文檔

      stu.delete_many({條件})