如何安放你的大文件,MongoDB GridFS可以幫助你
1 簡介
眾所周知(你不知也當你知),MongoDB是以文檔(Document)組織數據的。除了常用於存儲Json數據,它也是可以存儲普通文件的。我們可以把一些文件以BSOON的格式存入MongoDB,十分方便,比較說圖片、文本文件等。但MongoDB的BSON Document有大小限制,最大不能超過16MB。這對我們存儲大文件是不方便的。還好,MongoDB為我們提供了GridFS文件存儲組件,讓我們可以存儲超過16MB的文件,小文件當然也可以了。接下來讓我們一起學習一下這個GridFS存儲。
2 基本原理與概念
GridFS原理比較簡單,就是把大文件拆成小文件來存儲而已。當我們存入一個文件時,默認使用集合fs.files和fs.chunks來存儲文件。其中fs.files存儲的是文件的資訊,fs.chunks用來存放文件內容,以BSON格式存放。
fs.files的一條記錄如下:
{
"_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
"length" : NumberLong(1048576),
"chunkSize" : 261120,
"uploadDate" : ISODate("2020-05-21T17:03:06.217Z"),
"filename" : "pkslow.txt",
"metadata" : {}
}
欄位解釋:
_id:主鍵ID;
length:文件大小;
chunkSize:chunk的大小,決定要分幾個chunk來存放文件;
uploadDate:文件上傳時間;
filename:文件名;
metadata:文件其它資訊,可以自定義加上,這樣有利於後續的檢索和使用等。
fs.chunks的一條記錄如下:
{
"_id" : ObjectId("5ec6b44af3760d5999bd1c94"),
"files_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
"n" : 2,
"data" : { "$binary" : "xxxxxxxxx", "$type" : "00" }
}
欄位解釋:
_id:主鍵ID;
files_id:所存內容對應的文件ID,可以看到與fs._id的值是一樣的;
n:第幾個chunk的索引,從0開始;
data:文件內容;
從感觀上看了兩個集合的欄位,相信大家基本知道GridFS是怎麼組織數據的了。當我們存入一個文件時,如果文件較小,小於chunkSize,則會把文件資訊存入fs.files,只有一條記錄;文件內容會存入fs.chunks,也只有一條記錄。如果存的文件大於chunkSize,也會在fs.files生成一條記錄,但在fs.chunks中會生成多條記錄來存放文件內容。如下圖所示:

MongoDB為我們建立了相關索引,可以加速查詢,如fs.files的文件名和上傳時間;fs.chunks的文件ID和n。
3 常用mongofiles命令
講了基本原理,我們來實際操作一下,使用MongoDB給我們準備好的命令來做一些操作。當然,首先要有一個安裝好的資料庫,可以參考《用Docker安裝一個MongoDB最新版玩玩》。
我們都是使用mongofiles命令進行操作的,需要指定比較多的參考,例如下面的命令用於列出所有文件:
mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb list
為了不要每次都輸入這麼長的命令,我們加個別名:
alias mf='mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb'
列出文件:
mf list
存入文件:存入的文件名與本地文件名一樣。
mf put pksow.txt
讀取文件:
mf get pkslow.txt
查找文件:
mf search pkslow
刪除文件:
mf delete pkslow.txt
指定自定義文件名:
mf --local pkslow.txt put /com/pkslow.txt
4 總結
發揮你的想像力,GridFS能做的事很多,存圖片、音頻、影片等,有時我們只想查看大文件的部分內容,也能方便實現。
註:本文使用的MongoDB版本為4.2.1。
歡迎訪問南瓜慢說 www.pkslow.com獲取更多精彩文章!
歡迎關注微信公眾號<南瓜慢說>,將持續為你更新…

多讀書,多分享;多寫作,多整理。


