043.集群存儲-共享存儲
- 2020 年 3 月 26 日
- 筆記
一 共享存儲
1.1 共享存儲作用
Kubernetes對於有狀態的容器應用或者對數據需要持久化的應用,不僅需要將容器內的目錄掛載到宿主機的目錄或者emptyDir臨時存儲卷,而且需要更加可靠的存儲來保存應用產生的重要數據,以便容器應用在重建之後仍然可以使用之前的數據。
1.2 共享存儲資源
為了能夠屏蔽底層存儲實現的細節,便於使用和管理,Kubernetes從1.0版本就引入PersistentVolume(PV)和PersistentVolumeClaim(PVC)兩個資源對象來實現對存儲的管理子系統。
PV是對底層網路共享存儲的抽象,將共享存儲定義為一種「資源」,比如Node也是一種容器應用可以「消費」的資源。PV由管理員創建和配置,它與共享存儲的具體實現直接相關,例如GlusterFS、iSCSI、RBD或GCE或AWS公有雲提供的共享存儲,通過插件式的機制完成與共享存儲的對接,以供應用訪問和使用。
PVC則是用戶對存儲資源的一個「申請」。就像Pod「消費」Node的資源一樣,PVC能夠「消費」PV資源。PVC可以申請特定的存儲空間和訪問模式。
若使用PVC「申請」到一定的存儲空間仍然不能滿足應用對存儲設備的需求。比如通常應用程式都會對存儲設備的特性和性能有不同的要求,包括讀寫速度、並發性能、數據冗餘等更高的要求,因此Kubernetes從1.4版本開始引入了一個新的資源對象StorageClass,用於標記存儲資源的特性和性能。
Kubernetes 1.6版本時,StorageClass和動態資源供應的機製得到了完善,實現了存儲卷的按需創建。通過StorageClass的定義,管理員可以將存儲資源定義為某種類別(Class),正如存儲設備對於自身的配置描述(Profile),例如「快速存儲」「慢速存儲」「有數據冗餘」「無數據冗餘」等。用戶根據StorageClass的描述就能夠直觀地得知各種存儲資源的特性,就可以根據應用對存儲資源的需求去申請存儲資源。
Kubernetes從1.9版本開始引入容器存儲介面Container Storage Interface(CSI)機制,目標是在Kubernetes和外部存儲系統之間建立一套標準的存儲管理介面,通過該介面為容器提供存儲服務,類似於CRI(容器運行時介面)和CNI(容器網路介面)。
二 PV
2.1 PV詳解
PV作為存儲資源,主要包括存儲能力、訪問模式、存儲類型、回收策略、後端存儲類型等關鍵資訊的設置。
示例1:如下聲明的PV具有如下屬性:5GiB存儲空間,訪問模式為ReadWriteOnce,存儲類型為slow(要求在系統中已存在名為slow的StorageClass),回收策略為Recycle,並且後端存儲類型為nfs(設置了NFS Server的IP地址和路徑)。
[root@k8smaster01 study]# vi nfspv01.yaml
1 apiVersion: v1 2 kind: PersistentVolume 3 metadata: 4 name: pv1 5 spec: 6 capacity: 7 storage: 5Gi 8 accessModes: 9 - ReadWriteOnce 10 persistentVolumeReclaimPolicy: Recycle 11 storageClassName: slow 12 nfs: 13 path: /tmp 14 server: 172.17.0.2
Kubernetes主要支援的PV類型如下:
- AWSElasticBlockStore:AWS公有雲提供的ElasticBlockStore。
- AzureFile:Azure公有雲提供的File。
- AzureDisk:Azure公有雲提供的Disk。
- CephFS:一種開源共享存儲系統。
- FC(FibreChannel):光纖存儲設備。
- FlexVolume:一種插件式的存儲機制。
- Flocker:一種開源共享存儲系統。
- GCEPersistentDisk:GCE公有雲提供的PersistentDisk。
- Glusterfs:一種開源共享存儲系統。
- HostPath:宿主機目錄,僅用於單機測試。
- iSCSI:iSCSI存儲設備。
- Local:本地存儲設備,從Kubernetes1.7版本引入,到1.14版本時更新為穩定版,目前可以通過指定塊(Block)設備提供LocalPV,或通過社區開發的sig-storage-local-static-provisioner插件(https://github.com/kubernetes-sigs/sigstorage-local-static-provisioner)來管理LocalPV的生命周期。
- NFS:網路文件系統。
- PortworxVolumes:Portworx提供的存儲服務。
- QuobyteVolumes:Quobyte提供的存儲服務。
- RBD(CephBlockDevice):Ceph塊存儲。
- ScaleIOVolumes:DellEMC的存儲設備。
- StorageOS:StorageOS提供的存儲服務。
- VsphereVolume:VMWare提供的存儲系統。
2.2 PV配置參數
- 存儲能力(Capacity)
描述存儲設備具備的能力,目前僅支援對存儲空間的設置(storage=xx),未來可能加入IOPS、吞吐率等指標的設置。
- 存儲卷模式(VolumeMode)
Kubernetes從1.13版本開始引入存儲卷類型的設置(volumeMode=xxx),可選項包括Filesystem(文件系統)和Block(塊設備),默認值為Filesystem。目前有以下PV類型支援塊設備類型:
- AWSElasticBlockStore
- AzureDisk
- FC
- GCEPersistentDisk
- iSCSI
- Localvolume
- RBD(CephBlockDevice)
- VsphereVolume(alpha)
示例1:使用塊設備的PV定義。
[root@k8smaster01 study]# vi blockpv01.yaml
1 apiVersion: v1 2 kind PersistentVolume 3 metadata: 4 name: block-pv 5 spec: 6 capacity: 7 storage: 10Gi 8 accessNodes: 9 - ReadWriteOnce 10 persistentVolumeReclaimPolicy: Retain 11 volumeMode: Block 12 fc: 13 targetWWNs: ["50060e801049cfd1"] 14 lun: 0 15 readOnly: false 16
- 訪問模式(Access Modes)
對PV進行訪問模式的設置,用於描述用戶的應用對存儲資源的訪問許可權,訪問模式如下:
- ReadWriteOnce(RWO):讀寫許可權,並且只能被單個Node掛載。
- ReadOnlyMany(ROX):只讀許可權,允許被多個Node掛載。
- ReadWriteMany(RWX):讀寫許可權,允許被多個Node掛載。
某些PV可能支援多種訪問模式,但PV在掛載時只能使用一種訪問模式,多種訪問模式不能同時生效。
- 存儲類別(Class)PV
可以設定其存儲的類別,通過storageClassName參數指定一個StorageClass資源對象的名稱。具有特定類別的PV只能與請求了該類別的PVC進行綁定。未設定類別的PV則只能與不請求任何類別的PVC進行綁定。
- 回收策略(ReclaimPolicy)
通過PV定義中的persistentVolumeReclaimPolicy欄位進行設置,可選項保留(Retain),回收(Recycle)和刪除(Delete)。
- 保留:保留數據,需要手工處理。
- 回收空間:簡單清除文件的操作(例如執行rm-rf/thevolume/*命令)。
- 刪除:與PV相連的後端存儲完成Volume的刪除操作(如AWSEBS、GCEPD、AzureDisk、OpenStackCinder等設備的內部Volume清理)。
目前,只有NFS和HostPath兩種類型的存儲支援Recycle策略;
AWSEBS、GCEPD、Azure Disk和Cinder volumes支援Delete策略。
- 掛載參數(MountOptions)
在將PV掛載到一個Node上時,根據後端存儲的特點,可能需要設置額外的掛載參數,可以根據PV定義中的mountOptions欄位進行設置。
示例2:對一個類型為gcePersistentDisk的PV設置掛載參數。
[root@k8smaster01 study]# vi gccpv01.yaml
1 apiVersion: "v1" 2 kind: "PersistentVolume" 3 metadata: 4 name: gce-disk-1 5 spec: 6 capacity: 7 storage: "10Gi" 8 accessModes: 9 - "ReadWriteOnce" 10 mountOptions: 11 - hard 12 - nolock 13 - nfsvers=3 14 gcePersistentDisk: 15 fsType: "ext4" 16 pdName: "gce-disk-1" 17
提示:以下PV類型支援設置掛載參數:
- AWSElasticBlockStore
- AzureDisk
- AzureFile
- CephFS
- Cinder(OpenStackblockstorage)
- GCEPersistentDisk
- Glusterfs
- NFS
- QuobyteVolumes
- RBD(CephBlockDevice)
- StorageOS
- VsphereVolume
- iSCSI
- 節點親和性(NodeAffinity)
PV可以設置節點親和性來限制只能通過某些Node訪問Volume,可以在PV定義中的nodeAffinity欄位進行設置。使用這些Volume的Pod將被調度到滿足條件的Node上。
示例3:
[root@k8smaster01 study]# vi affpv01.yaml
1 apiVersion: v1 2 kind: PersistentVolume 3 metadata: 4 name: example-local-pv 5 spec: 6 capacity: 7 storage: 5Gi 8 accessModes: 9 - ReadWriteOnce 10 persistentVolumeReclaimPolicy: Delete 11 storageClassName: local-storage 12 local: 13 path: /mnt/disks/ssd1 14 nodeAffinity: 15 required: 16 nodeSelectorTerms: 17 - mathExpressions: 18 - key: kubernetes.io/hostname 19 operator: In 20 values: 21 - my-node 22
注意:這個參數僅用於Local類型的存儲卷。
三 PVC詳解
3.1 PVC使用
PVC作為用戶對存儲資源的需求申請,主要包括存儲空間請求、訪問模式、PV選擇條件和存儲類別等資訊的設置。
示例1:申明PVC,具有如下屬性:申請8GiB存儲空間,訪問模式為ReadWriteOnce,PV選擇條件為包含標籤「release=stable」並且包含條件為「environment In [dev]」的標籤,存儲類別為「slow」(要求在系統中已存在名為slow的StorageClass)。
[root@k8smaster01 study]# vi myclaim01.yaml
1 kind: PersistentVolumeClaim 2 apiVersion: v1 3 metadata: 4 name: myclaim 5 spec: 6 accessModes: 7 - ReadWriteOnce 8 resources: 9 requests: 10 storage: 8Gi 11 storageClassName: slow 12 selector: 13 matchLabels: 14 release: "stable" 15 matchExpressions: 16 - {key: enviroment, operator: In, values: [dev] } 17
3.2 PVC配置詳解
PVC的關鍵配置參數說明如下:
- 資源請求(Resources):描述對存儲資源的請求,目前僅支援request.storage的設置,即存儲空間大小。
- 訪問模式(AccessModes):PVC也可以設置訪問模式,用於描述用戶應用對存儲資源的訪問許可權。其三種訪問模式的設置與PV的設置相同。
- 存儲卷模式(VolumeModes):PVC也可以設置存儲卷模式,用於描述希望使用的PV存儲卷模式,包括文件系統和塊設備。
- PV選擇條件(Selector):通過對LabelSelector的設置,可使PVC對於系統中已存在的各種PV進行篩選。系統將根據標籤選出合適的PV與該PVC進行綁定。選擇條件可以使用matchLabels和matchExpressions進行設置,如果兩個欄位都設置了,則Selector的邏輯將是兩組條件同時滿足才能完成匹配。
- 存儲類別(Class):PVC在定義時可以設定需要的後端存儲的類別(通過storageClassName欄位指定),以減少對後端存儲特性的詳細資訊的依賴。只有設置了該Class的PV才能被系統選出,並與該PVC進行綁定。PVC也可以不設置Class需求。如果storageClassName欄位的值被設置為空(storageClassName=””),則表示該PVC不要求特定的Class,系統將只選擇未設定Class的PV與之匹配和綁定。PVC也可以完全不設置storageClassName欄位,此時將根據系統是否啟用了名為DefaultStorageClass的admissioncontroller進行相應的操作。
- 未啟用DefaultStorageClass:等效於PVC設置storageClassName的值為空(storageClassName=””),即只能選擇未設定Class的PV與之匹配和綁定。
- 啟用DefaultStorageClass:要求集群管理員已定義默認的StorageClass。如果在系統中不存在默認的StorageClass,則等效於不啟用DefaultStorageClass的情況。如果存在默認的StorageClass,則系統將自動為PVC創建一個PV(使用默認StorageClass的後端存儲),並將它們進行綁定。
提示:設置默認StorageClass的方法為,在StorageClass的定義中加上一個annotation「storageclass.kubernetes.io/isdefault-class=true」。如果將多個StorageClass都定義為default,則由於不唯一,系統將無法為PVC創建相應的PV。
注意,PVC和PV都受限於Namespace,PVC在選擇PV時受到Namespace的限制,只有相同Namespace中的PV才可能與PVC綁定。Pod在引用PVC時同樣受Namespace的限制,只有相同Namespace中的PVC才能掛載到Pod內。當Selector和Class都進行了設置時,系統將選擇兩個條件同時滿足的PV與之匹配。另外,如果資源供應使用的是動態模式,即沒有預先定義PV,僅通過StorageClass交給系統自動完成PV的動態創建,那麼PVC再設定Selector時,系統將無法為其供應任何存儲資源。
在啟用動態供應模式的情況下,一旦用戶刪除了PVC,與之綁定的PV也將根據其默認的回收策略「Delete」被刪除。如果需要保留PV(用戶數據),則在動態綁定成功後,用戶需要將系統自動生成PV的回收策略從「Delete」改成「Retain」。
四 PV和PVC生命周期管理
4.1 PV生命周期
某個PV在生命周期中可能處於以下4個階段(Phaes)之一。
- Available:可用狀態,還未與某個PVC綁定。
- Bound:已與某個PVC綁定。
- Released:綁定的PVC已經刪除,資源已釋放,但沒有被集群回收。
- Failed:自動資源回收失敗。
4.2 PVC生命周期
將PV看作可用的存儲資源,PVC則是對存儲資源的需求,PV和PVC的相互關係遵循如下所示關係:
4.3 資源供應
Kubernetes支援兩種資源的供應模式:靜態模式(Static)和動態模式(Dynamic),資源供應的目的就是創建好PV。
- 靜態模式:集群管理員手工創建許多PV,在定義PV時需要將後端存儲的特性進行設置。
- 動態模式:集群管理員無須手工創建PV,而是通過StorageClass的設置對後端存儲進行描述,標記為某種類型。此時要求PVC對存儲的類型進行聲明,系統將自動完成PV的創建及與PVC的綁定。
注意;PVC可以聲明Class為””,說明該PVC禁止使用動態模式。
4.4 資源綁定
在用戶定義好PVC之後,系統將根據PVC對存儲資源的請求(存儲空間和訪問模式)在已存在的PV中選擇一個滿足PVC要求的PV,一旦找到,就將該PV與用戶定義的PVC進行綁定,用戶的Pod應用就可以使用這個PVC了。
如果在系統中沒有滿足PVC要求的PV,PVC則會無限期處於Pending狀態,直到等到系統管理員創建了一個符合其要求的PV。
PV一旦綁定到某個PVC上,就會被這個PVC獨佔,不能再與其他PVC進行綁定了。在這種情況下,當PVC申請的存儲空間比PV的少時,整個PV的空間就都能夠為PVC所用,可能會造成資源的浪費。
如果資源供應使用的是動態模式,則系統在為PVC找到合適的StorageClass後,將自動創建一個PV並完成與PVC的綁定。
4.5 資源使用
Pod使用Volume的定義,將PVC掛載到容器內的某個路徑進行使用。Volume的類型為persistentVolumeClaim。在容器應用掛載了一個PVC後,就能被持續獨佔使用。
不過,多個Pod可以掛載同一個PVC,由應用程式自身考慮多個實例共同訪問一塊存儲空間的問題。
4.6 資源釋放
當用戶對存儲資源使用完畢後,用戶可以刪除PVC,與該PVC綁定的PV將會被標記為「已釋放」,但還不能立刻與其他PVC進行綁定。通過之前PVC寫入的數據可能還被留在存儲設備上,只有在清除之後該PV才能再次使用。
4.7 資源回收
對於PV,可以設定回收策略,用於設置與之綁定的PVC釋放資源之後如何處理遺留數據的問題。只有PV的存儲空間完成回收,才能供新的PVC綁定和使用。
靜態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:
動態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:
提示:更多StorageClass見《044.集群存儲-StorageClass》。
更多存儲類型參考:https://www.cnblogs.com/Irving/p/9847060.html