043.集群存儲-共享存儲

  • 2020 年 3 月 26 日
  • 筆記

一 共享存儲

1.1 共享存儲作用

Kubernetes對於有狀態的容器應用或者對數據需要持久化的應用,不僅需要將容器內的目錄掛載到宿主機的目錄或者emptyDir臨時存儲卷,而且需要更加可靠的存儲來保存應用產生的重要數據,以便容器應用在重建之後仍然可以使用之前的數據。

1.2 共享存儲資源

為了能夠屏蔽底層存儲實現的細節,便於使用和管理,Kubernetes從1.0版本就引入PersistentVolume(PV)和PersistentVolumeClaim(PVC)兩個資源對象來實現對存儲的管理子系統。

PV是對底層網路共享存儲的抽象,將共享存儲定義為一種「資源」,比如Node也是一種容器應用可以「消費」的資源。PV由管理員創建和配置,它與共享存儲的具體實現直接相關,例如GlusterFS、iSCSI、RBD或GCE或AWS公有雲提供的共享存儲,通過插件式的機制完成與共享存儲的對接,以供應用訪問和使用。

PVC則是用戶對存儲資源的一個「申請」。就像Pod「消費」Node的資源一樣,PVC能夠「消費」PV資源。PVC可以申請特定的存儲空間和訪問模式。

若使用PVC「申請」到一定的存儲空間仍然不能滿足應用對存儲設備的需求。比如通常應用程式都會對存儲設備的特性和性能有不同的要求,包括讀寫速度、並發性能、數據冗餘等更高的要求,因此Kubernetes從1.4版本開始引入了一個新的資源對象StorageClass,用於標記存儲資源的特性和性能。

Kubernetes 1.6版本時,StorageClass和動態資源供應的機製得到了完善,實現了存儲卷的按需創建。通過StorageClass的定義,管理員可以將存儲資源定義為某種類別(Class),正如存儲設備對於自身的配置描述(Profile),例如「快速存儲」「慢速存儲」「有數據冗餘」「無數據冗餘」等。用戶根據StorageClass的描述就能夠直觀地得知各種存儲資源的特性,就可以根據應用對存儲資源的需求去申請存儲資源。

Kubernetes從1.9版本開始引入容器存儲介面Container Storage Interface(CSI)機制,目標是在Kubernetes和外部存儲系統之間建立一套標準的存儲管理介面,通過該介面為容器提供存儲服務,類似於CRI(容器運行時介面)和CNI(容器網路介面)。

二 PV

2.1 PV詳解

PV作為存儲資源,主要包括存儲能力、訪問模式、存儲類型、回收策略、後端存儲類型等關鍵資訊的設置。

示例1:如下聲明的PV具有如下屬性:5GiB存儲空間,訪問模式為ReadWriteOnce,存儲類型為slow(要求在系統中已存在名為slow的StorageClass),回收策略為Recycle,並且後端存儲類型為nfs(設置了NFS Server的IP地址和路徑)。

[root@k8smaster01 study]# vi nfspv01.yaml

  1 apiVersion: v1    2 kind: PersistentVolume    3 metadata:    4   name: pv1    5 spec:    6   capacity:    7     storage: 5Gi    8   accessModes:    9   - ReadWriteOnce   10   persistentVolumeReclaimPolicy: Recycle   11   storageClassName: slow   12   nfs:   13     path: /tmp   14     server: 172.17.0.2

Kubernetes主要支援的PV類型如下:

  • AWSElasticBlockStore:AWS公有雲提供的ElasticBlockStore。
  • AzureFile:Azure公有雲提供的File。
  • AzureDisk:Azure公有雲提供的Disk。
  • CephFS:一種開源共享存儲系統。
  • FC(FibreChannel):光纖存儲設備。
  • FlexVolume:一種插件式的存儲機制。
  • Flocker:一種開源共享存儲系統。
  • GCEPersistentDisk:GCE公有雲提供的PersistentDisk。
  • Glusterfs:一種開源共享存儲系統。
  • HostPath:宿主機目錄,僅用於單機測試。
  • iSCSI:iSCSI存儲設備。
  • Local:本地存儲設備,從Kubernetes1.7版本引入,到1.14版本時更新為穩定版,目前可以通過指定塊(Block)設備提供LocalPV,或通過社區開發的sig-storage-local-static-provisioner插件(https://github.com/kubernetes-sigs/sigstorage-local-static-provisioner)來管理LocalPV的生命周期。
  • NFS:網路文件系統。
  • PortworxVolumes:Portworx提供的存儲服務。
  • QuobyteVolumes:Quobyte提供的存儲服務。
  • RBD(CephBlockDevice):Ceph塊存儲。
  • ScaleIOVolumes:DellEMC的存儲設備。
  • StorageOS:StorageOS提供的存儲服務。
  • VsphereVolume:VMWare提供的存儲系統。

2.2 PV配置參數

  • 存儲能力(Capacity)

描述存儲設備具備的能力,目前僅支援對存儲空間的設置(storage=xx),未來可能加入IOPS、吞吐率等指標的設置。

  • 存儲卷模式(VolumeMode)

Kubernetes從1.13版本開始引入存儲卷類型的設置(volumeMode=xxx),可選項包括Filesystem(文件系統)和Block(塊設備),默認值為Filesystem。目前有以下PV類型支援塊設備類型:

    • AWSElasticBlockStore
    • AzureDisk
    • FC
    • GCEPersistentDisk
    • iSCSI
    • Localvolume
    • RBD(CephBlockDevice)
    • VsphereVolume(alpha)

示例1:使用塊設備的PV定義。

[root@k8smaster01 study]# vi blockpv01.yaml

  1 apiVersion: v1    2 kind PersistentVolume    3 metadata:    4   name: block-pv    5 spec:    6   capacity:    7     storage: 10Gi    8   accessNodes:    9   - ReadWriteOnce   10   persistentVolumeReclaimPolicy: Retain   11   volumeMode: Block   12   fc:   13     targetWWNs: ["50060e801049cfd1"]   14     lun: 0   15     readOnly: false   16 

  • 訪問模式(Access Modes)

對PV進行訪問模式的設置,用於描述用戶的應用對存儲資源的訪問許可權,訪問模式如下:

    • ReadWriteOnce(RWO):讀寫許可權,並且只能被單個Node掛載。
    • ReadOnlyMany(ROX):只讀許可權,允許被多個Node掛載。
    • ReadWriteMany(RWX):讀寫許可權,允許被多個Node掛載。

某些PV可能支援多種訪問模式,但PV在掛載時只能使用一種訪問模式,多種訪問模式不能同時生效。

  • 存儲類別(Class)PV

可以設定其存儲的類別,通過storageClassName參數指定一個StorageClass資源對象的名稱。具有特定類別的PV只能與請求了該類別的PVC進行綁定。未設定類別的PV則只能與不請求任何類別的PVC進行綁定。

  • 回收策略(ReclaimPolicy)

通過PV定義中的persistentVolumeReclaimPolicy欄位進行設置,可選項保留(Retain),回收(Recycle)和刪除(Delete)。

    • 保留:保留數據,需要手工處理。
    • 回收空間:簡單清除文件的操作(例如執行rm-rf/thevolume/*命令)。
    • 刪除:與PV相連的後端存儲完成Volume的刪除操作(如AWSEBS、GCEPD、AzureDisk、OpenStackCinder等設備的內部Volume清理)。

目前,只有NFS和HostPath兩種類型的存儲支援Recycle策略;

AWSEBS、GCEPD、Azure Disk和Cinder volumes支援Delete策略。

  • 掛載參數(MountOptions)

在將PV掛載到一個Node上時,根據後端存儲的特點,可能需要設置額外的掛載參數,可以根據PV定義中的mountOptions欄位進行設置。

示例2:對一個類型為gcePersistentDisk的PV設置掛載參數。

[root@k8smaster01 study]# vi gccpv01.yaml

  1 apiVersion: "v1"    2 kind: "PersistentVolume"    3 metadata:    4   name: gce-disk-1    5 spec:    6   capacity:    7     storage: "10Gi"    8   accessModes:    9   - "ReadWriteOnce"   10   mountOptions:   11   - hard   12   - nolock   13   - nfsvers=3   14   gcePersistentDisk:   15     fsType: "ext4"   16     pdName: "gce-disk-1"   17 

提示:以下PV類型支援設置掛載參數:

    • AWSElasticBlockStore
    • AzureDisk
    • AzureFile
    • CephFS
    • Cinder(OpenStackblockstorage)
    • GCEPersistentDisk
    • Glusterfs
    • NFS
    • QuobyteVolumes
    • RBD(CephBlockDevice)
    • StorageOS
    • VsphereVolume
    • iSCSI

  • 節點親和性(NodeAffinity)

PV可以設置節點親和性來限制只能通過某些Node訪問Volume,可以在PV定義中的nodeAffinity欄位進行設置。使用這些Volume的Pod將被調度到滿足條件的Node上。

示例3:

[root@k8smaster01 study]# vi affpv01.yaml

  1 apiVersion: v1    2 kind: PersistentVolume    3 metadata:    4   name: example-local-pv    5 spec:    6   capacity:    7     storage: 5Gi    8   accessModes:    9   - ReadWriteOnce   10   persistentVolumeReclaimPolicy: Delete   11   storageClassName: local-storage   12   local:   13     path: /mnt/disks/ssd1   14   nodeAffinity:   15     required:   16       nodeSelectorTerms:   17       - mathExpressions:   18         - key: kubernetes.io/hostname   19           operator: In   20           values:   21           - my-node   22 

注意:這個參數僅用於Local類型的存儲卷。

三 PVC詳解

3.1 PVC使用

PVC作為用戶對存儲資源的需求申請,主要包括存儲空間請求、訪問模式、PV選擇條件和存儲類別等資訊的設置。

示例1:申明PVC,具有如下屬性:申請8GiB存儲空間,訪問模式為ReadWriteOnce,PV選擇條件為包含標籤「release=stable」並且包含條件為「environment In [dev]」的標籤,存儲類別為「slow」(要求在系統中已存在名為slow的StorageClass)。

[root@k8smaster01 study]# vi myclaim01.yaml

  1 kind: PersistentVolumeClaim    2 apiVersion: v1    3 metadata:    4   name: myclaim    5 spec:    6   accessModes:    7   - ReadWriteOnce    8   resources:    9     requests:   10       storage: 8Gi   11   storageClassName: slow   12   selector:   13     matchLabels:   14       release: "stable"   15     matchExpressions:   16     - {key: enviroment, operator: In, values: [dev] }   17 

3.2 PVC配置詳解

PVC的關鍵配置參數說明如下:

  • 資源請求(Resources):描述對存儲資源的請求,目前僅支援request.storage的設置,即存儲空間大小。
  • 訪問模式(AccessModes):PVC也可以設置訪問模式,用於描述用戶應用對存儲資源的訪問許可權。其三種訪問模式的設置與PV的設置相同。
  • 存儲卷模式(VolumeModes):PVC也可以設置存儲卷模式,用於描述希望使用的PV存儲卷模式,包括文件系統和塊設備。
  • PV選擇條件(Selector):通過對LabelSelector的設置,可使PVC對於系統中已存在的各種PV進行篩選。系統將根據標籤選出合適的PV與該PVC進行綁定。選擇條件可以使用matchLabels和matchExpressions進行設置,如果兩個欄位都設置了,則Selector的邏輯將是兩組條件同時滿足才能完成匹配。
  • 存儲類別(Class):PVC在定義時可以設定需要的後端存儲的類別(通過storageClassName欄位指定),以減少對後端存儲特性的詳細資訊的依賴。只有設置了該Class的PV才能被系統選出,並與該PVC進行綁定。PVC也可以不設置Class需求。如果storageClassName欄位的值被設置為空(storageClassName=””),則表示該PVC不要求特定的Class,系統將只選擇未設定Class的PV與之匹配和綁定。PVC也可以完全不設置storageClassName欄位,此時將根據系統是否啟用了名為DefaultStorageClass的admissioncontroller進行相應的操作。
  • 未啟用DefaultStorageClass:等效於PVC設置storageClassName的值為空(storageClassName=””),即只能選擇未設定Class的PV與之匹配和綁定。
  • 啟用DefaultStorageClass:要求集群管理員已定義默認的StorageClass。如果在系統中不存在默認的StorageClass,則等效於不啟用DefaultStorageClass的情況。如果存在默認的StorageClass,則系統將自動為PVC創建一個PV(使用默認StorageClass的後端存儲),並將它們進行綁定。

提示:設置默認StorageClass的方法為,在StorageClass的定義中加上一個annotation「storageclass.kubernetes.io/isdefault-class=true」。如果將多個StorageClass都定義為default,則由於不唯一,系統將無法為PVC創建相應的PV。

注意,PVC和PV都受限於Namespace,PVC在選擇PV時受到Namespace的限制,只有相同Namespace中的PV才可能與PVC綁定。Pod在引用PVC時同樣受Namespace的限制,只有相同Namespace中的PVC才能掛載到Pod內。當Selector和Class都進行了設置時,系統將選擇兩個條件同時滿足的PV與之匹配。另外,如果資源供應使用的是動態模式,即沒有預先定義PV,僅通過StorageClass交給系統自動完成PV的動態創建,那麼PVC再設定Selector時,系統將無法為其供應任何存儲資源。

在啟用動態供應模式的情況下,一旦用戶刪除了PVC,與之綁定的PV也將根據其默認的回收策略「Delete」被刪除。如果需要保留PV(用戶數據),則在動態綁定成功後,用戶需要將系統自動生成PV的回收策略從「Delete」改成「Retain」。

四 PV和PVC生命周期管理

4.1 PV生命周期

某個PV在生命周期中可能處於以下4個階段(Phaes)之一。

  • Available:可用狀態,還未與某個PVC綁定。
  • Bound:已與某個PVC綁定。
  • Released:綁定的PVC已經刪除,資源已釋放,但沒有被集群回收。
  • Failed:自動資源回收失敗。

4.2 PVC生命周期

將PV看作可用的存儲資源,PVC則是對存儲資源的需求,PV和PVC的相互關係遵循如下所示關係:

clipboard

4.3 資源供應

Kubernetes支援兩種資源的供應模式:靜態模式(Static)和動態模式(Dynamic),資源供應的目的就是創建好PV。

  1. 靜態模式:集群管理員手工創建許多PV,在定義PV時需要將後端存儲的特性進行設置。
  2. 動態模式:集群管理員無須手工創建PV,而是通過StorageClass的設置對後端存儲進行描述,標記為某種類型。此時要求PVC對存儲的類型進行聲明,系統將自動完成PV的創建及與PVC的綁定。

注意;PVC可以聲明Class為””,說明該PVC禁止使用動態模式。

4.4 資源綁定

在用戶定義好PVC之後,系統將根據PVC對存儲資源的請求(存儲空間和訪問模式)在已存在的PV中選擇一個滿足PVC要求的PV,一旦找到,就將該PV與用戶定義的PVC進行綁定,用戶的Pod應用就可以使用這個PVC了。

如果在系統中沒有滿足PVC要求的PV,PVC則會無限期處於Pending狀態,直到等到系統管理員創建了一個符合其要求的PV。

PV一旦綁定到某個PVC上,就會被這個PVC獨佔,不能再與其他PVC進行綁定了。在這種情況下,當PVC申請的存儲空間比PV的少時,整個PV的空間就都能夠為PVC所用,可能會造成資源的浪費。

如果資源供應使用的是動態模式,則系統在為PVC找到合適的StorageClass後,將自動創建一個PV並完成與PVC的綁定。

4.5 資源使用

Pod使用Volume的定義,將PVC掛載到容器內的某個路徑進行使用。Volume的類型為persistentVolumeClaim。在容器應用掛載了一個PVC後,就能被持續獨佔使用。

不過,多個Pod可以掛載同一個PVC,由應用程式自身考慮多個實例共同訪問一塊存儲空間的問題。

4.6 資源釋放

當用戶對存儲資源使用完畢後,用戶可以刪除PVC,與該PVC綁定的PV將會被標記為「已釋放」,但還不能立刻與其他PVC進行綁定。通過之前PVC寫入的數據可能還被留在存儲設備上,只有在清除之後該PV才能再次使用。

4.7 資源回收

對於PV,可以設定回收策略,用於設置與之綁定的PVC釋放資源之後如何處理遺留數據的問題。只有PV的存儲空間完成回收,才能供新的PVC綁定和使用。

靜態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:

clipboard

動態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:

clipboard

提示:更多StorageClass見《044.集群存儲-StorageClass》。

更多存儲類型參考:https://www.cnblogs.com/Irving/p/9847060.html