使用容器化塊存儲OpenEBS在K3s中實現持久化存儲
作者簡介
Giridhara Prasad，Mayadata Inc.首席工程師。在軟體測試自動化、混沌工程（chaos engineering）方面有豐富的經驗。目前，他正在研究開源混沌工程項目Litmus。
原文鏈接：
//openebs.io/blog/getting-started-with-k3s-in-vsphere-and-openebs-cstor/
K3OS是一個Linux發行版，專為輕量級Kubernetes發行版K3s打造的輕量作業系統。它為K3s的順利運行專門設計了一些功能。在本文中，我將介紹安裝K3OS的步驟以及如何設置OpenEBS。OpenEBS是一個CNCF項目，是一款針對Kubernetes有狀態工作負載的開源容器化存儲解決方案。
在vSphere中設置K3OS
K3OS的內核是從Ubuntu-18.04 LTS中fork出來的，它的用戶空間二進位文件來自alpine。因此在創建虛擬機時，需要選擇Ubuntu Linux（64位）作為客戶作業系統。
從Github上的release頁面下載最新的K3OS iso文件（撰寫文章時最新版本為v0.9.0，目前已經更新到v0.10.1），將iso文件添加到虛擬機中，然後使用實時安裝選項啟動它，如下所示：
選擇K3OS LiveCD & Install，並啟動作業系統。
成功啟動之後，你將進入登錄提示。K3OS中的默認用戶是rancher，你無需密碼即可登錄該用戶。
執行了實時安裝之後，你需要將作業系統安裝到磁碟並將機器配置為server（master）或agent（worker）。這可以通過運行命令sudo k3os install來執行。
選擇選項1，即Install to disk，以將K3OS安裝到磁碟。並且需要為rancher用戶設置新密碼，以啟用與伺服器的ssh通訊。
安裝到磁碟中
你需要選擇server或agent以在電腦中安裝相關組件。現在，我們選擇server來部署K3s server組件。你可以設置token或集群密鑰，當需要將K3s agent加入server時可以使用。
完成安裝之後，螢幕如下所示：
K3s server已經被成功配置。如果未配置DHCP，則需要使用connmanctl分配IP地址和其他詳細的網路資訊，然後以rancher用戶身份登錄server，輸入在上一步中配置的密碼。通過執行以下命令，讓我們找到綁定在eth0設備上的connman網路服務：
sudo connmanctl services
執行以上命令之後，將會列出如下服務：
驗證服務後，你可以通過以下命令分配IP地址、網路掩碼、網關和DNS服務。
sudo connmanctl config <ethernet service> --ipv4 manual <IP Address> <Netmask> <gateway> --nameservers <DNS Address>
執行以上命令之後，可以通過ifconfig命令，確保網路是否已經配置正確。在完成網路設置之後，重啟機器。
安裝K3s agent
在K3s術語中，Kubernetes worker被稱為agent。將K3OS安裝到磁碟中時，你需要選擇選項2，agent，以在電腦中配置K3s agent。
選擇了Agent之後，你需要提供agent必須配置到的server的URL。K3s server的URL可以通過以下方式生成。
//<K3s Server IP Address>:6443
鍵入URL之後，你需要提供集群密鑰，該密鑰在server安裝過程已經配置完成。在輸入完成以上內容之後，啟動agent部署。
開始配置網路，方式與上述配置server網路相同，然後重啟電腦。重啟之後，請按照以下步驟檢查server中的集群狀態。
k3os-1374 [~]$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
k3os-1374 Ready master 10m v1.17.2+k3s1
k3os-15360 Ready <none> 10m v1.17.2+k3s1
k3os-1091 Ready <none> 10m v1.17.2+k3s1
執行以下命令，檢查集群組件是否已經配置成功，並且所有pod是否已經成功運行。
k3os-1374 [~]$ kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
helm-install-traefik-nmjvj 0/1 Completed 0 3d
svclb-traefik-gp9ff 2/2 Running 1 2d23h
svclb-traefik-qgdlx 2/2 Running 0 2d23h
local-path-provisioner-58fb86bdfd-wkdtm 1/1 Running 1 3d
metrics-server-6d684c7b5-mrxsr 1/1 Running 0 3d
svclb-traefik-c4v7l 2/2 Running 0 3d
coredns-d798c9dd-td5tr 1/1 Running 0 3d
traefik-6787cddb4b-n57jz 1/1 Running 0 3d
安裝OpenEBS
OpenEBS是一個CNCF項目，可以為Kubernetes中部署的工作負載提供持久性塊存儲。除了Jiva和Local PV之外，cStor也是OpenEBS提供的存儲引擎之一。而根據這一issue（//github.com/rancher/k3os/issues/151 ）通過在v0.9.0中添加了對udev的支援才在K3OS中支援cStor。
k3os-1374 [~]$ kubectl apply -f openebs-operator-1.7.0.yaml
namespace/openebs created
serviceaccount/openebs-maya-operator created
clusterrole.rbac.authorization.k8s.io/openebs-maya-operator created
clusterrolebinding.rbac.authorization.k8s.io/openebs-maya-operator created
deployment.apps/maya-apiserver created
service/maya-apiserver-service created
deployment.apps/openebs-provisioner created
deployment.apps/openebs-snapshot-operator created
configmap/openebs-ndm-config created
daemonset.apps/openebs-ndm created
deployment.apps/openebs-ndm-operator created
deployment.apps/openebs-admission-server created
deployment.apps/openebs-localpv-provisioner created
檢查是否所有的OpenEBS組件都成功運行。
k3os-1374 [~]$ kubectl get pods -n openebs
NAME READY STATUS RESTARTS AGE
openebs-admission-server-f67f77588-8kl78 1/1 Running 0 65s
openebs-provisioner-7b8c68bf44-7bjw8 1/1 Running 0 66s
openebs-ndm-qp26v 1/1 Running 0 66s
openebs-ndm-84zb4 1/1 Running 0 66s
openebs-ndm-dzghs 1/1 Running 0 66s
openebs-localpv-provisioner-5c87bbd974-55486 1/1 Running 0 65s
openebs-ndm-operator-5fccfb7976-dvhj6 1/1 Running 0 66s
openebs-snapshot-operator-6c4c64d4bc-qxdwd 2/2 Running 0 66s
maya-apiserver-84785d7fbd-ck7sh 1/1 Running 0 66s
OpenEBS cStor引擎需要將外部磁碟連接到組成cStor池的agent上。磁碟或塊設備由稱為節點磁碟管理器（簡稱為NDM）的組件管理。將磁碟連接到agent電腦後，通過執行以下命令來檢查塊設備。
k3os-1374 [~]$ kubectl get blockdevices -n openebs
NAME NODENAME SIZE CLAIMSTATE STATUS AGE
blockdevice-30a3eb18f5b9e2d470de45e39f1036b0 k3os-15360 17179869184 Unclaimed Active 1h
blockdevice-86fc964305abe8970fc1508538a61dbc k3os-1374 17179869184 Unclaimed Active 1h
blockdevice-b8735721689d5843bca10e7028f60a4e k3os-1091 17179869184 Unclaimed Active 1h
在本例中，每個K3s agent電腦上都已連接1個塊設備。讓我們在spec.blockDevices下的池中創建manifest，然後創建池。
apiVersion: openebs.io/v1alpha1
kind: StoragePoolClaim
metadata:
name: cstor-disk-pool
annotations:
cas.openebs.io/config: |
- name: PoolResourceRequests
value: |-
memory: 2Gi
- name: PoolResourceLimits
value: |-
memory: 4Gi
spec:
name: cstor-disk-pool
type: disk
poolSpec:
poolType: striped
blockDevices:
blockDeviceList:
- blockdevice-30a3eb18f5b9e2d470de45e39f1036b0
- blockdevice-86fc964305abe8970fc1508538a61dbc
- blockdevice-b8735721689d5843bca10e7028f60a4e
應用以上定義之後，通過執行以下命令檢查池是否創建成功。
k3os-1374 [~]$ kubectl get csp
NAME ALLOCATED FREE CAPACITY STATUS TYPE AGE
cstor-disk-pool-rgy3 270K 15.9G 15.9G Healthy striped 2m3s
cstor-disk-pool-gij4 270K 15.9G 15.9G Healthy striped 2m2s
cstor-disk-pool-09l1 270K 15.9G 15.9G Healthy striped 2m2s
所有的池實例應該是健康的並且每個實例運行一個pod，通過執行以下命令可以找到pod：
k3os-1374 [~]$ kubectl get pods -n openebs -l app=cstor-pool
NAME READY STATUS RESTARTS AGE
cstor-disk-pool-rgy3-57f965b48c-srz2x 3/3 Running 0 8m33s
cstor-disk-pool-gij4-77bb4b8f44-s6k89 3/3 Running 0 8m33s
cstor-disk-pool-09l1-56d444996b-m698h 3/3 Running 0 8m33s
創建cStor池之後，我們可以開始創建volume。為了能夠說明清楚，我們部署一個帶有cStor volume的busybox，作為其持久性存儲。在創建池之前，我們需要創建一個storage class，它會指定在上述步驟中創建的storagePoolClaim，具體如下所示：
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: openebs-cstor
annotations:
openebs.io/cas-type: cstor
cas.openebs.io/config: |
- name: StoragePoolClaim
value: "cstor-disk-pool"
- name: ReplicaCount
value: "3"
provisioner: openebs.io/provisioner-iscsi
根據上述定義中的要求，填充storagePoolClaim和ReplicaCount並創建storage class。創建PVC時必須使用此類存儲。
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: openebs-pvc
spec:
storageClassName: openebs-cstor
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
---
apiVersion: v1
kind: Service
metadata:
labels:
name: busybox
name: busybox
spec:
clusterIP: None
selector:
app: busybox
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: busybox
labels:
app: busybox
spec:
selector:
matchLabels:
app: busybox
template:
metadata:
labels:
app: busybox
spec:
containers:
- name: app-busybox
imagePullPolicy: IfNotPresent
image: busybox
command: ["/bin/sh"]
args: ["-c", "while true; do sleep 10;done"]
env:
volumeMounts:
- name: data-vol
mountPath: /busybox
volumes:
- name: data-vol
persistentVolumeClaim:
claimName: openebs-pvc
在上述manifest中升級storage class之後，讓我們通過應用以上定義來部署busybox應用程式。通過查看它們的狀態來檢查PVC是否在應用程式pod上成功創建和成功掛載。
k3os-1374 [~]$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
openebs-pvc Bound pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d 10Gi RWO openebs-cstor 4m35s
k3os-1374 [~]$ kubectl get pods
NAME READY STATUS RESTARTS AGE
busybox-748fb77c75-9lwzz 1/1 Running 0 4m42s
由於我們在storage class中將ReplicaCount指定為3，因此需要創建3個volume副本，你可以通過執行以下命令來找到它們。
k3os-1374 [~]$ kubectl get cvr -n openebs
NAME USED ALLOCATED STATUS AGE
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-09l1 7.95M 116K Healthy 6m37s
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-rgy3 7.95M 116K Healthy 6m37s
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-gij4 7.95M 116K Healthy 6m37s
因此，可以使用cStor引擎為K3s中的工作負載提供持久卷。
