如何安裝一個高可用K3s集群？

• 2020 年 10 月 30 日
• 筆記
• k3s黑魔法, Kubernetes, 邊緣計算

作者介紹

Janakiram MSV是Janakiram & Associates的首席分析師，也是國際資訊技術學院的兼職教師。他也是Google
Qualified
Developer、亞馬遜認證解決方案架構師、亞馬遜認證開發者、亞馬遜認證SysOps管理員和微軟認證Azure專業人員。

Janakiram是雲原生計算基金會的大使，也是首批Kubernetes認證管理員和Kubernetes認證應用開發者之一。他曾在微軟、AWS、Gigaom
Research等知名公司工作。

在之前的文章中，我們已經了解到如何設置一個多節點的etcd集群。在本文中，我們將利用相同的基礎架構來設置和配置一個基於K3s的高可用Kubernetes集群。

高可用Kubernetes集群

Kubernetes集群的控制平面大多是是無狀態的。唯一有狀態的控制平面組件是etcd資料庫，它為整個集群充當了唯一事實來源。API Server作為etcd資料庫的網關，內部和外部的用戶都可以通過它訪問和操作狀態。

etcd資料庫必須配置在HA模式下，以確保沒有單點故障。配置高可用（HA）Kubernetes集群的拓撲有兩種選擇，這取決於如何設置etcd。

第一種拓撲是基於堆棧集群設計的，每個節點與控制平面一起運行一個etcd實例。每個控制平面節點運行一個kube-apiserver、kube-scheduler和kube-controller-manager的實例。kube-apiserver使用負載均衡器暴露給worker節點。

每個控制平面節點創建一個本地etcd成員，並且該etcd成員僅與這一節點的kube-apiserver進行通訊。這同樣適用於本地的kube-controller-manager和kube-scheduler實例。

這種拓撲結構要求HA Kubernetes集群至少有三種堆棧控制平面模式。Kubeadm，這個流行的集群安裝工具，使用這種拓撲來配置Kubernetes集群。

第二種拓撲使用在一組完全不同的主機上安裝和管理的外部etcd集群。

在此拓撲中，每個控制平面節點都運行kube-apiserver，kube-scheduler和kube-controller-manager的實例，其中每個etcd主機與每個控制平面節點的kube-apiserver通訊。

這種拓撲需要的主機數量是堆棧式HA拓撲的兩倍。使用該拓撲的 HA 集群至少需要三個控制平面節點的主機和三個 etcd 節點的主機。

關於啟動集群的更多資訊，請參考Kubernetes官方文檔：

//kubernetes.io/docs/setup/production-environment/tools/kubeadm/ha-topology/

高可用模式的K3s

由於K3s大多部署在邊緣，硬體資源有限，可能無法在專用主機上運行etcd資料庫。部署架構與堆棧式拓撲極為類似，只是事先配置了etcd資料庫。

在這次教程中，我使用的是運行在Intel NUC硬體上的裸機基礎設施，其映射如下：

參考本系列教程的前一部分，在IP地址為10.0.0.60、10.0.0.61和10.0.0.62的前三個節點上安裝和配置etcd。

安裝K3s server

讓我們先在所有安裝etcd的節點中安裝伺服器。SSH進入第一個節點，並設置以下環境變數。這假定你按照前面教程中的步驟配置了etcd集群。

export K3S_DATASTORE_ENDPOINT='//10.0.0.60:2379,//10.0.0.61:2379,//10.0.0.62:2379'
export K3S_DATASTORE_CAFILE='/etc/etcd/etcd-ca.crt'
export K3S_DATASTORE_CERTFILE='/etc/etcd/server.crt'
export K3S_DATASTORE_KEYFILE='/etc/etcd/server.key'

這些環境變數指示K3s安裝程式利用現有的etcd資料庫進行狀態管理。

接下來，我們將在K3S_TOKEN中填充一個agent加入集群時使用的token。

export K3S_TOKEN="secret_edgecluster_token"

我們準備好在第一個節點中安裝server。運行以下命令來啟動進程：

curl -sfL //get.k3s.io | sh -

在節點2和節點3中重複這些步驟以啟動額外的server。

此時，你有一個3節點的K3s集群，它在高可用模式下運行控制平面和etcd組件。

sudo kubectl get nodes

你可以使用以下命令檢查服務狀態：

sudo systemctl status k3s.service

安裝K3s Agent

隨著控制平面的建立和運行，我們可以輕鬆地將worker節點獲agent添加到集群中。我們只需要確保使用與server關聯的相同token。

SSH進入其中一個worker節點並運行命令。

export K3S_TOKEN="secret_edgecluster_token"
export K3S_URL=//10.0.0.60:6443

環境變數K3S_URL是提示安裝程式將節點配置為連接到現有伺服器的agent。

最後，運行與我們上一步相同的腳本。

curl -sfL //get.k3s.io | sh -

檢查是否新節點已經添加到集群。

Congratulations！你已經成功安裝了一個高可用K3s集群，並備份了一個外部的etcd資料庫。

驗證etcd資料庫

讓我們確保k3s集群正在使用etcd資料庫進行狀態管理。

我們將在K3s集群內啟動一個簡單的NGINX Pod。

sudo kubectl run nginx --image nginx --port 80

sudo kubectl get pods

Pod規範和狀態應該存儲在etcd資料庫中。讓我們嘗試通過etcdctl CLI來檢索。安裝jq工具來解析JSON輸出。

由於輸出是以base64編碼的，我們將通過base64工具對其進行解碼。

etcdctl --endpoints //10.0.0.61:2379 \
--cert /etc/etcd/server.crt \
--cacert /etc/etcd/etcd-ca.crt \
--key /etc/etcd/server.key get /registry/pods/default/nginx \
--prefix=true -w json | jq -r .kvs[].value | base64 -d

輸出顯示 pod 在 etcd 資料庫中有一個相關的鍵和值。特殊字元沒有正確顯示，但它確實向我們展示了足夠的關於pod的數據。

在本文中，我們了解了如何在高可用模式下設置和配置K3s集群，希望可以幫助你在邊緣端更順利地進行實踐。