使用 kubeadm 部署

上一章中，我們用 minikube 去搭建單機集群，並且創建 Deployment、Service(在三章中講解)，本篇將介紹利用 kubeadm 部署多節點集群，並學會 安裝以及使用 kubernetes 的命令行工具，快速創建集群實例，完成部署 hello world 應用的實踐。

Kubeadm 是 CKAD 認證中要求掌握的部署方式，但是鏡像需要國外網路才能下載，讀者如果是中國伺服器，可以參考 2.4 章的內容，使用中國伺服器進行代理。

本章內容主要介紹如何安裝 kubeadm 以及部署集群、添加節點。

需要提前在伺服器安裝好 Docker。

本文為作者的 Kubernetes 系列電子書的一部分，電子書已經開源，歡迎關注，電子書瀏覽地址：

//k8s.whuanle.cn【適合中國訪問】

//ek8s.whuanle.cn 【gitbook】

命令行工具

在 kubernetes 中，主要有三個日常使用的工具，這些工具使用 kube 前綴命名，這三個工具如下：

  • kubeadm：用來初始化集群的指令，能夠創建集群已經添加新的節點。可用其它部署工具替代。
  • kubelet：在集群中的每個節點上用來啟動 Pod 和容器等，每個節點必須有，相對於節點與集群的網路代理。
  • kubectl：用來與集群通訊/交互的命令行工具，與 kubernetes API-Server 通訊，是我們操作集群的客戶端。

在 1.5 章中介紹過 kubelet、kubectl，kubelet 負責集群中節點間的通訊，kubectl 供用戶輸入命令控制集群，而且 kubeadm 則是創建集群、添加減少節點的工具。

安裝命令行工具

命令行工具是每個節點都需要安裝的， kubectl、kubelet 兩個是必需的組件，而 kubeadm 則可以被代替。kubeadm 是 Kubenetes 官方推薦的部署工具，但由於網路等各方面原因，中文社區中也開發了一些替代項目，例如 Kubesphere(//kubesphere.com.cn/)，可在中國部署 Kubernetes，省去網路問題。

通過軟體倉庫安裝

下面介紹如何 通過 Google 的源下載安裝工具包。

更新 apt 包索引並安裝使用 Kubernetes apt 倉庫所需要的包：

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl

下載 Google Cloud 公開簽名秘鑰：

sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg //packages.cloud.google.com/apt/doc/apt-key.gpg

添加 Kubernetes apt 倉庫：

echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] //apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

註：如果是中國伺服器，請忽略以上兩步，使用以下命令解決：

apt-get update && apt-get install -y apt-transport-https
curl //mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb //mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

更新 apt 包索引，安裝 kubelet、kubeadm 和 kubectl，並鎖定其版本：

sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

執行命令檢查是否正常：

kubeadm --help

不同作業系統

只是這裡介紹一下 ubuntu 和 centos 不同的安裝方法，已經通過前面的安裝方法安裝好，則不需要理會這一小節。

Ubuntu 和 Debain 等系統可以使用以下命令通過軟體倉庫安裝：

sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2 curl
curl -s //packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb //apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl

Centos、RHEL 等系統可以使用以下命令通過軟體倉庫安裝：

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=//packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=//packages.cloud.google.com/yum/doc/yum-key.gpg //packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubelet kubeadm kubectl

集群管理

創建 kubernetes 集群

Kubeadm 是一個創建管理工具，主要提供了 kubeadm init 和 kubeadm join 兩個命令，作為創建 Kubernetes 集群的 「快捷途徑」 的最佳實踐。

Kubernetes 集群由 Master 和 Worker 兩種節點組成，Master 節點負責控制集群所有的節點。

注意，本教程集群中的節點應當都是內網可互通的伺服器，這些伺服器之間可以通過內網相互訪問。如果是伺服器之間通過公網相互通訊的，操作方法請查詢其它教程。

1，創建 Master

執行 hostname -i 查看此 node 的 ip。

我們初始化一個 API Server 服務，綁定地址為 192.168.0.8（按照你的ip改）。此步驟創建了一個 master 節點。

註：可以直接使用 kubeadm init，它會自動使用默認網路ip。

kubeadm init
# 或 kubeadm init --apiserver-advertise-address 192.168.0.8
# 或 kubeadm init --apiserver-advertise-address $(hostname -i)

部署失敗，可以參考下面兩個命令，查看失敗原因。

systemctl status kubelet
journalctl -xeu kubelet

常見與 Docker 有關的錯誤可參考： //kubernetes.io/docs/setup/production-environment/container-runtimes/#docker

完成後，會提示一些資訊，在提示的內容中找到：

kubeadm join 192.168.0.8:6443 --token q25z3f.v5uo5bphvgxkjnmz \
    --discovery-token-ca-cert-hash sha256:0496adc212112b5485d0ff12796f66b29237d066fbc1d4d2c5e45e6add501f64

保存這段資訊下來備用，後面加入節點時需要使用到。

如果有提示 Alternatively, if you are the root user, you can run:則你還需要執行下面的命令。

export KUBECONFIG=/etc/kubernetes/admin.conf

[Info] 提示

admin.conf 是連接 Kubernetes 的認證文件，通過此文件才能連接到 kubernetes，kubectl 也需要這個文件；在 Linux 中，使用 KUBECONFIG 環境變數知道認證文件的所在。

Linux 中每個用戶的環境變數是不同的，如果切換了用戶，則也需要設置 KUBECONFIG 環境變數；如果要在別的節點上連接集群，則可以把這個文件複製過去。

後面的操作都需要 admin.conf 文件，否則會報 The connection to the server localhost:8080 was refused - did you specify the right host or port? 。

由於 export 的環境變數不能持久化，請打開 ~/.bashrc 文件，把這個命令加到文件最後面。

[Info] 提示

為了保護 /etc/kubernetes/admin.conf，避免直接指向，建議每個用戶複製一次此文件到用戶目錄下，其命令如下：

mkdir -p $HOME/.kube
cp -f /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

2，初始化網路

這一步不是必需的，不過一般來說，部署 Kubernetes 會配置網路，否則會節點之間不能相互訪問，讀者可以跟著做一次，在後面的章節中我們在一探究竟。

通過遠程配置文件初始化網路，需要從第三方拉取一個 yaml 文件。

kubectl apply  -f  "//cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"  --namespace=kube-system
#  --namespace=kube-system 表示插件放到 kube-system 命名空間中運行

成功的話會提示：

serviceaccount/weave-net created
clusterrole.rbac.authorization.k8s.io/weave-net created
clusterrolebinding.rbac.authorization.k8s.io/weave-net created
role.rbac.authorization.k8s.io/weave-net created
rolebinding.rbac.authorization.k8s.io/weave-net created
daemonset.apps/weave-net created

我們也可以手動配置，執行 kubectl version 查看版本號，找到 GitVersion:v1.21.1 ，替換 yaml 文件的地址 //cloud.weave.works/k8s/net?k8s-version=v1.21.1，然後執行 kubectl apply -n kube-system -f net.yaml 即可。

3，加入集群

前面已經創建了 Master 節點，接下來將另一個伺服器以 Worker 節點的方式加入集群中。如果讀者只有一台伺服器，則可以跳過這個步驟。

當節點加入 kubeadm 初始化的集群時，雙方需要建立雙向信任，分為發現(Worker信任Master) 和 TLS 引導(Master信任待加入Worker)兩部分。目前有兩種加入方式，一種是通過令牌加入，一種是通過 kubeconfig 文件加入。

格式：

kubeadm join --discovery-token abcdef.xxx {IP}:6443 --discovery-token-ca-cert-hash sha256:xxx
kubeadm join--discovery-file file.conf

在第二個節點中，使用之前備份好的命令，直接執行，加入集群，格式如下命令所示。

kubeadm join 192.168.0.8:6443 --token q25z3f.v5uo5bphvgxkjnmz \
    --discovery-token-ca-cert-hash sha256:0496adc212112b5485d0ff12796f66b29237d066fbc1d4d2c5e45e6add501f64

複製粘貼時，要注意，可能會由於 \ 換行符，導致粘貼時，多了一個小數點，導致報錯。

粘貼出錯

可能碰到的問題

查看 docker 版本：yum list installed | grep docker 和 docker version。

如果部署過程中出現 failed to parse kernel config: unable to load kernel module，也說明了 docker 版本太高，需要降級。

如果伺服器裝了 dnf，那麼降級 docker 版本的命令：

dnf remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine

dnf -y install dnf-plugins-core

dnf install docker-ce-18.06.3.ce-3.el7 docker-ce-cli containerd.io

不行的話就按照 //docs.docker.com/engine/install/centos/ 降級，或者自行按照其它方法處理。

注意，docker version 會看到 client 和 server 版本，兩者的版本號可能不一致。

刪除節點

在生產環境中，由於節點上已經部署著服務，因此直接刪除節點，可能會導致嚴重的故障問題。因此需要移除一個節點時，首先要在此節點上驅逐所有 Pods，Kubernetes 會自動將此節點上的 Pod 轉移到其它節點上部署(第三章會講)。

獲取集群中的所有節點，找到需要驅逐的節點名稱。

kubectl get nodes

驅逐此節點上所有的 Pod：

kubectl drain {node名稱}

雖然驅逐了節點上所有的服務，但是節點依然在集群中，只是 Kubernetes 不會再部署 Pod 到此節點上。如果需要恢復此節點，允許繼續部署 Pod，可使用：

kubectl uncordon {節點名稱}

關於驅逐，後面的章節會學習到。

註：驅逐 Pod，並一定能夠驅逐所有 Pod，有些 Pod 可能不會被清除。

最終刪除此節點：

kubectl delete node {節點名稱}

集群刪除了此節點後，節點上還保留著一些數據，可以繼續清除環境。

清除環境

如果步驟做錯了想重來，或者移除節點需要清除環境，可以執行 kubeadm reset [flags] 命令。

註：只執行 kubeadm reset 命令無效。

[flags] 有四種類型：

preflight              Run reset pre-flight checks
update-cluster-status  Remove this node from the ClusterStatus object.
remove-etcd-member     Remove a local etcd member.
cleanup-node           Run cleanup node.

我們需要執行：

kubeadm reset cleanup-node 
kubeadm reset

即可在當前伺服器上清除 Kubernetes 殘留的 容器或者其它數據。

Tags:

VirMach 便宜 VPS

QNews

QNews