附018.K3S-ETCD高可用部署

一 K3S概述


1.1 K3S介紹


K3S是一個輕量級Kubernetes發行版。易於安裝，內存消耗低，所有二進制文件不到40mb。




  • 適用於：


  • 邊緣計算-Edge


  • 物聯網-IoT


  • CI


  • ARM


1.2 K3S特點


k3s是完全兼容的Kubernetes發行版，有以下更改：




  • 移除過時的功能、Alpha功能、非默認功能，這些功能在大多數Kubernetes集群中已不可用。


  • 刪除內置插件(比如雲供應商插件和存儲插件)，可用外部插件程序替換。


  • 添加SQLite3作為默認的數據存儲。etcd3仍然可用，但並非默認項。


  • 包含在一個簡單的啟動程序當中，可以處理複雜的TLS和其他選項。


  • 幾乎沒有操作系統依賴性（僅需要健全的內核和cgroup掛載）。k3s軟件包所需的依賴：





    • containerd


    • Flannel


    • CoreDNS


    • CNI


    • 主機系統服務 (iptables, socat, etc)


1.3 K3S架構


server節點被定義為運行k3s server命令的主機（裸機或虛擬機）。worker節點被定義為運行k3s agent命令的主機。


常見的K3S高可用架構如下：




  • 兩個或更多server節點；


  • 一個外部數據存儲。


clipboard


1.4 worker節點註冊


worker節點通過k3s agent啟動時發起的Websocket連接進行註冊。


worker節點將使用節點集群密鑰以及存儲在/etc/rancher/node/password的節點隨機密碼向server註冊。server將在單個節點的/var/lib/rancher/k3s/server/cred/node-passwd路徑存儲密碼，後續任何操作都必須使用相同的密碼。如果刪除了worker節點目錄/etc/rancher/node，則應該為該worker節點重新創建密碼文件，或者從服務器中刪除該節點。


通過使用該–with-node-id標誌啟動K3s server或agent，可以將唯一的節點ID添加到hostname。


二 K3S部署規劃


2.1 節點需求


所有節點不能具有相同的主機名。


如果節點具有相同的主機名，需要在運行K3S前修改主機名。或者通過–node-name或$K3S_NODE_NAME變量傳遞唯一的主機名稱。


無負載最小配置：RAM: 512 MB，CPU: 1C。


k3s server需要6443端口可被節點訪問，這些節點需要能夠通過UDP 8472端口來相互訪問組建Flannel VXLAN網絡。


如果不使用Flannel VXLAN並提供自己的自定義CNI，則k3s不需要放行UDP 8472端口。k3s使用反向隧道，以便worker建立與server的出站連接，並且所有kubelet流量都通過該隧道通信。


如果要使用metrics server，則需要在每個節點上放行10250端口。


2.2 節點規劃


高可用架構一：etcd與Master節點組件混布在一起。


clipboard














































節點主機名

IP

類型

運行服務

master01

172.24.12.11

k3s master節點

containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、flannel

master02

172.24.12.12

k3s master節點

containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、flannel

master03

172.24.12.13

k3s master節點

containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、flannel

worker01

172.24.12.21

k3s worker節點

containerd、kubelet、proxy、flannel

worker02

172.24.12.22

k3s worker節點

containerd、kubelet、proxy、flannel

worker03

172.24.12.23

k3s worker節點

containerd、kubelet、proxy、flannel


三 K3S部署準備


3.1 變量參數準備


[root@master01 ~]# vi environment.sh 


  1 #!/bin/sh
  2 #****************************************************************#
  3 # ScriptName: environment.sh
  4 # Author: xhy
  5 # Create Date: 2020-05-13 12:21
  6 # Modify Author: xhy
  7 # Modify Date: 2020-05-13 12:21
  8 # Version: 
  9 #***************************************************************#
 10 
 11 # 集群 MASTER 機器 IP 數組
 12 export MASTER_IPS=(172.24.12.11 172.24.12.12 172.24.12.13)
 13 
 14 # 集群 MASTER IP 對應的主機名數組
 15 export MASTER_NAMES=(master01 master02 master03)
 16 
 17 # 集群 NODE 機器 IP 數組
 18 export NODE_IPS=(172.24.12.21 172.24.12.22 172.24.12.23)
 19 
 20 # 集群 NODE IP 對應的主機名數組
 21 export NODE_NAMES=(worker01 worker02 worker03)
 22 
 23 # 集群所有機器 IP 數組
 24 export ALL_IPS=(172.24.12.11 172.24.12.12 172.24.12.13 172.24.12.21 172.24.12.22 172.24.12.23)
 25 
 26 # 集群所有IP 對應的主機名數組
 27 export ALL_NAMES=(master01 master02 master03 worker01 worker02 worker03)
 28 
 29 # etcd 集群服務地址列表
 30 export ETCD_ENDPOINTS="//172.24.12.11:2379,//172.24.12.12:2379,//172.24.12.13:2379"
 31 
 32 # etcd 集群間通信的 IP 和端口
 33 export ETCD_NODES="master01=//172.24.12.11:2380,master02=//172.24.12.12:2380,master03=//172.24.12.13:2380"
 34 
 35 # 節點間互聯網絡接口名稱
 36 export IFACE="eth0"
 37 
 38 # etcd 數據目錄
 39 export ETCD_DATA_DIR="/data/k3s/etcd/data"
 40 
 41 # etcd WAL 目錄，建議是 SSD 磁盤分區，或者和 ETCD_DATA_DIR 不同的磁盤分區
 42 export ETCD_WAL_DIR="/data/k3s/etcd/wal"


3.2 相關優化


[root@master01 ~]# vi k3sinit.sh


  1 #!/bin/sh
  2 #****************************************************************#
  3 # ScriptName: k3sinit.sh
  4 # Author: xhy
  5 # Create Date: 2020-05-13 18:56
  6 # Modify Author: xhy
  7 # Modify Date: 2020-05-13 18:56
  8 # Version: 
  9 #***************************************************************#
 10 # Initialize the machine. This needs to be executed on every machine.
 11 
 12 # Disable the SELinux.
 13 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
 14 
 15 # Turn off and disable the firewalld.
 16 systemctl stop firewalld
 17 systemctl disable firewalld
 18 
 19 # Modify related kernel parameters & Disable the swap.
 20 cat > /etc/sysctl.d/k3s.conf << EOF
 21 net.ipv4.ip_forward = 1
 22 net.bridge.bridge-nf-call-ip6tables = 1
 23 net.bridge.bridge-nf-call-iptables = 1
 24 net.ipv4.tcp_tw_recycle = 0
 25 vm.swappiness = 0
 26 vm.overcommit_memory = 1
 27 vm.panic_on_oom = 0
 28 net.ipv6.conf.all.disable_ipv6 = 1
 29 EOF
 30 sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null
 31 swapoff -a
 32 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
 33 modprobe br_netfilter
 34 
 35 # Add ipvs modules
 36 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
 37 #!/bin/bash
 38 modprobe -- ip_vs
 39 modprobe -- ip_vs_rr
 40 modprobe -- ip_vs_wrr
 41 modprobe -- ip_vs_sh
 42 modprobe -- nf_conntrack_ipv4
 43 EOF
 44 chmod 755 /etc/sysconfig/modules/ipvs.modules
 45 bash /etc/sysconfig/modules/ipvs.modules
 46 
 47 # Install rpm
 48 yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget

3.3 配置免秘鑰


  1 [root@master01 ~]# cat > etc/hosts << EOF
  2 172.24.12.11 master01
  3 172.24.12.12 master02
  4 172.24.12.13 master03
  5 172.24.12.21 worker01
  6 172.24.12.22 worker02
  7 172.24.12.23 worker03
  8 EOF


為了更方便遠程分發文件和執行命令，本實驗配置master節點到其它節點的 ssh 信任關係。


  1 [root@master01 ~]# source /root/environment.sh
  2 [root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  3 do
  4 echo ">>> ${all_ip}"
  5 ssh-copy-id -i ~/.ssh/id_rsa.pub root@${all_ip}
  6 scp /etc/hosts root@${all_ip}:/etc/hosts
  7 scp environment.sh root@${all_ip}:/root/
  8 scp k3sinit.sh root@${all_ip}:/root/
  9 ssh root@${all_ip} "chmod +x /root/environment.sh"
 10 ssh root@${all_ip} "chmod +x /root/k3sinit.sh"
 11 ssh root@${all_ip} "bash /root/k3sinit.sh &"
 12 done


提示：此操作僅需要在master01節點操作。


四 自定義證書


4.1 安裝cfssl


  1 [root@master01 ~]# curl -L //pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl		#下載cfssl軟件
  2 [root@master01 ~]# chmod u+x /usr/local/bin/cfssl
  3 [root@master01 ~]# curl -L //pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson	#下載json模板
  4 [root@master01 ~]# chmod u+x /usr/local/bin/cfssljson
  5 [root@master01 ~]# curl -L //pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo
  6 [root@master01 ~]# chmod u+x /usr/local/bin/cfssl-certinfo
  7 [root@master01 ~]# mkdir /opt/k3s/work
  8 [root@master01 ~]# cd /opt/k3s/work
  9 [root@master01 cert]# cfssl print-defaults config > config.json
 10 [root@master01 cert]# cfssl print-defaults csr > csr.json	#創建模版配置json文件


4.2 創建根證書


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# cp config.json ca-config.json		#複製一份作為CA的配置文件
  3 [root@master01 work]# cat > ca-config.json <<EOF
  4 {
  5     "signing": {
  6         "default": {
  7             "expiry": "168h"
  8         },
  9         "profiles": {
 10             "kubernetes": {
 11                 "expiry": "87600h",
 12                 "usages": [
 13                     "signing",
 14                     "key encipherment",
 15                     "server auth",
 16                     "client auth"
 17                 ]
 18             }
 19         }
 20     }
 21 }
 22 EOF


字段解釋：


config.json：可以定義多個profiles，分別指定不同的過期時間、使用場景等參數；後續在簽名證書時使用某個profile；




  • signing: 表示該證書可用於簽名其它證書；生成的ca.pem 證書中CA=TRUE；


  • server auth: 表示client 可以用該CA 對server 提供的證書進行校驗；


  • client auth: 表示server 可以用該CA 對client 提供的證書進行驗證。


  1 [root@master01 work]# cp csr.json ca-csr.json	#複製一份作為CA的證書籤名請求文件
  2 [root@master01 work]# cat > ca-csr.json <<EOF
  3 {
  4     "CN": "kubernetes",
  5     "key": {
  6         "algo": "rsa",
  7         "size": 2048
  8     },
  9     "names": [
 10         {
 11             "C": "CN",
 12             "ST": "Shanghai",
 13             "L": "Shanghai",
 14             "O": "k3s",
 15             "OU": "System"
 16         }
 17     ]
 18 }
 19 EOF


字段解釋：




  • CN: Common Name，kube-apiserver 從證書中提取該字段作為請求的用戶名(User Name)；瀏覽器使用該字段驗證網站是否合法；


  • C：country；


  • ST：state；


  • L：city；


  • O: Organization，kube-apiserver 從證書中提取該字段作為請求用戶所屬的組(Group)；


  • OU：organization unit。


[root@master01 work]# cfssl gencert -initca ca-csr.json | cfssljson -bare ca #生成CA密鑰（ca-key.pem）和證書（ca.pem）


提示：生成證書後，Kubernetes集群需要雙向TLS認證，則可將ca-key.pem和ca.pem拷貝到所有要部署的機器的/etc/kubernetes/ssl目錄下。


更多TLS證書創建方式參考《附008.Kubernetes TLS證書介紹及創建》。


4.3 分髮根證書


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for all_ip in ${ALL_IPS[@]}
  4   do
  5     echo ">>> ${all_ip}"
  6     ssh root@${all_ip} "mkdir -p /etc/kubernetes/cert"
  7     scp ca*.pem ca-config.json root@${all_ip}:/etc/kubernetes/cert
  8   done


五 安裝ETCD


5.1 安裝ETCD


  1 [root@master01 ~]# wget //github.com/coreos/etcd/releases/download/v3.4.7/etcd-v3.4.7-linux-amd64.tar.gz
  2 [root@master01 ~]# tar -xvf etcd-v3.4.7-linux-amd64.tar.gz


5.2 分發ETCD


  1 [root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  2   do
  3     echo ">>> ${master_ip}"
  4     scp etcd-v3.4.7-linux-amd64/etcd* root@${master_ip}:/usr/local/bin
  5     ssh root@${master_ip} "chmod +x /usr/local/bin/*"
  6     ssh root@${master_ip} "mkdir -p /data/k3s/etcd/data"
  7     ssh root@${master_ip} "mkdir -p /data/k3s/etcd/wal"
  8   done


5.3 創建etcd證書和密鑰


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 cert]# cat > etcd-csr.json <<EOF
  3 {
  4     "CN": "etcd",
  5     "hosts": [
  6         "127.0.0.1",
  7         "localhost",
  8         "172.24.12.11",
  9         "172.24.12.12",
 10         "172.24.12.13"
 11     ],
 12     "key": {
 13         "algo": "rsa",
 14         "size": 2048
 15     },
 16     "names": [
 17         {
 18             "C": "CN",
 19             "ST": "Shanghai",
 20             "L": "Shanghai",
 21             "O": "k3s",
 22             "OU": "System"
 23         }
 24     ]
 25 }
 26 EOF
 27 #創建etcd的CA證書請求文件


解釋：


hosts 字段指定授權使用該證書的 etcd 節點 IP 或域名列表，需要將 etcd 集群的三個節點 IP 都列在其中。


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# cfssl gencert -ca=/opt/k3s/work/ca.pem \
  3 -ca-key=/opt/k3s/work/ca-key.pem -config=/opt/k3s/work/ca-config.json \
  4 -profile=kubernetes etcd-csr.json | cfssljson -bare etcd	#生成CA密鑰（ca-key.pem）和證書（ca.pem）


5.4 分發證書和私鑰


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     ssh root@${master_ip} "mkdir -p /etc/etcd/cert"
  7     scp etcd*.pem root@${master_ip}:/etc/etcd/cert/
  8   done


5.5 創建etcd的systemd


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# cat > etcd.service.template <<EOF
  4 [Unit]
  5 Description=Etcd Server
  6 After=network.target
  7 After=network-online.target
  8 Wants=network-online.target
  9 Documentation=//github.com/coreos
 10 
 11 [Service]
 12 Type=notify
 13 WorkingDirectory=${ETCD_DATA_DIR}
 14 ExecStart=/usr/local/bin/etcd \\
 15   --data-dir=${ETCD_DATA_DIR} \\
 16   --wal-dir=${ETCD_WAL_DIR} \\
 17   --name=##MASTER_NAME## \\
 18   --cert-file=/etc/etcd/cert/etcd.pem \\
 19   --key-file=/etc/etcd/cert/etcd-key.pem \\
 20   --trusted-ca-file=/etc/kubernetes/cert/ca.pem \\
 21   --peer-cert-file=/etc/etcd/cert/etcd.pem \\
 22   --peer-key-file=/etc/etcd/cert/etcd-key.pem \\
 23   --peer-trusted-ca-file=/etc/kubernetes/cert/ca.pem \\
 24   --peer-client-cert-auth \\
 25   --client-cert-auth \\
 26   --listen-peer-urls=//##MASTER_IP##:2380 \\
 27   --initial-advertise-peer-urls=//##MASTER_IP##:2380 \\
 28   --listen-client-urls=//##MASTER_IP##:2379,//127.0.0.1:2379 \\
 29   --advertise-client-urls=//##MASTER_IP##:2379 \\
 30   --initial-cluster-token=etcd-cluster-0 \\
 31   --initial-cluster=${ETCD_NODES} \\
 32   --initial-cluster-state=new \\
 33   --auto-compaction-mode=periodic \\
 34   --auto-compaction-retention=1 \\
 35   --max-request-bytes=33554432 \\
 36   --quota-backend-bytes=6442450944 \\
 37   --heartbeat-interval=250 \\
 38   --election-timeout=2000
 39 Restart=on-failure
 40 RestartSec=5
 41 LimitNOFILE=65536
 42 
 43 [Install]
 44 WantedBy=multi-user.target
 45 EOF


解釋：


WorkingDirectory、–data-dir：指定工作目錄和數據目錄為 ${ETCD_DATA_DIR}，需在啟動服務前創建這個目錄；


–wal-dir：指定 wal 目錄，為了提高性能，一般使用 SSD 或者和 –data-dir 不同的磁盤；


–name：指定節點名稱，當 –initial-cluster-state 值為 new 時，–name 的參數值必須位於 –initial-cluster 列表中；


–cert-file、–key-file：etcd server 與 client 通信時使用的證書和私鑰；


–trusted-ca-file：簽名 client 證書的 CA 證書，用於驗證 client 證書；


–peer-cert-file、–peer-key-file：etcd 與 peer 通信使用的證書和私鑰；


–peer-trusted-ca-file：簽名 peer 證書的 CA 證書，用於驗證 peer 證書。


5.5 修改etcd systemd相應地址


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for (( i=0; i < 3; i++ ))
  4   do
  5     sed -e "s/##MASTER_NAME##/${MASTER_NAMES[i]}/" -e "s/##MASTER_IP##/${MASTER_IPS[i]}/" etcd.service.template > etcd-${MASTER_IPS[i]}.service
  6   done


5.6 分發etcd systemd


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01  work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     scp etcd-${master_ip}.service root@${master_ip}:/etc/systemd/system/etcd.service
  7   done


5.7 啟動ETCD


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01  work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     ssh root@${master_ip} "mkdir -p ${ETCD_DATA_DIR} ${ETCD_WAL_DIR}"
  7     ssh root@${master_ip} "systemctl daemon-reload && systemctl enable etcd && systemctl restart etcd " &
  8   done


5.8 檢查ETCD啟動


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     ssh root@${master_ip} "systemctl status etcd|grep Active"
  7   done


5.9 驗證服務狀態


  1 [root@master01 ~]# cd /opt/k3s/work
  2 [root@master01 work]# source /root/environment.sh
  3 [root@master01 work]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     ETCDCTL_API=3 /usr/local/bin/etcdctl \
  7     --endpoints=//${master_ip}:2379 \
  8     --cacert=/etc/kubernetes/cert/ca.pem \
  9     --cert=/etc/etcd/cert/etcd.pem \
 10     --key=/etc/etcd/cert/etcd-key.pem endpoint health
 11   done


5.10 查看ETCD當前leader


  1 [root@master01 ~]# source /root/environment.sh
  2 [root@master01 ~]# ETCDCTL_API=3 /usr/local/bin/etcdctl \
  3   -w table --cacert=/etc/kubernetes/cert/ca.pem \
  4   --cert=/etc/etcd/cert/etcd.pem \
  5   --key=/etc/etcd/cert/etcd-key.pem \
  6   --endpoints=${ETCD_ENDPOINTS} endpoint status


clipboard


如上所示，當前ETCD集群的leader為172.24.12.12。


六 安裝K3S server


6.1 腳本安裝


  1 [root@master01 ~]# curl -sfL //docs.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn \
  2 sh -s - server --write-kubeconfig ~/.kube/config \
  3 --datastore-endpoint='//172.24.12.11:2379,master02=//172.24.12.12:2379,master03=//172.24.12.13:2379' --datastore-cafile=/etc/kubernetes/cert/ca.pem \
  4 --datastore-certfile=/etc/etcd/cert/etcd.pem \
  5 --datastore-keyfile=/etc/etcd/cert/etcd-key.pem \
  6 --token=x120952576 \
  7 --tls-san=172.24.12.254
  8 [root@master01 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc


提示：如上需要在所有master節點執行，/var/lib/rancher/k3s/server/manifests/為k3s中的靜態pud路徑。


–write-kubeconfig ~/.kube/config效果為將配置文件寫到k8s默認會用的位置，而不是k3s默認的位置/etc/rancher/k3s/k3s.yaml。後者會導致istio、helm需要額外設置或無法運行。


釋義：腳本安裝可配置參數：


  • INSTALL_K3S_MIRROR：中國區用戶設置INSTALL_K3S_MIRROR=cn可加速K3S二進制文件下載，也可以直接手動下載二進制文件。
  • INSTALL_K3S_SKIP_DOWNLOAD：如果設置為true，則不會下載K3s hash文件或K3S二進制文件。
  • INSTALL_K3S_SYMLINK：如果設置為skip將不會創建軟鏈接，force將強制覆蓋，如果path中不存在命令，則默認值為符號鏈接。
  • INSTALL_K3S_SKIP_START：如果設置為true，將不會自動啟動K3s服務。
  • INSTALL_K3S_VERSION：可從github下載的K3s版本。如果未指定，將嘗試下載latest版本。
  • INSTALL_K3S_BIN_DIR：將K3S的二進制文件，軟鏈接和卸載腳本安裝到的目錄，/usr/local/bin用作默認目錄。
  • INSTALL_K3S_BIN_DIR_READ_ONLY：如果設置為true，則不會寫入文件到INSTALL_K3S_BIN_DIR，如果需要強制寫入則設置INSTALL_K3S_SKIP_DOWNLOAD=true。
  • INSTALL_K3S_SYSTEMD_DIR：將systemd服務和環境變量文件安裝到的目錄，/etc/systemd/system用作默認目錄。
  • INSTALL_K3S_EXEC：當未指定INSTALL_K3S_EXEC變量，或設置了K3S_URL變量，或在INSTALL_K3S_EXEC變量中沒有添加server執行命令，那麼k3s默認將以agent角色運行。反之，會默認以server角色運行。最終，systemd命令會被解析為EXEC命令和腳本參數的組合（$@）。
  • INSTALL_K3S_NAME：如果未指定，將默認使用K3s exec命令創建的systemd服務的名稱。如果指定，名稱將以k3s-為前綴。
  • INSTALL_K3S_TYPE：要創建的systemd服務類型，如果未指定，將默認使用K3s exec命令。


提示：默認K3S將以flannel作為CNI運行，並使用VXLAN作為默認後端。本實驗採用外部etcd數據庫作為存儲，更多數據存儲類型可參考：//docs.rancher.cn/k3s/installation/datastore.html。


6.2 確認驗證


  1 [root@master01 ~]# kubectl get nodes


clipboard


  1 [root@master01 ~]# kubectl taint node master01 node-role.kubernetes.io/master="":NoSchedule
  2 [root@master01 ~]# kubectl taint node master01 node-role.kubernetes.io/master="":NoSchedule
  3 [root@master01 ~]# kubectl taint node master01 node-role.kubernetes.io/master="":NoSchedule


七 高可用優化


7.1 Keepalived安裝


  1 [root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  2   do
  3     echo ">>> ${master_ip}"
  4     ssh root@${master_ip} "yum -y install gcc gcc-c++ make libnl libnl-devel libnfnetlink-devel openssl-devel"
  5     ssh root@${master_ip} "wget //down.linuxsb.com:8888/software/keepalived-2.0.20.tar.gz"
  6     ssh root@${master_ip} "tar -zxvf keepalived-2.0.20.tar.gz"
  7     ssh root@${master_ip} "cd keepalived-2.0.20/ && ./configure --sysconf=/etc --prefix=/usr/local/keepalived && make && make install"
  8     ssh root@${master_ip} "systemctl enable keepalived && systemctl start keepalived"
  9   done


提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝。


7.2 創建配置文件


  1 [root@master01 ~]# wget //down.linuxsb.com:8888/k3s_ha.sh	#下載高可用自動配置腳本
  2 [root@master01 ~]# vi k3s_ha.sh 				#其他部分保持默認
  3 # master keepalived virtual ip address
  4 export K3SHA_VIP=172.24.12.254
  5 
  6 # master01 ip address
  7 export K3SHA_IP1=172.24.12.11
  8 
  9 # master02 ip address
 10 export K3SHA_IP2=172.24.12.12
 11 
 12 # master03 ip address
 13 export K3SHA_IP3=172.24.12.13
 14 
 15 # master01 hostname
 16 export K3SHA_HOST1=master01
 17 
 18 # master02 hostname
 19 export K3SHA_HOST2=master02
 20 
 21 # master03 hostname
 22 export K3SHA_HOST3=master03
 23 
 24 # master01 network interface name
 25 export K3SHA_NETINF1=eth0
 26 
 27 # master02 network interface name
 28 export K3SHA_NETINF2=eth0
 29 
 30 # master03 network interface name
 31 export K3SHA_NETINF3=eth0
 32 
 33 [root@master01 ~]# bash k3s_ha.sh


解釋：如上僅需Master01節點操作。執行腳本後會生產如下配置文件清單：


執行k3s_ha.sh腳本後，會自動生成以下配置文件：




  • keepalived：keepalived配置文件，位於各個master節點的/etc/keepalived目錄


  • nginx-lb：nginx-lb負載均衡配置文件，位於各個master節點的/root/nginx-lb目錄


7.3 啟動Keepalived


  1 [root@master01 ~]# cat /etc/keepalived/keepalived.conf
  2 [root@master01 ~]# cat /etc/keepalived/check_apiserver.sh	確認Keepalived配置
  3 [root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  4   do
  5     echo ">>> ${master_ip}"
  6     ssh root@${master_ip} "systemctl restart keepalived.service"
  7     ssh root@${master_ip} "systemctl status keepalived.service"
  8     ssh root@${master_ip} "ping -c1 172.24.12.254"
  9   done


提示：如上僅需Master01節點操作，從而實現所有節點自動啟動服務。


7.4 確認驗證


  1 [root@master01 ~]# kubectl -n kube-system get pods | grep -E 'NAME|nginx'
  2 NAME                                      READY   STATUS      RESTARTS   AGE
  3 nginx-lb-2dk6z                            1/1     Running     0          2m56s
  4 nginx-lb-68s47                            1/1     Running     0          2m56s
  5 nginx-lb-nbc9l                            1/1     Running     0          2m56s


提示：如上僅需Master01節點操作，從而實現所有節點自動啟動服務。


7.5 啟用高可用


  1 [root@master01 ~]# vi /etc/rancher/k3s/k3s.yaml 
  2 ……
  3     server: //172.24.12.254:16443
  4 ……
提示：建議所有master節點進行如上修改。

八 worker節點加入


8.1 worker節點加入集群


  1 [root@worker01 ~]# curl -sfL //docs.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn \
  2 sh -s - agent --server //172.24.12.254:16443 --token x120952576
  3 [root@worker01 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc


提示：所有worker節點如上操作加入集群。


8.2 其他命令參數


  1 [root@master01 ~]# k3s server --help		#查看k3s server更多參數
  2 [root@worker01 ~]# k3s agent --help		#查看k3s agent更多參數


九 部署Longhorn


9.1 Longhorn概述


Longhorn是用於Kubernetes的開源分佈式塊存儲系統。


提示：更多介紹參考：//github.com/longhorn/longhorn。


9.2 Longhorn部署


  1 [root@master01 ~]# yum -y install iscsi-initiator-utils


提示：如上建議所有節點安裝。


  1 [root@master01 ~]# wget \
  2 //raw.githubusercontent.com/longhorn/longhorn/master/deploy/longhorn.yaml
  3 [root@master01 ~]# vi longhorn.yaml
  1 #……
  2 ---
  3 kind: Service
  4 apiVersion: v1
  5 metadata:
  6   labels:
  7     app: longhorn-ui
  8   name: longhorn-frontend
  9   namespace: longhorn-system
 10 spec:
 11   type: NodePort			#修改為nodeport
 12   selector:
 13     app: longhorn-ui
 14   ports:
 15   - port: 80
 16     targetPort: 8000
 17     nodePort: 8888
 18 ---
 19 #……
提示：建議提前pull相關鏡像。


longhornio/longhorn-engine:v0.8.1


longhornio/longhorn-ui:v0.8.1


longhornio/longhorn-instance-manager:v1_20200301


quay.io/k8scsi/csi-resizer:v0.3.0


quay.io/k8scsi/csi-node-driver-registrar:v1.2.0


9.3 動態sc創建


提示：默認longhorn部署完成已創建一個sc，也可通過如下手動編寫yaml創建。


  1 [root@master01 ~]# kubectl get sc
  2 NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
  3 ……
  4 longhorn               driver.longhorn.io      Delete          Immediate              true                   15m


  1 [root@master01 ~]# vi longhornsc.yaml


  1 kind: StorageClass
  2 apiVersion: storage.k8s.io/v1
  3 metadata:
  4   name: longhornsc
  5 provisioner: rancher.io/longhorn
  6 parameters:
  7   numberOfReplicas: "3"
  8   staleReplicaTimeout: "30"
  9   fromBackup: ""
  1 [root@master01 ~]# kubectl create -f longhornsc.yaml

9.4 測試PV及PVC


  1 [root@master01 ~]# vi longhornpod.yaml


  1 apiVersion: v1
  2 kind: PersistentVolumeClaim
  3 metadata:
  4   name: longhorn-pvc
  5 spec:
  6   accessModes:
  7     - ReadWriteOnce
  8   storageClassName: longhorn
  9   resources:
 10     requests:
 11       storage: 2Gi
 12 ---
 13 apiVersion: v1
 14 kind: Pod
 15 metadata:
 16   name: longhorn-pod
 17   namespace: default
 18 spec:
 19   containers:
 20   - name: volume-test
 21     image: nginx:stable-alpine
 22     imagePullPolicy: IfNotPresent
 23     volumeMounts:
 24     - name: volv
 25       mountPath: /data
 26     ports:
 27     - containerPort: 80
 28   volumes:
 29   - name: volv
 30     persistentVolumeClaim:
 31       claimName: longhorn-pvc
 32 


  1 [root@master01 ~]# kubectl create -f longhornpod.yaml




參考：


//docs.rancher.cn/k3s/


//docs.rancher.cn/k3s/architecture.html
Tags:

VirMach 便宜 VPS

QNews

QNews