053.集群管理-Helm部署及使用

一 Helm概述


1.1 Helm介紹


Helm 是 Kubernetes 的軟體包管理工具。包管理器類似 Ubuntu 中使用的apt、Centos中使用的yum 或者Python中的 pip 一樣,能快速查找、下載和安裝軟體包。通常每個包稱為一個Chart,一個Chart是一個目錄(一般情況下會將目錄進行打包壓縮,形成name-version.tgz格式的單一文件,方便傳輸和存儲)。


Helm 由客戶端組件 helm 和服務端組件 Tiller 組成, 能夠將一組K8S資源打包統一管理, 是查找、共享和使用為Kubernetes構建的軟體的最佳方式。


1.2 Helm優勢


在 Kubernetes中部署一個可以使用的應用,需要涉及到很多的 Kubernetes 資源的共同協作。如安裝一個 WordPress 部落格,用到了一些 Kubernetes 的一些資源對象。包括 Deployment 用於部署應用、Service 提供服務發現、Secret 配置 WordPress 的用戶名和密碼,可能還需要 pv 和 pvc 來提供持久化服務。並且 WordPress 數據是存儲在mariadb裡面的,所以需要 mariadb 啟動就緒後才能啟動 WordPress。這些 k8s 資源過於分散,不方便進行管理。


基於如上場景,在 k8s 中部署一個應用,通常面臨以下幾個問題:




  • 如何統一管理、配置和更新這些分散的 k8s 的應用資源文件;

  • 如何分發和復用一套應用模板;

  • 如何將應用的一系列資源當做一個軟體包管理。


對於應用發布者而言,可以通過 Helm 打包應用、管理應用依賴關係、管理應用版本並發布應用到軟體倉庫。


對於使用者而言,使用 Helm 後不用需要編寫複雜的應用部署文件,可以以簡單的方式在 Kubernetes 上查找、安裝、升級、回滾、卸載應用程式。


1.3 Helm 相關組件及概念


Helm 包含兩個組件,分別是 helm 客戶端 和 Tiller 伺服器:




  • helm:是一個命令行工具,主要用於 Kubernetes 應用程式 Chart 的創建、打包、發布以及創建和管理本地和遠程的 Chart 倉庫。

  • Tiller:是 Helm 的服務端,部署在 Kubernetes 集群中。Tiller 負責接收 Helm 的請求,並根據 Chart 生成 Kubernetes 的部署文件( 稱為 Release ),然後提交給 Kubernetes 創建應用。(v3版本已移除)

  • chart:Helm 的打包格式叫做 chart,所謂 chart 就是一系列文件, 它描述了一組相關的 k8s 集群資源,即包含了一組定義 Kubernetes 資源相關的 YAML 文件。

  • release:使用 helm install 命令在 Kubernetes 集群中部署的 Chart 稱為 Release。

  • Repoistory:Helm chart 的倉庫,Repository 本質上是一個 Web 伺服器,該伺服器保存了一系列的 Chart 軟體包以供用戶下載,並且提供了一個該 Repository 的 Chart 包的清單文件以供查詢。Helm 可以同時管理多個不同的 Repository。


注意:Helm 中提到的 Release 與通常概念中的版本有所不同,Helm 的 Release 可以理解為 Helm 使用 Chart 包部署的一個應用實例。


二 Helm原理機制


2.1 Helm原理


如下圖所示描述了Helm 的主要組件 Helm(客戶端)、Tiller(伺服器)、Repository(Chart 軟體倉庫)、Chart(軟體包)之間的關係以及它們之間如何通訊。


clipboard


Helm架構:


clipboard


2.2 Helm主要過程


創建release過程:




  • helm 客戶端從指定的目錄或本地tar文件或遠程repo倉庫解析出chart的結構資訊;

  • helm 客戶端指定的 chart 結構和 values 資訊通過 gRPC 傳遞給 Tiller;

  • Tiller 服務端根據 chart 和 values 生成一個 release;

  • Tiller 將install release請求直接傳遞給 kube-apiserver。


刪除release:




  • helm 客戶端從指定的目錄或本地tar文件或遠程repo倉庫解析出chart的結構資訊;

  • helm 客戶端指定的 chart 結構和 values 資訊通過 gRPC 傳遞給 Tiller;

  • Tiller 服務端根據 chart 和 values 生成一個 release;

  • Tiller 將delete release請求直接傳遞給 kube-apiserver。


更新release




  • helm 客戶端將需要更新的 chart 的 release 名稱、chart 結構和 value 資訊傳給 Tiller;

  • Tiller 將收到的資訊生成新的 release,並同時更新這個 release 的 history;

  • Tiller 將新的 release 傳遞給 kube-apiserver 進行更新。


2.3 chart基本結構


Helm的打包格式叫做chart,所謂chart就是一系列文件, 它描述了一組相關的 k8s 集群資源。Chart中的文件安裝特定的目錄結構組織, 最簡單的chart 目錄如下所示:


clipboard


目錄釋義:




  • charts:該目錄存放依賴的chart;

  • Chart.yaml:包含Chart的基本資訊,包括chart版本,名稱等;

  • templates:該目錄下存放應用,即一系列 k8s 資源的 yaml 模板;

  • _helpers.tpl:此文件中定義一些可重用的模板片斷,此文件中的定義在任何資源定義模板中可用;

  • NOTES.txt:介紹chart 部署後的幫助資訊,如何使用chart等;

  • values.yaml:包含了必要的值定義(默認值), 用於存儲 templates 目錄中模板文件中用到變數的值。


參考鏈接://www.jianshu.com/p/4bd853a8068b。


附:helm v3說明:


Helm 2 是 C/S 架構,主要分為客戶端 helm 和服務端 Tiller; 與v2版本不同,v3移除了Tiller,只有 helm。


Tiller 主要用於在 Kubernetes 集群中管理各種應用發布的版本,在 Helm 3 中移除了 Tiller, 版本相關的數據直接存儲在了 Kubernetes 中。


1:移除Tiller,針對v3版本移除Tiller的說明,可參考://blog.csdn.net/zzh_gaoxingjiuhao/article/details/104182596。


2:移除Tiller的優勢可參考://www.sohu.com/a/364182362_609513。


Helm v3新特性參考://www.jianshu.com/p/dfb8e2a42db0、//github.com/helm/helm/releases/tag/v3.0.0-alpha.1。


三 Helm部署安裝


3.1 前置準備


Helm 將使用 kubectl 在已配置的集群上部署 Kubernetes 資源,因此需要如下前置準備:




  • 正在運行的 Kubernetes 集群;

  • 本地 Docker 客戶端;

  • 預配置的 kubectl 客戶端和 Kubernetes 集群正確交互。


3.2 安裝Helm




  • 二進位安裝


  1 [root@master01 ~]# wget //get.helm.sh/helm-v3.1.2-linux-amd64.tar.gz
  2 [root@master01 ~]# tar -zxvf helm-v3.1.2-linux-amd64.tar.gz 
  3 [root@master01 ~]# cp linux-amd64/helm /usr/local/bin/




  • 腳本安裝


  1 [root@master01 ~]# curl -fsSL -o get_helm.sh //raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3
  2 [root@master01 ~]# chmod 700 get_helm.sh
  3 [root@master01 ~]# ./get_helm.sh


提示:更多安裝方式參考官方手冊://helm.sh/docs/intro/install/。


  1 [root@master01 ~]# helm version		#查看安裝版本
  2 [root@master01 ~]# echo 'source <(helm completion bash)' >> .bashrc	#helm自動補全


四 Helm操作


4.1 查找chart


helm search:可以用於搜索兩種不同類型的源。


helm search hub:搜索 Helm Hub,該源包含來自許多不同倉庫的Helm chart。


helm search repo:搜索已添加到本地頭helm客戶端(帶有helm repo add)的倉庫,該搜索是通過本地數據完成的,不需要連接公網。


  1 [root@master01 helm]# helm search hub			#可搜索全部可用chart
  2 [root@master01 helm]# helm search hub wordpress


4.2 添加repo


  1 [root@master01 helm]# helm repo list			#查看repo
  2 [root@master01 helm]# helm repo add brigade //brigadecore.github.io/charts
  3 [root@master01 helm]# helm repo add stable //kubernetes-charts.storage.googleapis.com/				#添加官方repo
  4 [root@master01 helm]# helm repo add bitnami //charts.bitnami.com/bitnami
  5 
  6 [root@master01 helm]# helm search repo brigade
  7 [root@master01 helm]# helm search repo stable		#搜索repo中的chart
  8 [root@master01 helm]# helm repo update			#更新repo的chart
  9 [root@master01 helm]# helm repo remove stable		#移除repo


4.3 安裝軟體包


  1 [root@master01 helm]# helm search repo mariadb		#查找確認存在
  2 [root@master01 helm]# helm show chart bitnami/mariadb	#可提前查看相關資訊
  3 [root@master01 helm]# helm install xhy_mariadb bitnami/mariadb	#以repo中chart安裝
  4 [root@master01 helm]# helm install xhy_mariadb2 bitnami.mariadb.tgz	#以壓縮包中chart安裝
  5 [root@master01 helm]# helm install xhy_mariadb3 mariadb/		#以解壓後的目錄安裝
  6 [root@master01 helm]# helm install xhy_mariadb4 //hub.helm.sh/charts/bitnami/mariadb.tgz				#以遠程路徑安裝
  7 [root@master01 helm]# helm ls				#查看已安裝的release


提示:在 Helm 3 中,必須主動指定release名稱,或者增加 –generate-name 的參數使Helm自動生成。


在安裝期間,helm客戶端將顯示有關創建了哪些資源,發布狀態是什麼以及是否可以或應該執行其他配置步驟的有用資訊。


注意:由於許多chart需要較大的鏡像,需要一定時間才能正確部署至集群,Helm不會等到所有資源都在運行後才退出。


4.4 狀態查看


  1 [root@master01 ~]# helm status xhy-mariadb


clipboard


4.5 升級回滾


當發布新版本的chart時,或者需要更改發布的配置時,可以使用該helm upgrade命令。


  1 [root@master01 helm]# vi mariadb.yml			#以新配置重發布
  2 rootUser:
  3   password: abcd1234
  4 [root@master01 helm]# helm upgrade -f mariadb.yml xhy-mariadb bitnami/mariadb	#升級
  5 [root@master01 helm]# helm get values xhy-mariadb		#查看新配置


clipboard


  1 [root@master01 helm]# helm history xhy-mariadb		#查看安裝歷史
  2 [root@master01 helm]# helm rollback xhy-mariadb 1		#回滾


clipboard


提示:升級將採用現有發行版,並根據所提供的資訊對其進行升級。由於Kubernetes chart可能很大且很複雜,因此Helm嘗試執行侵入性最小的升級。它將僅更新自上一發行版以來已更改的內容。


4.6 卸載release


  1 [root@master01 helm]# helm uninstall xhy-mariadb		#卸載release
  2 [root@master01 helm]# helm list


提示:在Helm 3中,刪除release也會刪除發布記錄。如果希望保留刪除發布記錄,可使用helm uninstall –keep-history。使用helm list –uninstalled將僅顯示帶有–keep-history標誌卸載的發行版。


clipboard


提示:helm list –all標誌可查詢Helm保留的所有發布記錄,包括失敗或已刪除項目的記錄(如果–keep-history已指定)。


4.7 其他常見選項


–timeout:等待Kubernetes命令完成的秒數,默認5m0s。


–wait:等待,直到所有Pod都處於就緒狀態、PVC處於綁定、deployment的Pods最少可用數處於ready狀態,並且Services具有IP地址(如果安裝的為Ingress LoadBalancer),然後才將發布標記為成功。它將一直等待至–timeout設置的值。如果達到超時,該release將標記為FAILED。


注意:在作為滾動更新策略一部分的Deployment replicas設置為1,maxUnavailable且未設置為0的情況下,–wait只要滿足最小Pod就緒狀態,它將返回就緒狀態。


–no-hooks:跳過命令行的運行鉤子。


–dry-run:模擬安裝。


-n, –namespace:指定需要部署的命名空間。


提示:hele完整命令選項可執行helm <command> –help查看。


五 Helm自定義安裝


5.1 查看chart默認value


如上4.3所示方法進行安裝將僅使用此chart的默認配置選項。通常,需要自定義圖表以使用首選配置。


  1 [root@master01 ~]# helm show values bitnami/mariadb	#查看此chart可自定義配置項
  2 ……
  3 rootUser:
  4   ## MariaDB admin password
  5   ## ref: //github.com/bitnami/bitnami-docker-mariadb#setting-the-root-password-on-first-run
  6   ##
  7   password: ""
  8 ……

5.2 傳遞配置方式


有兩種在安裝過程中傳遞配置數據的方式:


–values(或-f):指定帶有替代參數及值的YAML文件。可以多次指定,最後一個文件優先順序最高。


–set:在命令行上指定替代。


提示:如果同時使用–set和-f,則將-f優先順序更高。


5.3 配置文件定義配置項


  1 [root@master01 helm]# vi mariadb.yml			#創建自定義配置
  2 rootUser:
  3   password: abcd1234
  4 


提示:如上設置資料庫密碼,而不使用默認的隨機密碼。


5.4 命令行定義配置項


  1 [root@master01 helm]# helm install --set rootUser.password=abcd1234 xhy_mariadb bitnami/mariadb


提示:更多命令與yaml對應如下:



































命令行

yaml

–set name=value

name: value

–set a=b,c=d

a: b


c: d

–set outer.inner=value

outer:


inner: value

–set name={a, b, c}

name:


– a


– b


– c

–set servers[0].port=80

servers:


– port: 80

–set servers[0].port=80,servers[0].host=example

servers:


– port: 80


host: example

–set name=value1\,value2

name: “value1,value2”

–set nodeSelector.”kubernetes\.io/role”=master

nodeSelector:


kubernetes.io/role: master


六 創建chart


6.1 創建chart命令


  1 [root@master01 helm]# helm create test-chart


clipboard


提示:create會創建一個標準的chart目錄結構,可以編輯相應配置從而創建自己的chart。更多的chart開發指南參考://helm.sh/docs/topics/charts/。


有關chart的欄位及編寫可參考://www.kubernetes.org.cn/3884.html。


  1 [root@master01 helm]# helm lint test-chart/		#驗證創建後是否正常
  2 [root@master01 helm]# helm package test-chart		#將創建的進行打包
  3 [root@master01 helm]# helm install test-chart/ ./test-chart/-0.1.0.tgz	#安裝
  4 


七 Monocular


7.1 Monocular介紹


Monocular是一個開源軟體,基於web UI圖形介面管理kubernetes上以Helm Charts形式創建的服務


7.2 Monocular安裝


  1 [root@master01 ~]# helm repo add monocular //helm.github.io/monocular	#添加repo
  2 [root@master01 ~]# kubectl create ns helm
  3 [root@master01 ~]# cat > custom-repos.yaml <<EOF
  4 sync:
  5   repos:
  6     - name: stable
  7       url: //kubernetes-charts.storage.googleapis.com
  8       schedule: "0 * * * *"
  9       successfulJobsHistoryLimit: 1
 10     - name: incubator
 11       url: //kubernetes-charts-incubator.storage.googleapis.com
 12       schedule: "*/5 * * * *"
 13     - name: monocular
 14       url: //helm.github.io/monocular
 15 ui:
 16   replicaCount: 2
 17   service:
 18     name: monocular-ui
 19     type: NodePort
 20     externalPort: 80
 21     internalPort: 8080
 22     annotations: {}
 23       # foo.io/bar: "true"
 24 ingress:
 25   hosts:
 26   - monocular.odocker.com
 27 EOF			#添加自定義配置:配置默認添加的repo及ingress host
 28 [root@master01 ~]# helm install mymonocular monocular/monocular -f custom-repos.yaml -n helm
 29 


7.3 確認安裝


  1 [root@master01 ~]# kubectl get pods -n helm -o wide
  2 [root@master01 ~]# kubectl get svc -n helm -o wide
  3 [root@master01 ~]# kubectl get ingresses -n helm -o wide
  4 


clipboard


參考://github.com/helm/monocular


八 helm部署WordPress


8.1 查看chart包


  1 [root@master01 ~]# helm repo add bitnami //charts.bitnami.com/bitnami
  2 [root@master01 ~]# helm search repo wordpress
  3 NAME                    CHART VERSION   APP VERSION     DESCRIPTION
  4 bitnami/wordpress       9.2.4           5.4.1           Web publishing platform for building blogs and ...
  5 


8.2 安裝WordPress


  1 [root@master01 ~]# kubectl create ns wp
  2 [root@master01 ~]# vi custom-wordpress.yaml
  3 wordpressUsername: admin
  4 wordpressPassword: admin12345
  5 wordpressBlogName: Xhy Blog!
  6 persistence:
  7   enabled: true
  8   storageClass: "ghsc"
  9   accessMode: ReadWriteOnce
 10   size: 5Gi
 11 
 12 
 13 mariadb:
 14   db:
 15     name: wpdb
 16     user: wpuser
 17     password: wppass12345
 18     rootUser: wpadmin
 19     password: wpadminpass12345
 20 
 21 
 22   master:
 23     persistence:
 24       enabled: true
 25       storageClass: "ghsc"
 26       accessModes:
 27         - ReadWriteOnce
 28       size: 5Gi
 29 
 30 
 31 service:
 32   type: NodePort
 33   nodePorts:
 34     http: "30005"
 35     https: "30006"
 36 


提示:


默認參考配置參考://github.com/bitnami/charts/blob/master/bitnami/wordpress/values.yaml


更多參數設置參考://github.com/bitnami/charts/tree/master/bitnami/wordpress


  1 [root@master01 ~]# helm install mywp bitnami/wordpress -f custom-wordpress.yaml -n wp


clipboard


8.3 確認安裝


  1 [root@master02 ~]# kubectl get pods -n wp -o wide
  2 [root@master02 ~]# kubectl get pv -n wp -o wide | grep wp
  3 [root@master02 ~]# kubectl get pvc -n wp -o wide          
  4 [root@master02 ~]# kubectl get svc -n wp -o wide 


clipboard


8.4 訪問測試


  1 [root@master01 ~]# kubectl get --namespace wp -o jsonpath="{.spec.ports[0].nodePort}" services mywp-wordpress		#查看埠
  2 30005
  3 [root@master01 ~]# kubectl get nodes --namespace wp -o jsonpath="{.items[0].status.addresses[0].address}"	#查看node ip
  4 172.24.8.71


瀏覽器訪問://172.24.8.71:30005或者//172.24.8.71:30006/


clipboard


瀏覽器訪問://172.24.8.71:30005/admin,進入管理介面。


clipboard



clipboard


參考文檔:


//www.hi-linux.com/posts/21466.html


//helm.sh/docs/intro/using_helm/