招商銀行 KubeVela 離線部署實踐

2022 年 4 月 6 日
筆記

招商銀行雲平台開發團隊自 2021 年開始接觸 KubeVela，並探索 KubeVela 在招商銀行雲平台的落地實踐，藉此提升雲原生應用交付與管理能力。同時因為金融保險行業的特殊性，網路安全管控措施相對嚴格，行內網路無法直接拉取 Docker Hub 鏡像，同時行內暫時沒有可用的 Helm 鏡像源。因此，要想實現 KubeVela 在行內私有環境的落地，必須進行完全的離線部署。

本文將以 KubeVela v1.2.5 版本為例，介紹招商銀行 KubeVela 的離線部署實踐，來幫助其他用戶在離線環境中更便捷的完成 KubeVela 的部署。

KubeVela 離線部署方案

我們將 KubeVela 的離線部署主要分為三部分，分別是 Vela Cli、Vela Core 以及 Addon 的離線部署，每一部分主要涉及到相關 docker 鏡像的載入及 Helm 的 repackage，通過該離線部署方案，能夠大大加快 KubeVela 在離線環境的部署。

在離線部署前請確保 Kubernetes 集群版本 >= v1.19 && < v1.22，KubeVela 控制平面依賴 Kubernetes，可以放置在任何託管 Kubernetes 作為底座的產品或自建 Kubernetes 集群中。同時你也可以使用 kind 或 minikube 在本地部署、測試 KubeVela。

Vela Cli 離線部署

• 首先，需要通過 KubeVela 的發布日誌[1]下載你所需版本的 vela 二進位文件
• 解壓二進位文件，並且在 $PATH 中配置相應的環境變數
• 解壓二進位文件
• tar -zxvf vela-v1.2.5-linux-amd64.tar.gz
• mv ./linux-amd64/vela /usr/local/bin/vela
• 設置環境變數
• vi /etc/profile
• export PATH="$PATH:/usr/local/bin"
• source /etc/profile
• 通過 vela version 驗證 Vela Cli 的安裝，並檢查輸出

CLI Version: v1.2.5
Core Version:
GitRevision: git-ef80b66
GolangVersion: go1.17.7

• 至此，Vela Cli 已經離線部署完成！

Vela Core 離線部署

• 離線部署 Vela Core 之前，首先需要在離線環境中安裝 Helm[2]，並且 Helm 的版本需要滿足v3.2.0+
• 準備 docker 鏡像， Vela Core 的部署主要涉及5個鏡像，你需要首先訪問互聯網從 Docker Hub 下載相應鏡像，之後再 load 到離線環境
• 從Docker Hub拉取鏡像
• docker pull oamdev/vela-core:v1.2.5
• docker pull oamdev/cluster-gateway:v1.1.7
• docker pull oamdev/kube-webhook-certgen:v2.3
• docker pull oamdev/alpine-k8s:1.18.2
• docker pull oamdev/hello-world:v1
• 將鏡像保存到本地磁碟
• docker save -o vela-core.tar oamdev/vela-core:v1.2.5
• docker save -o cluster-gateway.tar oamdev/cluster-gateway:v1.1.7
• docker save -o kube-webhook-certgen.tar oamdev/kube-webhook-certgen:v2.3
• docker save -o alpine-k8s.tar oamdev/alpine-k8s:1.18.2
• docker save -o hello-world.tar oamdev/hello-world:v1
• 在私有環境中重新載入鏡像
• docker load vela-core.tar
• docker load cluster-gateway.tar
• docker load kube-webhook-certgen.tar
• docker load alpine-k8s.tar
• docker load hello-world.tar
• 下載 KubeVela 源碼[3]，拷貝到離線環境中，並使用 Helm 重新打包
• 將 KubeVela 源碼重新打 chart 包，並離線安裝 chart 包到控制集群
• helm package kubevela/charts/vela-core --destination kubevela/charts
• helm install --create-namespace -n vela-system kubevela kubevela/charts/vela-core-0.1.0.tgz --wait
• 檢查輸出

KubeVela control plane has been successfully set up on your cluster.

• 至此，Vela Core 已經離線部署完成！

Addon 離線部署

• 首先下載 Catalog 源碼[4]並拷貝到私有環境中
• 這裡將以 VelaUX 為例介紹 Addon 的離線部署，首先準備 docker 鏡像，VelaUX 主要涉及2個鏡像，需要首先訪問互聯網從 Docker Hub 下載相應鏡像，之後再 load 到離線環境
• 從 Docker Hub 拉取鏡像
• docker pull oamdev/vela-apiserver:v1.2.5
• docker pull oamdev/velaux:v1.2.5
• 將鏡像保存到本地磁碟
• docker save -o vela-apiserver.tar oamdev/vela-apiserver:v1.2.5
• docker save -o velaux.tar oamdev/velaux:v1.2.5
• 在私有環境中重新載入鏡像
• docker load vela-apiserver.tar
• docker load velaux.tar
• 安裝 VelaUX
• 通過 Vela Cli 安裝VelaUX
• vela addon enable catalog-master/addons/velaux
• 檢查輸出

Addon: velaux enabled Successfully.

• 若有集群中安裝了 route Controller 或 Nginx Ingress Controller，且有可用域名，你可以部署外部路由訪問 VelaUX，這裡以 openshift route 為例，也可以選擇 ingress

apiVersion: route.openshift.io/v1
kind: Route
metadata:
name: velaux-route
namespace: vela-system
spec:
host: velaux.xxx.xxx.cn
port:
  targetPort: 80
to:
  kind: Service
  name: velaux
  weight: 100
wildcardPolicy: None

• 檢查安裝

curl -I -m 10 -o /dev/null -s -w %{http_code} //velaux.xxx.xxx.cn/applications

• 至此，VelaUX 已經離線部署完成！同時，對於其他類型 Addon 的離線部署，只需要去 Catalog 源碼的對應目錄確定所需鏡像，並重複以上操作即可完成相應 Addon 的離線部署

總結

在離線部署的過程中，我們也嘗試將 Vela Core 和 Addon 在互聯網環境中部署後產生的資源實例保存為 yaml 文件，並在私有環境中進行重新部署，從而完成離線部署，但由於涉及的資源實例較多以及服務授權問題，導致該種方式較為繁瑣。

通過 KubeVela 離線部署實踐，可以幫助你更便捷的在離線環境中搭建一整套的 KubeVela，探索 KubeVela 的落地實踐。針對離線部署這個共性的問題，我們也看到 KubeVela 社區即將推出全新的 velad[5]，一個完全離線、數據高可用的安裝工具。Velad 可以幫助自動化完成準備集群、下載打包鏡像並安裝到離線環境等一系列步驟。它支援了：在 Linux 機器（例如阿里雲 ECS）本地啟動集群、安裝 vela-core；在快速啟動一個 KubeVela 控制平面的同時，不必擔心控制平面的數據隨著機器關機等情況而丟失；velad 可以將控制平面全部數據存儲到一個傳統資料庫（例如 RDS 或另一個 ECS 上部署的 MySQL）。

近期的版本中，招行將加大在 KubeVela 開源社區的投入，積極共建，在企業級集成能力、多集群能力增強、離線部署和應用級統一可觀測等諸多領域，貢獻來自於金融行業的特定用戶場景和業務需求，推動雲原生生態實現更易用更高效的應用管理平台向前發展，也歡迎更多的社區成員一起加入進來。

相關鏈接：
[1] 發布日誌：//github.com/oam-dev/kubevela/releases
[2] 安裝 Helm ：//helm.sh/docs/intro/install/
[3] KubeVela 源碼：//github.com/oam-dev/kubevela/releases
[4] Catalog 源碼：//github.com/oam-dev/catalog
[5] velad：//github.com/oam-dev/velad

您可以通過如下材料了解更多關於 KubeVela 以及 OAM 項目的細節：
• 項目程式碼庫：github.com/oam-dev/kubevela 歡迎 Star/Watch/Fork！
• 項目官方主頁與文檔：kubevela.io ，從 1.1 版本開始，已提供中文、英文文檔，更多語言文檔歡迎開發者進行翻譯。
• 項目釘釘群：23310022；Slack：CNCF #kubevela Channel
• 加入微信群：請先添加以下 maintainer 微訊號，表明進入 KubeVela 用戶群：

點擊查看 KubeVela 項目官網：//kubevela.io/