Serverless 多環境配置方案探索

相信讀完前面幾篇有關 Serverless Component 文章的小夥伴已經體驗到,它給我們開發帶來的便利。但是實際我們的日常開發項目中,並不僅僅只是單純地一個項目部署那麼簡單,我們的敏捷開發流程中,還有開發、聯調、測試、預發布、正式環境等關鍵詞。

那麼有小夥伴就有疑惑了,我的業務開發完了,如何管理不同環境的配置呢?比如測試環境的資料庫配置和正式環境的如何切換?於是拋轉引入,寫了此篇文章,來跟大家一起學習和探討。

讀完本篇將你將了解到:

  1. Serverless Component 部署原理
  2. dotenv 模組的基本使用
  3. 如何基於 dotenv 來切換多環境配置
  4. 如何在 serverless.yml 提煉通用配置

Serverless Component

理論指導實踐

在介紹方法之前,這裡需要先對 Serverless Component 部署原理做個簡單介紹。當我們在 serverless.yml 文件中配置好項目,執行 sls --debug 命令後,究竟發生了什麼?

核心步驟如下:

1. 初始化 context:包括分析component依賴樹,通過 dotenv 注入環境變數等。  2. 安裝依賴組件模組:不同於 `npm install`, serverless component 會將 `component` 指定的 npm 模組下載並解壓放到 `~/.serverless/components/registry/npm/@serverless/[email protected]` 中。  3. 執行組件模組的 `default` 函數:這個 default 函數就是開發者提供的部署邏輯程式碼,比如將打包壓縮好的程式碼上傳到cos,然後部署到scf。

本篇只需要關心第一步的環境變數注入就好。

可以發現,Serverless Framework 部署命令默認會幫我們注入 .env 文件中的環境變數到部署流程中,這也是為什麼我們在使用騰訊雲的組件時,需要創建一個內容如下的 .env 文件:

TENCENT_SECRET_ID=xxx  TENCENT_SECRET_KEY=xxx

注意:當然騰訊雲的組件都是支援掃碼一鍵登錄的,如果你不想配置 .env 文件。是不是很炫酷 ~

基於此,我們就可以利用 .env 文件做很多事了。比如在 serverless.yml 中可以通過 ${env.xxx} 方式來獲取注入的環境變數。

dotenv 模組

Dotenv 是一個能夠通過 .env 文件將環境變數注入到 process.env 的模組。

具體使用很簡單,先安裝 npm install dotenv --save,然後在你的項目入口文件中引入即可:

require("dotenv").config();

管理多環境配置

說了這麼多,終於到了本篇的正題。這裡以 tencent-koa 組件為例,我們先初始化我們的項目:

# 此命令會將指定包含 `serverless.yml` 的 github 目錄作為項目模板,拷貝到本地  $ serverless create --template-url https://github.com/yugasun/tencent-serverless-demo/tree/master/serverless-env    # 安裝依賴  $ cd severless-env && npm install

然後新建兩個配置文件,分別為:

# .env.test 文件內容  USER_NAME=yugasun_test  [email protected]    # .env.release 文件內容  USER_NAME=yugasun_release  [email protected]

然後新建入口文件 app.js

const dotenv = require("dotenv");  const Koa = require("koa");  const KoaRouter = require("koa-router");    const { CODE_ENV } = process.env;  dotenv.config({    path: `${__dirname}/.env.${CODE_ENV}`  });    const app = new Koa();  const router = new KoaRouter();    router.get("/", async ctx => {    ctx.body = {      name: process.env.USER_NAME,      email: process.env.USER_EMAIL    };  });    app.use(router.allowedMethods()).use(router.routes());    // don't forget to export!  module.exports = app;

這是一個簡單的 demo,通過雲函數注入的環境變數 CODE_ENV,來讀取不同的 .env.xxx 配置,從而實現不同環境的配置切換,核心程式碼就是:

const { CODE_ENV } = process.env;  dotenv.config({    path: `${__dirname}/.env.${CODE_ENV}`  });

備註:這裡 dotenv 的 config 函數是可以指定 path 為目標 .env 文件路徑。

所以只需要給雲函數配置一個環境變數 CODE_ENV 就可以了,接下來我們來編寫 serverless.yml 文件:

# 當前運行環境  CODE_ENV: test    MyExpress:    component: "@serverless/tencent-koa"    inputs:      region: ap-guangzhou      functionName: express-function      code: ./      functionConf:        timeout: 10        memorySize: 128        environment:          variables:            CODE_ENV: ${CODE_ENV}      apigatewayConf:        protocols:          - http          - https        environment: ${CODE_ENV}

相信大家都知道可以通過 functionConf.environment.variables 來配置環境變數。這裡不僅配置了雲函數的環境變數,同時也配置了 apigatewayConf.environment,以此來區分 API 網關的測試和發布環境。

小技巧:可以在 yml 文件的頂端定義公共變數 CODE_ENV,然後通過 ${CODE_ENV} 的方式引用變數。

然後執行部署命令 sls --debug,部署成功後訪問創建成功的 url 鏈接,就可以看到配置的環境變數結果了:

{    "name": "yugasun_test",    "email": "[email protected]"  }

當我們開發完,需要部署到發布環境,只需要修改 serverless.yml 中的 CODE_ENV 值為 release,然後重新部署就行。

配置優化 1

細心的小夥伴會發現:部署成功的雲函數,雖然可以成功地讀取不同環境配置,但是每次部署都會將 .env.test.env.release 兩份配置文件同時上傳。有時我們並不想暴露生產環境的配置在測試環境,因此需要每次部署時,只上傳對應配置文件。要做到這一點,只需要在 serverless.yml 配置文件中新增 excludeincldue 配置:

CODE_ENV: release    MyExpress:    component: "@serverless/tencent-koa"    inputs:      region: ap-guangzhou      functionName: express-function      code: ./      exclude:        - .env.release        - .env.test      include:        - .env.${CODE_ENV}      functionConf:        timeout: 10        memorySize: 128        environment:          variables:            CODE_ENV: ${CODE_ENV}      apigatewayConf:        protocols:          - http          - https        environment: ${CODE_ENV}

這裡先通過 exclude 配置忽略所有配置文件,然後通過 include 來包含指定的配置文件。之所以這麼做,是因為我們指定了 code 欄位為 ./ - 項目根目錄 ,因此會默認上傳項目根目錄的所有文件。

配置優化 2

當然也可以將 serverless.yml 中的任何固定參數寫到 .env 文件中,比如這裡的 CODE_ENV 變數,然後通過 ${env.CODE_ENV} 引用即可。比如我們將 CODE_ENV 寫入到 .env 中:

CODE_ENV=release

然後修改 serverless.yml 配置:

MyExpress:    component: "@serverless/tencent-koa"    inputs:      region: ap-guangzhou      functionName: express-function      code: ./      exclude:        - .env.release        - .env.test      include:        - .env.${env.CODE_ENV}      functionConf:        timeout: 10        memorySize: 128        environment:          variables:            CODE_ENV: ${env.CODE_ENV}      apigatewayConf:        protocols:          - http          - https        environment: ${env.CODE_ENV}

需要說明的是 .env 文件有個缺點,就是無法定義對象和數組。但是對於私密的配置,還是放到 .env 中比較合適,這樣就可以基於文件去忽略部署。

配置優化 3

當需要將同一份業務程式碼部署到不同的地區,但是函數參數配置和 API 網關配置都是一致時,如何配置呢?這裡一樣可以提煉出通用配置,如下:

# global config  CODE_ENV: release    # function config  FUNC_CONF:    name: express-function    memorySize: 128    timeout: 10    environment:      variables:        CODE_ENV: ${CODE_ENV}    # apigw config  API_CONF:    protocols:      - http      - https    environment: ${CODE_ENV}    # guangzhou service  MyExpressGZ:    component: "@serverless/tencent-koa"    inputs:      region: ap-guangzhou      functionName: ${FUNC_CONF.name}      code: ./      exclude:        - .env.release        - .env.test      include:        - .env.${CODE_ENV}      functionConf: ${FUNC_CONF}      apigatewayConf: ${API_CONF}    # beijing service  MyExpressBJ:    component: "@serverless/tencent-koa"    inputs:      region: ap-beijing      functionName: ${FUNC_CONF.name}      code: ./      exclude:        - .env.release        - .env.test      include:        - .env.${CODE_ENV}      functionConf: ${FUNC_CONF}      apigatewayConf: ${API_CONF}

如何選擇配置方案

本文介紹了兩種方案:

  1. 通過 .env 配置
  2. 通過在 serverless.yml 中定義變數

他們都可以定義全局變數,那麼在實際開發中如何去抉擇使用呢?

注意:serverless.yml 定義的變數,或者 .env 中自動注入的變數,只有在執行 sls --debug 命令後,才能夠獲取到。實際部署成功的程式碼,是需要通過 dotenv 模組來指定 .env 文件來手動載入注入的。當然如果你也可以通過解析 serverless.yml 文件來獲取需要的變數也是可以的。

通常我會將跟 執行部署時的配置 放到 serverless.yml 中,將 業務相關的配置 放到 .env 文件中。當然,這裡只是個人建議,具體如何去配置還是要看個人使用習慣。

其他語言

雖然本文只是講述了如何在 Nodejs 項目中管理多環境配置,但是其他語言基本都實現了 dotenv 模組,所以此方法是通用的,比如 Pythonpython-dotenv 模組,使用起來基本差不多:

# settings.py  from dotenv import load_dotenv  from pathlib import Path  # python3 only  env_path = Path('.') / '.env.test'  load_dotenv(dotenv_path=env_path)

總結

本篇涉及到所有源碼都維護在開源項目 tencent-serverless-demo 中 serverless-env

全文到這裡就結束了,當然這只是本人在日常開發中總結的經驗而已,如果你有更好的實踐方式,歡迎一起為 Serverless 開源社區做貢獻。

傳送門:

  • GitHub: github.com/serverless
  • 官網:serverless.com

點擊閱讀原文訪問:Serverless 中文網,您可以在 最佳實踐 里體驗更多關於 Serverless 應用的開發!

Serverless Framework 免費試用計劃

Serverless Framework 免費試用名額已開放,我們誠邀您來試用和體驗最便捷的 Serverless 開發和部署方式。包括服務中使用到雲函數 SCF、API 網關、對象存儲 COS 等產品,均在試用期內提供免費資源,並伴有專業的技術支援,幫助您的業務快速、便捷實現 Serverless !

Serverless Framework 落地 Serverless 架構的全雲端開發閉環體驗,覆蓋編碼、運維、調試、部署等開發全生命周期。使用 Serverless Framework 即可在幾秒鐘內將業務部署至雲端。

具體免費詳情可查閱:https://cloud.tencent.com/document/product/1154/38792