Serverless 多環境配置方案探索
- 2020 年 4 月 7 日
- 筆記
相信讀完前面幾篇有關 Serverless Component 文章的小夥伴已經體驗到,它給我們開發帶來的便利。但是實際我們的日常開發項目中,並不僅僅只是單純地一個項目部署那麼簡單,我們的敏捷開發流程中,還有開發、聯調、測試、預發布、正式環境等關鍵詞。
那麼有小夥伴就有疑惑了,我的業務開發完了,如何管理不同環境的配置呢?比如測試環境的資料庫配置和正式環境的如何切換?於是拋轉引入,寫了此篇文章,來跟大家一起學習和探討。
讀完本篇將你將了解到:
- Serverless Component 部署原理
- dotenv 模組的基本使用
- 如何基於 dotenv 來切換多環境配置
- 如何在
serverless.yml
提煉通用配置
Serverless Component
理論指導實踐
在介紹方法之前,這裡需要先對 Serverless Component
部署原理做個簡單介紹。當我們在 serverless.yml
文件中配置好項目,執行 sls --debug
命令後,究竟發生了什麼?
核心步驟如下:
1. 初始化 context:包括分析component依賴樹,通過 dotenv 注入環境變數等。 2. 安裝依賴組件模組:不同於 `npm install`, serverless component 會將 `component` 指定的 npm 模組下載並解壓放到 `~/.serverless/components/registry/npm/@serverless/[email protected]` 中。 3. 執行組件模組的 `default` 函數:這個 default 函數就是開發者提供的部署邏輯程式碼,比如將打包壓縮好的程式碼上傳到cos,然後部署到scf。
本篇只需要關心第一步的環境變數注入就好。
可以發現,Serverless Framework
部署命令默認會幫我們注入 .env
文件中的環境變數到部署流程中,這也是為什麼我們在使用騰訊雲的組件時,需要創建一個內容如下的 .env
文件:
TENCENT_SECRET_ID=xxx TENCENT_SECRET_KEY=xxx
注意:當然騰訊雲的組件都是支援掃碼一鍵登錄的,如果你不想配置
.env
文件。是不是很炫酷 ~
基於此,我們就可以利用 .env
文件做很多事了。比如在 serverless.yml
中可以通過 ${env.xxx}
方式來獲取注入的環境變數。
dotenv 模組
Dotenv 是一個能夠通過
.env
文件將環境變數注入到 process.env 的模組。
具體使用很簡單,先安裝 npm install dotenv --save
,然後在你的項目入口文件中引入即可:
require("dotenv").config();
管理多環境配置
說了這麼多,終於到了本篇的正題。這裡以 tencent-koa 組件為例,我們先初始化我們的項目:
# 此命令會將指定包含 `serverless.yml` 的 github 目錄作為項目模板,拷貝到本地 $ serverless create --template-url https://github.com/yugasun/tencent-serverless-demo/tree/master/serverless-env # 安裝依賴 $ cd severless-env && npm install
然後新建兩個配置文件,分別為:
# .env.test 文件內容 USER_NAME=yugasun_test [email protected] # .env.release 文件內容 USER_NAME=yugasun_release [email protected]
然後新建入口文件 app.js
:
const dotenv = require("dotenv"); const Koa = require("koa"); const KoaRouter = require("koa-router"); const { CODE_ENV } = process.env; dotenv.config({ path: `${__dirname}/.env.${CODE_ENV}` }); const app = new Koa(); const router = new KoaRouter(); router.get("/", async ctx => { ctx.body = { name: process.env.USER_NAME, email: process.env.USER_EMAIL }; }); app.use(router.allowedMethods()).use(router.routes()); // don't forget to export! module.exports = app;
這是一個簡單的 demo,通過雲函數注入的環境變數 CODE_ENV
,來讀取不同的 .env.xxx
配置,從而實現不同環境的配置切換,核心程式碼就是:
const { CODE_ENV } = process.env; dotenv.config({ path: `${__dirname}/.env.${CODE_ENV}` });
備註:這裡 dotenv 的 config 函數是可以指定
path
為目標.env
文件路徑。
所以只需要給雲函數配置一個環境變數 CODE_ENV
就可以了,接下來我們來編寫 serverless.yml
文件:
# 當前運行環境 CODE_ENV: test MyExpress: component: "@serverless/tencent-koa" inputs: region: ap-guangzhou functionName: express-function code: ./ functionConf: timeout: 10 memorySize: 128 environment: variables: CODE_ENV: ${CODE_ENV} apigatewayConf: protocols: - http - https environment: ${CODE_ENV}
相信大家都知道可以通過 functionConf.environment.variables
來配置環境變數。這裡不僅配置了雲函數的環境變數,同時也配置了 apigatewayConf.environment
,以此來區分 API 網關的測試和發布環境。
小技巧:可以在
yml
文件的頂端定義公共變數CODE_ENV
,然後通過${CODE_ENV}
的方式引用變數。
然後執行部署命令 sls --debug
,部署成功後訪問創建成功的 url
鏈接,就可以看到配置的環境變數結果了:
{ "name": "yugasun_test", "email": "[email protected]" }
當我們開發完,需要部署到發布環境,只需要修改 serverless.yml
中的 CODE_ENV
值為 release
,然後重新部署就行。
配置優化 1
細心的小夥伴會發現:部署成功的雲函數,雖然可以成功地讀取不同環境配置,但是每次部署都會將 .env.test
和 .env.release
兩份配置文件同時上傳。有時我們並不想暴露生產環境的配置在測試環境,因此需要每次部署時,只上傳對應配置文件。要做到這一點,只需要在 serverless.yml
配置文件中新增 exclude
和 incldue
配置:
CODE_ENV: release MyExpress: component: "@serverless/tencent-koa" inputs: region: ap-guangzhou functionName: express-function code: ./ exclude: - .env.release - .env.test include: - .env.${CODE_ENV} functionConf: timeout: 10 memorySize: 128 environment: variables: CODE_ENV: ${CODE_ENV} apigatewayConf: protocols: - http - https environment: ${CODE_ENV}
這裡先通過 exclude
配置忽略所有配置文件,然後通過 include
來包含指定的配置文件。之所以這麼做,是因為我們指定了 code
欄位為 ./ - 項目根目錄
,因此會默認上傳項目根目錄的所有文件。
配置優化 2
當然也可以將 serverless.yml
中的任何固定參數寫到 .env
文件中,比如這裡的 CODE_ENV
變數,然後通過 ${env.CODE_ENV}
引用即可。比如我們將 CODE_ENV
寫入到 .env
中:
CODE_ENV=release
然後修改 serverless.yml
配置:
MyExpress: component: "@serverless/tencent-koa" inputs: region: ap-guangzhou functionName: express-function code: ./ exclude: - .env.release - .env.test include: - .env.${env.CODE_ENV} functionConf: timeout: 10 memorySize: 128 environment: variables: CODE_ENV: ${env.CODE_ENV} apigatewayConf: protocols: - http - https environment: ${env.CODE_ENV}
需要說明的是 .env
文件有個缺點,就是無法定義對象和數組。但是對於私密的配置,還是放到 .env
中比較合適,這樣就可以基於文件去忽略部署。
配置優化 3
當需要將同一份業務程式碼部署到不同的地區,但是函數參數配置和 API 網關配置都是一致時,如何配置呢?這裡一樣可以提煉出通用配置,如下:
# global config CODE_ENV: release # function config FUNC_CONF: name: express-function memorySize: 128 timeout: 10 environment: variables: CODE_ENV: ${CODE_ENV} # apigw config API_CONF: protocols: - http - https environment: ${CODE_ENV} # guangzhou service MyExpressGZ: component: "@serverless/tencent-koa" inputs: region: ap-guangzhou functionName: ${FUNC_CONF.name} code: ./ exclude: - .env.release - .env.test include: - .env.${CODE_ENV} functionConf: ${FUNC_CONF} apigatewayConf: ${API_CONF} # beijing service MyExpressBJ: component: "@serverless/tencent-koa" inputs: region: ap-beijing functionName: ${FUNC_CONF.name} code: ./ exclude: - .env.release - .env.test include: - .env.${CODE_ENV} functionConf: ${FUNC_CONF} apigatewayConf: ${API_CONF}
如何選擇配置方案
本文介紹了兩種方案:
- 通過
.env
配置 - 通過在
serverless.yml
中定義變數
他們都可以定義全局變數,那麼在實際開發中如何去抉擇使用呢?
注意:
serverless.yml
定義的變數,或者.env
中自動注入的變數,只有在執行sls --debug
命令後,才能夠獲取到。實際部署成功的程式碼,是需要通過dotenv
模組來指定.env
文件來手動載入注入的。當然如果你也可以通過解析serverless.yml
文件來獲取需要的變數也是可以的。
通常我會將跟 執行部署時的配置
放到 serverless.yml
中,將 業務相關的配置
放到 .env
文件中。當然,這裡只是個人建議,具體如何去配置還是要看個人使用習慣。
其他語言
雖然本文只是講述了如何在 Nodejs
項目中管理多環境配置,但是其他語言基本都實現了 dotenv
模組,所以此方法是通用的,比如 Python
的 python-dotenv
模組,使用起來基本差不多:
# settings.py from dotenv import load_dotenv from pathlib import Path # python3 only env_path = Path('.') / '.env.test' load_dotenv(dotenv_path=env_path)
總結
本篇涉及到所有源碼都維護在開源項目 tencent-serverless-demo 中 serverless-env
全文到這裡就結束了,當然這只是本人在日常開發中總結的經驗而已,如果你有更好的實踐方式,歡迎一起為 Serverless 開源社區做貢獻。
傳送門:
- GitHub: github.com/serverless
- 官網:serverless.com
點擊閱讀原文訪問:Serverless 中文網,您可以在 最佳實踐 里體驗更多關於 Serverless 應用的開發!
Serverless Framework 免費試用計劃
Serverless Framework 免費試用名額已開放,我們誠邀您來試用和體驗最便捷的 Serverless 開發和部署方式。包括服務中使用到雲函數 SCF、API 網關、對象存儲 COS 等產品,均在試用期內提供免費資源,並伴有專業的技術支援,幫助您的業務快速、便捷實現 Serverless !
Serverless Framework 落地 Serverless 架構的全雲端開發閉環體驗,覆蓋編碼、運維、調試、部署等開發全生命周期。使用 Serverless Framework 即可在幾秒鐘內將業務部署至雲端。
具體免費詳情可查閱:https://cloud.tencent.com/document/product/1154/38792