使用Spring Cloud Config統一管理配置,別再到處放配置文件了

1 前言

歡迎訪問南瓜慢說 www.pkslow.com獲取更多精彩文章!

可配置是一個成熟軟體系統應該提供的特性,而配置管理對於大型系統就顯得十分重要,特別是對於擁有多個應用的微服務系統。可喜的是,Spring為我們提供了很好的配置管理,如Springboot的配置就很強大。對於Spring Cloud,就有強大的Spring Cloud Config,在提供了一個在應用之外的配置管理,如文件或Git倉庫,對分散式系統配置管理十分有益。

2 快速體驗

Spring Cloud Config服務端就是一個Springboot應用,啟動、部署都十分簡單。

整體的架構如下圖所示:

2.1 服務端就是一個Springboot

Springboot中添加依賴如下:

<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-config-server</artifactId>
  <version>2.2.0.RELEASE</version>
</dependency>

只需要一個就行了,它已經包含了webactuator

添加Java主類:

package com.pkslow.config;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.config.server.EnableConfigServer;

@SpringBootApplication
@EnableConfigServer
public class ConfigServer {
    public static void main(String[] args) {
        SpringApplication.run(ConfigServer.class,args);
    }
}

跟普通的Springboot應用相比只是多了一個註解@EnableConfigServer而已。

2.2 配置倉庫

通過我們會把配置通過版本控制管理起來,一般使用Git倉庫,為簡單展示使用本地倉庫如下:

# 創建目錄
mkdir git-repo

# 初始化一個git目錄
git init

# 新建文件
touch application.properties

# 添加變更
git add .

# 提交變更
git commit -m "init"

配置一下項目的application.properties,注意是Config Server項目的,而不是在git-repo目錄里的:

server.port=8888
spring.application.name=config-server
spring.cloud.config.server.git.uri=/Users/pkslow/IdeaProjects/pkslow-modules/config-server/git-repo

接著就可以啟動Config Server了。

git倉庫里的配置文件沒有什麼內容,我們加入以下內容並提交(必須要提交,不然無法獲取)。

pkslow.webSite=www.pkslow.com
pkslow.age=18
[email protected]

2.3 配置路徑匹配

那我們如何獲取這些配置呢?可以通過以下URL讀取:

/{application}/{profile}[/{label}]
/{application}-{profile}.yml
/{label}/{application}-{profile}.yml
/{application}-{profile}.properties
/{label}/{application}-{profile}.properties
  • label指的是程式碼分支,如masterfeature-1等。

  • application是應用的名字,在以後客戶端讀取會用到。

  • profile一般用於指定環境,如proddevuat等。

所以,我們可以用以下URL來獲取我們剛添加的配置資訊:

//localhost:8888/application/default
//localhost:8888/application/default/master
//localhost:8888/master/application.properties
//localhost:8888/application-default.properties

訪問如下:

$ curl //localhost:8888/application/default/master
{"name":"application","profiles":["default"],"label":"master","version":"8796f39b35095f6e9b7176457eb03dd6d62b1783","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/git-repo/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.age":"18","pkslow.email":"[email protected]"}}]}

最後一個地址/{label}/{application}-{profile}.properties的返回結果格式不同,直接返回配置文件內容:

$ curl //localhost:8888/application-default.properties
pkslow.age: 18
pkslow.email: [email protected]
pkslow.webSite: www.pkslow.com

如果我們先建一個分支release-20200809,並修改age為實際年齡9,則如下:

$ curl //localhost:8888/application/default/release-20200809
{"name":"application","profiles":["default"],"label":"release-20200809","version":"7e27e6972ed31ee1a51e9277a2f5c0a628cec67a","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/git-repo/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.age":"9","pkslow.email":"[email protected]"}}]}

可以看到對應的pkslow.age已經變為9了,但訪問/application/default/master則還是18,分支之間不會相互影響。

2.4 遠程倉庫

本地倉庫只是為了簡單展示,在實際項目中,一般使用遠程倉庫,在GitHub創建一個新的倉庫如下:

特意創建了個private的倉庫來檢測後面的鑒權是否正確。

重新配置倉庫的地址如下:

spring.cloud.config.server.git.uri=//github.com/pkslow/pkslow-config
[email protected]
spring.cloud.config.server.git.password=***
spring.cloud.config.server.git.default-label=master
spring.cloud.config.server.git.search-paths=demo

創建一個demo目錄來放置配置,所以search-paths配置為demo。完成配置重啟伺服器,就可以正常讀取遠程倉庫的配置了。

2.5 多個程式碼配置倉庫

有些時候,我們的配置可能並不只在一個倉庫里,而是在各自客戶端的程式碼庫中,比如我們有以下三個服務:

  • (1)服務發現:discovery,程式碼庫pkslow-discovery-service
  • (2)API網關:gateway,程式碼庫pkslow-gateway-service
  • (3)訂單服務:order,程式碼庫pkslow-order-service

它們各自的配置文件都放在各自的程式碼庫里,那就需要配置多個程式碼庫。我們還多配置一個默認的配置庫pkslow-default,如果匹配不到,就會選擇默認程式碼庫的配置。具體配置如下:

server:
  port: 8888
spring:
  application:
    name: config-server
  cloud:
    config:
      server:
        git:
          uri: /Users/pkslow/multiple-repos/pkslow-default
          repos:
            pkslow-discovery-service:
              pattern: pkslow-discovery-*
              cloneOnStart: true
              uri: /Users/pkslow/multiple-repos/pkslow-discovery-service
              search-paths: config
            pkslow-gateway-service:
              pattern: pkslow-gateway-*/dev
              cloneOnStart: true
              uri: /Users/pkslow/multiple-repos/pkslow-gateway-service
              search-paths: config
            pkslow-order-service:
              pattern: pkslow-order-*
              cloneOnStart: true
              uri: /Users/pkslow/IdeaProjects/pkslow-order-service
              search-paths: config

可以各自定義配置文件所放的目錄search-paths,不配置默認為根目錄。

這裡的pattern的配置規則是{application}/{profile},支援正則符號*。注意只匹配一個結果,如果都滿足,只取第一個匹配的倉庫。

啟動後我們來看看配置結果:

# 默認profile和label,正確匹配
$ curl //localhost:8888/pkslow-order-service/default/master
{"name":"pkslow-order-service","profiles":["default"],"label":"master","version":"9d86e5d11974f0a0e7c20cd53d8f062755193e70","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-order-service/config/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.app.name":"order-service"}}]}

# 正確匹配,但不存在的Label,配置庫沒有對應程式碼分支,404
$ curl //localhost:8888/pkslow-order-service/default/release
{"timestamp":"2020-08-13T06:58:38.722+0000","status":404,"error":"Not Found","message":"No such label: release","path":"/pkslow-order-service/default/release"}

# profile為dev,正確匹配
$ curl //localhost:8888/pkslow-order-service/dev/master
{"name":"pkslow-order-service","profiles":["dev"],"label":"master","version":"9d86e5d11974f0a0e7c20cd53d8f062755193e70","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-order-service/config/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.app.name":"order-service"}}]}

# 對於gateway只能匹配profile=dev,無法匹配,讀取默認配置
$ curl //localhost:8888/pkslow-gateway-service/default/master
{"name":"pkslow-gateway-service","profiles":["default"],"label":"master","version":"8358f2b4701fac21a0c7776bc46cec6d9442c549","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-base/application.properties","source":{"pkslow.birthDate":"2020-08-10"}}]}

# 對於gateway只能匹配profile=dev,正確匹配
$ curl //localhost:8888/pkslow-gateway-service/dev/master
{"name":"pkslow-gateway-service","profiles":["dev"],"label":"master","version":"1a4e26849b237dc2592ca0d391daaa1a879747d2","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-gateway-service/config/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.app.name":"gateway-service"}}]}

# 不存在的服務名,無法匹配,讀取默認配置
$ curl //localhost:8888/unknown-service/dev/master
{"name":"unknown-service","profiles":["dev"],"label":"master","version":"8358f2b4701fac21a0c7776bc46cec6d9442c549","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-base/application.properties","source":{"pkslow.birthDate":"2020-08-10"}}]}

3 客戶端使用配置

經過前面的例子我們已經了解到服務端如何從程式碼庫里獲取配置,但始終還是要使客戶端能獲取到對應的配置併產生效果。我們來演示一下。

3.1 項目準備

搭建一個最簡單的Springboot Web項目,並加上Spring Cloud Config的支援,添加依賴如下:

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-config</artifactId>
</dependency>

添加配置文件:bootstrap.properties(雖然我們要從服務端讀取配置,但有些配置還是必須在客戶添加的,如服務端地址),內容如下:

server.port=8080
spring.application.name=pkslow-gateway-service
spring.cloud.config.uri=//localhost:8888

在這裡我們配置了客戶端的埠、服務端的地址以及客戶端應用的名字,這個名字是非常關鍵的,待會講解。

添加Controller來暴露API以顯示讀到的配置內容:

@RestController
public class PkslowController {
    @Value("${pkslow.age}")
    private Integer age;

    @Value("${pkslow.email}")
    private String email;

    @Value("${pkslow.webSite}")
    private String webSite;

    @GetMapping("/pkslow")
    public Map<String, String> getConfig() {
        Map<String, String> map = new HashMap<>();
        map.put("age", age.toString());
        map.put("email", email);
        map.put("webSite", webSite);
        return map;
    }
}

接著啟動客戶端即可,訪問結果如下:

$ curl //localhost:8080/pkslow
{"webSite":"default.pkslow.com","age":"9","email":"[email protected]"}

這些配置內容並不在客戶端,說明可以從服務端獲取到配置資訊了。

3.2 客戶端如何匹配

客戶端已經獲取到配置資訊了,那是否正確呢?客戶端又是怎樣匹配的呢?其實前面的內容已經提及,主要通過三個資訊來匹配:

  • label指的是程式碼分支。

  • application是應用的名字。

  • profile一般用於指定環境。

上個例子客戶端名字為pkslow-gateway-servicelabel沒指定,默認為masterprofile沒有指定,默認為default

我們在服務端匹配規則為pattern: pkslow-gateway-*/dev,所以可以匹配名字,但無法匹配profile,因此讀取了默認倉庫的配置:

$ cat pkslow-base/application.properties 
pkslow.webSite=default.pkslow.com
pkslow.age=9
[email protected]

修改一下客戶端的配置,配置profiledev如下:

server.port=8080
spring.application.name=pkslow-gateway-service
spring.profiles.active=dev
spring.cloud.config.uri=//localhost:8888

再次獲取客戶端的配置如下:

$ curl //localhost:8080/pkslow
{"webSite":"gateway-master.pkslow.com","age":"9","email":"[email protected]"}

可見已經讀取到pkslow-gateway-service倉庫的配置內容了:

$ cat pkslow-gateway-service/config/application.properties 
pkslow.webSite=gateway-master.pkslow.com
pkslow.age=9
[email protected]

pkslow-gateway-service倉庫新建程式碼分支release並添加配置,再修改客戶端配置如下:

server.port=8080
spring.application.name=pkslow-gateway-service
spring.profiles.active=dev
spring.cloud.config.label=release
spring.cloud.config.uri=//localhost:8888

重啟後再次訪問,正確讀取到了新分支的配置:

$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"9","email":"[email protected]"}

3.3 客戶端配置生效問題

當我們修改配置後,再次訪問結果如下:

$ git commit -a -m "update"
[release 0e489fe] update
 1 file changed, 2 insertions(+), 2 deletions(-)

$ curl //localhost:8888/pkslow-gateway-service/dev/release
{"name":"pkslow-gateway-service","profiles":["dev"],"label":"release","version":"0e489fec5de73b1a6d11befa3f65e44836979e23","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-gateway-service/config/application.properties","source":{"pkslow.webSite":"gateway-release.pkslow.com","pkslow.age":"10","pkslow.email":"[email protected]"}}]}

$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"9","email":"[email protected]"}

結果發現,服務端已經生效了,但客戶端並沒有。這是因為在這種模式下客戶端只會在啟動的時候讀取配置使其生效。如果想要客戶端也生效,我們要使用Springboot actuator提供的/refresh端點才行。

先添加actuator依賴:

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>

配置要保證/refresh可以訪問,添加如下配置:

management.endpoints.web.exposure.include=refresh

指定刷新的範圍,在Controller上添加註解@RefreshScope如下:

@RefreshScope
@RestController
public class PkslowController {
//xxx
}

重啟應用。操作及效果如下:

# 修改配置並提交
$ git commit -a -m "update age to 18"
[release fc863bd] update age to 18
 1 file changed, 1 insertion(+), 1 deletion(-)

# 服務端配置生效
$ curl //localhost:8888/pkslow-gateway-service/dev/release
{"name":"pkslow-gateway-service","profiles":["dev"],"label":"release","version":"fc863bd8849fa1dc5eaf2ce0a97afb485f81c2f0","state":null,"propertySources":[{"name":"/Users/larry/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-gateway-service/config/application.properties","source":{"pkslow.webSite":"gateway-release.pkslow.com","pkslow.age":"18","pkslow.email":"[email protected]"}}]}

# 客戶端沒有生效
$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"10","email":"[email protected]"}

# 發送POST請求到客戶端/refresh
$ curl -X POST //localhost:8080/actuator/refresh
["config.client.version","pkslow.age"]

# 客戶端已經生效
$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"18","email":"[email protected]"}

3.4 自動更新配置

每次提交程式碼配置後,都需要手動發一次POST請求到客戶端才能更新配置,顯然是不夠友好的。GitHub提供了webhook功能,可以在觸發事件後,發送請求到指定URL,這樣便可以實現自動更新了。

通過webhook功能實現自動更新是一對一的,如果客戶端很多(通常是這種場景),就無法這樣直接實現。有兩個方案:

(1)自己實現一個埠來接受來自Git的請求,然後再分發到各個服務端。這個方法比較麻煩,不是很推薦。

(2)通過引入Spring Cloud Bus來刷新多個客戶端。但需要引入MQ,如kafkaRabbitMQ

3.5 在有服務發現時的不同

在微服務架構中,如果配置服務端與客戶端都註冊在服務發現(如eureka)上時,客戶端就無須再配置服務端的地址了,會從服務發現中心獲取識別。這與Springboot Admin在有eureka的情況下有異曲同工之妙。

程式碼沒什麼特別之外,就是把服務端和客戶端同時註冊到eureka即可。

4 總結

本文通過例子一步步展示如何使用Spring Cloud Config,主要是理解交互過程和匹配規則,其它都是程式碼細節,參考官方文檔即可。

關於配置的一些文章:

Java怎麼從這四個位置讀取配置文件Properties(普通文件系統-classpath-jar-URL)

註解@ConfigurationProperties讓配置整齊而簡單

只想用一篇文章記錄@Value的使用,不想再找其它了

Springboot整合Jasypt,讓配置資訊安全最優雅方便的方式

使用Spring Cloud Config統一管理配置,別再到處放配置文件了

Spring Cloud Config整合Spring Cloud Kubernetes,在k8s上管理配置


歡迎關注微信公眾號<南瓜慢說>,將持續為你更新…

多讀書,多分享;多寫作,多整理。

Tags: