使用Spring Cloud Config統一管理配置,別再到處放配置文件了
1 前言
歡迎訪問南瓜慢說 www.pkslow.com獲取更多精彩文章!
可配置是一個成熟軟體系統應該提供的特性,而配置管理對於大型系統就顯得十分重要,特別是對於擁有多個應用的微服務系統。可喜的是,Spring
為我們提供了很好的配置管理,如Springboot
的配置就很強大。對於Spring Cloud
,就有強大的Spring Cloud Config
,在提供了一個在應用之外的配置管理,如文件或Git
倉庫,對分散式系統配置管理十分有益。
2 快速體驗
Spring Cloud Config
服務端就是一個Springboot
應用,啟動、部署都十分簡單。
整體的架構如下圖所示:
2.1 服務端就是一個Springboot
在Springboot
中添加依賴如下:
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-config-server</artifactId>
<version>2.2.0.RELEASE</version>
</dependency>
只需要一個就行了,它已經包含了web
和actuator
。
添加Java
主類:
package com.pkslow.config;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.config.server.EnableConfigServer;
@SpringBootApplication
@EnableConfigServer
public class ConfigServer {
public static void main(String[] args) {
SpringApplication.run(ConfigServer.class,args);
}
}
跟普通的Springboot
應用相比只是多了一個註解@EnableConfigServer
而已。
2.2 配置倉庫
通過我們會把配置通過版本控制管理起來,一般使用Git
倉庫,為簡單展示使用本地倉庫如下:
# 創建目錄
mkdir git-repo
# 初始化一個git目錄
git init
# 新建文件
touch application.properties
# 添加變更
git add .
# 提交變更
git commit -m "init"
配置一下項目的application.properties
,注意是Config Server
項目的,而不是在git-repo
目錄里的:
server.port=8888
spring.application.name=config-server
spring.cloud.config.server.git.uri=/Users/pkslow/IdeaProjects/pkslow-modules/config-server/git-repo
接著就可以啟動Config Server
了。
但git
倉庫里的配置文件沒有什麼內容,我們加入以下內容並提交(必須要提交,不然無法獲取)。
pkslow.webSite=www.pkslow.com
pkslow.age=18
[email protected]
2.3 配置路徑匹配
那我們如何獲取這些配置呢?可以通過以下URL
讀取:
/{application}/{profile}[/{label}]
/{application}-{profile}.yml
/{label}/{application}-{profile}.yml
/{application}-{profile}.properties
/{label}/{application}-{profile}.properties
-
label
指的是程式碼分支,如master
,feature-1
等。 -
application
是應用的名字,在以後客戶端讀取會用到。 -
profile
一般用於指定環境,如prod
,dev
,uat
等。
所以,我們可以用以下URL
來獲取我們剛添加的配置資訊:
//localhost:8888/application/default
//localhost:8888/application/default/master
//localhost:8888/master/application.properties
//localhost:8888/application-default.properties
訪問如下:
$ curl //localhost:8888/application/default/master
{"name":"application","profiles":["default"],"label":"master","version":"8796f39b35095f6e9b7176457eb03dd6d62b1783","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/git-repo/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.age":"18","pkslow.email":"[email protected]"}}]}
最後一個地址/{label}/{application}-{profile}.properties
的返回結果格式不同,直接返回配置文件內容:
$ curl //localhost:8888/application-default.properties
pkslow.age: 18
pkslow.email: [email protected]
pkslow.webSite: www.pkslow.com
如果我們先建一個分支release-20200809
,並修改age
為實際年齡9
,則如下:
$ curl //localhost:8888/application/default/release-20200809
{"name":"application","profiles":["default"],"label":"release-20200809","version":"7e27e6972ed31ee1a51e9277a2f5c0a628cec67a","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/git-repo/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.age":"9","pkslow.email":"[email protected]"}}]}
可以看到對應的pkslow.age
已經變為9
了,但訪問/application/default/master
則還是18
,分支之間不會相互影響。
2.4 遠程倉庫
本地倉庫只是為了簡單展示,在實際項目中,一般使用遠程倉庫,在GitHub
創建一個新的倉庫如下:
特意創建了個private
的倉庫來檢測後面的鑒權是否正確。
重新配置倉庫的地址如下:
spring.cloud.config.server.git.uri=//github.com/pkslow/pkslow-config
[email protected]
spring.cloud.config.server.git.password=***
spring.cloud.config.server.git.default-label=master
spring.cloud.config.server.git.search-paths=demo
創建一個demo
目錄來放置配置,所以search-paths
配置為demo
。完成配置重啟伺服器,就可以正常讀取遠程倉庫的配置了。
2.5 多個程式碼配置倉庫
有些時候,我們的配置可能並不只在一個倉庫里,而是在各自客戶端的程式碼庫中,比如我們有以下三個服務:
- (1)服務發現:discovery,程式碼庫pkslow-discovery-service
- (2)API網關:gateway,程式碼庫pkslow-gateway-service
- (3)訂單服務:order,程式碼庫pkslow-order-service
它們各自的配置文件都放在各自的程式碼庫里,那就需要配置多個程式碼庫。我們還多配置一個默認的配置庫pkslow-default,如果匹配不到,就會選擇默認程式碼庫的配置。具體配置如下:
server:
port: 8888
spring:
application:
name: config-server
cloud:
config:
server:
git:
uri: /Users/pkslow/multiple-repos/pkslow-default
repos:
pkslow-discovery-service:
pattern: pkslow-discovery-*
cloneOnStart: true
uri: /Users/pkslow/multiple-repos/pkslow-discovery-service
search-paths: config
pkslow-gateway-service:
pattern: pkslow-gateway-*/dev
cloneOnStart: true
uri: /Users/pkslow/multiple-repos/pkslow-gateway-service
search-paths: config
pkslow-order-service:
pattern: pkslow-order-*
cloneOnStart: true
uri: /Users/pkslow/IdeaProjects/pkslow-order-service
search-paths: config
可以各自定義配置文件所放的目錄search-paths
,不配置默認為根目錄。
這裡的pattern
的配置規則是{application}/{profile}
,支援正則符號*
。注意只匹配一個結果,如果都滿足,只取第一個匹配的倉庫。
啟動後我們來看看配置結果:
# 默認profile和label,正確匹配
$ curl //localhost:8888/pkslow-order-service/default/master
{"name":"pkslow-order-service","profiles":["default"],"label":"master","version":"9d86e5d11974f0a0e7c20cd53d8f062755193e70","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-order-service/config/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.app.name":"order-service"}}]}
# 正確匹配,但不存在的Label,配置庫沒有對應程式碼分支,404
$ curl //localhost:8888/pkslow-order-service/default/release
{"timestamp":"2020-08-13T06:58:38.722+0000","status":404,"error":"Not Found","message":"No such label: release","path":"/pkslow-order-service/default/release"}
# profile為dev,正確匹配
$ curl //localhost:8888/pkslow-order-service/dev/master
{"name":"pkslow-order-service","profiles":["dev"],"label":"master","version":"9d86e5d11974f0a0e7c20cd53d8f062755193e70","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-order-service/config/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.app.name":"order-service"}}]}
# 對於gateway只能匹配profile=dev,無法匹配,讀取默認配置
$ curl //localhost:8888/pkslow-gateway-service/default/master
{"name":"pkslow-gateway-service","profiles":["default"],"label":"master","version":"8358f2b4701fac21a0c7776bc46cec6d9442c549","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-base/application.properties","source":{"pkslow.birthDate":"2020-08-10"}}]}
# 對於gateway只能匹配profile=dev,正確匹配
$ curl //localhost:8888/pkslow-gateway-service/dev/master
{"name":"pkslow-gateway-service","profiles":["dev"],"label":"master","version":"1a4e26849b237dc2592ca0d391daaa1a879747d2","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-gateway-service/config/application.properties","source":{"pkslow.webSite":"www.pkslow.com","pkslow.app.name":"gateway-service"}}]}
# 不存在的服務名,無法匹配,讀取默認配置
$ curl //localhost:8888/unknown-service/dev/master
{"name":"unknown-service","profiles":["dev"],"label":"master","version":"8358f2b4701fac21a0c7776bc46cec6d9442c549","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-base/application.properties","source":{"pkslow.birthDate":"2020-08-10"}}]}
3 客戶端使用配置
經過前面的例子我們已經了解到服務端如何從程式碼庫里獲取配置,但始終還是要使客戶端能獲取到對應的配置併產生效果。我們來演示一下。
3.1 項目準備
搭建一個最簡單的Springboot Web
項目,並加上Spring Cloud Config
的支援,添加依賴如下:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-config</artifactId>
</dependency>
添加配置文件:bootstrap.properties
(雖然我們要從服務端讀取配置,但有些配置還是必須在客戶添加的,如服務端地址),內容如下:
server.port=8080
spring.application.name=pkslow-gateway-service
spring.cloud.config.uri=//localhost:8888
在這裡我們配置了客戶端的埠、服務端的地址以及客戶端應用的名字,這個名字是非常關鍵的,待會講解。
添加Controller
來暴露API
以顯示讀到的配置內容:
@RestController
public class PkslowController {
@Value("${pkslow.age}")
private Integer age;
@Value("${pkslow.email}")
private String email;
@Value("${pkslow.webSite}")
private String webSite;
@GetMapping("/pkslow")
public Map<String, String> getConfig() {
Map<String, String> map = new HashMap<>();
map.put("age", age.toString());
map.put("email", email);
map.put("webSite", webSite);
return map;
}
}
接著啟動客戶端即可,訪問結果如下:
$ curl //localhost:8080/pkslow
{"webSite":"default.pkslow.com","age":"9","email":"[email protected]"}
這些配置內容並不在客戶端,說明可以從服務端獲取到配置資訊了。
3.2 客戶端如何匹配
客戶端已經獲取到配置資訊了,那是否正確呢?客戶端又是怎樣匹配的呢?其實前面的內容已經提及,主要通過三個資訊來匹配:
-
label
指的是程式碼分支。 -
application
是應用的名字。 -
profile
一般用於指定環境。
上個例子客戶端名字為pkslow-gateway-service
;label
沒指定,默認為master
;profile
沒有指定,默認為default
。
我們在服務端匹配規則為pattern: pkslow-gateway-*/dev
,所以可以匹配名字,但無法匹配profile
,因此讀取了默認倉庫的配置:
$ cat pkslow-base/application.properties
pkslow.webSite=default.pkslow.com
pkslow.age=9
[email protected]
修改一下客戶端的配置,配置profile
為dev
如下:
server.port=8080
spring.application.name=pkslow-gateway-service
spring.profiles.active=dev
spring.cloud.config.uri=//localhost:8888
再次獲取客戶端的配置如下:
$ curl //localhost:8080/pkslow
{"webSite":"gateway-master.pkslow.com","age":"9","email":"[email protected]"}
可見已經讀取到pkslow-gateway-service
倉庫的配置內容了:
$ cat pkslow-gateway-service/config/application.properties
pkslow.webSite=gateway-master.pkslow.com
pkslow.age=9
[email protected]
在pkslow-gateway-service
倉庫新建程式碼分支release
並添加配置,再修改客戶端配置如下:
server.port=8080
spring.application.name=pkslow-gateway-service
spring.profiles.active=dev
spring.cloud.config.label=release
spring.cloud.config.uri=//localhost:8888
重啟後再次訪問,正確讀取到了新分支的配置:
$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"9","email":"[email protected]"}
3.3 客戶端配置生效問題
當我們修改配置後,再次訪問結果如下:
$ git commit -a -m "update"
[release 0e489fe] update
1 file changed, 2 insertions(+), 2 deletions(-)
$ curl //localhost:8888/pkslow-gateway-service/dev/release
{"name":"pkslow-gateway-service","profiles":["dev"],"label":"release","version":"0e489fec5de73b1a6d11befa3f65e44836979e23","state":null,"propertySources":[{"name":"/Users/pkslow/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-gateway-service/config/application.properties","source":{"pkslow.webSite":"gateway-release.pkslow.com","pkslow.age":"10","pkslow.email":"[email protected]"}}]}
$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"9","email":"[email protected]"}
結果發現,服務端已經生效了,但客戶端並沒有。這是因為在這種模式下客戶端只會在啟動的時候讀取配置使其生效。如果想要客戶端也生效,我們要使用Springboot actuator
提供的/refresh
端點才行。
先添加actuator
依賴:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
配置要保證/refresh
可以訪問,添加如下配置:
management.endpoints.web.exposure.include=refresh
指定刷新的範圍,在Controller
上添加註解@RefreshScope
如下:
@RefreshScope
@RestController
public class PkslowController {
//xxx
}
重啟應用。操作及效果如下:
# 修改配置並提交
$ git commit -a -m "update age to 18"
[release fc863bd] update age to 18
1 file changed, 1 insertion(+), 1 deletion(-)
# 服務端配置生效
$ curl //localhost:8888/pkslow-gateway-service/dev/release
{"name":"pkslow-gateway-service","profiles":["dev"],"label":"release","version":"fc863bd8849fa1dc5eaf2ce0a97afb485f81c2f0","state":null,"propertySources":[{"name":"/Users/larry/IdeaProjects/pkslow-modules/config-server/multiple-repos/pkslow-gateway-service/config/application.properties","source":{"pkslow.webSite":"gateway-release.pkslow.com","pkslow.age":"18","pkslow.email":"[email protected]"}}]}
# 客戶端沒有生效
$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"10","email":"[email protected]"}
# 發送POST請求到客戶端/refresh
$ curl -X POST //localhost:8080/actuator/refresh
["config.client.version","pkslow.age"]
# 客戶端已經生效
$ curl //localhost:8080/pkslow
{"webSite":"gateway-release.pkslow.com","age":"18","email":"[email protected]"}
3.4 自動更新配置
每次提交程式碼配置後,都需要手動發一次POST
請求到客戶端才能更新配置,顯然是不夠友好的。GitHub
提供了webhook
功能,可以在觸發事件後,發送請求到指定URL
,這樣便可以實現自動更新了。
通過webhook
功能實現自動更新是一對一的,如果客戶端很多(通常是這種場景),就無法這樣直接實現。有兩個方案:
(1)自己實現一個埠來接受來自Git
的請求,然後再分發到各個服務端。這個方法比較麻煩,不是很推薦。
(2)通過引入Spring Cloud Bus
來刷新多個客戶端。但需要引入MQ
,如kafka
或RabbitMQ
。
3.5 在有服務發現時的不同
在微服務架構中,如果配置服務端與客戶端都註冊在服務發現(如eureka
)上時,客戶端就無須再配置服務端的地址了,會從服務發現中心獲取識別。這與Springboot Admin
在有eureka
的情況下有異曲同工之妙。
程式碼沒什麼特別之外,就是把服務端和客戶端同時註冊到eureka
即可。
4 總結
本文通過例子一步步展示如何使用Spring Cloud Config
,主要是理解交互過程和匹配規則,其它都是程式碼細節,參考官方文檔即可。
關於配置的一些文章:
Java怎麼從這四個位置讀取配置文件Properties(普通文件系統-classpath-jar-URL)
註解@ConfigurationProperties讓配置整齊而簡單
Springboot整合Jasypt,讓配置資訊安全最優雅方便的方式
使用Spring Cloud Config統一管理配置,別再到處放配置文件了
Spring Cloud Config整合Spring Cloud Kubernetes,在k8s上管理配置
歡迎關注微信公眾號<南瓜慢說>,將持續為你更新…
多讀書,多分享;多寫作,多整理。