Apollo 配置中心詳細教程

一、簡介

Apollo(阿波羅)是攜程框架部門研發的分佈式配置中心,能夠集中化管理應用不同環境、不同集群的配置,配置修改後能夠實時推送到應用端,並且具備規範的權限、流程治理等特性,適用於微服務配置管理場景。

服務端基於Spring Boot和Spring Cloud開發,打包後可以直接運行,不需要額外安裝Tomcat等應用容器。

Java客戶端 不依賴任何框架,能夠運行於所有Java運行時環境,同時對Spring/Spring Boot環境也有較好的支持。

.Net客戶端 不依賴任何框架,能夠運行於所有.Net運行時環境。

官方 GitHub: //github.com/ctripcorp/apollo
官方 Gitee: //gitee.com/nobodyiam/apollo

二、安裝部署

2.1 環境準備

java: JDK 1.8.+
maven: 3.3.9
mysql: 版本要求(5.6.5+)
查看數據庫版本:SHOW VARIABLES WHERE Variable_name = 'version';
Apollo服務端: 1.9+
Apollo客戶端: 1.7+

2.2 安裝包下載

  1. 源碼下載 從(Apollo-github) 下載最新的源碼,也可以通過 git 命令下載到本地

    git clone //github.com/ctripcorp/apollo

  2. 下載安裝包 地址://github.com/ctripcorp/apollo/releases

注意: 本文中使用的方式為 1.源碼下載,進行演示。

2.3 創建數據庫

Apollo 服務端總共需要兩個數據庫:ApolloPortalDBApolloConfigDB

我們可以在下載的源碼包裏面找到,文件目錄為:apollo\scripts\sql,路徑如下圖所示:
在這裡插入圖片描述
或者通過下載地址來獲取SQL

ApolloPortalDB

SQL下載地址://github.com/ctripcorp/apollo/tree/master/scripts/sql
導入成功後,驗證SQL:select * from `ApolloPortalDB`.`ServerConfig`;在這裡插入圖片描述
ApolloConfigDB

SQL下載地址://github.com/ctripcorp/apollo/tree/master/scripts/sql
導入成功後,驗證SQL:select * from `ApolloConfigDB`.`ServerConfig`;在這裡插入圖片描述

2.4 服務端配置調整(可選項)

1. ApolloPortalDB庫配置

操作表:ServerConfig

key 說明 默認值 values
apollo.portal.envs 可支持的環境列表 dev 管理多個環境,以逗號分隔即可,不區分大小寫,例如(DEV,TEST,UAT,PRO)
organizations 部門列表 [{“orgId”:”TEST1″,”orgName”:”樣例部門1″},{“orgId”:”TEST2″,”orgName”:”樣例部門2″}] 新建的應用中,部門是必選項,可以根據實際情況操作
superAdmin Portal超級管理員 apollo 超級管理員擁有所有權限
api.readTimeout http接口超時時間 10000
consumer.token.salt 設置token salt someSalt 使用開放平台API,可以設置一個token salt 如果不使用 可以忽略
admin.createPrivateNamespace.switch 是否允許項目管理員創建私有namespace true 設置為false 則項目管理員在頁面上看不到創建private namespace的選項

2. ApolloConfigDB庫配置

操作表:ServerConfig

key 說明 默認值 values
eureka.service.url Eureka服務Url //localhost:8080/eureka/ 多個service以英文逗號分隔
namespace.lock.switch 功能開關,一次發佈只能有一個人修改開關 false 配置為true,一次配置發佈只能是一個人修改
config-service.cache.enabled ConfigService是否開啟緩存,開啟後能提高性能,但是會增大內存消耗 false 配置為true,config service會緩存加載過的配置信息,從而加快後續配置獲取性能

2.5 打開工程

將下載下來的 Apollo 源碼導入 idea 中,需要關注的項目主要是下面這三個:

項目名 說明
apollo-configservice 配置服務(meta server、eureka)
apollo-adminservice 配置管理服務
apollo-protal apollo管理UI

在這裡插入圖片描述
我們找到 /apollo/scripts/build.bat的文件(Linux 是 bulid.sh)
在這裡插入圖片描述

修改數據庫配置信息,注意這是兩個庫(ApolloPortalDBApolloConfigDB):

rem apollo config db info(這個是ApolloConfigDB庫)
set apollo_config_db_url="jdbc:mysql://localhost:3306/ApolloConfigDB?serverTimezone=UTC&characterEncoding=utf-8"
set apollo_config_db_username="root"
set apollo_config_db_password="123456"

rem apollo portal db info(這個是ApolloPortalDB庫)
set apollo_portal_db_url="jdbc:mysql://localhost:3306/ApolloPortalDB?serverTimezone=UTC&characterEncoding=utf-8"
set apollo_portal_db_username="root"
set apollo_portal_db_password="123456"

rem meta server url, different environments should have different meta server addresses
rem 配置各環境meta service地址(configservice部署的地址)
rem 後面版本也是可以再運行時指定: -Dapollo.meta=//192.168.*.*:8080
set dev_meta="//localhost:8080"
set fat_meta="//someIp:8080"
set uat_meta="//anotherIp:8080"
set pro_meta="//yetAnotherIp:8080"

注意: 數據庫連接,需要添加serverTimezone=UTC否則可能會報錯

修改完上面的配置以後,我們就可以執行build.bat批處理命令進行編譯打包。
在windows 運行build.bat文件,如果是LInux 運行 build.sh

第一次會執行比較慢,需要下載Maven jar
在這裡插入圖片描述

打包成功後,我們找到 apollo-configservice、apollo-adminservice、apollo-portal 下target 目錄,找到已經打好的三個jar包,copy 出來放到一個單獨的目錄,方便我們啟動

如下圖所示:
在這裡插入圖片描述
啟動順序為:apollo-configservice > apollo-adminservice > apollo-portal三個服務

啟動腳本,放到記事本,修改後綴名為 .bat就可以一鍵啟動三個服務了

@echo off
start cmd /c "java -jar apollo-configservice-1.10.0-SNAPSHOT.jar"									  
start cmd /c "java -jar apollo-adminservice-1.10.0-SNAPSHOT.jar"									  
start cmd /c "java -jar apollo-portal-1.10.0-SNAPSHOT.jar"
spause                   // 防止運行完畢後直接關閉界面

全部啟動成功之後,打開瀏覽器輸入://localhost:8070/,看到 Apollo 登錄頁面說明啟動成功

用戶名密碼: apollo/admin

在這裡插入圖片描述
輸入 //localhost:8080 ,如果出現eureka 的管理界面,說明服務啟動正常。

在這裡插入圖片描述

三、客戶端使用

客戶端使用指南

3.1 導入jar包

		<dependency>
		    <groupId>com.ctrip.framework.apollo</groupId>
		    <artifactId>apollo-client</artifactId>
		    <version>1.7.0</version>
		</dependency>
<!--        數據庫jar-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
            <version>1.5.9.RELEASE</version>
        </dependency>

3.2 發佈配置

在這裡插入圖片描述
創建應用

  1. AppId:001
  2. AppId:mxn-front-gateway

AppId是應用的身份信息,是從服務端獲取配置的一個重要信息。

AppId:001的配置內容
在這裡插入圖片描述

AppId:mxn-front-gateway的配置內容
在這裡插入圖片描述
上面的兩張圖,就是我們Apollo配置中心的詳細配置頁面

  • 在頁面左上方的環境列表模塊展示了所有的環境和集群,用戶可以自由切換。
  • 頁面中央展示了兩個namespace 的配置信息,默認按照表格模式展示、編輯。用戶也可以切換到文本模式,以文件形式查看、編輯。
  • 頁面上可以方便地進行發佈、回滾、灰度、授權、查看更改歷史和發佈歷史等操作

3.3 操作配置項

在這裡插入圖片描述
輸入配置內容
在這裡插入圖片描述

3.4 發佈配置

在這裡插入圖片描述
添加發佈信息
在這裡插入圖片描述

四、Spring Boot 集成 Apollo

在Spring Boot中使用 apollo 配置比較方便,我們只需要在對應的配置(yml或者properties)中設置 apollo的(appid和meta)以及命名空間就行

application.yml 配置

app:
  id: 001
apollo:
  meta: //localhost:8080
  bootstrap:
    enabled: true
    namespaces: dev.yml,test.properties

Spring Boot 啟動類,添加 @EnableApolloConfig

@SpringBootApplication
@EnableApolloConfig
public class ApolloMxnApplication {

    public static void main(String[] args) {
        SpringApplication.run(ApolloMxnApplication.class, args);
    }

}

測試類,實時獲取配置信息

import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @program: apollo-mxn
 * @ClassName TestController
 * @description:
 * @author: lyy
 * @create: 2021-09-15 17:45
 * @Version 1.0
 **/
@RestController
public class TestController {

    @Value(value = "${mxn.name}")
    private String name;

    @RequestMapping("test")
    public String test(){
        return "hello world "+name;
    }

}

這樣我們就可以 從 meta 中 拉取兩個命名空間(apollo-adminservice和apollo-configservice)的配置了

Apollo

四、實現配置熱加載

創建配置熱加載實現類

import com.ctrip.framework.apollo.core.ConfigConsts;
import com.ctrip.framework.apollo.model.ConfigChangeEvent;
import com.ctrip.framework.apollo.spring.annotation.ApolloConfigChangeListener;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.autoconfigure.jdbc.DataSourceProperties;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.cloud.context.config.annotation.RefreshScope;
import org.springframework.context.ApplicationContext;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import javax.sql.DataSource;

/**
 * @program: apollo-mxn
 * @ClassName DataSourceConfig
 * @description: 實現配置信息熱加載
 * @author: lyy
 * @create: 2021-09-15 16:41
 * @Version 1.0
 **/
@Configuration
@EnableConfigurationProperties(DataSourceProperties.class)
@Slf4j
public class ConfigHotLoad {

    @RefreshScope
    @Bean("dataSource_Bean")
    public DataSource dataSource(DataSourceProperties dataSourceProperties){
        return dataSourceProperties.initializeDataSourceBuilder().build();
    }

    @Autowired
    private ApplicationContext applicationContext;

    @Autowired
    private org.springframework.cloud.context.scope.refresh.RefreshScope refreshScope;

    /** @Author lyy
      * @Description //TODO 監聽apollo 的配置變更
      * @Date 16:50 2021/9/15
      * @Param 
      * @return 
     **/
    @ApolloConfigChangeListener(value = {ConfigConsts.NAMESPACE_APPLICATION,"dev"},interestedKeyPrefixes = {"spring.datasource"})
    public void onChange(ConfigChangeEvent configChangeEvent){
        // 重新編譯DataSource 初始化bean
        refreshScope.refresh("dataSource_Bean");
        log.info("Apollo config changed {}",applicationContext.getBean(DataSourceProperties.class).toString());

    }

}

在這裡插入圖片描述

我們 輸入地址 //localhost:你的端口/test 就可以看到,對應的配置名字,然後修改apollo裏面的信息,發佈後,再不啟動項目的情況下,就可以更新我們的配置信息了
在這裡插入圖片描述

在這裡插入圖片描述

Apollo 本地緩存

Linux:/opt/data/{appId}/config-cache
Windows:C:\opt\data{appId}\config-cache

五、什麼是 Apollo

官方案例: 使用案例Demo可以參考Apollo使用場景和示例代碼

5.1 誕生背景

隨着程序功能的日益複雜,程序的配置日益增多:各種功能的開關、參數的配置、服務器的地址……

對程序配置的期望值也越來越高:配置修改後實時生效,灰度發佈,分環境、分集群管理配置,完善的權限、審核機制……

在這樣的大環境下,傳統的通過配置文件、數據庫等方式已經越來越無法滿足開發人員對配置管理的需求。

Apollo配置中心應運而生!

5.2 Apollo 說明

Apollo(阿波羅)是攜程框架部門研發的開源配置管理中心,能夠集中化管理應用不同環境、不同集群的配置,配置修改後能夠實時推送到應用端,並且具備規範的權限、流程治理等特性。

Apollo支持4個維度管理Key-Value格式的配置:

  1. application (應用)
  2. environment (環境)
  3. cluster (集群)
  4. namespace (命名空間)

同時,Apollo基於開源模式開發,開源地址://github.com/ctripcorp/apollo

5.3 基礎模型

在這裡插入圖片描述

Apollo的基礎模型:

  1. 用戶在配置中心對配置進行修改並發佈
  2. 配置中心通知Apollo客戶端有配置更新
  3. Apollo客戶端從配置中心拉取最新的配置、更新本地配置並通知到應用

六、Apollo特性

由於配置的特殊性,所以Apollo 從開始設計到完善就立志作為一個有治理能力的配置中心平台,Apollo的特性主要體現在以下幾個方面

  • 統一配置的配置管理
    1. Apollo提供了一個統一界面集中式管理不同環境(environment)、不同集群(cluster)、不同命名空間(namespace)的配置。
    2. 同一份代碼部署在不同的集群,可以有不同的配置,比如zookeeper的地址等
    3. 通過命名空間(namespace)可以很方便地支持多個不同應用共享同一份配置,同時還允許應用對共享的配置進行覆蓋
  • 配置修改實時生效(熱發佈)
    1. 用戶在Apollo修改完配置並發佈後,客戶端能實時(1秒)接收到最新的配置,並通知到應用程序
  • 版本發佈管理
    1. 所有的配置發佈都有版本概念,從而可以方便地支持配置的回滾
  • 灰度發佈
    1. 支持配置的灰度發佈,比如點了發佈後,只對部分應用實例生效,等觀察一段時間沒問題後再推給所有應用實例
  • 權限管理、發佈審核、操作審計
    1. 應用和配置的管理都有完善的權限管理機制,對配置的管理還分為了編輯和發佈兩個環節,從而減少人為的錯誤。
    2. 所有的操作都有審計日誌,可以方便地追蹤問題
  • 客戶端配置信息監控
    1. 可以在界面上方便地看到配置在被哪些實例使用
  • 提供Java和.Net原生客戶端
    1. 提供了Java和.Net的原生客戶端,方便應用集成
    2. 支持Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties,方便應用使用(需要Spring 3.1.1+)
    3. 同時提供了Http接口,非Java和.Net應用也可以方便地使用
  • 提供開放平台API
    1. Apollo自身提供了比較完善的統一配置管理界面,支持多環境、多數據中心配置管理、權限、流程治理等特性。不過Apollo出於通用性考慮,不會對配置的修改做過多限制,只要符合基本的格式就能保存,不會針對不同的配置值進行針對性的校驗,如數據庫用戶名、密碼,Redis服務地址等
    2. 對於這類應用配置,Apollo支持應用方通過開放平台API在Apollo進行配置的修改 和發佈,並且具備完善的授權和權限控制
  • 部署簡單
    1. 配置中心作為基礎服務,可用性要求非常高,這就要求Apollo對外部依賴儘可能地少
    2. 目前唯一的外部依賴是MySQL,所以部署非常簡單,只要安裝好Java和MySQL就可以讓Apollo跑起來
    3. Apollo還提供了打包腳本,一鍵就可以生成所有需要的安裝包,並且支持自定義運行時參數

七、Apollo原理

在這裡插入圖片描述
上圖簡要描述了Apollo客戶端的實現原理:

  1. 客戶端和服務端保持了一個長連接,從而能第一時間獲得配置更新的推送。
  2. 客戶端還會定時從Apollo配置中心服務端拉取應用的最新配置。
  • 這是一個fallback機制,為了防止推送機制失效導致配置不更新
  • 客戶端定時拉取會上報本地版本,所以一般情況下,對於定時拉取的操作,服務端都會返回304 – Not Modified
  • 定時頻率默認為每5分鐘拉取一次,客戶端也可以通過在運行時指定System >Property: apollo.refreshInterval來覆蓋,單位為分鐘。
  1. 客戶端從Apollo配置中心服務端獲取到應用的最新配置後,會保存在內存中
  2. 客戶端會把從服務端獲取到的配置在本地文件系統緩存一份
  • 在遇到服務不可用,或網絡不通的時候,依然能從本地恢復配置
  1. 應用程序從Apollo客戶端獲取最新的配置、訂閱配置更新通知

八、自定義Cluster

8.1 新建Cluster

在這裡插入圖片描述
點擊後就進入到集群添加頁面,一般情況下可以按照數據中心來劃分集群
不過也支持自定義集群,比如可以為A機房的某一台機器和B機房的某一台機創建一個集群,使用一套配置。

在這裡插入圖片描述
Apollo會默認使用應用實例所在的數據中心作為cluster,所以如果兩者一致的話,不需要額外配置。

如果cluster和數據中心不一致的話,那麼就需要通過System Property方式來指定運行時cluster:

  • -Dapollo.cluster=SomeCluster
  • 這裡注意apollo.cluster為全小寫

九、配置獲取規則

在有了cluster概念後,配置的規則就顯得重要了。比如應用部署在A機房,但是並沒有在Apollo新建cluster,這個時候Apollo的行為是怎樣的?或者在運行時指定了cluster=SomeCluster,但是並沒有在Apollo新建cluster,這個時候Apollo的行為是怎樣的?

9.1 應用自身配置的獲取規則

當應用使用下面的語句獲取配置時,我們稱之為獲取應用自身的配置,也就是應用自身的application namespace的配置。

Config config = ConfigService.getAppConfig();

對這種情況的配置獲取規則,簡而言之如下:

  1. 首先查找運行時cluster的配置(通過apollo.cluster指定)
  2. 如果沒有找到,則查找數據中心cluster的配置
  3. 如果還是沒有找到,則返回默認cluster的配置

圖示如下:
在這裡插入圖片描述
所以如果應用部署在A數據中心,但是用戶沒有在Apollo創建cluster,那麼獲取的配置就是默認cluster(default)的。

如果應用部署在A數據中心,同時在運行時指定了SomeCluster,但是沒有在Apollo創建cluster,那麼獲取的配置就是A數據中心cluster的配置,如果A數據中心cluster沒有配置的話,那麼獲取的配置就是默認cluster(default)的。

十、總體設計

在這裡插入圖片描述
上圖來自網絡

上圖簡要描述了Apollo的總體設計,我們可以從下往上看:

  • Config Service提供配置的讀取、推送等功能,服務對象是Apollo客戶端
  • Admin Service提供配置的修改、發佈等功能,服務對象是Apollo Portal(管理界面)
  • Config Service和Admin Service都是多實例、無狀態部署,所以需要將自己註冊到Eureka中並保持心跳
  • 在Eureka之上我們架了一層Meta Server用於封裝Eureka的服務發現接口
  • Client通過域名訪問Meta Server獲取Config Service服務列表(IP+Port),而後直接通過IP+Port訪問服務,同時在Client側會做load balance、錯誤重試
  • Portal通過域名訪問Meta Server獲取Admin Service服務列表(IP+Port),而後直接通過IP+Port訪問服務,同時在Portal側會做load balance、錯誤重試
  • 為了簡化部署,我們實際上會把Config Service、Eureka和Meta Server三個邏輯角色部署在同一個JVM進程中

十一、總結

到這裡Apollo,就講解完了,其實Apollo 可以理解成一個好用的配置管理中心,這裡小農也是了解了一點皮毛,大家有不懂的地方,歡迎留言。

我是牧小農,怕什麼真理無窮,進一步有進一步的歡喜,大家加油~