Spring Cloud 系列之 Apollo 配置中心(一)
- 2020 年 6 月 2 日
- 筆記
- Apollo, Spring Cloud, 微服务, 配置中心
背景
随着程序功能的日益复杂,程序的配置日益增多:各种功能的开关、参数的配置、服务器的地址等等。
对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群管理配置,完善的权限、审核机制等等。
在这样的大环境下,传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。
Apollo 配置中心应运而生!Apollo – 一个可靠的配置管理系统。
Apollo 介绍
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。服务端基于 Spring Boot 和 Spring Cloud 开发,打包后可以直接运行,不需要额外安装 Tomcat 等应用容器。
Apollo 支持 4 个维度管理 Key-Value 格式的配置:
-
application (应用) -
environment (环境) -
cluster (集群) -
namespace (命名空间 Namespace 是配置项的集合,类似于一个配置文件的概念)
同时,Apollo 基于开源模式开发,开源地址://github.com/ctripcorp/apollo
官网文档://github.com/ctripcorp/apollo/wiki/Quick-Start
演示环境(Demo):
-
//106.54.227.205/ -
账号/密码:apollo/admin
上图是Apollo配置中心中一个项目的配置首页
-
在页面左上方的环境列表模块展示了所有的环境和集群,用户可以随时切换。 -
页面中央展示了两个namespace(application和FX.apollo)的配置信息,默认按照表格模式展示、编辑。用户也可以切换到文本模式,以文件形式查看、编辑。 -
页面上可以方便地进行发布、回滚、灰度、授权、查看更改历史和发布历史等操作。
Apollo 核心概念
-
「application (应用)」 -
这个很好理解,就是实际使用配置的应用,Apollo客户端在运行时需要知道当前应用是谁,从而可以去获取对应的配置 -
每个应用都需要有唯一的身份标识 — appId,我们认为应用身份是跟着代码走的,所以需要在代码中配置,具体信息请参见Java客户端使用指南。
-
-
「environment (环境)」 -
配置对应的环境,Apollo客户端在运行时需要知道当前应用处于哪个环境,从而可以去获取应用的配置 -
我们认为环境和代码无关,同一份代码部署在不同的环境就应该能够获取到不同环境的配置 -
所以环境默认是通过读取机器上的配置(server.properties中的env属性)指定的,不过为了开发方便,我们也支持运行时通过System Property等指定,具体信息请参见Java客户端使用指南。
-
-
「cluster (集群)」 -
一个应用下不同实例的分组,比如典型的可以按照数据中心分,把上海机房的应用实例分为一个集群,把北京机房的应用实例分为另一个集群。 -
对不同的cluster,同一个配置可以有不一样的值,如zookeeper地址。 -
集群默认是通过读取机器上的配置(server.properties中的idc属性)指定的,不过也支持运行时通过System Property指定,具体信息请参见Java客户端使用指南。
-
-
「namespace (命名空间)」 -
一个应用下不同配置的分组,可以简单地把namespace类比为文件,不同类型的配置存放在不同的文件中,如数据库配置文件,RPC配置文件,应用自身的配置文件等 -
应用可以直接读取到公共组件的配置namespace,如DAL,RPC等 -
应用也可以通过继承公共组件的配置namespace来对公共组件的配置做调整,如DAL的初始数据库连接数
-
Apollo 特性
-
「统一管理不同环境、不同集群的配置」 -
Apollo提供了一个统一界面集中式管理不同环境(environment)、不同集群(cluster)、不同命名空间(namespace)的配置。 -
同一份代码部署在不同的集群,可以有不同的配置,比如zk的地址等 -
通过命名空间(namespace)可以很方便的支持多个不同应用共享同一份配置,同时还允许应用对共享的配置进行覆盖 -
配置界面支持多语言(中文,English)
-
-
「配置修改实时生效(热发布)」 -
用户在Apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置,并通知到应用程序。
-
-
「版本发布管理」 -
所有的配置发布都有版本概念,从而可以方便的支持配置的回滚。
-
-
「灰度发布」 -
支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有应用实例。
-
-
「权限管理、发布审核、操作审计」 -
应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人为的错误。 -
所有的操作都有审计日志,可以方便的追踪问题。
-
-
「客户端配置信息监控」 -
可以方便的看到配置在被哪些实例使用
-
-
「提供Java和.Net原生客户端」 -
提供了Java和.Net的原生客户端,方便应用集成 -
支持Spring Placeholder,Annotation和Spring Boot的ConfigurationProperties,方便应用使用(需要Spring 3.1.1+) -
同时提供了Http接口,非Java和.Net应用也可以方便的使用
-
-
「提供开放平台API」 -
Apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理等特性。 -
不过Apollo出于通用性考虑,对配置的修改不会做过多限制,只要符合基本的格式就能够保存。 -
在我们的调研中发现,对于有些使用方,它们的配置可能会有比较复杂的格式,如xml, json,需要对格式做校验。 -
还有一些使用方如DAL,不仅有特定的格式,而且对输入的值也需要进行校验后方可保存,如检查数据库、用户名和密码是否匹配。 -
对于这类应用,Apollo支持应用方通过开放接口在Apollo进行配置的修改和发布,并且具备完善的授权和权限控制
-
-
「部署简单」 -
配置中心作为基础服务,可用性要求非常高,这就要求Apollo对外部依赖尽可能地少 -
目前唯一的外部依赖是MySQL,所以部署非常简单,只要安装好Java和MySQL就可以让Apollo跑起来 -
Apollo还提供了打包脚本,一键就可以生成所有需要的安装包,并且支持自定义运行时参数
-
Apollo 总体设计
官方文档://github.com/ctripcorp/apollo/wiki/Apollo配置中心设计
架构模块
上图简要描述了 Apollo 的总体设计,我们可以从下往上看:
-
Config Service提供配置的读取、推送等功能,服务对象是Apollo客户端(我们自己的微服务应用) -
Admin Service提供配置的修改、发布等功能,服务对象是Apollo Portal(管理界面) -
Config Service和Admin Service都是多实例、无状态部署,所以需要将自己注册到Eureka中并保持心跳 -
在Eureka之上我们架了一层Meta Server用于封装Eureka的服务发现接口 -
Client通过域名访问Meta Server获取Config Service服务列表(IP+Port),而后直接通过IP+Port访问服务,同时在Client侧会做load balance、错误重试 -
Portal通过域名访问Meta Server获取Admin Service服务列表(IP+Port),而后直接通过IP+Port访问服务,同时在Portal侧会做load balance、错误重试 -
为了简化部署,我们实际上会把Config Service、Eureka和Meta Server三个逻辑角色部署在同一个JVM进程中
1.3 各模块概要介绍
1.3.1 Config Service
-
提供配置获取接口 -
提供配置更新推送接口(基于Http long polling) -
服务端使用Spring DeferredResult实现异步化,从而大大增加长连接数量 -
目前使用的tomcat embed默认配置是最多10000个连接(可以调整),使用了4C8G的虚拟机实测可以支撑10000个连接,所以满足需求(一个应用实例只会发起一个长连接)。
-
-
接口服务对象为Apollo客户端
1.3.2 Admin Service
-
提供配置管理接口 -
提供配置修改、发布等接口 -
接口服务对象为Portal
1.3.3 Meta Server
-
Portal通过域名访问Meta Server获取Admin Service服务列表(IP+Port) -
Client通过域名访问Meta Server获取Config Service服务列表(IP+Port) -
Meta Server从Eureka获取Config Service和Admin Service的服务信息,相当于是一个Eureka Client -
增设一个Meta Server的角色主要是为了封装服务发现的细节,对Portal和Client而言,永远通过一个Http接口获取Admin Service和Config Service的服务信息,而不需要关心背后实际的服务注册和发现组件 -
Meta Server只是一个逻辑角色,在部署时和Config Service是在一个JVM进程中的,所以IP、端口和Config Service一致
1.3.4 Eureka
-
基于Eureka和Spring Cloud Netflix提供服务注册和发现 -
Config Service和Admin Service会向Eureka注册服务,并保持心跳 -
为了简单起见,目前Eureka在部署时和Config Service是在一个JVM进程中的(通过Spring Cloud Netflix)
1.3.5 Portal
-
提供Web界面供用户管理配置 -
通过Meta Server获取Admin Service服务列表(IP+Port),通过IP+Port访问服务 -
在Portal侧做load balance、错误重试
1.3.6 Client
-
Apollo提供的客户端程序,为应用提供配置获取、实时更新等功能 -
通过Meta Server获取Config Service服务列表(IP+Port),通过IP+Port访问服务 -
在Client侧做load balance、错误重试
服务端
上图简要描述了配置发布的大致过程:
-
用户在Portal操作配置发布 -
Portal调用Admin Service的接口操作发布 -
Admin Service发布配置后,发送ReleaseMessage给各个Config Service -
Config Service收到ReleaseMessage后,通知对应的客户端
客户端
上图简要描述了Apollo客户端的实现原理:
-
客户端和服务端保持了一个长连接,从而能第一时间获得配置更新的推送。(通过Http Long Polling实现) -
客户端还会定时从Apollo配置中心服务端拉取应用的最新配置。 -
这是一个fallback机制,为了防止推送机制失效导致配置不更新 -
客户端定时拉取会上报本地版本,所以一般情况下,对于定时拉取的操作,服务端都会返回304 – Not Modified -
定时频率默认为每5分钟拉取一次,客户端也可以通过在运行时指定System Property: apollo.refreshInterval
来覆盖,单位为分钟。
-
-
客户端从Apollo配置中心服务端获取到应用的最新配置后,会保存在内存中 -
客户端会把从服务端获取到的配置在本地文件系统缓存一份 -
在遇到服务不可用,或网络不通的时候,依然能从本地恢复配置
-
-
应用程序可以从Apollo客户端获取最新的配置、订阅配置更新通知
环境准备
点击链接观看:Apollo 搭建服务端视频(获取更多请关注公众号「哈喽沃德先生」)
Java
-
Apollo 服务端:1.8+ -
Apollo 客户端:1.7+
由于需要同时启动服务端和客户端,所以建议安装Java 1.8+。
MySQL
-
版本要求:5.6.5+
Apollo的表结构对timestamp
使用了多个default声明,所以需要5.6.5以上版本。
下载Quick Start安装包
Apollo 给我们准备好了一个Quick Start安装包,大家只需要下载到本地,就可以直接使用,免去了编译、打包过程。
安装包共50M,如果访问github网速不给力的话,可以从百度网盘下载。
-
从Github下载 -
checkout或下载apollo-build-scripts项目 -
由于Quick Start项目比较大,所以放在了另外的repository,请注意项目地址 -
//github.com/nobodyiam/apollo-build-scripts
-
-
-
从百度网盘下载 -
通过//github.com/ctripcorp/apollo/wiki/Quick-Start#13-下载quick-start安装包页面的网盘链接下载 -
下载到本地后,在本地解压apollo-quick-start.zip
-
-
为啥安装包要58M这么大? -
因为这是一个可以自启动的jar包,里面包含了所有依赖jar包以及一个内置的tomcat容器
-
安装 Apollo
创建数据库
Apollo 服务端共需要两个数据库:ApolloPortalDB
和ApolloConfigDB
,我们把数据库、表的创建和样例数据都分别准备了 sql 文件,只需要导入数据库即可。
❝
注意:如果你本地已经创建过Apollo数据库,请注意备份数据。我们准备的sql文件会清空Apollo相关的表。
❞
创建 ApolloPortalDB 数据库
通过各种MySQL客户端导入sql/apolloportaldb.sql即可。
创建 ApolloConfigDB 数据库
通过各种MySQL客户端导入sql/apolloconfigdb.sql即可。
配置数据库连接信息
Apollo 服务端需要知道如何连接到你前面创建的数据库,所以需要编辑demo.sh,修改 ApolloPortalDB 和 ApolloConfigDB 相关的数据库连接串信息。
❝
注意:填入的用户需要具备对 ApolloPortalDB 和 ApolloConfigDB 数据的读写权限。
❞
#apollo config db info
apollo_config_db_url=jdbc:mysql://localhost:3306/ApolloConfigDB?characterEncoding=utf8
apollo_config_db_username=用户名
apollo_config_db_password=密码(如果没有密码,留空即可)
apollo portal db info
apollo_portal_db_url=jdbc:mysql://localhost:3306/ApolloPortalDB?characterEncoding=utf8
apollo_portal_db_username=用户名
apollo_portal_db_password=密码(如果没有密码,留空即可)