微服務框架saf-1：容器化部署allinone-demo

• 2019 年 11 月 30 日
• 筆記

目錄

(1).關於saf

(2).saf-allinone-demo說明

(3).容器化部署環境準備

1.硬件要求

2.K8S單節點集群搭建

3.容器化相關基礎組件

3.1.基礎中間件容器化準備

3.2.zookeeper容器化部署

3.3.mysql容器化部署

3.4.redis-cluster容器化部署

3.5.rocketmq-cluster容器化部署

3.6.apollo容器化部署

3.7.ingress容器化

3.8.配置相關的ingress代理

4.數據準備

(4).編譯saf

1.下載工程

2.apollo配置基礎組件

3.編譯saf工程

(5).容器化部署saf-sample-allinone-service

1.製作saf-sample-allinoe-service鏡像

2.容器化saf-sample-allinoe-service

(6).容器化部署saf-sample-allinone-web

(7).驗證服務

1.驗證spring boot actuator組件

2.驗證業務接口(redis-cluster，motanRPC)

3.驗證jvmCache(guava)

4.驗證rocketmq使用

說明：

本文全部以容器化方式部署為例(主要是因為部署高效)，非容器化類似。

(1).關於saf

項目地址：

https://github.com/hepyu/saf

1.一個微服務框架，完全基於註解的方式開發。

2.適用於雲原生(K8S)下的微服務體系搭建，為技術中台提供底層支撐。

3.解放業務，使業務方專註於業務邏輯本身：通過註解以搭積木方式引入各式資源，每個資源都是一行註解，極大提升業務方產出效率。

(2).saf-allinone-demo說明

工程地址：

https://github.com/hepyu/saf/tree/master/saf-samples/saf-sample-allinone

saf-allinone-demo涉及到的組件

demo中使用了主要的中間件，如redis-cluster(分佈式緩存)，druid(數據庫連接池)，motan(rpc)，rocketmq(消息隊列)，apollo(分佈式配置中心)

saf-allinone-demo包含的工程：

saf-sample-allinone-api：定義motan(rpc)接口

saf-sample-allinone-service：rpc-provider

saf-sample-allinone-web：rpc-consumer

(3).容器化部署環境準備

1.硬件要求

理想配置是8core，32GB。

2.K8S單節點集群搭建

kubernetes-1：使用kubeadm搭建K8S單master節點集群

3.容器化相關基礎組件

3.1.基礎中間件容器化準備

由於PV適用的是local PV，所以先初始化本地pv目錄，執行local pv目錄初始化腳本：

https://github.com/hepyu/k8s-app-config/blob/master/yaml/init.sh

3.2.zookeeper容器化部署

https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/zookeeper-min

參考文章：kubernetes-14：zookeeper容器化

3.3.mysql容器化部署

https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/mysql-min

參考文章：kubernetes-5：使用helm與yaml兩種方式進行mysql容器化

3.4.redis-cluster容器化部署

https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/redis-cluster-min

參考文章：kubernetes-20：redis-cluster容器化

3.5.rocketmq-cluster容器化部署

https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/rocketmq-min

參考文章：K8S&微服務&阿里雲生產實踐-3：rocketmq集群生成級別容器化

3.6.apollo容器化部署

https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/apollo-min

參考文章：

kubernetes-6：使用yaml方式進行apollo容器化

注意：使用容器化方式部署基礎組件主要是為了快速構建allinone-demo的運行環境，實際生產中是需要權衡的，比如mysql不要放K8S里，而且上述基礎組件的容器化都是最小資源防止超過硬件容量，比如rocketmq只有一組master/slave。

3.7.ingress容器化

https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/ingress-nginx-min

參考文章：kubernetes-9：nginx-ingress容器化

3.8.配置相關的ingress代理

https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/ingress-nginx-min/proxy

kubectl apply -f分別執行:

ingress-nginx-apollo-config.yaml

ingress-nginx-apollo-portal.yaml

ingress-nginx-rocketmq-min-c0-console.yaml

然後在本地PC配置host即可訪問對應的apollo和rocketmq後台。

4.數據準備

saf-allinone數據庫數據初始化：

獲得mysql的root用戶的登錄密碼：

kubectl get secret –namespace mysql-min mysql-min -o jsonpath="{.data.mysql-root-password}" | base64 –decode; echo

root密碼是：9ZeNk0DghH

暴露mysql端口到容器外(可以選擇其他方式如nodeport等)方便訪問：

我這裡使用port-forward方式：

kubectl port-forward pod-name local-port:container-port

如：注意指定命名空間

kubectl port-forward mysql-min-6fdb6bb7bb-f5g9t -n mysql-min 3306:3306

登錄mysql：

mysql -h 127.0.0.1 -uroot -p9ZeNk0DghH

執行初始化sql，位於：

https://github.com/hepyu/saf/blob/master/saf-samples/saf-sample-allinone/saf-sample-allinone-service/sql/allinone.sql.txt

由於apollo我們只支持dev環境，所以需要修改一下數據庫記錄：

use ApolloPortalDB

update ServerConfig set Value='dev' where id=1G

否則apollo可能運行時出問題。

(4).saf-allinone-demo容器化部署

1.下載工程

git clone https://github.com/hepyu/saf.git

2.apollo配置基礎組件

進入目錄：

saf-samples/saf-sample-allinone/saf-sample-allinone-service

將apollo-config目錄中的配置文件配置到apollo配置中心：dev.apollo-portal.future.com

apollo默認用戶名是apollo，默認密碼是admin。

需要創建的項目/namespace，附帶每個namespace的內容地址：

配置內容的主路徑位於：

https://github.com/hepyu/saf/tree/master/saf-samples/saf-sample-allinone/apollo-config

從上表可以看到，我們是對apollo配置中心的使用制定了自定義規約的，本文重點不在這裡，暫時不對此自定義規約進行詳細描述，後續會做詳細描述。

關於這部分，可以先參照文章：

K8S&微服務&阿里雲生產實踐-2：apollo配置中心

裡邊有一張圖描述了自定義規約。

3.編譯saf工程

進入saf根目錄編譯整個工程，同時將saf基礎包裝配到本地maven倉庫：

mvn clean package

mvn install

(5).容器化部署saf-sample-allinone-service

1.製作saf-sample-allinoe-service鏡像

在目錄saf-samples/saf-sample-allinone/saf-sample-allinone-service下執行腳本docker.build.sh 製作docker鏡像：

sh docker.build.sh

如果失敗檢查下docker.build.sh和Dockerfile中的demo版本，可能需要修正(saf版本升級不會修改Dockerfile和docker.build.sh中的版本)。

鏡像構建過程如下：

Sending build context to Docker daemon 42.98MB

Step 1/9 : FROM hpy253215039/oraclejdk-linux-64:8u221

—> 98948e987d47

Step 2/9 : ADD target/saf-sample-allinone-service-1.0.1-SNAPSHOT.jar /app/inc/apps/

—> 04f1f80e073c

Step 3/9 : RUN chown -R inc:inc /app/inc/ /data/inc/ /opt/ && mkdir -p /data/inc/logs/saf-sample-allinone-service

—> Running in f868e3883898

Removing intermediate container f868e3883898

—> e2e7f4a624ea

Step 4/9 : COPY run.sh /app/inc/apps/

—> 33435cadd6a6

Step 5/9 : WORKDIR /app/inc/apps

—> Running in 0464247f7b7f

Removing intermediate container 0464247f7b7f

—> 33ebebd3fa4e

Step 6/9 : EXPOSE 8080

—> Running in f434fbefe4fb

Removing intermediate container f434fbefe4fb

—> a033e4a37def

Step 7/9 : EXPOSE 9145

—> Running in 6f05cd6e0afb

Removing intermediate container 6f05cd6e0afb

—> e4de92f0bd5c

Step 8/9 : EXPOSE 10010

—> Running in 7b70d6922a09

Removing intermediate container 7b70d6922a09

—> 44622491d60e

Step 9/9 : ENTRYPOINT /bin/bash run.sh start && tail -f /dev/null

—> Running in 7b6887c02fad

Removing intermediate container 7b6887c02fad

—> 69fe35c6cffe

Successfully built 69fe35c6cffe

查看鏡像：

2.容器化saf-sample-allinoe-service

進入目錄saf-sample-allinoe-service/kubernetes：

直接執行腳本deploy.sh，會順次執行上述yaml文件，執行kubectl get pod -n inc查看Pod，可能會看到啟動失敗：

這是因為saf升級不會自動升級腳本中的版本號，需要手動修改saf-sample-allinone-service-prod-deployment.yaml中的鏡像版本號為1.0.1。

執行kubectl delete -f . 刪除剛才部署的資源，重新執行sh ./deploy.sh可以看到容器啟動成功。

(6).容器化部署saf-sample-allinone-web

過程類似，這裡簡單描述。

進入目錄：

saf-samples/saf-sample-allinone/saf-sample-allinone-web

1.製作saf-sample-allinoe-web鏡像

在目錄saf-samples/saf-sample-allinone/saf-sample-allinone-web下執行腳本docker.build.sh 製作docker鏡像：

sh docker.build.sh

2.容器化saf-sample-allinoe-web

進入目錄saf-sample-allinoe-web/kubernetes直接執行腳本deploy.sh。

這裡有一個文件會把這個web服務掛到ingress上，從而將服務暴露到容器外部，供公網訪問：

saf-sample-allinone-web-prod-ingress.yaml

(7).驗證服務

我們先查看saf-sample-allinoe-web的域名：

[root@future kubernetes]# kubectl get ingress -n inc

NAME HOSTS ADDRESS PORTS AGE

pro-apollo-configservice002 pro-apollo-configservice002 ip1 80 10d

pro-apollo-configservice003 pro-apollo-configservice003 ip1 80 10d

saf-sample-allinone-web-prod saf-web-allinone.future.com ip1 80 21m

service-apollo-portal-server dev.apollo-portal.future.com ip1 80 10d

配置host：

Ip1 saf-web-allinone.future.com

1.驗證spring boot actuator組件

瀏覽器訪問http://saf-web-allinone.future.com:30834/actuator/health

返回：{"status":"UP"}

2.驗證業務接口(redis-cluster，motanRPC)

業務接口使用了redis-cluster，motanRPC，jvmCache(guava)，業務接口正常返回說明上述組件OK。

http://saf-web-allinone.future.com:30834/user/getUserDetail?userId=1

返回：

{"code":0,"msg":"getUserDetail success.","data":{"id":1,"name":"user1","shopList":[{"id":1,"name":"shop1","ownerId":1,"address":"address1"}]}}

http://saf-web-allinone.future.com:30834/shop/getShopDetail?shopId=1

返回：

{"code":0,"msg":"getShopDetail success.","data":{"id":1,"name":"shop1","ownerId":1,"address":"address1","owner":{"id":1,"name":"user1"}}}

http://saf-web-allinone.future.com:30834/config/getSMSConfig

返回：

{"code":0,"msg":"getSMSConfig success.","data":{"aliyunSMSUrl":"https://sms.aliyun.com/sendSMS","mobileSMSUrl":"https://sms.chinamobile.com/sendSMS","unicomSMSUrl":"https://sms.chinaunicom.com/sendSMS"}}

3.驗證jvmCache(guava)

這個只能到saf-service-allinone的pod容器里看了，會定時打印guava的訪問統計信息，這個在真實業務中其實是可以做成metrics，然後加監控的，因為一般這麼用都是一個高訪問高並發的場景。

framework.log-2019-11-28 22:09:00.001 [scheduling-1] [INFO] [-] [c.f.s.s.a.l.ShopModelSafWrapperLocalCache] – cache container current size is:5

framework.log-2019-11-28 22:09:00.001 [scheduling-1] [INFO] [-] [c.f.s.s.a.l.ShopModelSafWrapperLocalCache] – cache container: threadPool.queueInfo: size:0, remainingCapacity:2147483647

framework.log-2019-11-28 22:09:00.001 [scheduling-1] [INFO] [-] [c.f.s.s.a.l.ShopModelSafWrapperLocalCache] – cache container: threadPool.info: activeCount:0, corePoolSize:10, maximumPoolSize:10, poolSize:10, completedTaskCount:40, largestPoolSize:10, taskCount:40

framework.log-2019-11-28 22:09:00.001 [scheduling-1] [INFO] [-] [c.f.s.s.a.l.ShopModelSafWrapperLocalCache] – cache container: cache.stats: averageLoadPenalty:1.0904045166666666E7, evictionCount:0, hitCount:40, hitRate:0.8888888888888888, loadCount:42, loadExceptionCount:0, loadExceptionRate:0.0, loadSuccessCount:42, missCount:5, missRate:0.1111111111111111, requestCount:45, totalLoadTime:457969897,

4.驗證rocketmq使用

到rocketmq-console後台查看：

http://pro-rocketmq-min-c0.console.future.com:30834/#/message

至此，驗證通過了redis-cluster, rocketmq, jvmCache(guava), spring boot actuator, motanRPC的正確使用。