Docker跨服務器通信Overlay解決方案(上) Consul單實例

2019 年 10 月 3 日
筆記

場景

公司微服務快上線了，微服務都是用Docker容器進行部署的，在同一台主機下，把服務都部署上，註冊到Nacos的IP與PORT都是內網的IP與Dockerfile中定義的端口號，看起來好像也沒什麼問題，通過網關去調用也是可以調通的，請注意這有一個大前提：

必須把所有服務容器部署在同一台主機上時才可以！

當服務實例沒有部署在同一主機上，比如網關服務在A服務器，服務a在B服務器上，同樣註冊到Nacos (或其它註冊中心) ，此時上報上來的都是內網的IP，那麼當外部有請求進來的時候，網關通過Nacos的服務列表，找到了對應的服務a的內網IP，一調用發現調用不通

ps:內網怎麼會通……

任務

微服務容器可以不在同一台服務器上，互相調用

想法

既然上報的是內網的IP，我直接讓他上報宿主機的IP和端口唄
使用Docker的host網絡模式
修改部署腳本，通過shell部署容器時，獲取宿主機IP與設置的映射端口號
讓Docker的網絡互通

分析

以下分別按上邊的「想法」部分來進行說明下問題

翻遍官方文檔與Github，得出的方案又有兩個：
- 固定IP端口，把宿主機IP與端口寫死在配置文件中：看起來是解決了，但是問題是無法水平擴展了 ——勉強能用
- 固定網卡，防止因多網卡環境上報錯誤IP端口：沒有用的，進入容器中ifconfig發現內部網卡只有兩個，分別是eth0與lo，對應網卡的IP就是內網IP ——還是沒用
使用Docker的Host網絡模式，你會發現IP這回上報的的確是宿主機IP，但是端口號不對啊……如果自己去通過shell使用Java參數傳入待映射的端口號的話，這種情況理論上是可行的，唯一缺點是docker ps 再也直接看不到端口號了，需要額外去docker inspect ——可以用
映射端口號可以獲取，但是主機的網卡名稱不同，寫死後不靈活，如果有的是eth0，有的是ens33呢？還有更多不可測的情況！ ——或許可用
通過一些成熟的Docker容器網絡共享，但是會有一定的性能損耗 ——完全可用

概念與選型

最穩妥的辦法——使用Docker網絡共享，在搜索引擎的幫助下，我決定用Overlay的方式來實現效果

以下簡單說下Overlay：

容器在兩個跨主機進行通信的時候，是使用overlay network這個網絡模式進行通信；如果使用host也可以實現跨主機進行通信，直接使用這個物理的ip地址就可以進行通信。overlay它會虛擬出一個網絡比如10.0.2.3這個ip地址。在這個overlay網絡模式裏面，有一個類似於服務網關的地址，然後把這個包轉發到物理服務器這個地址，最終通過路由和交換，到達另一個服務器的ip地址。

想要實現Overlay網絡，需要引入一個K-V數據庫，來保存網絡狀態信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的K-V數據庫

我們這裡使用 Consul，相比其它K-V數據庫，Consul提供的界面化方便管理，所以這裡使用Consul實現Overlay

通過讓每個服務器的Docker daemon將自己的IP註冊到Consul中，來共享Docker內網，這裡共享的內網是Overlay網絡模式的，也只有在註冊的Docker環境下使用同overlay網絡的容器，才能互相通訊

ps: 創建完成後，不使用overlay網絡的跨服務器容器，不能ping通

小試身手

單節點的Consul實現Overlay網絡，使用Docker鏡像

環境說明

服務器OS	主機IP	Docker版本	網卡名
Ubuntu Server 18.04 LTS	192.168.87.133	18.09.6	ens33
Ubuntu Server 18.04 LTS	192.168.87.139	18.09.7	ens33

待使用的Consul版本為1.5.2，看Docker Hub上提示漏洞目前最小的。

本測試環境適用於Systemd管理的Linux發行版

Consul沒有使用非官方的progrium/consul，主要是因為這個鏡像實在太老了，四年前的如果有漏洞也沒能及時修復，所以自己去<hub.docker.com>去趟了遍官方的坑！?

注意事項

每台運行docker的主機都不能同hostname，可以使用

$ sudo hostnamectl set-hostname your-new-hostname

同hostname會導致同名的主機docker無法互相通信

動手做

準備Consul使用鏡像在133服務器上啟動，所以可以先配置下Docker daemon的啟動參數指向133服務器

分別修改133、139兩台服務器的docker.service

$ ifconfig  #已經去除干擾網卡,記錄網卡名為ens33  ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500          inet 192.168.87.133  netmask 255.255.255.0  broadcast 192.168.87.255          inet6 fe80::20c:29ff:fe02:e00a  prefixlen 64  scopeid 0x20<link>          ether 00:0c:29:02:e0:0a  txqueuelen 1000  (Ethernet)          RX packets 156739  bytes 233182466 (233.1 MB)          RX errors 0  dropped 0  overruns 0  frame 0          TX packets 45173  bytes 2809606 (2.8 MB)          TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0    $ vim /etc/docker/daemon.json

保存退出.

cluster-store：配置的Consul的leader地址，單體直接寫，其它軟件注意協議

cluster-advertise: 指定監聽的網卡和端口，也可以指定接收訂閱消息的IP:PORT

還有一種是直接修改docker.service的，參考如下：
$ cd /etc/systemd/system/multi-user.target.wants  $ sudo vim docker.service
找到ExecStart= 字眼，在此行末尾添加如下代碼
--cluster-store=consul://192.168.87.133:8500 --cluster-advertise=ens33:2375
效果如下：

操作效果與以上方法保持一致

接着執行命令，重啟docker服務，另一台服務器操作方式相同，注意網卡名稱

$ sudo systemctl daemon-reload && sudo systemctl restart docker

在133服務器啟動Consul服務

docker run -d --network host -h consul --name=consul --restart=always -e CONSUL_BIND_INTERFACE=ens33 consul:1.5.2

用主機模式的原因是防止有些端口沒有映射出來，還有就是想讓Consul識別外部網卡的方式只能host模式，下面給個非host的方式
$ docker run -di  -h consul -p 8500:8500 --name=consul consul:1.5.2

創建Docker overlay共享網絡

$ docker network create -d overlay my_overlay

這裡與普通創建網絡不同在於指定了overlay模式的網絡，-d也可以寫為--driver

訪問Consul的頁面，如我的是192.168.87.133:8500

我們的配置在Key/Value處，

點擊docker -> nodes

出現上邊的兩個節點，分別是兩個docker daemon (守護進程) 註冊的值

測試

新建兩個centos的容器分別在兩台服務器上，使用overlay 我們剛才創建的網絡

133服務器

$ docker run -di --network my_overlay --name mycentos1 centos:7

139服務器

$ docker run -di --network my_overlay --name mycentos2 centos:7

--net全拼為--network，--開頭的可不加=

查看133服務器mycentos1容器的IP

$ docker inspect -f "{{ .NetworkSettings.Networks.my_overlay.IPAddress}}" mycentos1  10.0.1.2

查看139服務器mycentos2容器的IP

$ docker inspect -f "{{ .NetworkSettings.Networks.my_overlay.IPAddress}}" mycentos2  10.0.1.3

分別從133服務器ping 139服務器的mycentos2的內網IP

反過來ping也是一樣的，但是並不是讓我們通過外部去訪問的，通過同一overlay網絡的容器就可以，不信我們作如下嘗試

133服務器

$ docker exec -it mycentos1 bash  # ping 10.0.1.3

訪問得通，沒有丟包，反過來也是一樣的，篇幅有限就不試驗了

這起碼說明，現在的服務的確已經網絡互通了，下篇文章我們來搞下生產用的集群方式

引文

技術漫談 | docker overlay網絡實現

Docker容器之overlay網絡

Docker跨主機網絡——overlay

Day22：介紹 Docker 的 Network (三)

Consul KV

Docker Hub Consul

Github docker-library/docs

Github docker-consul

本文系Hellxz學習與實踐文章，禁止布布扣、碼迷等第三方爬蟲網站爬取