宿主機的容器是如何通過docker0通信的？

2019 年 10 月 18 日
筆記

一、什麼是容器網絡棧

所謂容器能看見的「網絡棧」，被隔離在自己的Network Namespace當中

網卡（network interface）
迴環設備（loopback device）
路由表（Routing Table）
iptables規則
當然，容器可以直接聲明使用宿主機的網絡棧：-net=host（不開啟Network Namespace），這樣可以為容器提供良好的網絡性能，但是也引入了共享網絡資源的問題，比如端口衝突。
大多數情況下，我們希望容器能使用自己的網絡棧，擁有屬於自己的IP和端口

二、容器如何和其他不同Network Namespace的容器交互？

將容器看做一台主機，兩台主機通信直接的辦法，就是用一根網線連接，如果是多台主機之間通信，就需要用網絡將它們連接到一台交換機上
在linux中，能夠起到虛擬交換機作用的設備是網橋（Bridge）
網橋是一個工作在數據鏈路層的設備，功能是根據MAC地址學習來將數據包轉發到網橋不同端口上，為了實現上述上的，Docker項目默認在宿主機上創建了一個docker0的網橋，連接在上面的容器，可以通過它來通信

三、如何把容器連接到docker0網絡上

需要一種叫Veth Pair的虛擬設備。當Veth Pair被創建出來後，總是以兩張虛擬網卡（Veth Peer）的形式成對出現，而且從其中一個網卡出的數據包，可以直接出現在它對應的另一張網卡上，即使兩張卡在不同的Network Namespace里
這就使Veth Pair常常被用作連接不同的Network Namspace的網線

四、示例演示

下面將在宿主機啟動兩個容器，分別是nginx-1和nginx-2演示，nginx-1容器訪問nginx-2是如何通信的

1. 運行一個nginx-1容器

 docker run -d --name=nginx-1 nginx

2.查看nginx-1的網絡設備

root@d5bfaab9222e:/# ifconfig  eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500          inet 172.18.0.2 netmask 255.255.0.0 broadcast 172.18.255.255          ether 02:42:ac:12:00:02 txqueuelen 0 (Ethernet)          RX packets 3520 bytes 8701343 (8.2 MiB)          RX errors 0 dropped 0 overruns 0 frame 0          TX packets 3010 bytes 210777 (205.8 KiB)          TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0    lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536          inet 127.0.0.1 netmask 255.0.0.0          loop txqueuelen 1000 (Local Loopback)          RX packets 0 bytes 0 (0.0 B)          RX errors 0 dropped 0 overruns 0 frame 0          TX packets 0 bytes 0 (0.0 B)          TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

eth0的網卡，是Veth Pari設備的其中一端

3.查看nginx-1的路由表，通過route命令查看

root@d5bfaab9222e:/# route  Kernel IP routing table  Destination Gateway Genmask Flags Metric Ref Use Iface  default 172.18.0.1 0.0.0.0 UG 0 0 0 eth0  172.18.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0

所有172.18.0.0/16網段的請求，都交給eth0處理，這是Veth Pair設備的一端，另一端在宿主機上

5.查看宿主機的網橋

通過brctl show查看

root@VM-0-8-ubuntu:/home/ubuntu# brctl show  bridge name bridge id   STP enabled interfaces  docker0 8000.0242c635ddb8   no  veth4d1c130

可以看到，docker0上插入上veth4d1c130網卡

6.再運行一個nginx-2

 docker run -d --name=nginx-2 nginx

7.再查看宿主機網橋

root@VM-0-8-ubuntu:/home/ubuntu# brctl show  bridge name bridge id   STP enabled interfaces  docker0 8000.0242c635ddb8   no  veth4d1c130         vetha9356e9

可以看到，docker0插上了兩張網卡veth4d1c130、 vetha9356e9

此時，當容器nginx-1（172.18.0.2）ping容器nginx-2（172.18.0.3）的時候，就會發現兩個容器是可以連通的

五、nginx-1能訪問nginx-2的原理是什麼？

被限制在Network Namespace的容器進程，是通過Veth Pair設備+宿主機網橋的方式，實現跟其它容器的數據交換

1.nginx-1訪問nginx-2時，IP地址會匹配到nginx-1容器的每二條路由規則

172.18.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0

凡是匹配這條規則的IP包，應該經過本機的eth0網卡，通過二層網絡發往目的主機

2.要通過二層網絡到達nginx-2 ，需要有172.18.0.3的MAC地址，找到

nginx-1容器需要通過eth0網卡發送一個ARP廣播，通過IP來查看對應的MAC地址
這個eth0網卡，是一個Veth Pair，它的一端在nginx-1容器的Network Namespace，另一端位於宿主機上（Host Namespace），並且插入在了宿主機的docker0網橋上
一旦虛假網卡（veth4d1c130）被插在網橋（docker0）上，調用網絡的數據包會被轉發給對應的網橋，所以ARC請求會被發給docker0

3.docker0轉發數據到到相應的nginx-2

docker0會繼續扮演二層交換機的角色，根據數據包的上的MAC地址（nginx-2的MAC地址），在它的CAM表裡查對應的端口，會找到vetha9356e9，然後將數據包發往這個端口，這樣數據包就到了nginx-2容器的Network Namespace里
nginx-2看到它自己的eth0網卡上出現了流入的數據包，然後對請求進行處理，再返迴響應給nginx-1

可以打開iptables的TRACE功能查看數據包的傳輸過程，通過tail -f /var/log/syslog

# iptables -t raw -A OUTPUT -p icmp -j TRACE  # iptables -t raw -A PREROUTING -p icmp -j TRACE

原理圖如下