OpenvSwitch系列之八 vxlan隧道
Open vSwitch系列之一 Open vSwitch诞生
Open vSwitch系列之二 安装指定版本ovs
Open vSwitch系列之三 ovs-vsctl命令使用
Open vSwitch系列之四 ovs-ofctl命令使用
Open vSwitch系列之五 网桥特性功能配置
Open vSwitch系列之六 vlan隔离
Open vSwitch系列之七 meter表限速
OpenvSwitch系列之八 vxlan隧道
官方介绍：
VXLAN（Virtual eXtensible Local Area Network，虚拟扩展局域网），是由IETF定义的NVO3（Network Virtualization over Layer 3）标准技术之一，是对传统VLAN协议的一种扩展。VXLAN的特点是将L2的以太帧封装到UDP报文（即L2 over L4）中，并在L3网络中传输。VXLAN本质上是一种隧道技术，在源网络设备与目的网络设备之间的IP网络上，建立一条逻辑隧道，将用户侧报文经过特定的封装后通过这条隧道转发。
vxlan 是一种网络协议，将原始数据封装到UDP数据包中传输。vxlan被广泛应用到云计算网络环境中，耳熟能详的云计算框架openstack主要的网络架构就是vxlan，kubernetes也有vxlan的网络插件。vxlan 有许多优点，诸如：
- 连接两个局域网，可以将局域网内主机之间流量互通。就像是在局域网之间架起桥梁
- 支持隔离。vlan最多支持4096个隔离，而vxlan支持2的次方数32即 4294967296据隔离
vxlan的封装格式
本篇文章使用ovs搭建vxlan网桥，连接两个mininet构建的局域网。
实验环境：两台虚拟机 ubuntu1804桌面版+ubuntu1604桌面版+mininet
安装mininet
分别在两台机器上安装mininet
安装git工具
root@ubuntu:~# apt install git
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following additional packages will be installed:
git-man liberror-perl
Suggested packages:
git-daemon-run | git-daemon-sysvinit git-doc git-el git-email git-gui gitk gitweb git-arch git-cvs git-mediawiki git-svn
The following NEW packages will be installed:
git git-man liberror-perl
0 upgraded, 3 newly installed, 0 to remove and 406 not upgraded.
Need to get 3,932 kB of archives.
After this operation, 25.6 MB of additional disk space will be used.
Do you want to continue? [Y/n] y
从github上拉取mininet源码
root@openlab:~# git clone git://github.com/mininet/mininet
Cloning into 'mininet'...
remote: Enumerating objects: 9752, done.
remote: Total 9752 (delta 0), reused 0 (delta 0), pack-reused 9752
Receiving objects: 100% (9752/9752), 3.03 MiB | 1.35 MiB/s, done.
Resolving deltas: 100% (6472/6472), done.
安装mininet
mininet的安装是进入mininet/util目录中，然后执行 ./install -a。-a表示安装全部的组件。mininet的安装可以有很多备选项。
root@openlab:~/mininet/util# ./install.sh -a
Detected Linux distribution: Ubuntu 18.04 bionic amd64
sys.version_info(major=3, minor=6, micro=7, releaselevel='final', serial=0)
Detected Python (python3) version 3
Installing all packages except for -eix (doxypy, ivs, nox-classic)...
Install Mininet-compatible kernel if necessary
.......
.......
.......
libtool: install: /usr/bin/install -c cbench /usr/local/bin/cbench
make[2]: Nothing to be done for 'install-data-am'.
make[2]: Leaving directory '/root/oflops/cbench'
make[1]: Leaving directory '/root/oflops/cbench'
Making install in doc
make[1]: Entering directory '/root/oflops/doc'
make[1]: Nothing to be done for 'install'.
make[1]: Leaving directory '/root/oflops/doc'
Enjoy Mininet!
验证安装
安装完成之后，ovs会安装好，使用ovs-vsctl show命令，查看ovs版本
root@openlab:~/mininet/util# ovs-vsctl show
58cc7b02-ef48-4de7-a96b-ee1c0259472d
ovs_version: "2.9.5"
使用命令 mn 创建一个最小拓扑的环境。包括一个控制器，一个交换机，两个主机。
root@openlab:~/mininet/util# mn
*** Creating network
*** Adding controller
*** Adding hosts:
h1 h2
*** Adding switches:
s1
*** Adding links:
(h1, s1) (h2, s1)
*** Configuring hosts
h1 h2
*** Starting controller
c0
*** Starting 1 switches
s1 ...
*** Starting CLI:
mininet>
配置vxlan
第一台机器配置
记录下第一台机器的ip地址和路由信息，后面会使用这些信息。
root@openlab:~/mininet/util# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.175.130 netmask 255.255.255.0 broadcast 192.168.175.255
inet6 fe80::20c:29ff:fe45:a8b7 prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:45:a8:b7 txqueuelen 1000 (Ethernet)
RX packets 247144 bytes 344597431 (344.5 MB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 74937 bytes 6024181 (6.0 MB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>
loop txqueuelen 1000 (Local Loopback)
RX packets 993 bytes 76788 (76.7 KB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 993 bytes 76788 (76.7 KB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
root@openlab:~/mininet/util# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.175.2 0.0.0.0 UG 100 0 0 ens33
192.168.175.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
192.168.175.2 0.0.0.0 255.255.255.255 UH 100 0 0 ens33
第二台机器配置
同样，记录第二台机器的ip地址和路由信息。
ens33 Link encap:Ethernet HWaddr 00:0c:29:a6:71:34
inet addr:192.168.175.128 Bcast:192.168.175.255 Mask:255.255.255.0
inet6 addr: fe80::b933:b350:fe27:b89a/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:56351 errors:0 dropped:0 overruns:0 frame:0
TX packets:14943 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:76128903 (76.1 MB) TX bytes:1464272 (1.4 MB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:404 errors:0 dropped:0 overruns:0 frame:0
TX packets:404 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:33728 (33.7 KB) TX bytes:33728 (33.7 KB)
root@ubuntu:~/mininet/util# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.175.2 0.0.0.0 UG 100 0 0 ens33
169.254.0.0 0.0.0.0 255.255.0.0 U 1000 0 0 ens33
192.168.175.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
创建隧道网桥br-tun
使用ovs创建一个网桥，叫做br-tun，该网桥后面会作为vxlan隧道的端点。两个虚拟机都需要创建。
root@openlab:~/mininet/util# ovs-vsctl add-br br-tun
root@openlab:~/mininet/util#
root@openlab:~/mininet/util# ovs-vsctl show
58cc7b02-ef48-4de7-a96b-ee1c0259472d
Bridge br-tun
Port br-tun
Interface br-tun
type: internal
ovs_version: "2.9.5"
创建好br-tun之后，可以用ifconfig -a查看到这个设备
root@openlab:~/mininet/util# ifconfig -a
br-tun: flags=4098<BROADCAST,MULTICAST> mtu 1500
ether 26:c9:1f:49:4e:4e txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.175.130 netmask 255.255.255.0 broadcast 192.168.175.255
inet6 fe80::20c:29ff:fe45:a8b7 prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:45:a8:b7 txqueuelen 1000 (Ethernet)
RX packets 247744 bytes 344644771 (344.6 MB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 75331 bytes 6070686 (6.0 MB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>
loop txqueuelen 1000 (Local Loopback)
RX packets 993 bytes 76788 (76.7 KB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 993 bytes 76788 (76.7 KB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ovs-system: flags=4098<BROADCAST,MULTICAST> mtu 1500
ether 62:da:79:d8:d4:d3 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
第二台机器创建好的设备。
root@ubuntu:~/mininet/util# ifconfig -a
br-tun Link encap:Ethernet HWaddr 1e:66:43:f2:04:43
BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
ens33 Link encap:Ethernet HWaddr 00:0c:29:a6:71:34
inet addr:192.168.175.128 Bcast:192.168.175.255 Mask:255.255.255.0
inet6 addr: fe80::b933:b350:fe27:b89a/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:56569 errors:0 dropped:0 overruns:0 frame:0
TX packets:15061 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:76151455 (76.1 MB) TX bytes:1479464 (1.4 MB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:404 errors:0 dropped:0 overruns:0 frame:0
TX packets:404 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:33728 (33.7 KB) TX bytes:33728 (33.7 KB)
ovs-system Link encap:Ethernet HWaddr 8e:fb:8e:a0:0c:e5
BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
转移ens33 网卡的ip地址到br-tun上
将网卡上的ip地址转交给br-tun。从上一步可以看出br-tun和网卡其实是非常类似的，将其赋值ip地址就可以当做网卡使用。现在要做的是把虚拟机网卡的ip地址给br-tun。
增加路由信息。将ip地址转交给br-tun之后，路由信息也需要更新。ip地址和路由信息都要以实际的信息，在复制实验时不可直接使用我的。这也是为什么在前面记录ip信息和路由信息的原因。
ifconfig ens33 0 up
ifconfig br-tun 192.168.175.130/24 up
route add default gw 192.168.175.2
同样在第二台机器上完成同样的操作。
ifconfig ens33 0 up
ifconfig br-tun 192.168.175.128/24 up
route add default gw 192.168.175.2
将网卡ens33作为端口添加到br-tun
因为ens33是流量出虚拟机的接口，所以最后流量还是肯定走ens33网卡出去。br-tun只是一个虚拟机的设备，要将ens33作为端口加入br-tun中
ovs-vsctl add-port br-tun ens33
同样在第二台机器上完成同样的操作。
ovs-vsctl add-port br-tun ens33
启动mininet
使用命令mn启动一个最小拓扑的实验。创建的设备包括两个主机，h1，h2；一个交换机 s1
使用ovs-vsctl show 可以看到环境中新增了一个交换机s1
同样在第二台机器上完成同样的操作。
修改主机IP地址
上一步创建的mininet中两个主机的默认地址都是10.0.0.1和10.0.0.2,需要将第一台虚拟机中的mininet的主机的地址修改10.0.0.3和10.0.0.4。构建的环境如下:
创建vxlan隧道
在交换机s1创建vxlan隧道。这一步是最关键的一步。
ovs-vsctl add-port s1 vx1 -- set interface vx1 type=vxlan options:remote_ip=192.168.175.128
其中s1是创建隧道的网桥，remote_ip就是隧道另外一端机器的ip地址。
查看创建好的隧道
在第二台虚拟机上做同样的操作
ovs-vsctl add-port s1 vx1 -- set interface vx1 type=vxlan options:remote_ip=192.168.175.130
查看创建好的隧道
验证通信
在第一台虚拟机上打开h2。使用命令xterm h2可以打开mininet中h2的操作终端。
在终端中ping 10.0.0.1
在终端中ping 10.0.0.2
抓取vxlan数据包
打开wireshark，监听br-tun隧道端点上的流量。可以看到目前流量就是ICMP。
打开具体的icmp查看，与普通icmp有什么不同之处。正常icmp流量是icmp+网络层+数据链路层，而使用vxlan的icmp则是 icmp + 网络层 + 数据链路层 + vxlan报文头 + udp + 网络层 + 数据链路层。内层是10.0.0.3 ping 10.0.0.1的流量，这些流量被vxlan封装之后有外层包 192.168.175.130到192.168.175.128的UDP数据包。
最后看一下vxlan报文头的具体信息。里面包含了一个 vxlan network identity 即vni，就是类似与vlan tag的ID号。不同的ID号之间不可以通信。
总结
在两个交换机上配置了vxlan之后，就像是在s1和s1之间打通了隧道，跨越局域网的限制传输数据。逻辑上是如上，实际是流量是从 h1 -->s1-->br-tun -->ens33 -->ens33 -->br-tun -->s1 -->h1。
