為啥Underlay才是容器網路的最佳落地選擇
導語：
幾年前，當博雲啟動自研容器網路研發的時候，除了技術選型的考慮，我們對於先做 Underlay 還是 Overlay 網路也有過深度的討論。當時的開源社區以及主流容器廠商，多數還是以 Overlay 網路方案為主，但在我們對眾多客戶真正需求的深入了解之後，發現部分客戶對容器內外網路直通有著非常強烈的需求。思慮再三，我們決定還是先做 Underlay 網路（後來又做了Overlay）。隨著行業與公司自身的發展，我們建設實施的項目越來越多，這讓我們對容器網路的思考也越來越深入，從而觀點也越來越清晰：
內外直通的Underlay網路才是容器網路的正確打開方式。
01
從需求出發，考慮容器網路方案
如上圖所示，這是目前企業微服務容器化部署的典型場景，也是驅動我們做 Underlay網路的直接原因：
-
服務部署在Kubernetes集群內部（如圖：服務1、服務2）；
-
資料庫、註冊中心、Redis、MQ等組件部署在集群之外；
-
部分服務也可能部署在集群之外, 比如容器平台試用階段（如圖：服務3）
這些服務和組件，需要能直接互聯互通。
如若需要滿足以上需求，最簡單有效的方案就是直接把 Kubernetes 內外網路打通，也就是採用 Underlay 網路模式。
當然，如上需求也有別的辦法可以解決。比如，細化分析服務和組件間的流量，採用ingress、egress，包括改寫應用程式碼等方式，在特定情況下，這也是可以用的。然而，一方面，這些都是特定場景下的特定解決方案，缺乏一定的通用性；另一方面，容易出現配置複雜、引入額外風險、出錯難以定位等問題。遠遠沒有通過Underlay網路直接將內外網打通這麼簡單有效。
還有另外的辦法就是將所有服務和組件都放入Kubernetes集群內部，但是這種方案仍是針對特定場景的非通用方案，很難保證企業所有的應用都在一個Kubernetes集群里。
同樣，對於容器內外網路直接互聯互通的需求場景還有：
-
特定用途的Kubernetes集群對外提供服務。比如專門用作提供PaaS中間件服務的Kubernetes集群、專門用作CI/CD服務的Kubernetes集群、專門用作提供大數據服務的Kubernetes集群等；
-
跨多集群的服務/組件互聯互通；
-
為了在試點階段降低風險，部分服務跑在集群內、部分服務跑在集群外等場景。
02
與虛擬機對比，從容器本質考慮容器網路方案
在容器的應用實踐過程中，除了應用場景，我們也從底層基礎設施的角度對容器進行了持續的思考。
從基礎設施的角度看容器：容器和虛擬機的本質都是一樣的，是上層應用的承載基礎設施。
因此，從底層角度看，對容器網路的需求跟虛擬機是一致的。那麼，虛擬機網路的落地模式是怎樣的呢?
如上圖右側部分所示，IaaS層的落地網路方案可以認為是有行業標準的，不管是基於VMware 還是 OpenStack，基本都是採用OVS（或類似OVS）的二層 Underlay 網路方案。
因此，從基礎設施的角度往上看，容器網路採用跟 IaaS 類似的方案，即將虛擬機和容器放到同一個網路層面上，是最合理的選擇。
PS：在公有雲上，虛擬機都在VPC里，因此目前公有雲的容器網路方案，也是主要採用將容器和虛擬機放到同一個VPC中，可以直接互聯互通的方案。這也是對上述判斷的典型證明。
同時，對於部分客戶回饋的 Unberlay 網路佔用 IP 地址過多的問題，從虛擬機和容器的對比角度，也可以獲得合理的解釋：如果使用虛擬機部署，佔用 IP 地址數量與容器 Underlay 網路是一樣的。IP 地址的數量是由應用數量決定的，使用容器並沒有引入多餘 IP 地址佔用。另外，Ipv6已經開始規模落地，在Ipv6時代，IP 地址數量將不會是問題。
03
技術方案選型
容器典型的開源 Unberlay 網路選型方案有 Calico 和 MACVLAN，這兩個方案的問題也比較明顯：
Calico：需要在數據中心路由器（或三層交換機）打開 BGP 路由協議，而 BGP 是廣域網的路由協議，一般在數據中心內部不會啟動，低端三層交換機/路由器對齊的支援情況也有風險。
MACVLAN：幾年前有部分客戶採用此容器網路方案，MACVLAN最大的問題就是社區活躍度已經很低，一些問題長期沒有在社區中解決。同時，面向未來的擴展性也比較差。
以上也是博雲基於 OVS 自研 Underlay（也支援Overlay）網路的原因。
04
總結
在容器網路方案中，Overlay網路方案有著對底層網路要求低（落地過程不需要跟網路部門打交道）、落地容易、IP地址佔用少等特點，也有自己適用的特性需求場景。但是隨著越來越多的客戶將 Kubernetes 和容器大規模應用到生產環境中，博雲客戶中選擇使用 Underlay 網路模式的比例也越來越高。這讓我們更加明確認識到：
內外直通的Underlay網路才是容器網路的正確打開方式。
