三個階段、兩項技術突破，揭秘下一代騰訊雲高性能網路技術
- 2019 年 11 月 13 日
- 筆記
大數據時代帶來的數據流動性，對承擔數據流動的網路技術帶來了新挑戰。11月7日，在騰訊雲主辦的首屆Techo開發者大會現場，騰訊雲對下一代高性能網路技術進行了揭秘。
數據中心網路頻寬演進的三個階段
隨著5G、AI、雲計算的普及和場景應用，越來越多的設備被連接，數據洪流隨時隨地產生和分享，對網路架構和處理數據的能力提出了新需求，而騰訊雲對於高性能網路軟體架構的思考，也經歷了數據中心網路頻寬演進的三個階段：
第一階段，公有雲數據中心的伺服器接入頻寬在2014年從千兆邁入萬兆。這個階段所有的網路虛擬化軟體通過內核模組實現， 通過橫向擴展來滿足網關的性能需求， 由於內核框架本身性能的局限性，實現的性能指標今天看起來很差，但是能夠滿足當時的客戶訴求。
第二階段，2017年隨著影片行業和遊戲加速行業的興起，雲網路逐步開始從10G向25G遷移，這些行業上雲對虛擬化網路提出了百萬級別穩定的包處理能力需求，對VM的網路互訪時延及時延的穩定性要求也更加苛刻。
在這種背景下， 虛擬化網路的技術突破點是DPDK，整個虛擬網路的架構並沒本質變化，只是虛擬網路軟體用dpdk重新實現，提升了單台機器的性能。
第三階段，預計到2020年底公有雲數據中心的伺服器接入頻寬即將達到100G。主要驅動力來自於虛擬化密度的提升。事實上，在今年底已有196核的CPU面世，虛擬化密度直接翻倍，可預期的未來，4HT的技術會出現，虛擬化密度會繼續大幅度提升，對網路基礎設施架構的能力會帶來非常大的挑戰。
顯然，不同的網路頻寬時代，對虛擬化網路的軟體架構會有不一樣的要求。尤其是隨著騰訊內部自研業務的大量上雲，內網互訪流量非常的大，overlay訪問underlay的支撐服務流量可以百T計，大流量的衝擊下，集中式網關的資源問題和scale能力成為一個非常大的問題。
下一代騰訊雲高性能網路技術兩大突破口
對於騰訊雲來說，下一代高性能網路技術突破有兩個：超穩虛擬化平台、網關的演進。乍一看，兩者似乎關係不大，但想要搭建下一代高性能網路技術就像是建房子，超穩虛擬化平台是支撐房子的地基，而網關則是貫穿房子牆面的的鋼筋骨架。
「網路架構的元素會簡化，要減少集中式網關的使用，核心是邊界的高性能網關，以及高性能穩定的虛擬化底層平台」， 金峰現場說道。
金峰表示，超穩虛擬化平台，騰訊雲內部有一個專門的雲基項目去支撐。這個項目對網路虛擬化，存儲虛擬化和計算虛擬化都做了大量的重構和優化，計算虛擬化大幅度優化KVM性能損耗，為社區貢獻了超過100個核心patch，在全球的互聯網廠商中都名列前茅，可以保證在大多數場景下實現虛擬化相比物理機單核性能損耗在5%以內。
網路虛擬化優化了各種不同場景的處理性能，不局限於優化快轉表的性能，對於純粹的包轉發模式也做了大量的查詢匹配優化，性能能做到2M PPS以上，此外vswitch可以自動判斷每個數據包應該採用的轉發模式，分別使用包轉發，基於軟體的快轉錶轉發，和基於硬體的快轉錶轉發， 為每種不同場景提供最適合的轉發模式來保障性能。雲基項目支撐的高穩虛擬化平台在騰訊內部的自研上雲業務中大規模使用，支撐了QQ，微信等核心業務的苛刻性能要求。值得一提的，業界支撐自研上雲大多使用baremetal方案，騰訊雲完全用虛擬化支撐了核心業務的自研上雲。
有了超穩虛擬化這個紮實的房子地基，作為「鋼筋骨架網路」的網關就可以持續演進，表現在三個方面：1、業務網關NFV；2、內部服務去網關；3、邊界網關硬體化。
首先，基於超穩的虛擬化平台，騰訊雲可以將LB, NAT等業務網關放在虛擬化平台上，復用虛擬化平台本身的資源池優勢，無感知調度遷移，高性能網路，優先順序QOS等能力，保障自身的性能和穩定性。此外集中式網關變為分散的虛擬化網關，故障域大大縮小，對整體的可用性也有很大的收益。
其次，去除物理網關。對於用戶訪問對象存儲，資料庫等基礎服務，此前會有一個有狀態網關來做overlay-underlay轉換，自研上雲之後，幾百T的內網頻寬讓這種集中式有狀態網關的成本和可用性難以承受，將overlay和underlay的邊界從網關移到每台提供基礎服務的物理伺服器上，每台物理伺服器插入一個內核模組，提供VPC的被動訪問接入能力。
第三，就是邊界網關的硬體化，騰訊雲已經在和一些合作夥伴進行這方面的預研，一台硬體網關可以提供5-10個100G軟體網關集群提供的性能，在大網路吞吐時代對於邊界網關的規模可控具有非常大的意義。
金峰表示，除了VPC網路之外，100G網路當前最大的場景來自於大數據、AI帶來的低延遲高吞吐網路需求，這對於RDMA網路有非常強烈的訴求。
騰訊雲採取VPC overlay + rdma underlay雙網路的方式來承載基於GPU direct的AI多機訓練業務；目前100G rdma網路已經在騰訊的雲上GPU算力平台上得到應用，服務了騰訊內部的諸多AI類業務。
「下一代的高性能網路，騰訊雲期望是一個結構簡單的網路，它並不一定是絕對數值最好的，但是一定是對客戶有保障的，能夠滿足客戶各種不同場景的性能和可用性訴求」， 騰訊雲IAAS專家工程師金峰總結道。
