恢復頻寬與時延的平衡
- 2019 年 10 月 6 日
- 筆記
到目前為止，頻寬增加的速度還遠遠超過了時延降低
隨著數據集規模的不斷增長，數據中心負載對記憶體、存儲的性能和容量的要求也在不斷提高。與此同時，每單位時間需要處理更多數據，組成計算系統的組件性能也在不斷提高。所謂性能，是一個涉及多方面的話題，其中一些指標（例如頻寬）的增長速度就會比其它指標（例如時延）的增長速度更快。
電腦架構師必須在這些不斷增長的數據集和可用技術的相對性能提升之間尋找交集，從而創建一個能夠快速完成任務的計算系統。本文將簡要介紹相關技術的發展歷史，以及最新推出的英特爾®傲騰™技術。這種新技術提供了縮短時延和提高頻寬所需的新資源，填補了計算系統中的傳統關鍵點，從而加快了應用速度。
記憶體和存儲——簡短的歷史發展進程
DRAM是一個高頻寬、低延時的數據存儲器，但是每比特成本相對昂貴。通過在系統中增加DRAM的數量可以應對數據集規模增加的問題，但這樣做成本會非常高。十年前，當速度較慢的機械硬碟（HDD）是許多系統中唯一可用的數據存儲器，大家沒有更多可選擇空間。然而，訪問高延時的機械硬碟會因為等待數據浪費太多的處理器周期。
NAND固態盤（SSD）的出現不僅為存儲數據提供了一個新空間，還能夠加快對更多數據集的訪問速度。因此，基於NAND的固態盤在市場上得到了廣泛的應用。然而現在，即使是速度很快的NAND固態盤也對當今需要實時或近乎實時訪問和處理數據的數據驅動應用有些力不從心。因為就像10年前的硬碟一樣，這些固態盤會導致處理器花過長時間等待數據，這會增加時延，從而阻礙系統獲得現代CPU能夠提供的性能。隨著時間的發展，CPU性能提升然而存儲時延卻沒能同步，這會拖累整個系統的性能提升。
圖1：記憶體、處理器、硬碟和固態盤隨時間推移的相對頻寬改進vs相對時延改進
隨著技術的進步，保持時延與頻寬平衡
為證明技術的發展，有必要比較以下不同存儲介質隨時間推移的相對頻寬性能改善和時延改進。基於David Patterson的一項關鍵研究，圖1將固態盤數據點添加到Patterson的「時延滯後頻寬」圖表中1。Patterson指出，從歷史上看，頻寬改進的速度通常要比時延快得多。根據摩爾定律，電晶體的數量在穩步增加2，同時多核架構在不斷演進。
這些改進使得處理器可以處理更多指令，同時與上一代處理器相比，可以在相同或更短的時間內處理更多數據。但隨著CPU處理時間的縮短，從硬碟獲取數據的時延並沒有相應地縮短。這導致存儲技術成為整體性能的瓶頸。對於記憶體和存儲技術來說，可以通過並行性來增加頻寬，但訪問該技術的時間相對恆定。因此，只有引入新技術才能實現更低時延。
要理解為什麼這很重要，就要考慮當時延減少、頻寬增加時會發生什麼。通常，對於記憶體和存儲資源來說，訪問一個單元的數據不足以填充從記憶體到處理器的路徑，即頻寬乘以時延（頻寬時延乘積）大於訪問尺寸。在可能的情況下，為了充分利用資源的頻寬，會明確把軟體編寫為「並行請求更大或更多的數據塊」。隨著頻寬時延產品的增長，越來越少的演算法能夠在請求足夠數據的同時來滿足時延要求。然而在無法支援的情況下，則會影響系統頻寬和性能。從最簡單的層面來說，這就是為什麼擁有一個平衡的頻寬/時延比很重要。
回顧圖1，基於NAND的固態盤的引入在一段時間內提供了一個平衡的頻寬/時延解決方案，它們的時延比硬碟低得多。基礎訪問時間從硬碟的幾毫秒縮短到NAND 固態盤的不到100微秒，這意味著等待數據所花費的CPU周期更少。由於許多應用能夠經常訪問NAND 固態盤的全部頻寬，因此處理速度以肉眼可見的速度提高了。隨著時間的推移，頻寬不斷增加，而時延則保持相對恆定，頻寬的加倍使得系統再次失衡。
以下示例演示了如何使用英特爾®傲騰™技術部署低時延英特爾®傲騰™數據中心級固態硬碟，從而提高VMwarevSAN *等超融合基礎架構解決方案的性能和容量。
英特爾®傲騰™技術將vSAN*性能和容量提升到新的高度
企業業務和雲服務提供商可利用英特爾®傲騰™技術，以非常經濟的方式來提高虛擬伺服器上運行的應用的性能。EvaluatorGroup的分析報告指出，英特爾®至強®可擴展處理器與英特爾®傲騰™技術和含NVM Express*（NVMe*）的英特爾® 3DNAND 固態盤相結合，可以為各種運行在使用VMwarevSAN*的超融合系統上的常見負載提供更好的性能3。
如圖2所示，與運行NAND 固態盤存儲介質的系統相比，運行VMwarevSAN * 6.7的系統（採用英特爾®至強®可擴展處理器和英特爾®傲騰™數據中心級固態盤）可顯著提升性能。採用英特爾®傲騰™技術和英特爾®3D NAND固態盤構建的系統能夠支援最多1.6倍的虛擬機，同時仍可以為每個虛擬機保持相同的服務水平協議。
這相當於每個系統可多支援60%以上的用戶，這對於盈利和業務增長非常重要。由於英特爾®至強®可擴展處理器、VMware vSAN * 6.7以及結合使用的高效英特爾®3D NAND固態盤與英特爾®傲騰™數據中心級固態硬碟提高了虛擬機密度、降低了基礎設施成本，從而帶來了明顯的成本效益。
研究得出的結論是，由於舊的存儲技術無法滿足虛擬機的輸入/輸出（I/O）需求，所以舊系統的性能較低。本質上，由多個活躍虛擬機驅動的高I/O負載導致NAND 固態盤備份大量工作，從而增加了數據時延，直到無法再維持虛擬機所需的服務水平協議。
VMware vSAN*的例子展示了一種「通過部署英特爾®傲騰™數據中心級固態盤來彌合數據中心記憶體與存儲層級之間差距」的方法。經常訪問英特爾®傲騰™技術網站，了解企業如何使用英特爾®技術，更好地滿足現代數據中心的需求。
圖2：採用英特爾®至強®可擴展處理器，英特爾®3D NAND固態盤和英特爾®傲騰™數據中心級固態盤構建的較新VMwarevSAN *系統，性能比僅基於英特爾®3D NAND固態盤的系統最多高出1.6倍。
新的記憶體和存儲架構
英特爾®傲騰™技術可以在系統中扮演多種角色。如前所示，英特爾®傲騰™數據中心級固態盤可以利用標準PCIe *NVMe介面連接到系統，通過平衡的頻寬/時延來加速重要的數據中心應用。在這種形式下，空閑平均時延大約為10微秒，而NAND 固態盤則超過80微秒4 。圖3顯示了系統硬體和軟體時延。英特爾®傲騰™數據中心級固態盤的硬體時延與系統堆棧軟體時延大致相同，為系統帶來了另一種平衡。即使在高負載下，始終如一的低時延以及高耐用性使這些固態盤成為快速快取或分層熱數據的理想選擇。
英特爾®傲騰™技術現在也可作為直接插入DIMM插槽的英特爾®傲騰™數據中心級持久性記憶體模組使用。與DRAMDIMM不同，英特爾®傲騰™數據中心級持久記憶體具有持久性和更大的容量（每個模組最高可達512 GB）。如圖3所示，使用英特爾®傲騰™數據中心級持久記憶體進行數據訪問的時延要比使用英特爾®傲騰™數據中心級固態盤小得多。
英特爾®傲騰™數據中心級持久記憶體可以直接從應用訪問，而不涉及作業系統存儲堆棧，因此不再需要軟體開銷。對於持久記憶體，空閑平均讀取時延下降到100到340納秒。5相較之前提到的頻寬時延產品的低時延，由於時延較低，因此可以使用較小的單元尺寸、一條高速快取線訪問該記憶體，同時仍然提供其全部頻寬。因此，英特爾®傲騰™數據中心級持久記憶體是一種高速快取線路可訪問、高性能、持久的存儲——是一種真正獨特的新資源。
鑒於其高性能和持久性，英特爾®傲騰™數據中心級持久記憶體構成了另一個新的數據存儲層，可以用各種方式來彌合容量與性能之間的系統差距。這種靈活性使企業可以構建能更好滿足現代工作負載的處理和記憶體需求的數據中心，例如，英特爾®傲騰™數據中心級持久記憶體可顯著提高記憶體資料庫的容量。而且，由於持久性記憶體是非易失性的，因此不需要在資料庫重新啟動後將數據重新載入到記憶體中，從而提高了可服務性和系統正常運行時間，並改進了業務連續性。
圖3：NAND固態盤、英特爾®傲騰™數據中心級固態盤和英特爾®傲騰™數據中心級持久記憶體的時延比較。
結論
在計算系統中，記憶體和存儲層級結構把更頻繁訪問的數據放在更靠近處理器的位置，同時把占多數的數據移動到遠離處理器、更便宜的記憶體中（時延更高）。記憶體和存儲技術的固有時延往往會隨著時間的推移而緩慢下降，而處理器的性能會以更快的速度提升。這將有效地把這些記憶體移到離處理器更遠的位置，因此，處理器需要花費更多指令周期等待數據。只有引入新的低時延記憶體技術以及新的、更緊密集成的系統集成點，才能使系統恢復平衡。
隨著英特爾®傲騰™技術的引入，英特爾為系統提供了一個新的記憶體來彌合DRAM與NAND固態盤之間的差距。作為固態盤和持久記憶體，全新英特爾®傲騰™技術使電腦架構師能夠將大型持久數據結構離處理器更近，從而盡量縮短等待數據的時間並加快應用執行。當系統架構師平衡好頻寬需求和低延時，就釋放了CPU的強大功能。通過英特爾®傲騰™技術恢復頻寬與時延之間的平衡，CPU現在可以快速消耗和處理數據，從而達到最佳系統性能。
作者簡介
英特爾院士：FrankHady博士
Frank Hady是英特爾院士兼英特爾非易失性記憶體解決方案事業部（NSG）傲騰系統首席架構師。 Frank負責研究和定義英特爾®傲騰™技術產品及其與計算系統的集成。Frank曾擔任英特爾領先的平台I/O架構師，為英特爾®QuickAssist技術（英特爾®QAT）提供研究基礎，並推動了平台性能顯著提升。他撰寫或聯合撰寫了30多篇關於網路、存儲和I/O創新主題的論文，並經常發表關於記憶體和存儲的文章。他擁有30多項美國專利。Frank獲得弗吉尼亞大學的電子工程學士和碩士學位，並擁有馬里蘭大學電子工程博士學位。
英特爾院士：FrankHady博士
Frank Hady是英特爾院士兼英特爾非易失性記憶體解決方案事業部（NSG）傲騰系統首席架構師。 Frank負責研究和定義英特爾®傲騰™技術產品及其與計算系統的集成。Frank曾擔任英特爾領先的平台I/O架構師，為英特爾®QuickAssist技術（英特爾®QAT）提供研究基礎，並推動了平台性能顯著提升。他撰寫或聯合撰寫了30多篇關於網路、存儲和I/O創新主題的論文，並經常發表關於記憶體和存儲的文章。他擁有30多項美國專利。Frank獲得弗吉尼亞大學的電子工程學士和碩士學位，並擁有馬里蘭大學電子工程博士學位。
