Gartner 2019分佈式文件存儲關鍵能力報告解讀

• 2019 年 11 月 26 日
• 筆記

近日，Gartner發佈了2019年全球分佈式文件存儲關鍵能力報告（Critical Capabilities for Distributed File Systems），Dell EMC、IBM、浪潮、華為、Qumulo、Pure Storage、Red Hat共7家全球主流廠商入圍測評。

1

分佈式存儲高速發展 背後的趨勢變化

分佈式存儲系統近年來的普及勢如破竹，這一方面得益於分佈式系統提供的高可擴展性和大規模並發特性，另一方面則得益於互聯網、大數據、人工智能應用的上層架構從本質上恰好需要分佈式存儲系統這種多節點和高並發架構，甚至乾脆形成了應用和存儲節點超融合的架構。這些新型的應用與傳統應用部署架構完全不同，後者多為單機版應用，需要的是一個具有較強功能和性能的本地存儲系統，要麼使用DAS存儲架構獨佔本地資源，或者使用傳統的SAN/NAS存儲系統與其它業務適度共享集中的存儲資源，由於SAN採用專用的前端網絡，無論是在QoS還是性能密度上，都充分保障了傳統單機業務的可靠性、性能、可用性以及QoS。而如今的新型業務由於所需的並發量較大，一般普遍採用多機多節點集群化部署，在每個節點上運行一個或者多個應用實例或者說進程，多進程之間通過網絡通信相互同步狀態、元數據和數據，以實現任務的切割、派發、執行、結果匯總過程。而這種架構基本上與傳統的HPC架構如出一轍。

另外，傳統的I/O訪問方式，比如經典的block addressable I/O，file byte addressable I/O已經無法滿足或者正在掣肘這些新型業務。為此，新式的I/O訪問方式，比如Object、stream等I/O接口也在快速發展和應用。

正因為應用架構多變，並不像傳統業務那樣在I/O方面完全標準化，所以派生了大量應用場景，帶來的問題也是顯然的，分佈式存儲系統需要應對這些非標準化場景，對這些場景的節點部署、網絡、I/O方式、API接口等都需要進行精確評估、調優甚至二次開發適配。

分佈式存儲系統在硬件上幾乎沒有門檻，因為可以完全基於開放的標準服務器和本地SAS HBA/RAID卡，由於分佈式節點規模擴展性強，每個節點只需要是瘦節點就可以了，這就避免了胖節點在JBOD上的硬件成本和軟件商的管理監控成本。

在分佈式核心軟件上的門檻相比傳統的封閉式存儲系統而言也極大降低了，因為伴隨着互聯網、雲計算、大數據等業務的助推，大量的開源分佈式系統軟件平台都可以用來借鑒甚至直接利用。這些軟件平台包括分佈式核心存儲層以及外圍集群管理層，前者主要負責對數據的布局決策、存儲、容錯、容災等，後者則負責對整個集群中的節點進行監控和管理，比如心跳、仲裁、故障切換、節點的增刪等等。

正因如此，近年來眾多廠商，包括老牌傳統存儲廠商以及新興廠商，都推出了各自的分佈式存儲系統。不得不說的是，傳統存儲廠商在分佈式系統架構領域的確有一定的技術積累可以利用，比如傳統SAN/NAS是雙控架構，相當於一個雙節點的集群，傳統廠商在雙節點集群的雙活、冷備、互備、心跳、切換等方面已經非常成熟。但是，對於三節點及以上的集群，其架構相比雙節點其實是有本質區別的，這就像雙星系統和三體系統一樣。再加上分佈式系統節點基本上都是基於開放式服務器瘦節點，傳統廠商更多積累在胖節點上。所以，基本可以認為傳統和新興廠商在分佈式存儲系統領域的起跑點是齊平的。

2

Gartner報告 提供5大場景、8大關鍵能力的評分

在這個大背景之下，顯然有必要對各廠商的分佈式存儲系統的各項參數、能力、場景適配等進行梳理總結、評估。在Gartner最新《Critical Capabilities for Distributed File Systems》分析報告中，將分佈式存儲系統的關鍵能力做了總結，得出8個核心關鍵能力：

容量 – 數百TB甚至PB級別的容量擴展潛力

空間效率 – 支持壓縮、重刪、Thin Provision、自動分層的能力

平台適配性 – 與第三方軟件平台的適配能力

可管理性 – 支持自動化管理、監控以及提供分析報告工具的能力

性能 – 總IOPS、帶寬吞吐量、時延指標，以及在真實應用場景下的性能發揮程度

自愈能力 – 提供高可用性和數據保護的能力

多租戶及安全性 – 包括細粒度訪問控制、用戶控制的加密、防惡意軟件等

價格 – 提供優異性價比以及定價模型的能力

該報告還總結出了分佈式存儲系統的5個主流的應用場景：歸檔、備份、商用HPC、混合雲、大數據分析。

這個劃分我覺得還是比較全面的，從業務角度入手來審視分佈式存儲應該具有什麼樣的能力來支撐這些業務場景。

該報告入圍了7家主流分佈式存儲系統廠商產品用於評估，並針對8項核心關鍵能力中的每一項都給出了評分，見Table 2。

其中空間效率得分最高者是DELL EMC Isilon，這也是EMC特別看重它的「有效容量」計劃的一個體現。

性能以及自愈性一欄得分的前兩名遠超其它產品，分別是Pure Storage FlashBlade以及IBM Spectrum Scale。Pure Storage的FlashBlade得益於其專門設計的全閃存架構，性能不居首也說不過去，不過相比之下其成本和空間效率得分也是最低的，因為這兩個因素與性能很大程度上是矛盾的。IBM排第二這也在意料之中，因為Spectrum Scale的內核其實是GPFS，這個文件系統可謂是歷經滄桑的三朝元老了，其源自由於IBM在HPC領域的深厚積累，性能和自愈性得分最高也是理所當然，同時也可以看到，其管理性方面得分卻是最低的，這或許也繼承了IBM的一貫格調。

可管理性得分遙遙領先的是一個名不見經傳的產品：Qumulo File Storage，我對它並不是十分了解。同時它也是價格得分最高者之一。

該報告還針對五大典型場景下針對每種能力的需求給出了權重值，見Table 1。HPC和數據分析場景下對性能有強烈需求。值得一提的是，不管是在哪個場景下，對可管理性的需求都相對較高。除了混合雲場景，其他場景對容量的需求也是相對比較高的。

田忌賽馬的故事告訴我們，在綜合場景下，最終贏家可能並不是在某一方面非常強而其他方面孱弱的選手。Table 3告訴了我們一個事實。

根據Table 3中的綜合得分得出每個典型場景下的得分前三，見下圖。

圖中可以發現，唯一一家在每個場景下都進入前三的產品，是浪潮AS13000分佈式存儲系統，拿到了1個第一，2個第二，2個第三。浪潮分佈式存儲系統AS13000表現突出，我覺得這可能也是個必然結果，因為浪潮很早就意識到了分佈式存儲場景與傳統場景的本質區別並開始針對分佈式存儲系統的應用場景進行梳理分析，抽取業務I/O模型並落地到產品設計開發過程中。早在去年年初，浪潮就開始逐漸將梳理好的模型同時向研發和前端輸送，從而為後續產品開發提供需求輸入以及在前端項目實施過程中達到更高的質量和交付速度。

3

浪潮分佈式存儲 場景化定製

從一些公開的材料和文章中也可見浪潮在這些場景下所做的適配和優化。比如在HPC場景下，支持元數據集群、小文件聚合、RDMA技術，和AI應用對接優化等技術方案。在混合雲場景下，增強可管理特性，比如標準接口S3、OpenStack插件、雲備份（從私有雲到公有雲的備份技術），一套系統提供文件、塊、對象、大數據、數據庫等五種數據服務等。當然，分佈式文件的應用是較為廣泛和成熟的。

比如，浪潮AS13000在石油勘探場景下的綜合性能在某項目中超出業界平均水平約30%。

浪潮分佈式存儲的測試性能：寫性能比業界平均水平高32%，讀性能高27%

在一個典型的石油勘探場景下，在數據存儲階段，石油勘探需要將採集到的原始地震波數據統統寫入分佈式存儲平台，存儲需要提供高聚合帶寬和PB級容量，滿足海量數據的並發寫入、存儲需求。在數據解釋階段，存儲需要提供高帶寬，能夠一次性「讀出」單個文件大小超300GB的超大文件。此時的存儲需求是高帶寬。而在數據處理、分析階段，石油勘探模型處理、分析產生了海量的次生小文件，存儲需要通過小文件/對象聚合技術，提升海量次生小文件的並發性能。這就如同水庫，先匯聚資源，達到一定蓄水量後再向下游統一輸出，存儲要把億級/千萬級小文件的隨機寫變為固定大小的數據的順序寫，提高效率。

浪潮存儲研發工程師表示：「同等配置水平下，目前分佈式存儲業內平均水平為單節點寫1.3GB/s、讀1.5GB/s，這樣一來16個節點的平均寫性能是20.8GB/s、讀性能24GB/s。對比來看，浪潮分佈式存儲在石油勘探項目中的性能表現，比業界平均水平高出了20%~30%。」更高的性能意味着，浪潮分佈式存儲平台可以幫助石油勘探項目縮短勘探開發周期、提高勘探開發成功率。

前文中也提到過，目前的新興應用場景規模大，架構複雜，I/O模型未知，未經過充分研究總結和標準化，所以分佈式存儲系統廠商不得不自行針對這些場景做出適配，這個初步積累過程其實是比較痛苦的，但是度過了這個階段之後，就會形成一些固化的精髓，正猶如傳統SAN/NAS廠商對大規模機械盤的管理和行為了如指掌一樣，分佈式存儲系統廠商也終將會在場景適配方面形成自己寶貴的經驗。

END