星環ArgoDB+英特爾第三代至強=分散式快閃記憶體資料庫「蛻變」

數字化時代,我們的一舉一動,一言一行,都幻化成了海量的數據。

許多人都有過這樣的經歷——你可以隨時在銀行、運營商查詢最近幾個月或者近一年的賬單;但當時間跨度超過一年的時候,系統查詢的時間就要長一些,你可能會間歇性的等待幾秒鐘。這並不是系統在「偷懶」,相反它正在全速幫你從曾經的資料庫中檢索數據。

這就是在線業務與離線業務的區別。對於那些檢索頻次高、應用範圍廣的數據,許多都存儲在在線資料庫中,方便用戶隨時調取;而對於那些時間比較長或者檢索頻率低的數據,更多時候會存儲在離線資料庫中,這樣就可以進一步降低使用成本,也提升了整個系統的資源利用效率。

但是這種好處也並不是一概而論的。數據查詢與檢索是一件複雜性的工程。要知道,目前中國用於商用的資料庫種類達到了60多種,這還不包括許多企業自行開發的開源版本。換句話說,這些不同品牌的資料庫很容易產生數據應用的壁壘,也讓你在數據應用中遇到包括 應用複雜性、數據處理速度、系統吞吐能力、平台部署與調優等多個層面的問題,相應的也就影響了用戶決策,制約行業發展的關鍵。而想要解決這個問題,最重要的就是 提升數據檢索的效率,即提升數據處理性能與系統吞吐能力。

以最看中安全、穩定性的金融業務為例。我們許多人都有跟銀行打交道的經歷。以往我們去銀行辦理業務大多是對應後端的結構化資料庫,比如我們的每一筆交易都在這裡;但是如今銀行也強調非結構化數據的應用,比如人臉識別、比如賬戶辦理的全程錄像,這些非結構化的數據同樣需要存儲在資料庫中,也使得原本的數據應用形態和方式產生了改變。

在傳統環境中,資料庫大多針對結構化數據所構建,所採用的也多是機械硬碟;許多人對於資料庫的性能雖然有所認知,但是受限於吞吐量能力,大部分人對於資料庫性能的要求也並不高,甚至穩定性的要求更勝一籌。但是伴隨著大數據和人工智慧時代的來臨,高效率、低延遲、實時響應等需求的出現使得傳統資料庫已經不再符合應用需求,越來越多的供應商也開始結合全快閃記憶體開發新的資料庫平台,以滿足用戶對於極致性能的需求。

分散式資料庫的出現恰恰是解決了數據利用的效率與安全性等諸多問題。集群中的每台伺服器可能有DBMS的一份完整拷貝副本,或者部分拷貝副本,並具有自己局部的資料庫,位於不同地點的許多電腦通過網路互相連接,共同組成一個完整的、全局的邏輯上集中、物理上分布的大型資料庫。這樣無論是從數據調取的效率還是在數據安全、穩定等多個方面都有所提升。

星環科技就是這其中的佼佼者。作為一家專註於企業級大數據基礎軟體的公司,星環科技自創立時起就推出了多款大數據基礎軟體平台,特別是其中一款名為Transwarp ArgoDB的分散式關係型資料庫產品獲得行業的認可與青睞。甚至在幾年前,星環科技還憑藉Transwarp ArgoDB成為了為英特爾提供精選解決方案的企業之一。而伴隨著不久前的升級, Transwarp ArgoDB也採用了全新發布的第三代英特爾至強可擴展處理器,從而將性能表現提升到了新的層級。

Argo這個單詞取自太陽帆,由一個中心出發展開多個葉片,同時也是星座名,星環科技用Argo來命名自家的分散式快閃記憶體資料庫產品,體現一個多模資料庫可以滿足多種應用場景,同時太陽帆螺旋結構具有運動感和速度感,體現出ArgoDB的高性能,也是希望Argo這艘太陽帆能幫助客戶徜徉在大數據的世界當中,與大家一起迎風破浪,披荊斬棘。事實上,結合當下開源開放的趨勢,分散式資料庫也成為了許多企業的選擇,Transwarp ArgoDB更是憑藉 完整的SQL支援、分散式事務支援、實時與批量數據接入、海量數據OLAP和離線分析、支援三級混合存儲等五大特性獲得了行業的認可。而在這五大特性之中,後三者都與全快閃記憶體的性能直接相關。

比如「實時與批量數據接入」。ArgoDB的這一特性支援 實時和批量兩種數據導入方式。在線業務使用實時數據接入,保證數據時效性;數據倉庫等離線業務使用批量數據導入方式,吞吐更高。很顯然,這就要求系統具備實時響應的效果,而藉助於英特爾快閃記憶體平台的優勢, ArgoDB不但保質保量的完成數據寫入任務,還可以在PB級別的數據量上同時支撐離線分析和高並發的實時/准實時的數據集市類業務,讓系統的存儲與計算能力得到更大幅度的提升,具備了更大的性能優勢。

更重要的是,ArgoDB支援 記憶體/快閃記憶體/磁碟的三級混合存儲,這讓它不僅僅具備了全快閃記憶體的優勢,還能夠兼容傳統的資料庫平台。比如對於同一張報表來說,DBA可以指定副本的存儲策略,如一副本存儲在快閃記憶體,兩副本存儲在磁碟,這樣多種備份方式大大提升了系統安全性和可靠性。 多級存儲也使得用戶可以更好的在性能和硬體預算間找到平衡點。

俗話說——火車跑得快,全憑車頭帶。想要讓數據處理速度更上一層樓,除了提升存儲介質與演算法優化之外,更重要的、更直接的方式就是採用更強大的計算平台,為此 星環採用了第三代英特爾至強可擴展處理器,通過軟硬體結合的方式為客戶提供超強算力。

為了驗證這種提升,星環科技與英特爾在測試中選擇了TPC-H基準測試。這是一個面向決策支援系統的基準測試,由一套面向業務的即席查詢和並發數據修改組成,模擬資料庫日常應用的情況, 可以檢索大量數據,執行高度複雜的查詢,並為關鍵業務問題提供答案。

在實際測試中,星環科技選擇了計算密集的相關查詢 1、4、5、9、10、16、18、20 和 21等項目。而測試結果顯示,相較於上代CPU, 第三代英特爾至強可擴展處理器使得星環科技Transwarp ArgoDB的每小時查詢處理數(Query Per Hour,QPH)提升了40%。這大大解決了以往計算密集作業下CPU性能不足的效率瓶頸,更好地滿足 離線批處理數據倉庫、實時數據分析平台、OLAP 資料庫、全文檢索資料庫等負載的計算要求,也讓整體性能獲得提升。

不僅如此,藉助於英特爾固態盤DC P4510、英特爾固態盤D3 S4510和英特爾網卡等產品,整個英特爾至強可擴展家族也對性能實現了加成,這樣對於用戶來說也一勞永逸的解決了後續應用困難。而從用戶最關心的成本控制角度來說,正因為新平台性能的優勢,使得原本單伺服器節點的QPH性能得到巨大提升,用戶能夠減少基礎設施所需要部署的伺服器節點規模,減少相應的採購、能源、運維、空間等成本,也符合當下國家強調的「碳達峰」、「碳中和」需求。

正如星環科技聯合創始人兼副總裁朱珺辰所強調的那樣:「近年來,星環科技與英特爾進行了廣泛而深入的合作, 不但持續在英特爾架構上優化大數據、雲計算和人工智慧產品,還合作加快第三代英特爾至強可擴展處理器的應用落地。此次在星環科技Transwarp ArgoDB測試中的實例顯示,第三代英特爾至強可擴展處理器在性能上相對上代產品有著顯著的優勢,結合精選解決方案在可用性、擴展性等方面的優勢,能夠幫助用戶加快以數據為中心的變革。」

在9月23日於北京舉行的2021英特爾®數據平台技術峰會上,朱珺辰在進行《數據云——未來企業數字化基礎設施》的主題分享時進一步提到,基於Transwarp ArgoDB的英特爾®精選解決方案可降低大數據平台的複雜性, 大幅提升資料庫查詢與分析效率,提高系統響應速度並節省總成本。

星環科技聯合創始人兼副總裁 朱珺辰

星環科技Transwarp ArgoDB通過使用第三代英特爾至強可擴展處理器,以及英特爾固態盤等其他軟硬體產品,可幫助用戶 進一步提升資料庫系統的整體性能表現,助力建設全面的一站式大數據綜合平台。同時該解決方案還具備高延展性、高可用性等特點,能夠為企業的數字化轉型提供卓越的基礎平台,可廣泛應用於金融、電信運營商、公共事業、以及政企客戶的本地私有雲部署等。

基於英特爾®傲騰數據中心級持久記憶體(Intel Optane Data Center Persistent Memory Module),Transwarp ArgoDB分散式快閃記憶體資料庫的性能表現優越。 與DRAM方案相比,DCPMM方案能夠顯著提升運行效率,不僅可以快取1.42X~5.61X的數據,當存儲更多的數據時,DCPMM還可以大大減少iowait時間。

如今,隨著互聯網的飛速發展,人類社會的數據量迅速激增,我們一年產生的數據就相當於人類進入現代化以前所有歷史的總和,甚至許多業務量很可能在短短的一個月內突然爆髮式地增長几千倍,對應的數據也很可能快速地從原來的幾百GB飛速上漲到了幾百個TB,這對於各行各業都產生了全新的挑戰,尤其對於一貫以穩健著稱的金融行業來說,更需要的全面的轉型與升級。

在這個過程中,我們更需要能夠快速響應、零延遲服務的數據平台,而基於第三代英特爾至強可擴展處理器的星環分散式資料庫Transwarp ArgoDB則扮演了更為重要的角色,使得以銀行為代表的金融業無論是在結構化還是非結構化數據上都能夠快速響應,同時也 幫助金融應用更快落地,使得業務本身無論從運行速度還是從用戶體驗上都有了全新的升級,更適合未來大數據、數字化的應用需求。