便捷、高效、智慧—從運維視角看星環科技大數據基礎平台TDH
日前，星環科技發布了大數據基礎平台TDH8.1.0，新版本圍繞頁面布局重構，集群升級和超大集群管理能力等方面進行了全新升級，極大程度地提升了用戶數據開發管理體驗。那今天這篇文章將帶領大家從運維視角來進一步了解星環科技TDH。
數字化轉型中的攔路虎——數據平台的運維難
隨著數字化轉型的深入和企業的快速發展，企業在數據融合創新過程中，通常會針對不同的項目場景配備不同的數據模型，例如時序數據、點邊圖數據、消息隊列等。雖然引入不同的數據模型可以解決不同場景的問題，但**使用多種單模型資料庫將會導致數據冗餘、數據一致性治理難、資源配置難等一系列問題。**同時，多產品的語言與介面不統一，極大地增加了運維壓力與運維成本。
近年來，越來越多的企業逐漸意識到：未來的大數據平台，既要為不同的項目場景配置不同的數據模型以保障其高性能，又要讓數據操作和運維更便捷、更統一。因此在一個統一平台中多種數據模型並用變得越來越流行。早期的多模型數據平台實現路徑，僅僅簡單地將多個單一模型資料庫組合在一個軟體系統中，但這僅僅是介面的統一，底層多個資料庫開發語言不一致，運維起來較困難，排障的效率較低，成本較高。
此外，針對數據平台的運維通常會出現如下幾種情況：
●沒有統一運維入口，傳統的查詢運維難以完成指標數據的可視化，易缺乏或遺漏關鍵監測指標；
●由於日誌格式非結構化，海量日誌的處理十分複雜，急需強大的搜索能力和聚合能力；
●動態調度、彈性擴容：數據碎片化、監控對象粒度龐大的情況下，自動化監控實現渺茫，從而導致故障發現滯後，實時性無法保障。
原創多模型架構——從根本上解決運維難的問題
星環科技大數據基礎平台TDH採用領先的多模型技術架構，其原創的分層架構設計提供統一的介面層，統一的計算引擎層，統一的分散式存儲管理層，統一的資源調度層，以及支援10種數據存儲模型的異構存儲引擎層。一站式多模型數據管理架構實現了對海量數據的統一管理與集群服務的統一運維，大幅降低了綜合成本，從根本上解決了數據平台運維難的問題。
基於統一的SQL編譯器Transwarp Quark，我們只需要簡單的SQL語句即可完成各種複合跨模型數據查詢，無需訪問不同介面即可操作不同的數據模型。對於**場景切換、資料庫切換而造成介面、開發語言切換的問題就不存在了，**技術對接更加容易，運維更加簡單。
統一的分散式計算引擎Transwarp Nucleon根據不同的存儲引擎自動匹配高性能演算法，不再需要手工干預，可以快速實現垮庫關聯，避免數據導入導出的麻煩。
異構存儲引擎層通過8種獨立的存儲引擎支援10種存儲模型，滿足多變，高階的數據分析需求，用戶可以根據業務的發展隨時按需增減存儲引擎，避免重新設計開發增加後續運維和排障難度。
統一的分散式存儲管理系統為不同存儲引擎提供公共的存儲管理服務，保障數據一致性，實現數據統一管理運維和高可用。
統一的資源調度層TCOS是星環科技自主研發的雲原生作業系統，提供統一的資源調度框架，通過容器化編排，能夠統一調度計算、存儲、網路等各基礎資源。其**適配了多種主流的CPU架構和多種作業系統，支援不同硬體、不同作業系統的伺服器混合部署，用戶不用擔心新舊設備兼容性問題。**此外，TCOS還支援靈活、按需的異構硬體（X86，ARM混合部署）、異構作業系統的水平擴展，支援單獨擴展計算或存儲資源的水平擴展，避免因業務數據增長帶來的資源緊張而需進行繁瑣的擴容、遷移等工作。
星環科技大數據基礎平台TDH的多模型技術架構實現了以上五個統一，簡化了數據平台架構，降低企業運維成本，在架構設計方面就從根本上解決了數據平台運維難的問題。
全套大數據管理組件——讓運維更高效、更便捷、更智慧
多模型技術架構帶來運維便利性的同時，星環科技大數據基礎平台TDH還配置強大的全套大數據管理組件，讓系統的資源維護管理，全場景監控和告警，問題識別和定位，安全防衛等工作變得更統一、更便捷，幫助用戶實現高效運維、便捷運維和智慧運維的生效目標。
一站式資源維護管理
Transwarp Manager是TDH8.1.0 的大數據管理平台，支援集群的圖形化安裝、管理與升級等服務，讓資源維護管理工作更加便捷高效。
一鍵圖形化安裝—Transwarp Manager支援圖形化介面，用戶只需幾個手動步驟就可以在x86、ARM、MIPS等各架構伺服器或基於Docker的雲端平台上完成集群一鍵部署。
圖形化安裝
可視化集群管理—TDH 8.1.0支援對節點/集群/服務進行可視化管理，監控和優化，用戶可以按需添加、刪除節點、停止或啟動角色服務等，讓大數據集群管理工作更加便捷。
為已有服務添加角色
不間斷平滑升級—TDH 8.1.0 基於TCOS容器化集群作業系統，支援在不停服、不中斷業務的情況下完成平台的平滑升級。除此之外，TDH 8.1.0還提供平台修補程式功能，相對於整體升級，做到了更輕量級、對業務無感知的在線維護。其提供平台及產品升級維護統一操作入口，全流程一鍵完成。同時，TDH 8.1.0支援版本升級回溯，讓系統更加安全可控。
平台修補程式
此外，Transwarp Manager還提供用戶和帳號管理，許可證管理，高可用性管理，集群巡檢等功能，使用戶日常運維和安全運維更加便捷。
全場景運維應用覆蓋
TDH8.1.0 的智慧運維分析平台Transwarp Aquila擁有強大的運維數據採集能力，可以支援全棧運維數據採集，實現全場景運維應用覆蓋，幫助運維人員更全面的了解大數據各個維度的運行情況。
全棧運維數據採集—Transwarp Aquila支援全棧運維數據採集，包括作業系統層面的CPU、記憶體等硬體資源數據，調度器、網關等系統組件相關數據，資料庫的指標數據以及例如業務彙報系統，工單系統等應用的數據。
全場景覆蓋—通過Transwarp Aquila可以實現全場景運維應用覆蓋，運維人員可以從不同的視角對集群，租戶，服務等進行大盤監控，同時也能對資料庫，大數據組件，雲原生應用的運行性能和穩定性進行監控，了解其健康狀態，及時發現問題並進行相關的操作。此外，運維人員還可以自定義運維儀錶盤, 告警規則，自定義運維大盤，拓撲等，靈活地滿足一些個性化運維需求。
完整的大數據運維體系
Transwarp Aquila實現大數據各個維度的運維監控，在流程上覆蓋了事前預警，事中告警，事後分析處理，同時結合運維知識庫實現一套完整的大數據運維體系，讓運維更高效、更便捷、更智慧。
預置大量運維規則—Transwarp Aquila預置大數據和資料庫產品、作業系統硬體和kubernetes平台等的儀錶盤和告警規則，無須繁瑣配置，開箱即用。
規則設置
多維可視化監控—Transwarp Aquila預置豐富的可視化儀錶盤來支援不同場景下的運維數據展示，讓用戶對集群和服務的資源情況、運行情況即刻了如指掌。
可視化監控
及時預警和精確告警—Transwarp Aquila預置110+運維告警規則，運維人員可以通過預置的告警模板迅速按需創建多條告警規則，極大地提升了告警功能的易用性。同時，Aquila支援用戶基於指標數據以及日誌的告警自定義告警規則，通過設置閾值告警可以及時發現數據指標異常情況並及時準備應對措施，通過設置不同等級的告警可以幫助用戶更高效的識別異常問題。用戶可以按告警規則分組，將各類的告警資訊發給對應的處理人員進行快速問題處理。此外，Aquila還支援郵件通知、webhook通知等，方便對接第三方告警處理服務，用戶可以第一時間收到告警通知並及時進行告警處理。
告警查詢
日誌管理與問題分析—Transwarp Aquila預置平台、租戶級別的日誌搜索規則，提高用戶日誌搜索效率。同時，**其支援日誌上下文展開，**幫助運維人員追溯故障發生的上下文，迅速定位故障原因。運維人員可以直接根據日誌搜索結果設置告警，與告警功能聯動，快速識別系統和數據異常。
日誌上下文展開
在運維集群的過程中, 我們經常發現一個服務不正常的根本原因往往是它所依賴的上下游服務不正常，而不同的服務，如果橫跨了各個系統, 就需要不同領域的技術專家一起定位。Transwarp Aquila基於日誌，k8s事件，告警以及異常指標,結合根因分析規則, 自動定位異常發生的可能原因，幫助運維人員快速發現和定位根因，提高排障效率，大大降低MTTR。
根因分析
Transwarp Aquila還支援**運維數據跨集群以及多租戶場景。**基於Aquila，運維人員可以對多個集群集中式統一運維，大大降低多集群運維的難度，提高運維的效率。同時，運維數據支援租戶隔離，不同租戶只能查看本租戶數據，儀錶盤，告警規則，在線運維任務等。
此外，星環科技大數據基礎平台TDH還提供**大數據平台安全審計和大數據安全管理工具，**讓安全防衛，許可權管理等工作更加便捷。Transwarp Audit面向TDH中對數據的操作和許可權進行合理布控和監測，實現對數據訪問和操作的集中監控、查看和管理的智慧化、可視化審計。Transwarp Guardian為TDH提供集中的安全和資源管理服務，例如其多租戶資源管理模組可以按照租戶的方式管理資源，並通過一個圖形化工具為用戶提供許可權配置以及資源配置介面。
星環科技大數據基礎平台TDH採用領先的多模型技術架構，實現了五個統一，從根本上解決了運維難的問題。同時，結合全套大數據管理組件實現了一站式集群資源維護管理和全場景運維應用覆蓋，提供完整的大數據運維體系，幫助運維人員對各種場景的運行情況進行全面監控，快速發現異常和精準定位問題，並通過日誌分析和根因定位等技術幫助運維人員快速排障，讓運維更加高效，更加便捷和更加智慧。
以上就是從運維視角看星環科技大數據基礎平台 TDH 的整體介紹，TDH致力於幫助用戶實現數據全生命周期的管理。
