【案例】基於星環科技數據云平台TDC為富國基金建設萬能的數據湖
星環科技作為企業級大數據基礎軟體開發商，通過發揮基礎軟體硬實力已經成功助力金融、政府、能源、交通、製造業等多個行業的客戶實現了數字化轉型，積累了豐富的成功經驗。【行業案例】旨在定期分享星環科技最新案例成果，為各行各業企業數字化轉型提供參考和決策依據。
本篇將介紹星環科技如何基於數據云平台TDC為富國基金建設萬能的數據湖，助力其實現數據統一與共享交換。
案例背景
富國基金管理有限公司成立於1999年，是中國老10家基金公司之一。2003年，加拿大歷史最悠久的銀行——加拿大蒙特利爾銀行（BMO）參股富國基金，富國基金管理有限公司又成為中國首批成立的十家基金公司中第一家外資參股的基金管理公司。截止到目前為止，富國基金全產品的資產規模超過了 12,000 億，這個規模還在不斷增長。基金公司從某種意義上也是數據公司。採集數據、加工數據、應用數據，最終做出業務決策是基金公司在運作中典型的工作過程。在這個過程中，數據從資訊轉化為價值的能力決定了公司的競爭力，它取決於數據採集、處理、應用效率、準確性、以及資訊的服務方式。當行業的超額收益縮小了以後，資訊優勢就決定了基金產品收益的穩健性、風險控制能力與客戶服務品質。隨著行業的發展，投資品種的多元化，資產規模的上升，基金產品成為機構與個人投資的重要工具，來自外部監管等方面有關數據品質、數據安全、綜合數據治理水平的要求也日漸提升；同時，富國基金作為行業的頭部公司、系統性金融單位，更需要特別在數據治理、數據安全、數據品質等方面建立較好的保障與管控機制。然而，富國基金原來單一的數據倉庫平台架構開始面臨諸多挑戰：
- **不支援實時數據處理：**實時風控大屏、實時直銷申贖統計、畫像及精準營銷、實時估值等業務需求日益迫切，結合富國基金IT整體規劃要求，富國基金應適時構建實時數據處理能力。
- **數據倉庫平台存儲昂貴：**解決海量數據的存儲問題，根據數據價值高低、數據的冷熱不同，存儲到不同的平台介質上。
- **不支援半結構、非結構化數據處理：**基金公司各類研報、公告、輿情等外部資訊數據對公司的決策同樣至關重要，而該類數據很多是半結構、非結構化的存儲格式。
- **數據孤島問題：**不同團隊各自建設，數據沒有打通；同一份數據在多個業務系統內保存；缺少統一標準，難以進行數據管控和品質提升。
- **不支援雲原生部署：**現有數據倉庫平台 Vertica 構建在分散式資料庫上，基於物理伺服器部署，彈性不足。
解決方案
針對富國基金面臨的挑戰和現狀，基於星環科技數據云平台 Transwarp Data Cloud 為富國基金提供了一站式數據湖解決方案。
基於星環科技數據云平台 Transwarp Data Cloud（以下簡稱TDC）、星環大數據開發工具 Transwarp Data Studio （以下簡稱TDS）、星環智慧分析工具 Sophon 等產品的數據湖解決方案，能夠一站式解決企業從建湖到管湖全部過程，為富國基金管理和決策提供數據基礎與分析能力保障，提升富國基金的競爭力。
作為富國基金數據湖雲底座的數據云平台 TDC ，基於雲原生技術構建，具備極致的彈性能力，並且融合了數據 PaaS、分析PaaS、應用 PaaS，實現數據、應用、模型的互聯互通，打破富國基金不同業務系統的數據孤島。
在數據治理、元數據、數據品質、數據資源目錄等能力上，星環科技提供了集開發與治理為一體的一站式工具平台 TDS，提供了數據開發、數據集成、數據管控、數據商城和數據服務等能力。TDS 的子產品涵蓋了：資料庫開發工具Waterdrop、資料庫在線開發與協同工具 SQLBook、大數據整合工具Transporter、任務調度軟體 Workflow、可視化報表分析軟體 Pilot 、數據服務開發與管理工具 Midgard以及數據資產目錄軟體 Catalog、數據治理工具 Governor、數據安全防護工具Transwarp Defensor、數據商城 Transwarp Foresight、數據服務開發與管理工具 Midgard 和標籤管理平台StarViewer。可以幫助富國基金形成標準的數據資產管理規範、構建統一的數據加工、共享能力，形成數據資產。
Sophon 是一款包含數據分析與機器學習建模的一系列智慧分析工具軟體，能夠一體化地完成從數據集成、模型構建、知識推理、輔助決策，支撐業務的數據分析、探索、服務流程，從而可以幫助開發者將智慧化落地到企業應用中，幫助企業進行以數據驅動為核心的開發、運營和產業升級。Sophon主要覆蓋數據分析中的計算智慧、感知智慧、認知智慧等三個主要方向。Sophon的技術特點是採用分散式計算模式，可以進行結構化、半結構化和非結構化三種不同類型的數據的接入、處理、分析與模型發布及管理工作。在富國基金項目上，可以用於搭建聯合創新實驗室，通過引入人工智慧、數據挖掘技術來提升數據價值能力。
建設成效
通過 TDC 的多租戶能力
實現富國基金數據的統一與共享交換
TDC通過建立富國基金統一的數據湖租戶空間，統一歸集富國基金內部各業務系統的數據，實現了富國基金數據的高效治理和管控。
TDC 數據湖可輕鬆實現數據在不同應用（租戶）之間的共享，後續新增租戶可直接使用統一數據湖共享的數據， 租戶共享集群中的某些節點，這些節點能被所有基於TDC創建的租戶調度。
TDC 上可按需創建租戶，租戶間資源隔離、數據隔離、業務隔離，不同租戶按需部署不同的應用。同時，TDC支援將不同租戶設置互信，相互之間共享組件和數據。租戶之間計算資源可動態共享，租戶2空閑時，租戶1可使用客戶的全部伺服器的計算資源，提供計算性能和查詢效率。租戶可將自身組件共享出去，在TDC數據云內與其它共享。租戶組件的共享可減少組件部署成本。通過租戶共享，輔助許可權管控，實現租戶之間數據的共享。基於 TDC 幫助富國基金構建的企業級數據 PaaS 平台可以實現以下功能：
★ 統一富國基金的數據PaaS，大數據業務全部基於TDC 賦能
★ 數據 PaaS 平台支援開源組件、中間件的擴展
★ 實現多租戶場景下多雲融合
★ 提高了資源利用率，按需創建租戶，租戶資源互相給
★ 業務隔離，不同租戶按需部署大數據產品實例
★ 應用和數據統一部署
★ 應用和數據逐步互通、融合
★ 基於私有雲平台建設數據湖、Hyberbase容災場景
★ 統一的數據湖空間，高效管理企業數據
★ 通過共享組件輔以許可權控制，實現數據的按需共享和交換
★ 通過多租戶數據湖進行統一的數據申請下發
最終成果
- 已完成構建集數據吞、吐、存、算於一體 的TDC數據湖第一階段建設，實現包括離線批處理、數據分析、實時流處理等基礎能力。
- 建設基於TDC的數據湖，實現多源數據歸集，具備豐富的數據獲取能力，實現數據在不同租戶間的管理和共享，解決歷史數據存儲及數據孤島問題。
正在探索的能力
- 不斷優化完善基於 TDC 幫助富國基金構建的企業級數據 PaaS 平台，充分發揮大數據平台性能與場景優勢，同時輔以數據資產管理及數據檢核，助力富國基金數據品質整體提升，實現數據資產化並賦能業務應用。
- 搭建全生命周期的數據資產管理平台最終實現數據統一存儲、統一資產管理、統一數據服務、統一安全管理及運維，在提升數據資產管理能力的同時，滿足各應用系統多樣化需求。
- 量化投研，基於星環時序資料庫的產品能力以及多年來對於分散式計算的深刻理解，幫助富國基金提升智慧量化投研能力。
未來規劃
- 在完善數據管理能力的基礎上，幫助富國基金構建數據科學平台，實現反洗錢、輿情監控、智慧選基等人工智慧場景。
