【案例】替代進口數倉，星環科技助力北京銀行建設新一代大數據平台
項目背景
成立於1996年的北京銀行，搶抓時代機遇，相繼實現引資、上市、跨區域等發展突破，在北京、天津、上海、西安、深圳、杭州、長沙、南京、濟南、南昌、石家莊、烏魯木齊等十餘個中心城市以及香港特別行政區、荷蘭擁有670多家分支機構，探索了中小銀行創新發展的經典模式。
北京銀行資產規模穩健增長，繼續領跑全國城商行，躋身全球百強銀行和中國系統重要性銀行。在世界品牌實驗室品牌價值排行榜中，品牌價值升至654億元。在英國《銀行家》雜誌全球千家大銀行排名第62位，連續8年躋身全球百強銀行。此外，被人民銀行、銀保監會正式納入中國系統重要性銀行名單，成為中國19家系統重要性銀行之一。
新時期，北京銀行緊密圍繞「服務實體經濟、防控金融風險、深化金融改革」三項任務，強化黨建引領，依法合規經營，加快數字化轉型升級，加強全方位風險管控，紮實推動全行各項業務高品質發展。
為此，北京銀行信用卡中心從2015年開始建設數據平台系統。隨著新業務的發展，北京銀行信用卡中心要求IT系統具備更強的數據存儲、檢索和持續的業務建模分析能力。
為了滿足未來業務發展對數據的需求，北京銀行信用卡中心要求構建新一代大數據平台，更好實現各應用系統間數據和計算資源的共享，並支撐內外部數據的分析和挖掘應用，為數據中台建設打下基礎。
具體而言，北京銀行信用卡中心的的新一代大數據中心的應用需求包括：
針對批量業務，要求基於新一代大數據平台實現數據文件查收、數據文件預處理、數據文件傳輸、數據清洗、數據載入、原始文件歸檔等功能；能夠接收上游系統數據並存儲到數據倉庫中，提供分析計算介面，供下游業務系統使用。
而針對實時業務，則需利用大數據平台的流處理引擎，接入行內消息平台（或構建在平台的內部消息隊列後），能具備後期開發實時流處理業務的能力，包括實時儀錶盤監控、實時報表等能力。
解決方案
依據北京銀行信用卡中心的需求和未來對大數據平台的規劃，星環科技為其新一代大數據平台設計出架構方案。該架構主要分為上游系統數據源、文件處理、大數據平台和下游。
批量數據從上游系統數據平台資料庫、貼源系統中將數據文件接入到星環科技大數據基礎平台TDH中的TDFS中，通過星環科技關係型分析引擎Inceptor進行脫敏、計算，以供下游系統分析挖掘。
實時數據從上游發卡系統將數據接入到星環科技事件存儲庫Event Store消息隊列中，使用星環科技實時流計算引擎Slipstream分析，將數據寫入到星環科技寬表資料庫Hyperbase中，支援決策引擎。
星環科技大數據管理軟體TDH Manager是平台的統一管理入口，承擔平台運維管理的功能。
星環科技大數據安全管理軟體TDH guardian是平台的安全認證管理組件，可對組、角色、用戶進行許可權管控和對平台各個服務的使用許可權控制。
北京銀行信用卡中心關於大數據平台的整體數據流轉如下：
- 數據源
北京銀行信用卡中心的數據源來源於數據平台資料庫和貼源系統，大數據平台提供數據介面，通過星環科技事件存儲庫Event Store接入實時數據；通過數據介面全量或定時增量抽取同步關係型資料庫，將數據文件的聚匯到TDFS的功能。
具體而言，對於結構化數據：現有業務系統以及數據倉庫中的數據，可以使用Sqoop或以文件的方式採用T+1的方式接入到大數據平台。
對於實時數據，支援將實時數據接入Event Store消息隊列，並通過Slipstream組件做消息實時研判處理、加工分析，並將處理結果實時返回，以對接上層實時儀錶盤等相關應用。
- 數據存儲
通過統一的數據存儲平台，對結構化、非結構化數據以及實時數據進行落地持久化，同時提供容錯、多副本安全冗餘等功能，保證數據的可靠性。
其中，結構化數據主要的來源為數據倉庫，業務系統為行內核心、信貸、網銀等系統。在實際使用中，由於實時查詢數據類數據與離線分析類數據有不同的業務需求，應根據具體的業務場景，將相應的數據持久化到不同的存儲引擎當中。
- 數據加工
大數據平台將數據存儲後，可以繼續使用Inceptor做加工處理分析，最終供上層應用程式查詢檢索。
查詢部分，主要用於互動式的數據查詢，典型業務如行內海量歷史數據的查詢，可以有效地將以前冷數據部分使用起來。
流式處理部分，流式處理引擎不但可以用於完成數據的實時入庫工作，而且可以用於數據的實時統計與處理，如基於時間窗口的統計、基於規則的實時告警應用等。
離線分析部分，離線分析主要用於對時效性要求不高耗時較長的場景中。典型使用場景如報表的離線計算、數據離線導出、後期數據挖掘分析的數據預處理等工作。
方案特點
星環科技為北京銀行信用卡中心建設的新一代大數據平台，滿足用戶實際和未來的發展需求，在以下四個方面取得成功經驗：
**搭建了基礎數據平台架構。**結合北京銀行信用卡中心基礎IT設施情況及所採購的大數據產品，構建北京銀行信用卡中心的大數據平台，處理上游系統的批量或者實時數據，包括批量數據的計算、存儲，許可權控制、批量數據與下游應用的對接，實時數據的接入、計算和下游應用的對接等。
**實現了數據的遷移和同步模組。**項目對當前貼源層數據、明細匯總層數據進行初始化全量遷移及日常增量同步。針對貼源層和明細層批量歷史和增量數據，制定不同的接入方案，在後續實施階段，根據上游提供的不同字符集的文件進行轉碼、校驗以及對錶重新梳理，制定數據分層及存儲策略，並將上游提供的源文件保存在大數據平台上。
**建立了數據脫敏模組。**項目主要是在大數據平台的關係型分析引擎Inceptor中，通過udf函數對數據脫敏，根據具體的要求對姓名、身份證、手機號、卡號等欄位進行遮蔽性脫敏、格式化脫敏和一致性脫敏。脫敏後，保證原數據格式不變，對於需要關聯的欄位保證依舊可以關聯等。
**完成實時數據模組。**搭建實時數據平台，對接發卡系統，其中包括實時數據採集程式的開發、實時數據同步，實時應用開發。
項目滿足發卡數據的實時數據的接入和數據處理，滿足業務在流式計算方面的數據需求，包括Event Store監聽發卡系統的實時數據並接入、流式引擎計算。實時數據採集平台與卡中心內的決策引擎通過Event Store和Hyperbase實現實時數據的應用對接。
**完成數據沙箱環境搭建。**實現沙箱環境搭建、數據表許可權控制以及資源分配。通過對貼源層和明細層數據的脫敏，將數據載入到星環科技Inceptor中，提供一個基於Inceptor構建的脫敏環境，為上層應用包括但不僅限於模型平台，提供一個沙箱環境。
通過為Inceptor創建角色並賦予不同角色查詢、修改許可權，進行許可權控制，通過分配Inceptor計算配額(cpu個數、百分比)來實現資源的控制。
**完成調度模組。**基於北京銀行內現有的調度工具，做相應的作業流以及作業設計，制定規範化的作業開發規範。主要是通過工具，批量生成對應的xml文件，進行介面導入，實現調度作業的批量開發。
應用價值
此前北京銀行信用卡中心的數倉歷史數據是存儲在數據平台資料庫中。而基於星環大數據基礎平台TDH建設的新一代大數據中心既能支援傳統數倉數據的遷移，又能保證後續信用卡中心業務發展的數據應用與分析的需求。
為了更好地支援北京銀行信用卡中心數倉業務，需要將數倉歷史數據遷移至北京銀行信用卡中心大數據平台中星環科技大數據基礎平台TDH。
由於北京銀行信用卡中心的數據平台資料庫伺服器部署在北京，而TDH大數據平台伺服器部署在西安，如果採用在線遷移的方式，由於遷移數據量過大且網路頻寬不足，遷移時間會很長，所以決定採用離線遷移的方式，即先將數倉數據從數據平台資料庫中導出到存儲伺服器，落成數據文件，而後將伺服器帶到西安，直接連接到TDH大數據集群，將數據文件上傳到大數據平台的TDFS上。
同時，北京銀行信用卡中心的數據源來源於數據平台資料庫和貼源系統，大數據平台提供數據介面，通過Event Store接入實時數據；通過數據介面全量或定時增量抽取同步關係型資料庫將數據文件的聚匯到TDFS的功能。
目前北京銀行信用卡中心已經完成了80%以上系統的數據入倉工作，提供報表、數據下發、下游應用支援等數據服務，支援北京銀行數字化轉型。
