數據中台(安全篇)
聲明：本文歸屬一寸HUI所有。@一寸HUI
在文章數據中台(架構篇)中了解到了數據中台的架構，其中我們一個很重要的部分就是要構建數據資產，而數據安全管理既是數據資產管理中不可或缺的一部分，又是資訊安全管理的重要組成部分。
數據安全的挑戰
- 企業內部挑戰：從企業內部來說，一方面，大數據平台的安全管控能力缺失，使得平台在數據存儲、處理以及使用等各環節造成數據泄露的風險較大，安全風險面廣，且缺乏有效的處理機制；另一方面，企業敏感數據的所有權和使用權缺乏明確界定和管理，可能造成用戶隱私資訊和企業內部數據的泄露，直接造成企業聲譽和經濟的雙重損失。
- 對大數據服務商的挑戰：隨著企業雲化進程的加速，越來越多的數據會產生、處理、存儲在雲端，不論是公有雲還是私有雲都需要支撐各類技術服務商，站在大數據服務提供商的角度，在服務客戶的過程中，也越來越能感受到客戶的這種變化和要求。在數據中台的項目中，客戶要求在存儲、傳輸、使用、共享個人資訊的階段，均需要去標識化。如進行身份證號隱藏、家庭住址隱藏等。
- 數據確權問題：數據的所有權、使用權、管理權涉及個人、企業、政府和其他組織，一旦處理不當，會損害個人隱私、組織利益、國家安全等。在進行大數據收集、處理和應用的過程中，必須做到權責分明，釐清數據權屬關係，防止數據流通過程中的非法使用，保障數據安全流通。
數據安全管理
1.安全問題出現在哪裡
數據安全管理，重點放在大數據平台的安全管理技術手段上。數據安全管理既是數據資產管理中不可或缺的一部分，又是
資訊安全管理的重要組成部分。數據安全除了在數據平台安全，服務安全，數據本身安全，還會在數據的各個階段存在著風險，我們先看看數據的生命周期，下圖所示：
- 數據產生： 指新的數據產生或現有數據內容發生顯著改變或更新的階段。
- 數據存儲： 指非動態數據以任何數字格式進行物理存儲的階段。
- 數據傳輸： 指數據在組織內部從一個實體通過網路流動到另一個實體的過程。
- 數據使用： 指組織在內部針對動態數據進行的一系列活動的組合。
- 數據共享： 指數據經由組織與外部組織及個人產生交互的階段。
- 數據銷毀： 指利用物理或者技術手段使數據永久或臨時不可用的過程。
數據生命周期的每一環節上基於不同類型的數據、不同的應用系統、不同的人員等有不同的風險，無論哪一個環節出現了問題，都有可能發生數據安全事件。這很容易理解，只要出現一個薄弱環節，敵人一定會首先從那裡發起攻擊。數據的價值與日俱增，靠竊取數據獲取非法收入的黑灰色產業鏈給數據安全防護帶來巨大風險。
2.安全從哪些方面建設
數據安全管理工具是結合資訊安全的技術手段保證數據資產使用和交換共享過程中的安全。數據管理人員開展數據安全管理，是指執行數據安全政策和措施，為數據和資訊提供適當的認證、授權、訪問和審計，以防範可能的數據安全隱患。可以從如下方面進行對數據安全進行建設：
- 數據獲取安全：能夠支援數據獲取需要經過申請與審批流程，保障數據獲取安全；
- 數據脫敏：能夠支援數據脫敏規則、脫敏演算法及脫敏任務的管理及應用，一般情況下，脫敏方式有動態脫敏和靜態脫敏兩種；
- 統一認證：定義數據安全策略，定義用戶組設立和密碼標準等；
- 租戶隔離：管理用戶，密碼，用戶組和許可權；
- 角色授權：劃分資訊等級，使用密級分類模式，對企業數據和資訊產品進行分類；
- 日誌審計：審計數據安全，監控用戶身份認證和訪問行為，支援經常性分析；
- 異常監控：指對帳號異常行為的監控，如同一帳號異地登錄、同時多 IP 登錄、多次重複登錄等；
- 數據分類分級：能夠支援對數據資產安全進行敏感分級管理，並支援根據各級別生成對應的數據安全策略。
3.安全建設的戰略是什麼
整體的數據安全管理體系通過分層建設、分級防護，利用平台能力及應用的可成長、可擴充性，創造面向數據的安全管理體系系統框架，形成完整的數據安全管理體系。數據中台的建設，應該始終把數據安全管理放在最重要的位置上，通過設計完備的數據安全管理體系，多方面、多層次保障大數據安全。一個完備的數據安全管理體系包括安全戰略、安全組織管理、安全過程管理、安全技術保障、數據運行能力保障、數據生命周期安全保障。如下圖所示：
- 安全戰略層面：企業的主要負責人要帶頭深入理解業務範圍內世界各國對於數據安全與隱私相關的法律法規，制定適合企業可落地的相關制度，並進行組織規劃。
- 安全組織管理層面：要建設相關的數據安全保障組織，開展人才儲備、宣傳培訓等工作，並保證相關的資源到位。
- 安全過程管理層面：需要設計一套涵蓋規劃、設計、實施、運維、測評、改進的安全管控流程，通過流程的不斷循環，持續改善安全管理各個環節的水平。
- 安全技術保障層面：要從系統層安全、應用層安全、數據層安全、平台設施層安全等多個層次保障安全。以系統層安全為例，需要選用高安全性、成熟的作業系統，從官方渠道下載和打修補程式，保障安全掃描軟體的正常運行等。
- 數據生命周期安全保障層面：要根據數據在生命周期的不同階段，設計不同的安全防護措施，以數據傳輸安全為例，要保證數據傳輸的安全，保證敏感數據傳輸的時候不會被截取，需要傳輸加密等手段，即使黑客截獲了數據包，也無法解析其中的內容。
- 數據運行能力保障層面：需要態勢感知、監控預警、阻斷和恢復等多種手段，舉例來說，大數據平台可以識別和監控可疑賬戶，一旦可疑賬戶發生異常訪問，如訪問敏感數據，或者頻繁查詢和獲取某些數據，系統可以立刻發出告警，並阻斷和跟蹤該賬戶的其他網路行為。
4.安全架構和安全手段
1.安全架構
數據安全架構主要從六個方面考慮，包括物理安全、系統安全、網路安全、應用安全、數據安全和管理安全六個維度。如下圖所示：數據中台的安全主要關注的是應用安全（平台）以及數據安全，其他的偏底層硬體，系統方面。
2.安全實現手段
1.統一安全認證和許可權管理
由於hadoop本身沒什麼安全機制，Hadoop集群安全，首先就會想到業界通用的解決方案： Kerberos。Kerberos是一種網路認證協議，其設計目標是通過密鑰系統為客戶機/伺服器應用程式提供強大的認證服務。該認證過程的實現不依賴於主機作業系統的認證，不需要基於主機地址的信任，不要求網路上所有主機的物理安全，並假定網路上傳送的數據包可以被任意讀取、修改和插入數據。
Kerberos通常會與LDAP配合使用。在大數據平台通常伺服器多、租戶也較多，需要進行Linux層面及應用層面的統一，這也就是構建Kerberos+LDAP這一組合的緣由。LDAP是一個輕量級的產品，作為一個統一認證的解決方案，其主要優點在於能夠快速響應用戶的查找需求。
除了統一認證，在數據的傳輸過程中，可以通過選擇適合的SSL（Secure Socket Layer）證書，對傳輸中的一些敏感數據進行加密。 SSL證書可加密隱私數據，使黑客無法截取到用戶敏感資訊的明文數據，因此部署SSL證書是網路安全的基礎防護措施之一。一份SSL證書包括一個公共密鑰和一個私用密鑰。公共密鑰用於加密資訊，私用密鑰用於解譯加密的資訊。當用戶端的瀏覽器指向一個安全域時，SSL同步確認伺服器和客戶端，並創建一種加密方式和一個唯一的會話密鑰。它們可以啟動一個保證消息的隱私性和完整性的安全會話。
在數據的操作和應用過程中，可以通過許可權管理，控制不同的角色能操作的數據許可權。設計良好的大數據平台許可權管理，能從兩個維度控制角色許可權：第一個維度是控制粒度，如控制到欄位級許可權，第二個維度控制動作，如控制該角色是否能進行select、alter、delete等操作。
2.資源隔離
在資源隔離層面，可以通過建立不同的租戶，對不同許可權的數據資源進行隔離。多租戶技術是一種軟體架構技術，可實現在多用戶環境下共用相同的系統或程式組件，並且可確保各用戶間數據的隔離性。多租戶在數據存儲上存在三種主要的方案，按照隔離程度從高到低，分別是：
- 獨立資料庫
- 共享資料庫，隔離數據架構
- 共享資料庫，共享數據架構
3.數據加密
數據加密是用某種特殊的演算法改變原有的資訊數據使其不可讀或無意義，使未授權用戶獲得加密後的資訊，因不知解密的方法仍無法了解資訊的內容。
先進行數據資產安全分類分級，然後對不同類型和安全等級的數據指定不同的加密要求和加密強度。尤其是大數據資產中非結構化數據涉及文檔、影像和聲音等多種類型，其加密等級和加密實現技術不盡相同，因此，需要針對不同的數據類型提供快速加解密技術。
根據數據是否流動的特點，數據加密分為存儲加密和傳輸加密。
4.數據脫敏
為了防止用戶隱私資訊、商業機密資訊和企業內部數據泄露，在數據的傳輸、共享、展現等環節，往往需要對數據中台中的某些敏感數據進行脫敏操作。
大數據脫敏主要包括以下兩大功能：
1.敏感數據識別
通過設置敏感數據的發現機制，電腦自動識別敏感數據，並在發現敏感數據後自動為該敏感數據打上相應的標籤。
- 建立敏感數據規則：建立敏感資訊樣本庫，定義企業的敏感資訊的具體特徵。比如：身份證號碼、手機號碼、生日、信用卡號碼等。
- 敏感數據檢測：脫敏系統支援對大數據平台存儲的結構化和半結構化資料庫、表進行敏感數據掃描探測，並對每個數據表進行抽樣數據匹配，基於敏感資訊庫來檢測存儲在大數據平台的敏感數據，如客戶資訊、交易數據等。脫敏系統將資料庫中包含敏感資訊的表和欄位標記出來以實現各類高級數據安全功能。例如：利用敏感數據標記實現以下自定義規則：只向外傳輸姓名，不是資訊泄露事件；姓名、帳號和電話等資訊同時向外泄露，則認定為資訊泄露事件。
2.敏感數據脫敏
提供敏感數據的動態脫敏功能，保障敏感數據訪問安全。同時基於大數據安全分析技術，發現訪問敏感數據的異常行為，並在可能的情況下進行追蹤。最常見的脫敏方式包括如下幾種形式：
- 數據替換：以虛構數據代替數據的真實值。
- 截斷、加密、隱藏或使之無效：以「無效」或「*****」等代替數據的真實值。
- 隨機化：以隨機數據代替數據的真實值。
- 偏移：通過隨機移位改變數字型的數據。
5.數據共享安全
數據對外共享一般包括兩種方式：介面和文件。
- 介面方式包括介面數據（JSON/XML）、流式數據（Kafka）等多種數據訪問方式。通過API操作許可權管理、API流量管控、API認證管理等手段實現介面管控。
- 文件方式主要指通過FTP、SFTP、郵件等對外共享數據，數據類型包括TXT、CSV、Word、PPT、Excel、HTML等，通過數字暗水印進行安全防護。數字暗水印通過對共享的文件嵌入暗水印作為標記一起傳輸，保障數據在發生泄露時，能夠提取水印資訊並追蹤至責任人，達到事後安全保護的目的，解決了數據泄露後無法追蹤、難以定責、難以避免再發生的問題。
6.數據的容災備份
伺服器的硬體故障、軟體故障、網路發生問題等，都可能導致數據丟失、錯誤或損壞。另外，人為的操作失誤、自然災害、戰爭等不可預料的因素，也可能導致發生不可挽回的數據丟失，給用戶帶來巨大損失。
為了應對這些情況，用戶必須考慮數據的容災備份，確保在任何情況下都不會影響到重要業務活動的持續開展。用戶可以根據恢複目標將業務的關鍵等級劃分為核心業務系統、一般性重要業務系統和一般業務系統三個級別，並根據不同級別分別有針對性地制訂容災備份方案。
7.日誌審計
日誌審計系統是用於全面收集企業IT系統中常見的安全設備、網路設備、資料庫、伺服器、應用系統、主機等設備所產生的日誌（包括運行、告警、操作、消息、狀態等）並進行存儲、監控、審計、分析、報警、響應和報告的系統。
參考：
《數據中台：讓數據用起來》
