春節前夕華為雲遭連續偷襲！密謀3個月 專挑凌晨斷網
「把上海、廣州兩個站點網路全斷掉！」
「趁他們晚飯不注意的時候，注入攻擊！」
「還要在凌晨3點大家睡覺的時候，再攻擊一波！」
……
這是華為雲最近破獲的一次「陰謀」，時間就在春節前夕。
之所以這波攻擊不容小覷，是因為如果陰謀一旦得逞，華為雲內部系統的運行將面臨嚴重的後果。
1個月發動組合攻擊20餘次
攻擊者的計劃，在3個月前就已經開始。
經過密謀協商，他們決定在春節前後「干票大的」，近1個月來發動組合攻擊20餘次。
動機很簡單：春節期間，各種短影片、社交媒體，包括自拍軟體等應用流量激增，理論上是多數雲服務廠商流量最高、最易出故障的時候。
一旦攻擊成功，就會有大量互聯網服務出現不穩定、甚至影響更大的情況。
尤其像除夕搶紅包這類活動，8點到凌晨1點正是流量峰值期，故障多一秒鐘用戶都無法忍受。
所幸，這次攻擊結果並未達到目的。
華為雲反應非常迅速，將排查問題的時間限制在3分鐘內、並利用5分鐘進行修復，最終在8分鐘內就處理好了系統故障，全程沒有影響到雲上業務的運行。
不免讓人好奇，為何華為雲會任由這些攻擊反覆發動？
畢竟對於華為雲來說，這群攻擊者已經不是「初次來犯」。
手段從人為攻擊到利用系統「自動」攻擊，類型從斷網、故障注入到各種最新的攻擊「武器」，都被他們嘗試過。
但即使面對未知攻擊，華為雲卻依舊能迅速處理。
不止這類春節前夕的攻擊，面對各種類型的攻擊，他們都能及時察覺系統異常、迅速定位並解決問題，將整個過程壓縮到10分鐘內。
而這又是為何？
隨時待命的「特戰隊」
原來，這個秘密謀劃三個月、攻擊華為雲上千次的攻擊者團隊，竟是華為雲內部的一支「秘密團隊」，名曰「藍軍」。
他們不停地設計最新的攻擊彈藥，隨時對華為雲系統進行突襲。
至於作為防禦方的紅軍團隊，則是隨時處於待命狀態，一旦察覺藍軍攻擊便第一時間進行修復。
兩個團隊之間沒有任何溝通，什麼時候觸發攻擊也不可知。
除了人為攻擊，藍軍甚至還用上了混沌工程，系統會隨機、自動地去攻擊紅軍維護的系統，近一年攻擊總數多達2000+次。
而在這類攻擊背後，所有的動作都只有一個目的——
提升華為雲系統的穩定性和應急能力。
即使在春節，系統的維護和防禦也不會停止：華為雲專門成立了一支「特戰隊」。
「特戰隊」的規模上百人，都是已經應對過無數次攻擊、「身經百戰」的全棧工程師。
從現在一直到元宵節，「特戰隊」隊員們按三班倒的形式，7 x 24小時全職投入春節運維保障。
華為雲，春節保障紀實！今年春節，#華為雲 投入2000多名工程師，21年11月就開始籌備，打響了一場數字世界的「春節保衛戰」；「在線」，是我們的責任！#共建智慧世界雲底 #華為#春節 #運維影片號
這樣一來，即使攻擊者想「趁虛而入」，從流程上來說也不會太過輕鬆。
但這還僅僅是解答了第一個疑問。
為何華為雲面臨攻擊，能迅速穩定地處理整個流程？
故障率保持在0.01%以內
可以說，這次藍軍的攻擊，正好撞在了早有準備的紅軍「槍口」上。
早在三個月前也就是11月5日，紅軍就已經開始排查系統風險，並通過流量預估來進一步降低故障發生率。
事實上，這已經不是傳統意義上的運維團隊了。
無論是日常排除風險故障、維持系統穩定的紅軍，還是春節值守的「特戰隊」，都來自華為雲內部一隻「訓練有素」的團隊——SRE。
SRE這個概念，最早定義是「用軟體工程的方法從事運維活動」。在華為雲這裡還要更精細一點，誕生出了「確定性」的方法論，來達成「高可用」的目標。
一言以蔽之，就是在設計產品時就考慮高可用的架構、並將風險控制做到動態清零、再加上智慧化運維平台，來控制不確定性的風險，達成確定性的風控品質。
SRE團隊自主研發了一個智慧運維平台，用數據驅動的方法，將運維過程變得標準化、自動化。具體而言，這個平台不僅能實時記錄運維數據，還能度量全流程各個環節的品質，真正做到縮短問題發現、故障定位和修復的時間。
如今，平台的監控指標數量已經達到160億/小時，運維繫統用戶數達到10000+，變更頻率每分鐘2次，兼顧智慧運維和日誌記錄等功能。
在智慧運維平台以外，SRE團隊還會藉助流量預估等工作，來進一步提升系統的可用性，降低風險發生的概率。
具體來說，是通過特定的演算法模型，結合指標對資源使用情況進行預估。
在華為雲背後，有一個博士軍團，其中有專門的演算法創新實驗室，研究人員會協助流量預估人員進行演算法調優，像近期實驗室一篇關於用強化學習求解虛擬機調度問題的論文，已經被頂級期刊Pattern Recognition接收。
同時，還會藉助雲作業系統和全域調度等技術，高效「壓榨」並分配有限的流量資源，包括採用「瑤光」智慧雲腦，負責整個雲的資源分配、部署、調動和供給，以及結合全域調度等技術，進一步精細化資源的利用效率等。
目前，華為雲系統的故障發生率也被壓制在0.01%以下，即一年故障發生的時間保持在53分鐘以內。
數字世界的春節保衛戰
事實上，華為雲今年投入春節保衛戰的人力，前後已經接近1000人。
其中整個SRE團隊幾百人，更是一直處於「全員在線」的備戰狀態。
某種程度上，他們與傳統行業里的員工一樣，是保障我們生活便利的春節值守人。
只不過維度從線下的物理世界轉變到了線上的數字世界。
在運維行業幹了20多年的張智認為，春節的味道其實並沒有變，只是換了個地方過年。
以前春節主要是在物理世界，但現在數字世界的春節可能比物理世界更熱鬧。現在我在數字世界上，也可以跟朋友一起過春節、搶紅包、刷影片。
見證過不少同行災難發生的他，認為這份值守不可或缺：
你不知道風險什麼時候會發生。但SRE可以真正降低遇到風險的可能性。
從其他崗位轉到SRE的石勝兵，雖然調侃了一下這個身份在春節中的特殊性：
SRE算是華為雲背後的角色。我們其實很少在像春節這樣的節日中「露面」，因為真出現的時候，往往都「不是一些好事」。
但這份工作卻讓他感受到「新的春天」：
我在華為工作了二十年，來這個團隊一年半。原以為上個崗位就是職業生涯的最後一個，現在感覺新的春天到來。
一方面體現在SRE本身，它是華為雲最年輕的團隊。
另一方面，隨著行業快速成長，年輕的SRE正成為雲服務品質保障的中堅力量。
其實這種對數字生活的保障，也並非孤例。
平時出行的電子公交卡、一鍵打車，吃飯時的數字支付、生病時的在線預約，再到網購和線上遊戲聚會，回想起來我們已經離不開數字化的生活。
而若再往前看一些，從最早提出的「智慧地球」，到後來AI發展帶起的「全真互聯網」，再到現在的「元宇宙」，行業熱詞一直與數字世界息息相關。
具體到技術上，包括這幾年「數字人」的爆發、隨著AI發展再度被帶起來的XR設備也在說明，我們的生活確實正不知不覺地與數字世界發生融合。
在數字世界中，雲服務反而從一種新興的技術，成為了不可或缺的基礎設施。
換而言之，我們的一切互聯網服務和數字產品，最終都由雲帶來，並運行在雲上，甚至我們在成為數字虛擬世界的一份子時，本身也會被載入到雲中。
傳統物理世界的水電、橋路和房子，被還原到數字世界中去後，也不過是存儲在雲上的一些數據。
在這種趨勢之下，雲服務的穩定性就變得和數字世界中的基建穩定性一樣重要，反映到春節中則更是如此。
如今的特殊時期，我們反而比以往更依賴於數字春節的保障。
而這一次，華為雲的攻防演練和紅藍對抗披露，不僅是一次先進經驗和機制的分享，更提醒我們關注日益依賴的「數字世界的基礎設施」。
