神經網路成「病毒軟體」新宿主！國科大最新研究：嵌入惡意軟體後，性能下降不足1%

  • 2021 年 7 月 29 日
  • AI
 作者：琰琰、維克多
近日，中國科學院大學（國科大）團隊研究發現，神經網路將成為「病毒軟體」肆意傳播的下一個陣地。
他們在arXiv提交的一篇題為「EvilModel: Hiding Malware Inside of Neural Network Models」的論文表明，惡意軟體可以直接被嵌入到機器學習模型的「人工神經元」中，並且幾乎不會影響模型的性能。
論文地址：//arxiv.org/pdf/2107.08590v1.pdf
具體而言，由於模型的解釋性差和泛化能力強，通過神經網路嵌入惡意軟體可以使模型在性能沒有影響或影響很小的情況下秘密傳播，他們發現，使用真實的惡意軟體替換AlexNet模型中50%左右的神經元，模型的準確率仍保持在93.1%以上。
同時，由於神經網路的結構保持不變，這些大量惡意軟體成功地規避了防病毒引擎的安全掃描。
論文中寫道，經過實驗表明，在1%的準確率損失範圍內，一個178MB的AlexNet模型可以嵌入36.9MB的惡意軟體，並且VirusTotal中的反病毒引擎沒有給出任何可疑提示。作者表示，隨著人工智慧的廣泛應用，神經網路將成為惡意軟體傳播的載體。


1

「中毒」的神經網路，有哪些特點？

在本篇論文中，作者以黑客的身份講述了如何將大量惡意軟體嵌入機器學習模型，而不被發現的方法。
殭屍網路，勒索軟體，APT等惡意軟體是電腦安全的主要威脅。在維護過程中，攻擊者需要向受感染者發送命令和狀態，並規避一些敏感數據。同時，攻擊者還需要向其發送自定義的有效負載，以針對特定任務實施攻擊。為了規避檢測和軟體追蹤，以上命令、有效載荷和其他組件的傳遞必須秘密進行。
常用的秘密傳遞的方法包括Hammertoss（APT-29）、Pony以及Glupteba19，這些方法不需要攻擊者部署伺服器，從而避免了防禦者通過摧毀中心伺服器來抵制惡意軟體的行為。還有一些攻擊者將惡意軟體附加到了影像、文檔、壓縮文件等載體的背面，並確保載體結構不受損壞。不過這些方法都難以逃過反病毒引擎的檢測。
最先進的一種隱藏傳遞消息的方法被稱為隱寫術（steganography），它可以將秘密資訊以不同的方式嵌入到普通文件中。在隱寫術中，數據通常會被隱藏在影像像素最低的有效位（LSB）中。如灰度圖像的像素在0到255之間，當它用二進位表示時，最低有效位對影像的外觀幾乎沒有影響，因此便於資訊的隱藏。但由於信道容量較低，該方法並不適用於嵌入大量惡意軟體。
此前，騰訊研究人員提出了一種在神經網路模型中隱藏惡意軟體的方法。這種方法類似於使用LSB的影像隱寫（ image steganography）功能——通過將模型中參數的最後幾位修改為惡意程式碼，使其在不影響原始模型性能的前提下，將惡意負載秘密地傳遞給目標設備。由於PyTorch、TensorFlow等常用框架的模型參數是32位浮點數，權值較低，該方法並不會對神經網路的全局判斷造成明顯影響。
與騰訊修改一個參數的LSB不同，中科院大學研究團隊修改了整個神經元來嵌入惡意軟體。
一般而言，隱藏層神經元會影響神經網路的分類結果，因而其參數往往是固定的，然而研究人員發現，由於隱藏層中存在冗餘神經元，一些神經元的變化對神經網路的性能影響並不大。此外，在模型結構不變的情況下，隱藏的惡意軟體可以規避反病毒引擎的檢測。因此，通過對神經元的修改可以將惡意軟體隱蔽地嵌入並傳遞到目標設備中。 


總結來看，基於神經網路模型的惡意軟體呈現出以下特點：

  • 通過神經網路模型和反彙編，可以隱藏惡意軟體的特徵，使其逃避檢測。


  • 由於冗餘神經元的存在和神經網路的泛化能力，經修改後的神經網路模型在不同的任務中仍保持其性能。


  • 在特定任務中，神經網路模型的規模很大，使大量惡意軟體傳播成為可能。 


  • 不依賴於其他系統漏洞，嵌入惡意軟體的模型可通過供應鏈的更新渠道或其他方式傳遞，不會引起防禦者的注意。 

基於以上因素， 隨著神經網路的應用越來越廣泛，這種方法將在未來的惡意軟體傳輸中得到普遍應用。
 

2

嵌入惡意軟體只需三步 

 為了防止嵌入惡意軟體的模型性能受到影響，攻擊者通常遵循以下步驟：
1.設計神經網路。為了確保嵌入更多的惡意軟體，攻擊者通常會引入更多的神經元。 
2.選擇合適的現有模型，或者使用數據集對網路進行訓練，獲得性能更好的模型。
3.選擇合適的層嵌入惡意軟體。嵌入惡意軟體後，攻擊者需要評估模型的性能，如果模型的性能損失超出可接受範圍，需要使用數據集重新訓練模型以獲得更高的性能。
一旦準備好模型，攻擊者就可以使用供應鏈污染（supply chain pollution）等方法將其發布到公共存儲庫或其他地方。
接收者假定是在目標設備上運行的程式，可以下載模型並從模型中提取嵌入的惡意軟體。在更新模型後，通常是先根據預定義規則提取惡意軟體，然後進行安全性檢查，最後再等達到預定義條件後運行惡意軟體。具體過程如下：
替換神經元參數
如上所述，神經元中的參數將會被惡意軟體替換。由於每個參數都是一個浮點數，攻擊者需要將惡意軟體中的位元組轉換為32位浮點數，且保持在合理的時間間隔內。
惡意軟體嵌入
為了讓接收者能夠正確提取惡意軟體，攻擊者會採用一套規則將惡意軟體嵌入其中。本文提供了一個嵌入演算法：對於要嵌入的惡意軟體，每次讀取3個位元組，並將前綴添加到第一個位元組，然後將位元組轉換為具有big-endian格式的有效浮點數。
如果剩餘的樣本少於3個位元組，則添加「\x00」進行填充。在嵌入模型之前，這些數字會被轉換成張量。最後在神經網路模型和指定的層中，通過替換每個神經元的權值和偏差，對神經元的進行修改。其中，每個神經元中的連接權重用來存儲轉換後的惡意軟體位元組，偏差用來存儲惡意軟體的長度和哈希值。
惡意軟體提取
接收者的提取過程與嵌入過程相反。接收端需要提取給定層的神經元參數，並將參數轉換成浮點數。這些浮點數再轉換成big-endian位元組格式，去掉位元組前綴，得到二進位位元組流。然後，根據第一個神經元長度記錄的偏差，接收者可以集成惡意軟體。此外，接收者可以通過比較惡意軟體的散列值與偏差記錄中的散列值來驗證提取過程。
在這項工作中，研究人員假定通訊信道具有啟動防病毒安全掃描的能力，如果模型不安全可以將其攔截，並且模型性能一旦超過設定的閾值也會向終端用戶發出警報。

3

36.9MB惡意軟體，性能損失不足1%

研究人員採用AlexNet神經網路架構進行了實驗。如下圖，AlexNet的輸入是一個224x224大小的單通道灰度影像，輸出是一個大小為10的向量，分別代表10個類。
圖註：全連接結構 
為了驗證該方法在處理大量惡意軟體時的表現，本次試驗採用了具有全連接架構的模型。如圖，對於AlexNet而言，FC.0是一個具有4096個神經元的隱藏層——從卷積層接收6400個輸入並生成4096個輸出。因此，FC.0層的每個神經元有6400個連接權值，這意味著6400×3/1024=18.75KB的惡意軟體可以嵌入到FC.0層的一個神經元中。 
類似地，FC.1是一個有4096個神經元的隱藏層，它接收4096個輸入併產生4096個輸出，因此，4096×3/1024=12KB的惡意軟體可以嵌入到FC.1層神經元中（FC.2是輸出層，接收4096個輸入後生成10個輸出）
研究人員對全連接層上有BN和沒有BN的模型進行了性能比較。BN（Batch normalization，即批處理規範化）是一種加速深層網收斂的有效技術，BN層可應用於全連通層中的仿射變換和激活函數之間。
經過大約100個階段的訓練，實驗表明，在不使用BN的測試集上訓練的模型，其準確率為93.44%，在使用BN的測試集上訓練的模型，其準確率為93.75%。
為了模擬真實場景，實驗使用了公共存儲庫的真實惡意軟體樣本，並將這些樣本上傳到了VirusTotal，為了評估該方法的有效性，作者進行了以下實驗設置，並嘗試回答以下7個問題： 
1.攻擊方法行得通么？
實驗方案：使用惡意軟體樣本（ sample）1-6分別替換FC.1層中的神經元，並在測試集上評估其性能。測試準確率在93.43%~93.45%之間。然後，從模型中提取惡意軟體，並計算其SHA-1哈希值。哈希值保持不變。結果表明，該方法是可行的。
2.模型中可以嵌入多少惡意軟體？
3.模型的精度損失是多少？
4.BN是否有幫助？ 
實驗方案：對於問題2~3，作者在AlexNet上用 sample1-6分別替換了FC.1層的5個、10個、...、4095個神經元；用 sample3-8替代FC.0層的有BN和無BN的AlexNet。
圖註：在不同層上替換不同神經元的準確率統計
FC.0中的每個神經元可以嵌入18.75KB的惡意軟體。由於一個 sample最多可以替換FC.0和FC.1中的5個神經元，作者重複了替換過程，並用相同的樣本替換各層中的神經元，直到替換的神經元數量達到目標。最後，作者得到了6組準確率數據，結果如上圖所示。 
表註：更換不同數量神經元的準確率
因此，可以得出結論：當替換較少數量的神經元時，對模型的準確率影響不大。對於帶有BN的AlexNet，當替換FC.1中的1025個神經元時（25%，相當於嵌入了12MB的惡意軟體），準確率仍然可以達到93.63%。當替換2050個神經元（50%）時，準確率為93.11%。當超過2105個神經元被替換時，準確率下降到93%以下。當超過2900個神經元被替換時，準確率下降到90%以下，準確率明顯下降。當所有神經元都被替換時，準確率下降到10%左右(相當於隨機猜測)。
5.哪一層更適合嵌入惡意軟體？
實驗方案：作者選擇在AlexNet的所有層嵌入惡意軟體。用sample替換每一層中的神經元，並記錄其準確率。由於不同的層具有不同的參數數量，作者使用百分比來表示替換的數量，如下圖所示。
對於有BN和沒有BN的AlexNet，FC.1在所有層都具有出色的性能。可以推斷，對於完全連接的層，更接近輸出層的層更適合嵌入。
6.如何通過再訓練恢復準確率？
實驗方案：作者選擇了性能與平均準確率相近的sample，並對有和沒有BN的模型分別替換了FC.0和FC.1層中的50,100，...，4050個神經元。然後，「凍結」惡意軟體嵌入層，並使用相同的訓練集重新訓練它們1個 epoch。記錄重新訓練前後測試集上的準確率。對每個模型進行再訓練後，提取模型中嵌入的惡意軟體，計算惡意軟體的SHA-1哈希值，並與原始哈希值進行匹配。
結果如上所示，對於完全連接層中沒有BN的模型，替換神經元參數後的再訓練對模型性能沒有明顯的改善。
對於帶有BN的模型，再訓練前後的準確率有明顯的變化。
因此，如果攻擊者使用帶有BN和再訓練的模型在FC.1上嵌入惡意軟體，並希望將模型的準確率損失控制在1%以內，那麼將有超過3150個神經元可以替換。這將導致3150×12/1024=36.9MB的惡意軟體嵌入。 
7.殺毒軟體對植入病毒的模型有效么？
實驗方案與結果：作者將一些嵌入惡意軟體的模型上傳到VirusTotal，結果發現：VirusTotal將這些模型識別為zip文件。58個殺毒引擎參與了檢測工作，沒有發現可疑情況。這意味著該方法可以迷惑傳統殺毒軟體。

4

如何預防惡意軟體攻擊？

作者建議在啟動模型時，對模型進行檢查。由於嵌入的惡意軟體將在目標設備上「工作」，因此可以使用靜態和動態分析、啟發式方法等傳統方法對其進行檢測和分析。由於攻擊者可以發起供應鏈污染（supply chain pollution）等攻擊，因此模型的最初提供者也應該採取措施防止此類攻擊。

5

總結

這篇論文發現了一種神經網路模型傳遞「病毒」的方法。當神經網路的參數被惡意替換時，模型的結構可能保持不變，並且「病毒」在神經元中會被反彙編（disassembled ）。由於「病毒」的特徵不再可用，它可以躲避普通殺毒軟體的檢測。 
由於神經網路模型對變化具有較強的魯棒性，因此當配置良好時，其性能不會有明顯的損失。實驗表明，在對全連通層進行批量歸一化的情況下，178MB-AlexNet模型可以嵌入36.9MB的惡意軟體，而準確率損失小於1%。
由於神經網路模型對變化具有較強的魯棒性，因此當配置良好時，其性能不會有明顯的損失。實驗表明，在對全連接層進行批量歸一化的情況下，178MB-AlexNet模型可以嵌入36.9MB的惡意軟體，而準確率損失小於1%。在VirusTotal上的實驗也證明了，在神經網路上嵌入的「病毒」，具有極強的隱蔽性。

雷鋒網雷鋒網雷鋒網


Tags:

VirMach 便宜 VPS