[[441136]]

【51CTO.com快譯】深度學習模型擁有數以百萬計甚至數十億計的數值參數，因此可以做很多事情：檢測照片中的物體、識別語音、生成文本，甚至隱藏惡意軟件。加州大學圣迭戈分校和伊利諾伊大學的研究人員發現，神經網絡可以嵌入惡意軟件中而不會觸發反惡意軟件。

惡意軟件隱藏技術EvilModel揭示了深度學習的安全問題，這已經成為機器學習和網絡安全會議的一個熱門討論話題。隨著深度學習在人們使用的應用程序中逐漸深入，安全社區需要考慮新的方法來保護用戶免受新出現的威脅。

將惡意軟件隱藏在深度學習模型中

每個深度學習模型都由多層人工神經元組成。根據層的類型，每個神經元與上一層和下一層的所有或部分神經元都有連接。這些連接的強度是由訓練過程中的數值參數定義的，因為深度學習模型學習了它所設計的任務。大型神經網絡可能包含數億個甚至數十億個參數。

EvilModel的工作流是一種在神經網絡中嵌入惡意軟件的技術

EvilModel背后的主要想法是將惡意軟件嵌入到神經網絡的參數中，使惡意軟件掃描對其不可見。這是隱寫術的一種形式，可以將一條信息隱藏在另一條信息中。

與此同時，受感染的深度學習模型必須執行其主要任務(例如圖像分類)與干凈的模型一樣好或幾乎一樣好，以避免引起懷疑或使其對受害者無效。

最后，網絡攻擊者必須有一種機制，將受感染的模型發送到目標設備，并從神經網絡的參數中提取惡意軟件。

改變參數值

大多數深度學習模型使用32位(4字節)浮點數來存儲參數值。根據研究人員的實驗，網絡攻擊者可以在每個參數中存儲多達3字節的惡意軟件，而不會顯著影響其參數值。

神經網絡中的每個參數都由一個4字節的浮點數組成。研究人員表示，最多可以使用3個字節來嵌入惡意代碼，而不會顯著改變數字的值。

當感染深度學習模型時，網絡攻擊者將惡意軟件分解為3個字節的片段，并將數據嵌入到其參數中。為了將惡意軟件交付給目標，網絡攻擊者可以將受感染的神經網絡發布到包含深度學習模型(如GitHub或TorchHub)的幾個在線位置之一。或者，網絡攻擊者可以實施一種更復雜的供應鏈攻擊形式，其中受感染的模型通過自動更新目標設備上安裝的軟件來交付。

一旦被感染的模型被交付給受害者，一個軟件提取有效載荷并執行它。

將惡意軟件隱藏在卷積神經網絡中

為了驗證EvilModel的可行性，研究人員在幾個卷積神經網絡(CNN)上進行了測試。其中幾個原因使卷積神經網絡(CNN)成為一項有趣的研究。首先，它們的規模相當大，通常包含數十個層以及數百萬個參數。其次，它們包含不同的架構，并包含不同類型的層(全連接層、卷積層)和不同的泛化技術(批標準化層、退出層、池化層等)，這使得評估在不同設置中嵌入惡意軟件的影響成為可能。第三，卷積神經網絡(CNN廣泛應用于計算機視覺應用中，這可能使它們成為惡意攻擊者的首要目標。最后，有許多預先訓練的卷積神經網絡(CNN)可以不做任何修改就集成到應用程序中，許多開發人員在他們的應用程序中使用預先訓練的卷積神經網絡(CNN)，而不一定需要知道深度學習在底層是如何工作的。

研究人員首先嘗試在AlexNet中嵌入惡意軟件，這是一個受歡迎的卷積神經網絡(CNN)，在2012年幫助恢復了人們對深度學習的興趣。AlexNet有178兆字節，有5個卷積層和3個密集(或全連接)層。

AlexNet卷積神經網絡(CNN)

當AlexNet使用批處理標準化技術進行訓練時，研究人員能夠在模型中嵌入26.8兆字節的惡意軟件，同時將其準確性保持在干凈版本的1%以內。批標準化層是一種在深度學習模型中運行之前將訓練示例分組標準化的技術。如果他們增加了惡意軟件的數據量，那么準確度將會開始顯著下降。

接下來，他們試圖在感染該模型后對其進行再訓練。通過凍結受感染的神經元，他們防止它們在額外的訓練周期中被修改。通過批量標準化和再訓練，研究人員可以將惡意軟件數據的容量增加到36.9兆字節，同時保持模型的準確性在90%以上。

左圖：當被惡意軟件感染時，更深層次的神經網絡可以保持其準確性。右圖：批標準化層和感染后再訓練提高了模型的準確性

這些模型來自InQuest數據庫的8個感染樣本，所有這些樣本都被在線VirusTotal掃描儀識別為惡意軟件。一旦樣本被嵌入神經網絡，整個模型就被上傳到VirusTotal，但被標記為安全的，這證明惡意軟件隱藏得很好。

研究人員在其他幾個卷積神經網絡(CNN) 架構上測試了這項技術，其中包括VGG、Resnet、Inception和Mobilenet。他們得到了類似的結果，這表明惡意嵌入是對大型神經網絡的普遍威脅。

確保機器學習管道

由于惡意軟件掃描儀無法檢測到嵌入在深度學習模型中的惡意有效載荷，對付EvilModel的唯一辦法就是銷毀惡意軟件。

負載僅在其字節保持完整的情況下才保持其完整性。因此，如果接收EvilModel的人員在不凍結受感染層的情況下重新訓練神經網絡，其參數值就會改變，惡意軟件的數據就會被銷毀。甚至一個階段的訓練就足以摧毀深度學習模型中嵌入的任何惡意軟件。

然而，大多數開發人員使用預先訓練過的模型，除非他們想針對另一個應用程序對其進行微調。某些形式的微調會凍結網絡中大多數現有的層，其中可能包括受感染的層。

這意味著，除了對抗性攻擊、數據中毒、成員推斷和其他已知的安全問題之外，感染惡意軟件的神經網絡對深度學習的未來構成了真正的威脅。

對抗性機器學習威脅矩陣提供機器學習管道中的弱點

機器學習模型與經典的基于規則的軟件之間的差異需要新的方法來考慮安全威脅。今年早些時候，一些組織引入了對抗性機器學習威脅矩陣，該框架有助于發現機器學習管道中的弱點并修補安全漏洞。

雖然威脅矩陣側重于對抗性攻擊，但其方法也適用于諸如惡意攻擊等威脅。在研究人員找到更可靠的方法來檢測和阻止深層神經網絡中的惡意軟件之前，必須在機器學習管道中建立信任鏈。由于知道惡意軟件掃描程序和靜態分析工具無法檢測受感染的模型，開發人員必須確保他們的模型來自可信的來源，并且訓練數據和學習參數的來源不會被破壞。當繼續學習深度學習的安全性時，必須警惕在分析照片和識別聲音時的數以百萬計的數值參數背后隱藏著什么。

原文標題：Neural networks can hide malware, researchers find，作者：Ben Dickson

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】