機器學習算法已成為一項重要的網絡安全技術，目前它主要用于識別惡意軟件、將經過篩選的警告呈現在安全分析員面前，以及確定漏洞優先級以打上補丁。研究機器學習和人工智能系統安全的專家警告稱，未來這類系統可能被專業的攻擊者所利用。

研究人員在去年發表的一篇研究論文中表示，神經網絡的冗余特性可以讓攻擊者將數據隱藏在常見的神經網絡文件中，占文件20%的大小，而不顯著影響模型的性能。2019年的另一篇論文表明，受感染的訓練服務可能會在神經網絡中植入實際持續存在的后門，即使該網絡接受訓練以處理其他任務。

圖1 《對抗性機器學習威脅矩陣》

來源：MITRE

貝里維爾機器學習研究所（BIML）聯合創始人兼首席執行官Gary McGraw表示，這兩篇研究論文表明了機器學習存在的潛在威脅，但最直接的風險還是竊取或篡改數據的攻擊。他表示：“如果將機密信息放入機器中，并讓機器學習該數據，人們會忘了機器中仍然存在機密信息，忘了會有一些更高明的手法可以取出信息。開發人員通常只專注于為該技術創造新用途，而忽略了其開發產品的安全性時，這種潛在威脅有時會更嚴重。”

2020年，微軟、MITRE等公司聯合發布了一份列出潛在攻擊清單的報告——《對抗性機器學習威脅矩陣》（Adversarial ML Threat Matrix）。報告稱，企業需要評估依賴人工智能或機器學習技術的系統是否存在潛在風險。一些風險（比如將數據隱藏在機器學習文件中）與日常風險沒多大不同。除非企業測試系統具有彈性，否則更多針對機器學習的風險會大獲成功，比如有可能創建這樣的模型：攻擊者觸發后，能夠以特定的方式行動。

軟件安全公司Sophos的首席科學家Joshua Saxe表示，造成這種后果的原因是防御者只專注于眼前的攻擊，而不是專注于那些未來且難以實施的復雜攻擊。隨著更多的安全專業人員依賴機器學習系統來完成工作，能夠意識到這種威脅形勢將變得更重要。研究人員創建的對抗性攻擊矩陣包括規避檢測惡意軟件和控制流量、僵尸網絡域生成算法（DGA）以及惡意軟件二進制文件的工具。

McGraw指出，隨著機器學習的應用，數據面臨更大的風險。因為敏感數據常常可以從機器學習系統中恢復，同時，通過機器學習生成的系統又常常以不安全的方式運行。如果對機器學習系統執行的查詢被暴露后，數據在操作過程中也會暴露，這突顯了機器學習一個至關重要但未予以強調的方面，即確保數據安全非常重要。

Saxe表示，機器學習威脅有別于攻擊者使用人工智能/機器學習技術來策劃更有效的攻擊。機器學習攻擊可能會更多地在機器人和自動駕駛汽車領域發生，因為它們不僅依賴算法來操作，還將人工智能決策轉化成實際動作，安全人員需要阻止和防范破壞這些算法的行為。

雖然研究人員表明了多種類型機器學習攻擊的可能性比較大，但大多數仍在數年后才會出現，因為攻擊者的工具箱中仍有簡單得多的工具照樣可以幫助其實現攻擊目的。

參考鏈接：

https://www.darkreading.com/vulnerabilities-threats/machine-learning-in-2022-data-threats-and-backdoors-