忽悠神經(jīng)網(wǎng)絡(luò)指南：教你如何把深度學(xué)習(xí)模型騙得七葷八素
知己知彼，無(wú)論你是想成為黑客(最好不要!)或防范未來(lái)黑客的入侵，都有必要來(lái)了解一下如何騙過(guò)由海量數(shù)據(jù)訓(xùn)練出來(lái)的深度學(xué)習(xí)模型。
只要有程序員還在編程，黑客們就會(huì)不遺余力地找尋利用這些程序的方法。惡意黑客更是會(huì)利用程序中最為微小的漏洞來(lái)侵入系統(tǒng)，竊取數(shù)據(jù)，對(duì)系統(tǒng)造成嚴(yán)重破壞。
但由深度學(xué)習(xí)算法驅(qū)動(dòng)的系統(tǒng)應(yīng)該是能夠避免人為干擾的，對(duì)吧? 一個(gè)黑客怎么能夠突破被TB(兆兆字節(jié))級(jí)數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)呢?
然而事實(shí)證明，即使是最先進(jìn)的深層神經(jīng)網(wǎng)絡(luò)也是很容易被欺騙的。只需要使用一些小技巧，你就可以迫使模型預(yù)測(cè)出你想要的任何結(jié)果：
我們可以修改上面這幅喵星人照片好讓它被模型識(shí)別為烤面包機(jī)。
因此，在你將啟用由深層神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的新系統(tǒng)之前，讓我們?cè)敿?xì)了解一下如何去破壞系統(tǒng)以及如何保護(hù)自己的系統(tǒng)免受黑客的攻擊。
神經(jīng)網(wǎng)絡(luò)幫助人們保護(hù)網(wǎng)絡(luò)安全
現(xiàn)在我們假設(shè)自己經(jīng)營(yíng)著一個(gè)像Ebay這樣的拍賣網(wǎng)站。在我們的網(wǎng)站上，我們想防止人們出售違禁物品——比如活的動(dòng)物。
但是假如你有數(shù)百萬(wàn)的用戶，執(zhí)行這些規(guī)則將是非常困難的。我們可以聘請(qǐng)上百人去手動(dòng)審查每一個(gè)拍賣清單，但這無(wú)疑將非常昂貴。相反，我們可以使用深度學(xué)習(xí)去自動(dòng)檢查拍賣照片是否屬于違禁物品，并對(duì)那些違禁品照片進(jìn)行標(biāo)記。
這是一個(gè)典型的圖像分類問(wèn)題。為了搭建這個(gè)模型，我們將訓(xùn)練一個(gè)深層卷積神經(jīng)網(wǎng)絡(luò)來(lái)從合規(guī)物品中識(shí)別出違禁物品，之后將識(shí)別模型運(yùn)行于網(wǎng)站上的所有照片。
首先，我們需要一個(gè)基于歷史拍賣列表的含有成千上萬(wàn)個(gè)拍賣圖片的數(shù)據(jù)集。 數(shù)據(jù)集需要既有合規(guī)物品圖片又有違禁物品圖片，以便于我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)區(qū)別他們：
然后著手開(kāi)始訓(xùn)練神經(jīng)網(wǎng)絡(luò)，這里我們使用標(biāo)準(zhǔn)的反向傳播算法。這個(gè)算法的原理是，我們通過(guò)一個(gè)訓(xùn)練圖片，傳遞該圖片的預(yù)期結(jié)果，然后回到神經(jīng)網(wǎng)絡(luò)中的每一層去輕微地調(diào)節(jié)他們的權(quán)重，從而使模型更好地產(chǎn)生該圖片的正確輸出：
我們使用數(shù)千張照片重復(fù)上述過(guò)程上千次，直到模型以可接受的準(zhǔn)確性穩(wěn)定地輸出正確結(jié)果為止。
最終我們將得到一個(gè)可以穩(wěn)定地將圖像分類的神經(jīng)網(wǎng)絡(luò)模型：
但事情往往并不如他們看起來(lái)的那么可靠…
卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像進(jìn)行整體識(shí)別和分類上是非常強(qiáng)大的。他們?cè)谧R(shí)別復(fù)雜形狀和圖案時(shí)并不受其在畫(huà)面中所處位置的影響。在許多圖像識(shí)別任務(wù)中，它們的表現(xiàn)可以媲美甚至于擊敗人類的表現(xiàn)。
對(duì)于這樣高端的模型，如果將圖像中的一些像素加黑或者變亮，對(duì)最終的預(yù)測(cè)結(jié)果不應(yīng)該有很大的影響，對(duì)吧?是的，它有可能會(huì)輕微改變預(yù)測(cè)結(jié)果的可能性概率，但不會(huì)將圖像的預(yù)測(cè)結(jié)果從“違禁品”改判為“合規(guī)品”。
我們期望的是：輸入照片的微小變化只會(huì)對(duì)最終預(yù)測(cè)結(jié)果造成微小的變化。
然而，2013年的著名論文《神經(jīng)網(wǎng)絡(luò)的有趣特性》發(fā)現(xiàn)了這并不總是真的。如果你確切地知道了要更改哪些像素點(diǎn)以及要對(duì)其做出多大的改變，你就可以有意地強(qiáng)制神經(jīng)網(wǎng)絡(luò)對(duì)于給定圖像做出錯(cuò)誤預(yù)測(cè)，而不需要對(duì)圖像外觀做出大的改動(dòng)。
這意味著我們可以故意制作一張明顯是違禁物品的照片，但使它完全騙過(guò)我們的神經(jīng)網(wǎng)絡(luò)模型。
怎么會(huì)這樣?機(jī)器學(xué)習(xí)分類器的工作原理就是找到意圖區(qū)分事物之間的分界線。 以下圖示是一個(gè)簡(jiǎn)單的二維分類器，它學(xué)習(xí)的目標(biāo)是將綠球(合規(guī))與紅球(違規(guī))區(qū)分開(kāi)來(lái)：
現(xiàn)在，分類器的精度達(dá)到100%。它找到了一條可以將所有的綠球與紅球完美分開(kāi)的區(qū)隔線。
但是，如果我們想要調(diào)整一下模型使得一個(gè)紅球被故意區(qū)分成綠球呢?我們最少要將紅球移動(dòng)多少才會(huì)使得它被推到綠球的判定區(qū)域呢?
如果我們把分界線旁邊那個(gè)紅球的Y值少量增加，那么我們就幾乎可以把它推到綠球的判定區(qū)域了：
所以要想欺騙一個(gè)分類器，我們只需要知道從哪個(gè)方向來(lái)推動(dòng)這個(gè)點(diǎn)可以使它越過(guò)區(qū)隔線即可。如果我們不想使這個(gè)錯(cuò)誤過(guò)于明顯，理想情況下我們會(huì)使這個(gè)移動(dòng)盡可能的小，以至于其看起來(lái)就像是一個(gè)無(wú)心之過(guò)。
在使用深層神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類時(shí)，我們分類的每個(gè)“點(diǎn)”其實(shí)是由成千上萬(wàn)個(gè)像素組成的完整圖像。這就給了我們成千上萬(wàn)個(gè)可以通過(guò)微調(diào)來(lái)使預(yù)測(cè)結(jié)果跨過(guò)決策線的可能值。如果我們可以確保自己對(duì)圖像中像素點(diǎn)的調(diào)整不是肉眼可見(jiàn)般的明顯，我們就可以做到在愚弄分類器的同時(shí)又不會(huì)使圖像看起來(lái)是被人為篡改過(guò)的。
換句話說(shuō)，我們可以選取一張真實(shí)物品的圖像，通過(guò)對(duì)特定像素點(diǎn)做出非常輕微地修改使得圖像被神經(jīng)網(wǎng)絡(luò)完全識(shí)別為另一件物品—而且我們可以精準(zhǔn)地控制這個(gè)替代品是什么：
把一只貓變成烤面包機(jī)。圖像檢測(cè)結(jié)果來(lái)自與Keras.js的Web演示：https://transcranial.github.io/keras-js/#/inception-v3
如何欺騙神經(jīng)網(wǎng)絡(luò)
我們之前已經(jīng)討論了訓(xùn)練神經(jīng)網(wǎng)絡(luò)以分類照片的基本過(guò)程：
1.添加一張訓(xùn)練用圖片;
2.查看神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，看看其距離正確答案有多遠(yuǎn);
3.使用反向傳播算法來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)中每一層的權(quán)重，使預(yù)測(cè)結(jié)果更接近于正確答案。
4.在數(shù)千張不同的訓(xùn)練照片上重復(fù)步驟1-3。
那么相比于調(diào)整神經(jīng)網(wǎng)絡(luò)每一層的權(quán)重，如果我們直接修改輸入圖像本身直到得到我們想要的答案為止呢?
所以我們選用了已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，并再次“訓(xùn)練”它，不過(guò)這次我們將使用反向傳播算法來(lái)直接調(diào)整輸入圖像而不是神經(jīng)網(wǎng)絡(luò)層的權(quán)重：
所以這里是新的算法：
1.添加一張我們想要“黑”的照片。
2.檢查神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，看看其距離我們想要的答案有多遠(yuǎn)。
3.使用反向傳播算法來(lái)調(diào)整照片本身，使預(yù)測(cè)結(jié)果更接近于我們想要的答案。
4.使用相同的照片重復(fù)步驟1-3上千次，直到神經(jīng)網(wǎng)絡(luò)輸出結(jié)果為我們想要的答案為止。
在此之后，我們將會(huì)得到一張可以欺騙神經(jīng)網(wǎng)絡(luò)的圖片，同時(shí)并不改變神經(jīng)網(wǎng)絡(luò)本身。
唯一的問(wèn)題是，由于算法在調(diào)整上沒(méi)有任何限制，允許以任何尺度來(lái)調(diào)整任何像素點(diǎn)，所以圖像的最終更改結(jié)果可能會(huì)大到顯而易見(jiàn)：他們會(huì)出現(xiàn)變色光斑或者變形波浪區(qū)域
一張被“黑”過(guò)的照片，由于沒(méi)有對(duì)像素點(diǎn)可被調(diào)整的尺度做約束，你可以看到貓周圍有了綠色光斑和白色墻壁上出現(xiàn)的波浪形圖案。
為了防止這些明顯的圖形失真，我們可以將算法加上一個(gè)簡(jiǎn)單的限定條件。我們限定篡改的圖片中每一個(gè)像素在原始的基礎(chǔ)上的變化幅度取一個(gè)微量值，譬如0.01%。這就使算法在微調(diào)圖片的時(shí)候仍然能夠騙過(guò)神經(jīng)網(wǎng)絡(luò)卻不會(huì)與原始圖片差別太大。
在加入限定后重新生成的圖片如下：
在每個(gè)像素只能在一定范圍內(nèi)變化的限制條件下生成的被“黑”的圖片。
即使這張圖對(duì)人眼來(lái)說(shuō)篡改后沒(méi)有區(qū)別，卻可以騙過(guò)神經(jīng)網(wǎng)絡(luò)!
現(xiàn)在讓我們來(lái)碼代碼
首先我們需要一個(gè)事先訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)用來(lái)欺騙。我們不用重新開(kāi)始訓(xùn)練，而是使用谷歌創(chuàng)建的神經(jīng)網(wǎng)絡(luò)。。
Keras是一個(gè)著名的深度學(xué)習(xí)框架，里面有幾個(gè)預(yù)先訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)。我們會(huì)使用其中的谷歌Inception v3 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的拷貝。這個(gè)神經(jīng)網(wǎng)絡(luò)有過(guò)訓(xùn)練，曾經(jīng)檢測(cè)過(guò)超過(guò)一千種不同的物體。
下面是Keras中用此神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)圖像識(shí)別的基本代碼。(文本代碼詳見(jiàn)鏈接)https://gist.github.com/ageitgey/8a010ee99f55fe2ef93cae7d02e170e8#file-predict-py
在繼續(xù)下去之前確保你預(yù)先安裝了Python 3和Keras：
我們運(yùn)行之后，它正確檢測(cè)到了我們的圖片是一只波斯貓：
現(xiàn)在我們微微篡改一下圖片直到能夠騙過(guò)這個(gè)神經(jīng)網(wǎng)絡(luò)讓它認(rèn)為圖片是一個(gè)烤面包機(jī)。
Keras沒(méi)有內(nèi)置的可以通過(guò)輸入圖片訓(xùn)練的方法只有訓(xùn)練神經(jīng)網(wǎng)絡(luò)層，所以我只能提高技巧手動(dòng)編寫(xiě)訓(xùn)練步驟的代碼。
下面是我的代碼：(文本代碼詳見(jiàn)鏈接)
https://gist.github.com/ageitgey/873e74b7f3a75b435dcab1dcf4a88131#file-generated_hacked_image-py
運(yùn)行后，最終我們可以得到能夠騙過(guò)神經(jīng)網(wǎng)絡(luò)的圖片。
注意：如果你沒(méi)有GPU，這可能需要幾個(gè)小時(shí)的時(shí)間運(yùn)行。如果你有并且配置了Keras和CUDA，應(yīng)該花不了幾分鐘。
現(xiàn)在我們將篡改后的圖片放入原始模型中重新運(yùn)行來(lái)測(cè)試其是否成功。
我們成功了!神經(jīng)網(wǎng)絡(luò)被我們欺騙了，把貓當(dāng)成烤面包機(jī)了!
我們用被“黑”了的圖片可以干什么?
這種被“黑”圖片的操作被稱為“創(chuàng)造對(duì)抗性的例子”。我們很有針對(duì)性的做出了讓機(jī)器學(xué)習(xí)模型產(chǎn)生錯(cuò)誤的一些數(shù)據(jù)。這個(gè)操作很巧妙，但在實(shí)際生活中有什么用呢?
研究者發(fā)現(xiàn)這些篡改圖片有一些很令人驚喜的性質(zhì)：
當(dāng)被“黑”圖片被打印出來(lái)后居然仍然可以欺騙神經(jīng)網(wǎng)絡(luò)!因此你可以用這些特殊的圖片欺騙鏡頭和掃描儀，而不僅僅是電腦里上傳圖片的那種系統(tǒng)。
當(dāng)神經(jīng)網(wǎng)絡(luò)被欺騙之后，如果其它的神經(jīng)網(wǎng)絡(luò)也是用類似的數(shù)據(jù)來(lái)訓(xùn)練的，即使設(shè)計(jì)完全不同，也能被這種特殊的圖片欺騙。
因此我們可以用這些篡改圖片做許多事情!
但是關(guān)于我們?nèi)绾蝿?chuàng)造出這些特殊圖片還具有很多限制——我們的操作需要能夠直接進(jìn)入神經(jīng)網(wǎng)絡(luò)的權(quán)限。因?yàn)槲覀儗?shí)際上是“訓(xùn)練”神經(jīng)網(wǎng)絡(luò)來(lái)欺騙自身，我們需要它的拷貝版。在實(shí)際生活中，沒(méi)有公司會(huì)讓你下載的到他們受過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的代碼，這也就意味著我們無(wú)法來(lái)進(jìn)行這個(gè)攻擊性的操作了……對(duì)嗎?
并沒(méi)有!研究者近日發(fā)現(xiàn)，我們可以利用探測(cè)另外一個(gè)神經(jīng)網(wǎng)絡(luò)的動(dòng)向來(lái)鏡像同步自己網(wǎng)絡(luò)的方法，訓(xùn)練自己的替代性的神經(jīng)網(wǎng)絡(luò)。
然后你就可以用替代性的神經(jīng)網(wǎng)絡(luò)來(lái)生成被“黑”圖片，這依然可以騙過(guò)原來(lái)的網(wǎng)絡(luò)!這招叫做黑箱攻擊。
這種攻擊的范圍沒(méi)有限制，后果可以很可怕!下面是一些黑客能夠做到的例子：
- 欺騙自動(dòng)駕駛汽車使其認(rèn)為看到的“停車”路標(biāo)是一個(gè)綠燈——這可以引起車禍!
- 欺騙內(nèi)容過(guò)濾系統(tǒng)使其無(wú)法識(shí)別出具有攻擊性的和非法的信息。
- 欺騙ATM支票掃描系統(tǒng)使其錯(cuò)誤的識(shí)別支票上面的實(shí)際金額信息。(如果你被抓到的話還可以很合理的推卸掉自己的罪責(zé)!)
這些攻擊方法不僅限于圖片篡改。你可以用同樣的方式去欺騙處理其他種類數(shù)據(jù)的分類器。譬如，你可以欺騙病毒掃描儀將你的病毒錯(cuò)誤地識(shí)別為安全的!
我們?nèi)绾畏乐惯@樣的攻擊?
現(xiàn)在我們知道了神經(jīng)網(wǎng)絡(luò)是可以被欺騙的(包括其他的機(jī)器學(xué)習(xí)模型)，我們?nèi)绾畏乐鼓?
簡(jiǎn)單來(lái)說(shuō)，還沒(méi)有人是能完完全全保證安全的。防止這類攻擊的方法仍然在研究中。要始終緊跟最新的研究進(jìn)展，最好的方式是跟進(jìn)Ian Goodfellow和Nicolas Papernot寫(xiě)的cleverhans博客，他們倆是這一領(lǐng)域里最具有影響力的研究者。
但是我們目前已經(jīng)知道的一些事情是：
- 如果你只是簡(jiǎn)單的創(chuàng)造很多被“黑”的圖片，并將這些納入到你之后的訓(xùn)練數(shù)據(jù)中，這會(huì)使你的神經(jīng)網(wǎng)絡(luò)更容易抵抗這些攻擊。我們稱之為對(duì)抗性訓(xùn)練，這也許是目前最可以考慮的一種防御手段。
- 有另外一種有效果的方法叫做防御性蒸餾法，這種方法是訓(xùn)練另一個(gè)模型來(lái)模仿你原有的模型。但這是一種新的方法并且相當(dāng)復(fù)雜，所以除非有特殊的需求，我還不想繼續(xù)研究這個(gè)方法。
- 目前為止，研究人員嘗試了其他所有能想到的防御這些攻擊的方法，都失敗了。
既然我們還沒(méi)有最后的定論，我建議你在使用神經(jīng)網(wǎng)絡(luò)的時(shí)候考慮一下這種攻擊會(huì)對(duì)你的工作帶來(lái)什么樣的損失，至少可以降低一些風(fēng)險(xiǎn)。
譬如，如果你只有一個(gè)單一的機(jī)器學(xué)習(xí)模型作為鑒別保密信息源的唯一安全防線，即使它不會(huì)被欺騙，也并不是一個(gè)好主意。但是假如你只是用機(jī)器學(xué)習(xí)作為一個(gè)中間處理過(guò)程，還是有人工鑒別的操作，也許就會(huì)沒(méi)事。
換句話說(shuō)，將機(jī)器學(xué)習(xí)模型和其他手段一樣看成不是完全可靠的技術(shù)。想一想如果某個(gè)用戶故意黑進(jìn)你的系統(tǒng)欺騙你的網(wǎng)絡(luò)，這會(huì)帶來(lái)什么樣的后果，你需要怎么樣處理來(lái)降低這種風(fēng)險(xiǎn)。
了解更多
想要了解更多關(guān)于對(duì)抗性例子和防護(hù)攻擊的信息嗎?可以參考一下這些相關(guān)資源:
- 這一領(lǐng)域的研究尚且年幼，讀一些關(guān)鍵的論文就可以讓你入門了：《神經(jīng)網(wǎng)絡(luò)有趣的特性》(https://arxiv.org/abs/1312.6199)、《對(duì)抗性例子的解讀和掌握》(https://arxiv.org/abs/1412.6572)、《針對(duì)機(jī)器學(xué)習(xí)的實(shí)用黑箱攻擊》(https://arxiv.org/abs/1602.02697)、和《實(shí)際生活中的對(duì)抗性例子》(https://arxiv.org/abs/1607.02533)。
- 關(guān)注Ian Goodfellow和Nicolas Papernot的cleverhans博客以跟進(jìn)最新的研究進(jìn)展:http://www.cleverhans.io/。
- 看一看正在進(jìn)行的Kaggle競(jìng)賽，研究者們正在想辦法研究新的防御這種攻擊的方法。
原文：
https://medium.com/@ageitgey/machine-learning-is-fun-part-8-how-to-intentionally-trick-neural-networks-b55da32b7196
【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
