計(jì)算機(jī)科學(xué)中正迅速發(fā)展的機(jī)器學(xué)習(xí)領(lǐng)域，工程師們常將人工智能(AI)稱作“黑箱”系統(tǒng)：一旦機(jī)器學(xué)習(xí)引擎經(jīng)由樣本數(shù)據(jù)集訓(xùn)練，用以執(zhí)行從面部識(shí)別到惡意軟件檢測(cè)等各種任務(wù)，它們便能接受詢問——這是誰的臉?這個(gè)App安全嗎?并能自行給出答案——無需任何人，甚至是其創(chuàng)造者的指導(dǎo)，自身內(nèi)部就完全理解了決策機(jī)制。

[[173525]]

但研究人員逐漸證明，雖然這些機(jī)器學(xué)習(xí)引擎的內(nèi)部機(jī)制神秘莫測(cè)，它們也并非是完全隱秘的。事實(shí)上，研究人員已經(jīng)發(fā)現(xiàn)這些黑箱的內(nèi)容物可以被逆向，甚至完全復(fù)制——用某隊(duì)研究員的話說就是“竊取”，逆向和復(fù)制方法還是用以創(chuàng)建這些系統(tǒng)的同一套。

9月初發(fā)表的一篇論文《通過 Prediction API 盜取機(jī)器學(xué)習(xí)模型》中，來自康乃爾科技學(xué)院、瑞士洛桑理工學(xué)院(EPFL)、北卡羅萊納大學(xué)的一隊(duì)計(jì)算機(jī)科學(xué)家，詳細(xì)描述了他們是怎樣僅靠發(fā)問和分析響應(yīng)，來逆向機(jī)器學(xué)習(xí)訓(xùn)練過的AI的。通過用目標(biāo)AI的輸出來訓(xùn)練他們自己的AI，這隊(duì)科學(xué)家可以產(chǎn)出能近100%預(yù)測(cè)被克隆AI響應(yīng)的軟件，有時(shí)候僅用幾千甚至幾百個(gè)查詢來訓(xùn)練就行了。

康乃爾科技學(xué)院教授阿里·祖爾說：“拿到黑箱，通過這個(gè)窄小的接口，你就可以重建其內(nèi)部，逆向工程這個(gè)箱子。某些情況下，真能達(dá)到完美重現(xiàn)。”

拿下黑箱內(nèi)部

研究人員表示，該手法可被用于允許用戶上傳數(shù)據(jù)給機(jī)器學(xué)習(xí)引擎，并在線發(fā)布或共享結(jié)果模型的服務(wù)。亞馬遜、谷歌、微軟、BigML之類的公司都有提供此類服務(wù)，有時(shí)候是以按查詢付款的商業(yè)模式提供。研究人員將自己的方法稱之為“萃取攻擊”，該方法能復(fù)制本應(yīng)專有的AI引擎，某些情況下甚至能重現(xiàn)當(dāng)初用以訓(xùn)練AI的敏感私有數(shù)據(jù)。進(jìn)入斯坦福大學(xué)之前忙于此AI盜取項(xiàng)目的EPFL研究員弗洛里安·特拉馬爾說：“一旦你發(fā)現(xiàn)了其中模型，就不需要再為專利AI付費(fèi)了，還能獲取大量隱私泄露。”

其他情況下，該技術(shù)可能會(huì)讓黑客逆向并擊潰基于機(jī)器學(xué)習(xí)的安全系統(tǒng)，比如用來過濾垃圾郵件和惡意軟件的那些。“幾個(gè)小時(shí)的努力后，你就能萃取出一個(gè)AI模型，如果此模型被用于某個(gè)產(chǎn)品系統(tǒng)，那這個(gè)系統(tǒng)從此對(duì)你再無阻礙。”

研究人員的技術(shù)，基本上是通過機(jī)器學(xué)習(xí)自身來逆向機(jī)器學(xué)習(xí)軟件。簡(jiǎn)單舉例，機(jī)器學(xué)習(xí)訓(xùn)練的垃圾郵件過濾器，可以判定所給郵件是否垃圾郵件，它會(huì)給出一個(gè)“置信度值”，揭示其判斷的正確程度。回答可被描述為AI決策閾值界限任一邊的點(diǎn)，置信度值顯示的就是這個(gè)點(diǎn)距離界限的遠(yuǎn)近。不斷用測(cè)試郵件嘗試過濾器，可以揭示出定義那條界限的精確線。該技術(shù)可被擴(kuò)展成更加復(fù)雜的多維模型，給出更為精準(zhǔn)的答案而非簡(jiǎn)單的“是/不是”回答。(甚至目標(biāo)機(jī)器學(xué)習(xí)引擎不提供置信度值的情況下，這手段都有效，只不過需要數(shù)十上百倍的查詢。)

盜取牛排熟度偏好預(yù)測(cè)器

研究人員在兩個(gè)服務(wù)上測(cè)試了他們的攻擊方法：亞馬遜的機(jī)器學(xué)習(xí)平臺(tái)，以及線上機(jī)器學(xué)習(xí)服務(wù)BigML。他們用一系列通用數(shù)據(jù)集逆向工程了基于這些平臺(tái)的AI模型。例如，在亞馬遜的平臺(tái)上，他們嘗試“盜取”一個(gè)基于人口統(tǒng)計(jì)學(xué)因素預(yù)測(cè)個(gè)人薪水的算法。該算法用到的人口統(tǒng)計(jì)學(xué)因素包括有聘用情況、婚姻狀況、信用評(píng)分等。亞馬遜平臺(tái)上另一個(gè)試圖基于手寫數(shù)字圖片識(shí)別其中數(shù)字的算法，也在他們盜取目標(biāo)之列。人口統(tǒng)計(jì)學(xué)案例中，僅1485次查詢，就復(fù)制出了相差無幾的模型。數(shù)字識(shí)別案例甚至區(qū)區(qū)650次查詢就達(dá)成復(fù)制目的。

BigML服務(wù)上，基于人口統(tǒng)計(jì)學(xué)預(yù)測(cè)德國(guó)公民信用評(píng)分的一個(gè)算法，以及基于其他生活方式問題答案預(yù)測(cè)人們牛排熟度偏好的另一個(gè)算法，是他們檢測(cè)其“萃取技術(shù)”的目標(biāo)。復(fù)制信用評(píng)分引擎花費(fèi)了1150次查詢;拷貝牛排熟度偏好預(yù)測(cè)器，則用掉了超過4000次查詢。

尼古拉斯·帕佩諾特，賓夕法尼亞州立大學(xué)研究員，今年早些時(shí)候進(jìn)行了另一個(gè)機(jī)器學(xué)習(xí)逆向工程項(xiàng)目的研究。他說，不是每個(gè)機(jī)器學(xué)習(xí)算法都能被簡(jiǎn)單重現(xiàn)。這篇最新AI盜取論文中的例子，重現(xiàn)的是相對(duì)簡(jiǎn)單的機(jī)器學(xué)習(xí)引擎。更復(fù)雜的引擎需要多得多的計(jì)算量，尤其是機(jī)器學(xué)習(xí)接口學(xué)會(huì)隱藏其置信度值的情況下。“如果機(jī)器學(xué)習(xí)平臺(tái)決定使用更大的模型，或者隱藏起置信度值，那么攻擊難度就大得多了。但這篇論文還是很有趣，因?yàn)樗麄儽┞冻霎?dāng)前機(jī)器學(xué)習(xí)服務(wù)的模型是如此淺陋，隨隨便便就能被萃取。”

在給《連線》雜志的一封電子郵件中，BigML預(yù)測(cè)應(yīng)用副總裁阿塔康·塞汀索依對(duì)該研究不慎重視。他寫道：“這研究根本沒暴露出BigML的平臺(tái)有任何的安全或隱私威脅。”他辯稱，雖然BigML確實(shí)允許用戶以按查詢付費(fèi)的方式共享黑箱AI引擎，但目前沒有任何用戶對(duì)他們共享的AI引擎收費(fèi)。他還贊同帕佩諾特的觀點(diǎn)，認(rèn)為BigML上托管的很多機(jī)器學(xué)習(xí)模型都過于復(fù)雜，無法逆向，而且對(duì)該服務(wù)上模型的任何盜取行為都是違法的。

亞馬遜拒絕了《連線》雜志的評(píng)論請(qǐng)求，但研究人員聯(lián)系該公司時(shí)，亞馬遜回復(fù)說，因?yàn)閬嗰R遜沒有公開其機(jī)器學(xué)習(xí)引擎，僅允許用戶在協(xié)作者間共享訪問，他們AI盜取攻擊的風(fēng)險(xiǎn)是被減輕了的。換句話說，該公司警告：注意你共享AI的對(duì)象。

從面部識(shí)別到面部重建

除了單純的AI盜取，研究人員的攻擊還能讓用于AI訓(xùn)練的敏感數(shù)據(jù)重建變得更加容易。去年年末發(fā)表的另一篇論文就表明，根據(jù)照片猜測(cè)人名的面部識(shí)別AI是可以被逆向的。該方法會(huì)向目標(biāo)AI不斷發(fā)送測(cè)試照片，微調(diào)這些照片，直到命中該機(jī)器學(xué)習(xí)引擎借以訓(xùn)練的照片，在研究人員的電腦從未實(shí)際見過的情況下重現(xiàn)出確切人臉圖像。通過在執(zhí)行面部重建技術(shù)之前進(jìn)行他們的AI盜取攻擊，研究人員在自己電腦上運(yùn)行的盜版AI上重建面部圖像，甚至比用原版AI引擎還快得多。盜版AI在10小時(shí)之內(nèi)就重建了40幅不同人臉，而原版AI需要16小時(shí)。

逆向工程機(jī)器學(xué)習(xí)引擎的想法，實(shí)際上，在AI研究圈子里已經(jīng)興起幾個(gè)月了。2月份，另一組研究人員就展示了大約80%準(zhǔn)確性的機(jī)器學(xué)習(xí)系統(tǒng)復(fù)制能力。即便在那個(gè)時(shí)候，他們就發(fā)現(xiàn)，通過在盜版系統(tǒng)上測(cè)試輸入，常可以學(xué)到欺騙原版的方法。比如說，他們將該技術(shù)應(yīng)用到數(shù)字或道路標(biāo)識(shí)識(shí)別AI引擎上時(shí)，能讓該引擎對(duì)84%~96%的測(cè)試用例做出錯(cuò)誤判斷。

這最新的機(jī)器學(xué)習(xí)引擎復(fù)制研究能讓該欺騙手法更加簡(jiǎn)單。而一旦機(jī)器學(xué)習(xí)被應(yīng)用于關(guān)鍵安全任務(wù)，比如自動(dòng)駕駛汽車或惡意軟件過濾，盜取并分析這些引擎的能力就會(huì)引發(fā)麻煩后果。無論是否黑箱，讓你的AI隱身都是明智的做法。