聊聊人工智能安全現(xiàn)狀

作者：中國(guó)保密協(xié)會(huì)科學(xué)技術(shù)分會(huì) 2019-09-11 15:01:48

隨著人工智能技術(shù)的興起對(duì)該領(lǐng)域的研究也日益加深，其應(yīng)用也早已融入到很多領(lǐng)域并成為其不可分割的一部分。

隨著人工智能技術(shù)的興起對(duì)該領(lǐng)域的研究也日益加深，其應(yīng)用也早已融入到很多領(lǐng)域并成為其不可分割的一部分。目前來(lái)講，人工智能已經(jīng)涵蓋數(shù)學(xué)、計(jì)算機(jī)科學(xué)等多個(gè)學(xué)科的知識(shí)，并且對(duì)每個(gè)方向都有詳細(xì)的技術(shù)探討過(guò)程。已呈現(xiàn)星星之火、燎原之勢(shì)。但是人工智能技術(shù)是一把“雙刃劍”，在給我們生活帶來(lái)便利之時(shí)，也會(huì)帶來(lái)相關(guān)的問(wèn)題。目前安全方面的問(wèn)題最受關(guān)注，本文從其基本概念和內(nèi)涵出發(fā)，主要結(jié)合一些案例來(lái)分析目前人工智能技術(shù)存在的安全風(fēng)險(xiǎn)并在最后提出相關(guān)建議。

人工智能基本概念

1956年，美國(guó)達(dá)特茅斯會(huì)議上，科學(xué)家約翰麥卡錫首次提出“人工智能”(Artificial Intelligence, AI)一詞。人工智能是讓機(jī)器的行為看起來(lái)像人所表現(xiàn)出的智能行為一樣的技術(shù)。在人工智能概念提出時(shí)，科學(xué)家主要確定了智能的判別標(biāo)準(zhǔn)和研究目標(biāo)，而沒有回答智能的具體內(nèi)涵。之后，諸多知名學(xué)者都對(duì)人工智能內(nèi)涵提出了自己的見解，反映人工智能的基本思想和基本內(nèi)容：研究如何應(yīng)用計(jì)算機(jī)模擬人類智能行為的基本理論、方法和技術(shù)。但是，由于人工智能概念不斷演進(jìn)，目前未形成統(tǒng)一定義。

人工智能安全內(nèi)涵

人工智能安全的內(nèi)涵一方面包括人工智能在安全領(lǐng)域的應(yīng)用，如人工智能在越來(lái)越多的行業(yè)輔助或替代人類。另一方面是人工智能自身的安全問(wèn)題，是本文的著眼點(diǎn)。如何促進(jìn)人工智能的應(yīng)用更加安全和道德一直是人類長(zhǎng)期思考和不斷深化的命題。現(xiàn)階段的人工智能技術(shù)不成熟性會(huì)導(dǎo)致諸多安全風(fēng)險(xiǎn)。例如：一輛自動(dòng)駕駛汽車必須在撞一個(gè)老人和撞一個(gè)孩子之間做出抉擇時(shí)，它會(huì)怎么選擇?其背后的原因何在?它在做出選擇時(shí)會(huì)更看重哪些因素?它能夠自圓其說(shuō)嗎?這只是數(shù)學(xué)運(yùn)算的結(jié)果，在人類看來(lái)是不可解釋的。除此之外，數(shù)據(jù)的強(qiáng)依賴性和人為的惡意應(yīng)用都屬于技術(shù)不成熟性帶來(lái)的安全風(fēng)險(xiǎn);再者，不光人工智能系統(tǒng)需要安全性，其他的系統(tǒng)也需要安全性。利用人工智能去攻擊其他系統(tǒng)，探測(cè)其他系統(tǒng)的漏洞，這種行為可能會(huì)給網(wǎng)絡(luò)空間和國(guó)家社會(huì)帶來(lái)安全風(fēng)險(xiǎn)[1]。因此，人工智能安全內(nèi)涵包含[2]：降低人工智能技術(shù)不成熟性帶來(lái)的安全風(fēng)險(xiǎn)，同時(shí)利用人工智能構(gòu)建安全防護(hù)系統(tǒng)，減少人為惡意應(yīng)用帶來(lái)的危害。

人工智能安全風(fēng)險(xiǎn)分析

在分析之前，我們首先來(lái)簡(jiǎn)單的介紹一下人工智能的應(yīng)用。由于人工智能具有突出的數(shù)據(jù)分析、知識(shí)提取、自主學(xué)習(xí)等優(yōu)點(diǎn)，被廣泛應(yīng)用在網(wǎng)絡(luò)防護(hù)、數(shù)據(jù)管理、信息審查、智能安防、金融風(fēng)控以及輿情監(jiān)測(cè)等方面。在這些方面，往往存在若干安全風(fēng)險(xiǎn)，常見風(fēng)險(xiǎn)如下：

1.框架安全風(fēng)險(xiǎn)

近些年來(lái)，我們熟知的深度學(xué)習(xí)框架TensorFlow、Caffe等，及其依賴庫(kù)被多次發(fā)現(xiàn)存在安全漏洞，這些漏洞可被攻擊者利用，引發(fā)系統(tǒng)安全問(wèn)題。以生成模型(Generative Models)舉例[3]，其原本的工作原理為：輸入x經(jīng)過(guò)編碼器映射到低維表示z，再經(jīng)過(guò)解碼器映射回高維重建x，用表示。如下圖所示：

被攻擊后就可能出現(xiàn)以下情況：假設(shè)輸入為7，經(jīng)過(guò)攻擊者攻擊過(guò)的網(wǎng)絡(luò)，輸出就可能是8。如下圖所示：

除此之外，人工智能可能被利用來(lái)編寫計(jì)算機(jī)病毒、木馬，原來(lái)的惡意腳本都是通過(guò)人手工編寫，人工智能技術(shù)可以使這些流程自動(dòng)化，并通過(guò)插入對(duì)抗性樣本，繞過(guò)安全檢測(cè)[4];同樣，人工智能技術(shù)還可以自動(dòng)化地生成智能僵尸網(wǎng)絡(luò)[5]，這些網(wǎng)絡(luò)可以規(guī)模化、自動(dòng)化地對(duì)其他系統(tǒng)進(jìn)行攻擊，而不需要等待僵尸網(wǎng)絡(luò)控制者的命令，大大加劇了網(wǎng)絡(luò)攻擊的破壞程度。

2.數(shù)據(jù)安全風(fēng)險(xiǎn)

攻擊者可以通過(guò)網(wǎng)絡(luò)的內(nèi)部參數(shù)逆向獲取網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集[6];人工智能技術(shù)還會(huì)加強(qiáng)數(shù)據(jù)挖掘的能力，這加大了隱私泄露的風(fēng)險(xiǎn)，例如2018年3月的Facebook數(shù)據(jù)泄露事件。

3.算法安全風(fēng)險(xiǎn)

對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)目標(biāo)函數(shù)定義的不準(zhǔn)確、不合理或者不正確也可能會(huì)導(dǎo)致錯(cuò)誤甚至傷害性的結(jié)果。錯(cuò)誤的目標(biāo)函數(shù)、計(jì)算成本太高的目標(biāo)函數(shù)、表達(dá)能力有限的網(wǎng)絡(luò)都可能使網(wǎng)絡(luò)產(chǎn)生錯(cuò)誤的結(jié)果。例如，2018年3月，Uber自動(dòng)駕駛汽車因機(jī)器視覺系統(tǒng)未及時(shí)識(shí)別路上突然出現(xiàn)的行人，導(dǎo)致與行人相撞，導(dǎo)致行人死亡的事故。算法存在偏見與人工智能的不可解釋性也是一個(gè)重大的問(wèn)題。之前美國(guó)利用人工智能算法預(yù)測(cè)犯罪的人，名單暴露，其中許多無(wú)辜的人被冤枉，并且被冤枉的人中大多數(shù)為黑人，并且對(duì)于決策算法中系統(tǒng)為什么做出這樣的決策，即使它的開發(fā)者也無(wú)法給出合理的解釋。對(duì)抗性樣本的出現(xiàn)也會(huì)使算法出現(xiàn)誤判的情況，如下圖中加入少量的噪聲，AI便將熊貓以很高的置信度識(shí)別成長(zhǎng)臂猿。

4.信息安全風(fēng)險(xiǎn)

只要有足夠的訓(xùn)練數(shù)據(jù)，人工智能就可以制作虛假的信息，用于不法活動(dòng)。例如AI換臉技術(shù)DeepFakes，還有前段時(shí)間出現(xiàn)的DeepNude。一些不法分子利用虛假的語(yǔ)音與視頻來(lái)實(shí)施詐騙。目前谷歌發(fā)明的聊天機(jī)器人在與人進(jìn)行電話聊天時(shí)，已經(jīng)完全能騙過(guò)人類。

5.社會(huì)安全風(fēng)險(xiǎn)

這也是目前最熱、最有爭(zhēng)議的一個(gè)方面。首先，人工智能在不久的將來(lái)會(huì)取代很多崗位上的工人，這點(diǎn)從目前發(fā)展趨勢(shì)來(lái)看是正確的，如果相關(guān)崗位人員不學(xué)習(xí)新技能，就會(huì)面臨失業(yè)，從而導(dǎo)致嚴(yán)重的社會(huì)問(wèn)題。其次，人工智能系統(tǒng)可能會(huì)危及到人類安全，由于技術(shù)的不成熟性，自動(dòng)汽車、無(wú)人機(jī)等的一些行為可能會(huì)導(dǎo)致人類自身的安全風(fēng)險(xiǎn)。2016年特斯拉汽車無(wú)法識(shí)別藍(lán)天背景下的白色貨車導(dǎo)致車禍;2018年Uber自動(dòng)汽車因機(jī)器視覺系統(tǒng)未及時(shí)識(shí)別路上突然出現(xiàn)的行人，與行人相撞導(dǎo)致行人死亡;近些年來(lái)，我國(guó)出現(xiàn)多起無(wú)人機(jī)干擾導(dǎo)致航班緊急迫降事件。另外，人工智能產(chǎn)品可能會(huì)對(duì)現(xiàn)有社會(huì)道德倫理產(chǎn)生沖擊[7]：1)AI算法存在偏見會(huì)影響社會(huì)的公平正義，例如，為何黑人的犯罪率就大大高于白人?2)AI算法缺乏道德規(guī)范約束，只知道達(dá)到自己的目的，而不會(huì)考慮別人的權(quán)益。例如，一些APP會(huì)利用人工智能系統(tǒng)根據(jù)用戶最近的一些活動(dòng)自動(dòng)向用戶發(fā)送短信推銷產(chǎn)品、做廣告，它無(wú)法保證其內(nèi)容的真實(shí)性以及它的行為是否侵犯了用戶的某些權(quán)益。3) 假如人與人工智能出現(xiàn)類夫妻、父女等情感，將考問(wèn)現(xiàn)代倫理規(guī)范。

6.國(guó)家安全風(fēng)險(xiǎn)

人工智能可用于影響公眾意識(shí)形態(tài)。例如美國(guó)大選時(shí)，對(duì)候選人通過(guò)點(diǎn)對(duì)點(diǎn)的虛假新聞推送，影響公眾意識(shí)形態(tài)來(lái)影響大選結(jié)果。人工智能還可用于構(gòu)建新型軍事力量，如2018年8月委內(nèi)瑞拉總統(tǒng)在公開活動(dòng)中受到了無(wú)人機(jī)炸彈的轟炸，這是全球利用人工智能產(chǎn)品進(jìn)行恐怖活動(dòng)的首例。

人工智能作為引領(lǐng)未來(lái)的戰(zhàn)略性技術(shù)，已然成為了驅(qū)動(dòng)社會(huì)各領(lǐng)域發(fā)展的重要引擎。然而，人工智能是一把“雙刃劍”，需要加強(qiáng)對(duì)安全風(fēng)險(xiǎn)的研究和預(yù)防，推動(dòng)其在安全領(lǐng)域的應(yīng)用，力圖在下一輪的人工智能發(fā)展浪潮中占得先機(jī)，贏得主動(dòng)。為此，對(duì)于人工智能安全的發(fā)展有以下幾點(diǎn)建議：

1.加強(qiáng)技術(shù)應(yīng)用研究，提升網(wǎng)絡(luò)空間安全防御能力

2.立法和技術(shù)研究并重，促進(jìn)個(gè)人隱私安全管理

3.強(qiáng)化人工智能應(yīng)用安全，規(guī)避人身安全風(fēng)險(xiǎn)

4.優(yōu)化學(xué)科專業(yè)設(shè)置和在線培訓(xùn)，降低社會(huì)失業(yè)風(fēng)險(xiǎn)

5.加強(qiáng)國(guó)際交流，共同應(yīng)對(duì)安全風(fēng)險(xiǎn)。

參考文獻(xiàn)：

[1] Henry A. Kissinger. TheMetamorphosis.Technology[J],2019年8月刊.

[2]中國(guó)信息通信研究院.人工智能安全白皮書(2018年)[R].2018.

[3] Microsoft Research FacultySummit 2017 AI and Security[R].2017.

[4]Malwarebytes.當(dāng)人工智能誤入歧途:將科幻小說(shuō)與現(xiàn)實(shí)分離[R].2019.

[5] Ben Dickson.The securitythreats of neural networks and deep learning algorithms[C].2018.

[6] Chiyuan Zhang.Understandingdeep learning requires rethinking generalization[C].2017.