1.人工智能發(fā)展軌跡

人工智能（Aritificial Intelligene）的概念在1956年，約翰·麥卡錫在達(dá)茅斯學(xué)院夏季學(xué)術(shù)研討會(huì)上首次提出之前，人類(lèi)已經(jīng)在機(jī)器替代人類(lèi)從事繁重、重復(fù)勞動(dòng)的道路上不斷地探索。

1882年2月，尼古拉·特斯拉完成了困擾其5年的交流電發(fā)電機(jī)設(shè)想，欣喜若狂地感嘆道“從此之后人類(lèi)不再是重體力勞動(dòng)的奴役，我的機(jī)器將解放他們，全世界都將如此”。

1936年，為證明數(shù)學(xué)中存在不可判定命題，艾倫·圖靈提出“圖靈機(jī)”的設(shè)想，1948年在論文《 INTELLIGENT MACHINERY》中描繪了聯(lián)結(jié)主義的大部分內(nèi)容，緊接著在1950年發(fā)表《COMPUTING MACHINERY AND INTELLIGENCE》，提出了著名的“圖靈測(cè)試”。同年，馬文·明斯基與其同學(xué)鄧恩·埃德蒙建造了世界上第一臺(tái)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。

1955年馮·諾伊曼接受了耶魯大學(xué)西里曼講座的邀請(qǐng)，講稿內(nèi)容后來(lái)匯總成書(shū)《THE COMPUTER AND THE BRAIN》。

人工智能自1956年提出到今天，經(jīng)歷了三次發(fā)展高潮。

第一次發(fā)展高潮：1956年~1980年，以專(zhuān)家系統(tǒng)、經(jīng)典機(jī)器學(xué)習(xí)為代表的符號(hào)主義（Symbolism）占據(jù)統(tǒng)治地位。也被稱(chēng)之為第一代人工智能，符號(hào)主義提出基于知識(shí)和經(jīng)驗(yàn)的推理模型來(lái)模擬人類(lèi)的理性智能行為，像推理、規(guī)劃、決策等。因此在機(jī)器里建立知識(shí)庫(kù)和推理機(jī)制來(lái)模擬人類(lèi)的推理和思考行為。

符號(hào)主義最具有代表性的成果是1997年5月IBM國(guó)際象棋程序深藍(lán)打敗世界冠軍卡斯帕羅夫，成功要素有三個(gè)：第一個(gè)要素是知識(shí)和經(jīng)驗(yàn)，深藍(lán)分析700000盤(pán)人類(lèi)大師下過(guò)的棋局及全部的5-6只殘局，總結(jié)成為下棋的規(guī)則。

然后通過(guò)大師和機(jī)器之間的對(duì)弈，調(diào)試評(píng)價(jià)函數(shù)中的參數(shù)，充分吸收大師的經(jīng)驗(yàn)。第二個(gè)要素是算法，深藍(lán)使用阿爾法-貝塔剪枝算法，速度很快。第三個(gè)要素是算力，IBM當(dāng)時(shí)用RS/6000SP2機(jī)器，每秒能夠分析2億步，平均每秒鐘能夠往前預(yù)測(cè)8-12步。

符號(hào)主義的優(yōu)勢(shì)是能夠模仿人類(lèi)的推理和思考的過(guò)程，與人類(lèi)思考問(wèn)題過(guò)程一致，且可以舉一反三，因此具有可解釋性。但符號(hào)主義也存在著非常嚴(yán)重的缺陷，一是專(zhuān)家知識(shí)十分稀缺和昂貴，二是專(zhuān)家知識(shí)需要通過(guò)人工編程輸入到機(jī)器里面，費(fèi)時(shí)費(fèi)力，三是有很多知識(shí)是很難表達(dá)，比如中醫(yī)專(zhuān)家號(hào)脈等經(jīng)驗(yàn)很難表達(dá)，因此符號(hào)主義的應(yīng)用范圍非常有限。

第二次發(fā)展高潮：1980年~1993年，以符號(hào)主義和連接主義（Connectionism）為代表；

第三次發(fā)展高潮：1993年~1996年，深度學(xué)習(xí)借助算力和數(shù)據(jù)大獲成功，連接主義變得炙手可熱；

深度學(xué)習(xí)通過(guò)深度神經(jīng)網(wǎng)絡(luò)的模型模擬人類(lèi)的感知，如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等。深度學(xué)習(xí)有兩個(gè)優(yōu)點(diǎn)：第一個(gè)優(yōu)點(diǎn)是不需要領(lǐng)域?qū)＜抑R(shí)，技術(shù)門(mén)檻低；第二個(gè)優(yōu)點(diǎn)是升級(jí)網(wǎng)絡(luò)規(guī)模越大，能夠處理的數(shù)據(jù)越大。

深度學(xué)習(xí)一個(gè)最典型的例子是圍棋程序。在2015年10月之前，用符號(hào)主義的方法，即知識(shí)驅(qū)動(dòng)的方法做出來(lái)的圍棋程序，最高達(dá)到業(yè)余5段的水平。到了2015年10月份，圍棋程序打敗了歐洲的冠軍，到2016年3月份打敗了世界冠軍。到2017年10月份，AlphaGo元打敗了AlphaGo，AlphaGo元利用了深度學(xué)習(xí)，使得圍棋程序的水平實(shí)現(xiàn)了三級(jí)跳，從業(yè)余跳到專(zhuān)業(yè)水平，又從專(zhuān)業(yè)水平到世界冠軍，又從世界冠軍到超過(guò)世界冠軍。

AlphaGo兩年實(shí)現(xiàn)了三級(jí)跳，成功主要來(lái)自于三個(gè)方面：大數(shù)據(jù)，算法，算力。AlphaGo學(xué)習(xí)了3000萬(wàn)盤(pán)已有的棋局，自己與自己又下了3000萬(wàn)盤(pán)，一共6000萬(wàn)盤(pán)棋局，采用蒙特卡羅樹(shù)搜索、強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)等算法，一共用了1202個(gè)CPU和280個(gè)GPU來(lái)計(jì)算。

深度學(xué)習(xí)也有很大的局限性，如不可解釋、不安全、不易泛化、需要大量的樣本等。比如一張人臉的圖片加一點(diǎn)修改后可能被識(shí)別成狗，為什么會(huì)出現(xiàn)這種情況，人類(lèi)無(wú)法理解，這就是不可解釋性。

2016年，以強(qiáng)化學(xué)習(xí)為代表的行為主義（Actionism）在AlphaZero橫空出世之后大獲關(guān)注，更是被譽(yù)為通向通用人工智能的必經(jīng)之路。

以邏輯推理為代表的符號(hào)主義以知識(shí)驅(qū)動(dòng)智能，以深度學(xué)習(xí)為代表的連接主義以數(shù)據(jù)驅(qū)動(dòng)智能，都存在很大的缺陷，應(yīng)用范圍受限。

以強(qiáng)化學(xué)習(xí)為代表的行為主義綜合利用知識(shí)、數(shù)據(jù)、算法和算力四個(gè)要素，將人腦的反饋、橫向連接、稀疏放電、注意力機(jī)制、多模態(tài)、記憶等機(jī)制引入，有望克服前兩代人工智能的缺陷，獲得更廣泛的應(yīng)用。

2.人腦工作的幾個(gè)機(jī)制

【預(yù)測(cè)與反饋機(jī)制】

大腦通過(guò)一段時(shí)間的生活，觀察世界并建立記憶模型；日常生活中，大腦都會(huì)自動(dòng)地在潛意識(shí)中對(duì)照之前的記憶模型并且預(yù)測(cè)下一步將發(fā)生什么。當(dāng)察覺(jué)到了一個(gè)和預(yù)測(cè)的情況不符合的時(shí)候就會(huì)引起大腦的反饋。

腦細(xì)胞之所以能夠進(jìn)行信息傳遞，是因?yàn)樗鼈儞碛猩衿娴挠|手——樹(shù)突和軸突。憑借著短短的樹(shù)突，腦細(xì)胞可以接受由其他腦細(xì)胞傳遞過(guò)來(lái)的信息，而憑借著長(zhǎng)長(zhǎng)的軸突，腦細(xì)胞又會(huì)把信息傳遞給其他腦細(xì)胞（如下圖所示）。

信息在腦細(xì)胞之間不斷地傳遞，便形成了人類(lèi)的感覺(jué)和想法。而整個(gè)大腦，就是由腦細(xì)胞相互連接而成的一張大網(wǎng)，如下圖所示：

在機(jī)器學(xué)習(xí)領(lǐng)域中，為了得到這樣一個(gè)人工神經(jīng)網(wǎng)絡(luò)，首先，要規(guī)定一個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，該網(wǎng)絡(luò)中有多少個(gè)神經(jīng)元，神經(jīng)元之間如何連接。接下來(lái)，需要定義一個(gè)誤差函數(shù)（error function）。誤差函數(shù)用來(lái)評(píng)估這個(gè)網(wǎng)絡(luò)目前表現(xiàn)如何以及應(yīng)該如何調(diào)整其中的神經(jīng)元連接來(lái)減少誤差。突觸強(qiáng)度決定神經(jīng)活動(dòng)，神經(jīng)活動(dòng)決定網(wǎng)絡(luò)輸出，網(wǎng)絡(luò)輸出決定網(wǎng)絡(luò)誤差。

當(dāng)前，“反向傳播”（back propagation）是機(jī)器學(xué)習(xí)領(lǐng)域最常用、最成功的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法。用反向傳播訓(xùn)練的網(wǎng)絡(luò)在最近的機(jī)器學(xué)習(xí)浪潮中占據(jù)著中流砥柱的地位，在語(yǔ)音和圖像識(shí)別、語(yǔ)言翻譯等方面取得不錯(cuò)的效果。

同時(shí)也推動(dòng)了無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning）的進(jìn)步，在圖像和語(yǔ)音生成、語(yǔ)言建模和一些高階預(yù)測(cè)任務(wù)中已不可或缺。與強(qiáng)化學(xué)習(xí)互相配合，反向傳播能完成許多諸如精通雅達(dá)利游戲，在圍棋和撲克牌上戰(zhàn)勝人類(lèi)頂尖選手等控制任務(wù)（control problems）。

反向傳播算法將誤差信號(hào)（error signals）送入反饋連接（feedback connections），幫助神經(jīng)網(wǎng)絡(luò)調(diào)節(jié)突觸強(qiáng)度，在監(jiān)督學(xué)習(xí)（supervised learning）領(lǐng)域用得非常普遍。但大腦中的反饋連接似乎有著不同的作用，且大腦的學(xué)習(xí)大部分都是無(wú)監(jiān)督學(xué)習(xí)。因此，反向傳播算法能否解釋大腦的反饋機(jī)制？當(dāng)前還沒(méi)有確定性答案。

【腦內(nèi)連接】

人腦神經(jīng)元間特殊的連接方式是研究人腦與眾不同的重要方向。核磁共振成象是這個(gè)研究的一種關(guān)鍵的工具，這種技術(shù)可以在不開(kāi)顱骨的前提下，將神經(jīng)元延伸出的連接不同腦區(qū)的長(zhǎng)纖維可視化。這些連接像電線一樣在神經(jīng)元間傳遞電信號(hào)。所有這些連接合在一起被稱(chēng)為連接組，它能為我們研究大腦如何處理信息這個(gè)問(wèn)題提供線索。

假設(shè)每個(gè)神經(jīng)細(xì)胞與其他所有神經(jīng)細(xì)胞相連，這種一對(duì)多的方式構(gòu)成的連接組是最高效的。但這種模式需要大量的空間和能量來(lái)容納所有的連接并維持其正常運(yùn)轉(zhuǎn)，因此是肯定行不通的。另一種模式為一對(duì)一的連接，即每個(gè)神經(jīng)元僅與其它單個(gè)神經(jīng)元相連。這種連接難度更小，但同時(shí)效率也更低：信息必須像踩著一塊一塊的墊腳石一樣穿過(guò)大量的神經(jīng)細(xì)胞才能從A點(diǎn)到達(dá)B點(diǎn)。

“現(xiàn)實(shí)中的生命處于二者之間，”特拉維夫大學(xué)的Yaniv Assaf說(shuō)道，他在《自然·神經(jīng)科學(xué)》上發(fā)表了一項(xiàng)關(guān)于123種哺乳動(dòng)物連接組的調(diào)查。此團(tuán)隊(duì)發(fā)現(xiàn)不同物種的大腦中，信息從一個(gè)位置到達(dá)另一個(gè)位置所需要的墊腳石的數(shù)量是大致相等的，而且采用的連接方式是相似的。但不同物種間腦內(nèi)連接布局實(shí)現(xiàn)的方式卻存在差異。對(duì)于有著少數(shù)連通大腦兩個(gè)半球的長(zhǎng)距離連接的物種，每一個(gè)腦半球中往往會(huì)有更多較短的連接，腦半球中鄰近的腦區(qū)會(huì)頻繁交流。

【記憶】

人類(lèi)大腦內(nèi)在數(shù)十億個(gè)神經(jīng)細(xì)胞，它們相互之間通過(guò)神經(jīng)突觸相互影響，形成極其復(fù)雜的相互聯(lián)系。記憶就是腦神經(jīng)細(xì)胞之間的相互呼叫作用，其中有些相互呼叫作用所維持時(shí)間是短暫的，有些是持久的，而還有一些介于兩者之間。

腦神經(jīng)元之間存在四種基本相互作用形式：

• 單純激發(fā)：一個(gè)神經(jīng)元興奮，激發(fā)相接的另一神經(jīng)元興奮。
• 單純抑制：一個(gè)神經(jīng)元興奮，提高相接的另一神經(jīng)元的感受閾。
• 正反饋：一個(gè)神經(jīng)元興奮，激發(fā)相接的另一神經(jīng)元興奮，后者反過(guò)來(lái)直接或間接地降低前者的興奮閾，或回輸信號(hào)給前者的感受突觸。
• 負(fù)反饋：一個(gè)神經(jīng)元興奮，激發(fā)相接的另一神經(jīng)元興奮，后者反過(guò)來(lái)直接或間接地提高前者的興奮閾，使前者興奮度下降。

人腦內(nèi)存在多種不同活性的神經(jīng)元細(xì)胞，分別負(fù)責(zé)短期、中期、長(zhǎng)期記憶。

活潑神經(jīng)元細(xì)胞負(fù)責(zé)短期記憶，數(shù)量較少，決定人的短期反應(yīng)能力 。這種細(xì)胞在受到神經(jīng)信號(hào)刺激時(shí)，會(huì)短暫地出現(xiàn)感應(yīng)閾下降的現(xiàn)象，但其突觸一般不會(huì)發(fā)生增生，而且感應(yīng)閾下降只能維持?jǐn)?shù)秒至數(shù)分鐘，然后就會(huì)回復(fù)到正常水平。

中性神經(jīng)元細(xì)胞負(fù)責(zé)中期記憶，數(shù)量居中，決定人的學(xué)習(xí)適應(yīng)能力 。這種細(xì)胞在受到適量的神經(jīng)信號(hào)刺激時(shí)，就會(huì)發(fā)生突觸增生，但這種突觸增生較緩慢，需要多次刺激才能形成顯著的改變，而且增生狀態(tài)只能維持?jǐn)?shù)天至數(shù)周，較容易發(fā)生退化。

惰性神經(jīng)元細(xì)胞負(fù)責(zé)長(zhǎng)期記憶，數(shù)量較多，決定人的知識(shí)積累能力。這種細(xì)胞在受到大量反復(fù)的神經(jīng)信號(hào)刺激時(shí)，才會(huì)發(fā)生突觸增生，這種突觸增生極緩慢，需要很多次反復(fù)刺激才能形成顯著的改變，但增生狀態(tài)能維持?jǐn)?shù)月至數(shù)十年，不易退化。

當(dāng)一個(gè)腦神經(jīng)元細(xì)胞受到刺激發(fā)生興奮時(shí)，它的突觸就會(huì)發(fā)生增生或感應(yīng)閾下降，經(jīng)常受到刺激而反復(fù)興奮的腦神經(jīng)元細(xì)胞，它的突觸會(huì)比其它較少受到刺激和興奮的腦神經(jīng)元細(xì)胞具有更強(qiáng)的信號(hào)發(fā)放和信號(hào)接受能力。

當(dāng)兩個(gè)相互間有突觸鄰接的神經(jīng)元細(xì)胞同時(shí)受到刺激而同時(shí)發(fā)生興奮時(shí)，兩個(gè)神經(jīng)元細(xì)胞的突觸就會(huì)同時(shí)發(fā)生增生，以至它們之間鄰接的突觸對(duì)的相互作用得到增強(qiáng)，當(dāng)這種同步刺激反復(fù)多次后，兩個(gè)神經(jīng)元細(xì)胞的鄰接突觸對(duì)的相互作用達(dá)到一定的強(qiáng)度(達(dá)到或超過(guò)一定的閾值)，則它們之間就會(huì)發(fā)生興奮的傳播現(xiàn)象，就是當(dāng)其中任何一個(gè)神經(jīng)元細(xì)胞受到刺激發(fā)生興奮時(shí)，都會(huì)引起另一個(gè)神經(jīng)元細(xì)胞發(fā)生興奮，從而形成神經(jīng)元細(xì)胞之間的相互呼應(yīng)聯(lián)系，這就是即記憶聯(lián)系。

因此記憶指可回憶，可回憶決定于神經(jīng)元細(xì)胞之間聯(lián)系的通暢程度，即神經(jīng)元細(xì)胞之間的聯(lián)系強(qiáng)度大于感應(yīng)閾，形成神經(jīng)元細(xì)胞之間的顯性聯(lián)系，這就是大腦記憶的本質(zhì)。

【注意力機(jī)制】

人腦在進(jìn)行閱讀時(shí)，并不是嚴(yán)格的解碼過(guò)程，而是接近于一種模式識(shí)別。大腦會(huì)自動(dòng)忽略低可能、低價(jià)值的信息，也會(huì)自動(dòng)地基于上下文的信息，將閱讀的內(nèi)容更正為“大腦認(rèn)為正確的版本”，這就是所謂的人腦注意力。

“注意力機(jī)制”（Attention Mechanism）是機(jī)器學(xué)習(xí)中仿生人腦注意力的一種數(shù)據(jù)處理方法，廣泛應(yīng)用在自然語(yǔ)言處理、圖像識(shí)別及語(yǔ)音識(shí)別等各種不同類(lèi)型的機(jī)器學(xué)習(xí)任務(wù)中。比如機(jī)器翻譯經(jīng)常采用“LSTM+注意力”模型，LSTM（Long Short Term Memory）是RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的一種應(yīng)用。可以簡(jiǎn)單理解為，每一個(gè)神經(jīng)元都具有輸入門(mén)、輸出門(mén)、遺忘門(mén)。輸入門(mén)、輸出門(mén)將LSTM神經(jīng)元首尾連接在一起，而遺忘門(mén)將無(wú)意義內(nèi)容弱化或遺忘。“注意力機(jī)制”就應(yīng)用在LSTM的遺忘門(mén)，使得機(jī)器閱讀更加貼近于人類(lèi)閱讀的習(xí)慣，也使得翻譯結(jié)果具有上下文聯(lián)系。

【多模態(tài)神經(jīng)元】

十五年前，Quiroga等人發(fā)現(xiàn)人類(lèi)大腦中擁有多模態(tài)神經(jīng)元。這些神經(jīng)元會(huì)對(duì)圍繞著一個(gè)高級(jí)主題的抽象概念（而不是對(duì)特定視覺(jué)特征的抽象概念）做出反應(yīng)。其中，最著名的當(dāng)屬“Halle Berry”神經(jīng)元，只對(duì)美國(guó)女演員“Halle Berry”的相片、草圖、文字做出反應(yīng)，在《科學(xué)美國(guó)人》和《紐約時(shí)報(bào)》都使用過(guò)此例子[11]。

OpenAI發(fā)布的CLIP，采用多模態(tài)神經(jīng)元，達(dá)到了可與ResNet-50表現(xiàn)力相比肩的通用視覺(jué)系統(tǒng)，在一些具有挑戰(zhàn)性的數(shù)據(jù)集上，CLIP的表現(xiàn)超過(guò)了現(xiàn)有的視覺(jué)系統(tǒng)。

機(jī)器學(xué)習(xí)引入多模態(tài)神經(jīng)元，指對(duì)文字、聲音、圖片、視頻等多模態(tài)的數(shù)據(jù)和信息進(jìn)行深層次多維度的語(yǔ)義理解，包括數(shù)據(jù)語(yǔ)義、知識(shí)語(yǔ)義、視覺(jué)語(yǔ)義、語(yǔ)音語(yǔ)義一體化和自然語(yǔ)言語(yǔ)義等多方面的語(yǔ)義理解技術(shù)。比如視覺(jué)語(yǔ)義化可以讓機(jī)器從看清到看懂視頻，并提煉出結(jié)構(gòu)化語(yǔ)義知識(shí)。

3.智能系統(tǒng)的基本構(gòu)成

自動(dòng)駕駛系統(tǒng)是一個(gè)典型的智能系統(tǒng)，美國(guó)SAE自動(dòng)駕駛分級(jí)標(biāo)準(zhǔn)將自動(dòng)駕駛系統(tǒng)按照自動(dòng)化程度分為五個(gè)等級(jí)：

我們從車(chē)輛自動(dòng)駕駛系統(tǒng)的分級(jí)可以看出，智能系統(tǒng)L0級(jí)完全是人類(lèi)決策，L1~L2級(jí)是機(jī)器基于全量數(shù)據(jù)做數(shù)據(jù)整理與分析，人類(lèi)做推理判斷和決策，即所謂的數(shù)據(jù)驅(qū)動(dòng)模式，L3~L4是機(jī)器基于全量數(shù)據(jù)做數(shù)據(jù)整理、分析、邏輯推理、判斷與決策，但需要人類(lèi)在適當(dāng)?shù)臅r(shí)候干預(yù)，L5是完全的智能機(jī)器，無(wú)需人類(lèi)干預(yù)，即所謂的智能驅(qū)動(dòng)模式。

機(jī)器要具有智能，也就是讓機(jī)器成為一個(gè)智能系統(tǒng)，至少需要具備如下圖所示的組成部分：感知、認(rèn)知、理解、決策、行動(dòng)。

感知組件的作用是對(duì)環(huán)境進(jìn)行數(shù)據(jù)監(jiān)測(cè)與采集，產(chǎn)出的是數(shù)據(jù)。本質(zhì)是將物理空間數(shù)據(jù)化，將物理空間完全映射到數(shù)據(jù)空間。

認(rèn)知組件的作用是對(duì)數(shù)據(jù)進(jìn)行整理與總結(jié)歸納，提煉出有用的信息。

理解組件的作用是對(duì)提煉出來(lái)的信息進(jìn)一步提煉與總結(jié)歸納，得到知識(shí)。人類(lèi)理解的知識(shí)是用自然語(yǔ)言表達(dá)，對(duì)于機(jī)器來(lái)說(shuō)，用基于代表問(wèn)題空間的數(shù)據(jù)集進(jìn)行訓(xùn)練而得到的“模型”來(lái)表達(dá)。

決策組件的作用是基于知識(shí)進(jìn)行推理與判斷。對(duì)于機(jī)器來(lái)說(shuō)，就是用訓(xùn)練好的模型來(lái)在新的數(shù)據(jù)空間中進(jìn)行推理與判斷，生成對(duì)目標(biāo)任務(wù)的策略。

行動(dòng)組件的作用是基于策略對(duì)環(huán)境進(jìn)行互動(dòng)，對(duì)環(huán)境產(chǎn)生影響。

反饋組件的作用是動(dòng)作作用于環(huán)境后形成反饋，反饋又促進(jìn)感知體系感知更多的數(shù)據(jù)，進(jìn)而持續(xù)獲取更多的知識(shí)，對(duì)目標(biāo)任務(wù)作出更好的決策，形成閉環(huán)持續(xù)迭代進(jìn)化。

4.智能安全

人工智能與網(wǎng)絡(luò)安全的結(jié)合總有兩個(gè)維度，四個(gè)象限[9]：縱向上，一端是給智能以安全，一端是給安全以智能；橫向上，一端是攻擊視角，一端是防御視角。如下圖所示，四個(gè)象限代表了兩者結(jié)合的四個(gè)作用：

智能自身安全包括智能技術(shù)本身引入可被利用的脆弱性和智能技術(shù)本身脆弱性引入的安全問(wèn)題。主要有采用人工智能的業(yè)務(wù)安全、算法模型安全、數(shù)據(jù)安全、平臺(tái)安全等。

算法模型的安全性問(wèn)題主要包括模型訓(xùn)練完整性威脅、測(cè)試完整性威脅、模型魯棒性缺乏、模型偏見(jiàn)威脅等，比如繞過(guò)攻擊（通過(guò)對(duì)抗性樣本操縱模型決策和結(jié)果）、毒化攻擊（注入惡意數(shù)據(jù)降低模型可靠性和精確度）、推斷攻擊（推斷特定數(shù)據(jù)是否被用于模型訓(xùn)練）、模型抽取攻擊（通過(guò)惡意查詢(xún)命令暴露算法細(xì)節(jié)）、模型逆轉(zhuǎn)攻擊（通過(guò)輸出數(shù)據(jù)推斷輸入數(shù)據(jù)）、重編程攻擊（改變AI模型用于非法用途）、歸因推斷攻擊、木馬攻擊、后門(mén)攻擊等。數(shù)據(jù)安全主要包括基于模型輸出的數(shù)據(jù)泄露和基于梯度更新的數(shù)據(jù)泄露；平臺(tái)安全包括硬件設(shè)備安全問(wèn)題和系統(tǒng)及軟件安全問(wèn)題。

針對(duì)人工智能的這些不安全性問(wèn)題的防御技術(shù)主要有算法模型自身安全性增強(qiáng)、AI數(shù)據(jù)安全與隱私泄露防御和AI系統(tǒng)安全防御。算法模型自身安全性增強(qiáng)技術(shù)包括面向訓(xùn)練數(shù)據(jù)的防御（比如對(duì)抗訓(xùn)練、梯度隱藏、阻斷可轉(zhuǎn)移性、數(shù)據(jù)壓縮、數(shù)據(jù)隨機(jī)化等）、面向模型的防御（比如正則化、防御蒸餾、特征擠壓、深度收縮網(wǎng)絡(luò)、掩藏防御等）、特異性防御、魯棒性增強(qiáng)、可解釋性增強(qiáng)等；AI數(shù)據(jù)安全與隱私泄露防御技術(shù)主要有模型結(jié)構(gòu)防御、信息混淆防御和查詢(xún)控制防御等。

給智能以安全，指智能技術(shù)本身所帶來(lái)的新的脆弱性，對(duì)于攻擊者來(lái)說(shuō)可以利用，對(duì)于防護(hù)者來(lái)說(shuō)可能引入新的安全隱患。

給安全以智能，指攻擊者可以利用智能技術(shù)實(shí)施攻擊，防護(hù)者利用智能技術(shù)提升安全防護(hù)能力。主要體現(xiàn)在安全響應(yīng)自動(dòng)化和安全決策自主化。提高安全響應(yīng)自動(dòng)化當(dāng)前主要有兩種主流方法：

• SOAR，Security Orchestration, Automation and Response，安全編排、自動(dòng)化和響應(yīng)；
• OODA，Obeserve-Orient-Decide-Act，觀察-調(diào)整-決策-行動(dòng)，IACD（集成自適應(yīng)網(wǎng)絡(luò)防御框架）就是以O(shè)ODA為框架。

下圖是一個(gè)以SOAR為中心的自動(dòng)響應(yīng)工作流的示意圖：

1994年，認(rèn)知科學(xué)家Steven Pinker在《The Language Instinct》中寫(xiě)道“對(duì)人工智能而言，困難的問(wèn)題是易解的，簡(jiǎn)單的問(wèn)題是難解的”。“簡(jiǎn)單的復(fù)雜問(wèn)題”指的是問(wèn)題空間是閉合的，但是問(wèn)題本身卻又有較高的復(fù)雜度，比如下圍棋屬于簡(jiǎn)單的復(fù)雜問(wèn)題。“復(fù)雜的簡(jiǎn)單問(wèn)題”指的是問(wèn)題空間是無(wú)限開(kāi)放式的，但問(wèn)題本身卻并沒(méi)有很高的復(fù)雜度。

比如網(wǎng)絡(luò)安全問(wèn)題就屬于復(fù)雜的簡(jiǎn)單問(wèn)題，因?yàn)榘踩舻募夹g(shù)與方式時(shí)刻處于變化，也無(wú)法窮舉的，但具體到某個(gè)具體的網(wǎng)絡(luò)攻擊，則往往是有跡可循的。

今天智能技術(shù)在“簡(jiǎn)單的復(fù)雜問(wèn)題”的領(lǐng)域，往往都比人類(lèi)會(huì)更強(qiáng)，但對(duì)于“復(fù)雜的簡(jiǎn)單問(wèn)題”，泛化界限引起的空間爆炸，人工智能往往都會(huì)失效。

不幸的是，網(wǎng)絡(luò)安全問(wèn)題屬于復(fù)雜的簡(jiǎn)單問(wèn)題，人工智能在網(wǎng)絡(luò)安全問(wèn)題空間的應(yīng)用面臨挑戰(zhàn)。特別是莫拉維克悖論（由人工智能和機(jī)器人學(xué)者所發(fā)現(xiàn)的一個(gè)和常識(shí)相左的現(xiàn)象。

和傳統(tǒng)假設(shè)不同，人類(lèi)所獨(dú)有的高階智慧能力只需要非常少的計(jì)算能力，例如推理，但是無(wú)意識(shí)的技能和直覺(jué)卻需要極大的運(yùn)算能力。）在網(wǎng)絡(luò)安全領(lǐng)域表現(xiàn)更為明顯。

人工智能技術(shù)應(yīng)用到網(wǎng)絡(luò)安全存在下面的挑戰(zhàn)：?jiǎn)栴}空間不閉合、樣本空間不對(duì)稱(chēng)、推理結(jié)果要么不準(zhǔn)確要么不可解釋、模型泛化能力衰退、跨領(lǐng)域思維融合挑戰(zhàn)。

1、問(wèn)題空間不閉合

如上圖所示，網(wǎng)絡(luò)安全的問(wèn)題空間包括已知和未知。而已知又包括已知的已知，如某個(gè)已知的漏洞，未知的已知，如某個(gè)還未被發(fā)現(xiàn)的已知被曝光的安全漏洞；未知包括已知的未知，如軟件系統(tǒng)必然存在某個(gè)安全漏洞，未知的未知，如根本就不知道會(huì)有什么風(fēng)險(xiǎn)或威脅。

2、樣本空間不對(duì)稱(chēng)

未知的未知是網(wǎng)絡(luò)安全無(wú)法避免的困境，使得網(wǎng)絡(luò)安全問(wèn)題空間不閉合，也就導(dǎo)致負(fù)向數(shù)據(jù)（如攻擊數(shù)據(jù)、風(fēng)險(xiǎn)數(shù)據(jù)等）的嚴(yán)重缺乏導(dǎo)致特征空間的不對(duì)稱(chēng)，進(jìn)而導(dǎo)致特征空間無(wú)法真正表征問(wèn)題空間。模型是已有數(shù)據(jù)空間下關(guān)于世界的假設(shè)，并且用于在新的數(shù)據(jù)空間下進(jìn)行推理。今天人工智能技術(shù)已經(jīng)能很好的解決表示輸入和輸出之間的非線性復(fù)雜關(guān)系，但對(duì)于樣本空間相對(duì)開(kāi)放的問(wèn)題空間來(lái)說(shuō)嚴(yán)重不對(duì)稱(chēng)。

3、推理結(jié)果不可解釋性

人工智能應(yīng)用以輸出決策判斷為目標(biāo)。可解釋性是指人類(lèi)能夠理解決策原因的程度。人工智能模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預(yù)測(cè)。模型可解釋性指對(duì)模型內(nèi)部機(jī)制的理解以及對(duì)模型結(jié)果的理解。建模階段，輔助開(kāi)發(fā)人員理解模型，進(jìn)行模型的對(duì)比選擇，必要時(shí)優(yōu)化調(diào)整模型；在投入運(yùn)行階段，向決策方解釋模型的內(nèi)部機(jī)制，對(duì)模型結(jié)果進(jìn)行解釋。

在建模階段，人工智能技術(shù)存在決策準(zhǔn)確性與決策可解釋性的矛盾，神經(jīng)網(wǎng)絡(luò)的決策準(zhǔn)確性高，但可解釋性差，決策樹(shù)的可解釋性強(qiáng)，但準(zhǔn)確性不高。當(dāng)然現(xiàn)在已經(jīng)有兩者結(jié)合的方法，一定程度上在兩者之間取得平衡。

在投入運(yùn)行階段，向決策方解釋模型的內(nèi)部機(jī)制以及決策結(jié)果的解釋?zhuān)婕暗綌?shù)據(jù)隱私、模型安全等方面的道德困境。

4、泛化能力衰退

20世紀(jì)六十年代，貝爾-拉帕杜拉安全模型（Bell-LaPadula）指出“當(dāng)僅當(dāng)系統(tǒng)開(kāi)始于安全的狀態(tài)，且一直不會(huì)落入非安全狀態(tài)，它才是安全的”。

人工智能技術(shù)用模型來(lái)表征問(wèn)題空間，但由于安全的本質(zhì)是資源與智力的對(duì)抗，因此安全問(wèn)題空間永遠(yuǎn)都不是閉合的，在訓(xùn)練集上表現(xiàn)良好的模型，對(duì)于大規(guī)模的現(xiàn)實(shí)環(huán)境，一上線就存在不斷的對(duì)抗，進(jìn)而不斷跌入失效的狀態(tài)，模型泛化能力衰退。

5.智能安全自主度模型

知識(shí)與推理是人類(lèi)智能的基礎(chǔ)，計(jì)算機(jī)要實(shí)現(xiàn)推理與決策，則需要解決三個(gè)問(wèn)題：知識(shí)表示與推理形式、不確定性知識(shí)表示與推理、常識(shí)表示與推理。

牌類(lèi)是不完全信息博弈，計(jì)算機(jī)打牌要比下棋困難得多。2017年人工智能才在6人無(wú)限注德州撲克牌上戰(zhàn)勝了人類(lèi)。牌類(lèi)是概率確定性問(wèn)題，而現(xiàn)實(shí)環(huán)境是完全不確定的，甚至是對(duì)抗環(huán)境，因此復(fù)雜環(huán)境下的自主決策具有很大的挑戰(zhàn)性。

對(duì)抗場(chǎng)景下的自主決策的挑戰(zhàn)主要有兩個(gè)方面：環(huán)境的動(dòng)態(tài)性和任務(wù)的復(fù)雜性。環(huán)境的動(dòng)態(tài)性包括不確定條件、不完全信息、形勢(shì)動(dòng)態(tài)變化、實(shí)時(shí)博弈；任務(wù)復(fù)雜性包括信息采集、進(jìn)攻、防守、偵察、騷擾等。

對(duì)抗場(chǎng)景下的自主決策通常利用常識(shí)和邏輯演繹彌補(bǔ)信息的不完全性，進(jìn)而通過(guò)融合人類(lèi)領(lǐng)域知識(shí)和強(qiáng)化學(xué)習(xí)結(jié)果生成預(yù)案，協(xié)助做出正確決策。

復(fù)雜環(huán)境下的自主決策還需要解決如何適應(yīng)環(huán)境變化而相應(yīng)地做出決策變化的問(wèn)題。比如自動(dòng)駕駛將物體識(shí)別出來(lái)后建立模型，在此基礎(chǔ)上做實(shí)時(shí)的駕駛規(guī)劃，但難以應(yīng)對(duì)突發(fā)事件。因此自動(dòng)駕駛還需要駕駛的知識(shí)和經(jīng)驗(yàn)，需要在環(huán)境的不斷交互過(guò)程中學(xué)習(xí)這些經(jīng)驗(yàn)知識(shí)，即強(qiáng)化學(xué)習(xí)。

因此智能賦能的安全系統(tǒng)的威脅檢測(cè)與防護(hù)的自主決策能力是衡量其智能程度的關(guān)鍵指標(biāo)之一。參考自動(dòng)駕駛系統(tǒng)的分級(jí)，可構(gòu)建一個(gè)智能安全自主度模型。