一、整體介紹

1.1 研究背景

當(dāng)前網(wǎng)絡(luò)規(guī)模急劇增加，各類入侵過程也逐漸向復(fù)雜化，多樣化和分布式的趨勢(shì)發(fā)展，利用傳統(tǒng)的入侵檢測(cè)與響應(yīng)技術(shù)對(duì)各類安全事件進(jìn)行檢測(cè)發(fā)現(xiàn)、查處、響應(yīng)變得日益困難。因此，需要用新的視角去理解入侵檢測(cè)與響應(yīng)模型。博弈論提供了一個(gè)自然的框架捕獲攻擊者和防御者的交互，提供了一種定量的方法評(píng)估系統(tǒng)的安全性。從博弈論的角度理解入侵檢測(cè)與響應(yīng)模型，不僅需要識(shí)別出復(fù)雜的攻擊模式和攻擊場(chǎng)景，還需要在攻擊檢測(cè)之后進(jìn)行自動(dòng)化響應(yīng)，形成檢測(cè)，發(fā)現(xiàn)，預(yù)警，響應(yīng)的閉環(huán)防御體系。

1.2 相關(guān)研究現(xiàn)狀

2009年，國(guó)內(nèi)第一篇將博弈論應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域的論文發(fā)表在計(jì)算機(jī)學(xué)報(bào)上，提出了基于博弈論的防御圖模型，針對(duì)不同類型的攻擊產(chǎn)生對(duì)應(yīng)的響應(yīng)[1]。廈門大學(xué)肖亮教授在相關(guān)的學(xué)術(shù)會(huì)議上也發(fā)表了論文[2]，描述了云存儲(chǔ)中的動(dòng)態(tài)安全資源分配。王震等將博弈論與攻擊圖相結(jié)合[3]，研究了基于Stackelberg攻防博弈的網(wǎng)絡(luò)系統(tǒng)安全控制優(yōu)化。

國(guó)外的研究者對(duì)相關(guān)領(lǐng)域開始的比較早，不僅僅是將博弈論應(yīng)用在入侵檢測(cè)中，也同樣將博弈論應(yīng)用在安全領(lǐng)域。主要分成兩個(gè)派系：Milind Tambe和Vicki Bier。以南加州大學(xué)Milind Tambe教授為代表的計(jì)算博弈論方向，開山作是文獻(xiàn)[4]。該流派目前代表人物有安波教授(南洋理工)及其課題組等。以威斯康辛-麥迪遜大學(xué)Vicki Bier教授為代表的是基于博弈與決策的風(fēng)險(xiǎn)分析方向，代表作之一為她的學(xué)生的一篇論文[5]。該流派目前代表人物有該教授本人，Jun Zhuang教授(紐約大學(xué)buffalo校區(qū))及其課題組，David Banks(杜克大學(xué))等等。

紐約大學(xué)的華人研究者ZhuQuanYan，開創(chuàng)了該領(lǐng)域的學(xué)術(shù)會(huì)議GameSec，并發(fā)表了博弈論應(yīng)用在網(wǎng)絡(luò)安全領(lǐng)域的綜述性文章[6]。南巴黎電信的Christophe Kiennert[7]研究員提出將博弈論應(yīng)用在入侵檢測(cè)與入侵響應(yīng)優(yōu)化中。

1.3 研究框架

我們按照網(wǎng)絡(luò)攻擊的先后順序?qū)⒉┺恼搼?yīng)用在入侵檢測(cè)和響應(yīng)分成三個(gè)階段和一個(gè)整體的架構(gòu)設(shè)計(jì)。

第一階段：攻擊前的網(wǎng)絡(luò)安全加固。

這個(gè)階段的研究成果主要是基于Stackelberg博弈模型的網(wǎng)絡(luò)安全加固。

第二階段：攻擊中，IDS配置與效率優(yōu)化。

這個(gè)階段主要有三個(gè)方面：優(yōu)化基于網(wǎng)絡(luò)的入侵檢測(cè)的資源配置;優(yōu)化NIDS的規(guī)則庫(kù)和參數(shù);基于生成對(duì)抗模型優(yōu)化異常檢測(cè)效率。

第三個(gè)階段：攻擊后的自動(dòng)化響應(yīng)。

整體架構(gòu)設(shè)計(jì)主要是基于合作博弈的分布式入侵檢測(cè)架構(gòu)優(yōu)化。

1.4 研究意義

(1)博弈論應(yīng)用在網(wǎng)絡(luò)安全領(lǐng)域之前，入侵檢測(cè)都是通過提高檢測(cè)效率來優(yōu)化的，而博弈論提供了一個(gè)自然的框架去捕獲攻擊者和防御者的交互，提供一個(gè)定量的方法去評(píng)估系統(tǒng)的安全性，使研究者從策略和決策的視角理解網(wǎng)絡(luò)攻擊與防御。

(2)與標(biāo)準(zhǔn)的安全性定義有所不同，博弈理論采用不同的視角看待安全：安全不是沒有威脅，而是攻擊系統(tǒng)比不攻擊系統(tǒng)更加昂貴，因此，可以建立激勵(lì)機(jī)制來鼓勵(lì)良好的行為而防止惡意的行為發(fā)生。

(3)傳統(tǒng)的安全檢測(cè)假定系統(tǒng)是靜態(tài)的，但是復(fù)雜的網(wǎng)絡(luò)環(huán)境是動(dòng)態(tài)變化，借助動(dòng)態(tài)博弈可以確保系統(tǒng)在動(dòng)態(tài)環(huán)境中也是安全的。

(4)一般來說，保證動(dòng)態(tài)系統(tǒng)穩(wěn)定運(yùn)行，需要反饋機(jī)制，而借助博弈論的入侵檢測(cè)與響應(yīng)模型，可以構(gòu)成檢測(cè)，發(fā)現(xiàn)，預(yù)警，響應(yīng)閉環(huán)防御體系，可以讓入侵防御的在不同環(huán)節(jié)循環(huán)，保證系統(tǒng)動(dòng)態(tài)穩(wěn)定。

二、相關(guān)基礎(chǔ)知識(shí)

2.1 入侵檢測(cè)

入侵檢測(cè)是[8]對(duì)企圖入侵，正在進(jìn)行的入侵或者已經(jīng)發(fā)生的入侵進(jìn)行識(shí)別的過程。它

在不影響網(wǎng)絡(luò)性能的情況下能對(duì)網(wǎng)絡(luò)進(jìn)行監(jiān)控，收集計(jì)算機(jī)網(wǎng)絡(luò)或系統(tǒng)中的關(guān)鍵信息，并對(duì)其進(jìn)行分析，從中發(fā)現(xiàn)是否有違反安全策略的行為和被攻擊的跡象。

按照不同的分類標(biāo)準(zhǔn)，入侵檢測(cè)可以分成不同的類別：

(1)按照檢測(cè)源的不同，可以分為基于網(wǎng)絡(luò)的入侵檢測(cè)(NIDS)，基于主機(jī)的入侵檢測(cè)(HIDS)，混合入侵檢測(cè)(Hybrid IDS)。

(2)按照檢測(cè)方法進(jìn)行分類，可以分為誤用檢測(cè)，異常檢測(cè)和基于規(guī)范的檢測(cè)。

(3)按照是否能響應(yīng)，分為入侵檢測(cè)(IDS)和入侵防御(IPS)/入侵響應(yīng)(IRS)。

2.1.1 誤用檢測(cè)

誤用檢測(cè)又稱為特征檢測(cè)，它將已知的入侵活動(dòng)用一種模式來表示，形成網(wǎng)絡(luò)攻擊特征庫(kù)(或稱為網(wǎng)絡(luò)攻擊規(guī)則庫(kù))。

目前商用的IDS基本上是采用誤用檢測(cè)方法。基于誤用檢測(cè)方法的入侵檢測(cè)技術(shù)，其誤報(bào)率低，漏報(bào)率高。它能夠準(zhǔn)確地識(shí)別已知的攻擊，并可以詳細(xì)地報(bào)告出網(wǎng)絡(luò)攻擊類型。但是，該方法對(duì)新的入侵方法無能為力，需要將新的入侵模式不斷加入特征庫(kù)，才能提高其識(shí)別新網(wǎng)絡(luò)攻擊的能力。

2.1.2異常檢測(cè)

異常檢測(cè)可以稱為無監(jiān)督或者弱監(jiān)督下的非平衡數(shù)據(jù)下的多分類的問題。且往往異常點(diǎn)(不平衡數(shù)據(jù)中較少的部分)對(duì)我們更為重要。相對(duì)于誤用檢測(cè)，該方法檢測(cè)的結(jié)果的漏報(bào)率低，誤報(bào)率高，能檢測(cè)出一些未知攻擊。其實(shí)現(xiàn)的難點(diǎn)在于如何避免將正常活動(dòng)識(shí)別為入侵活動(dòng)和遺漏正在發(fā)生的入侵活動(dòng)。

2.1.3 基于規(guī)范的檢測(cè)

基于規(guī)范的檢測(cè)描述了程序的期望行為，如果用戶的行為與安全規(guī)范的描述不同，那么可以斷定產(chǎn)生了攻擊。因?yàn)樗枋龅氖浅绦虻钠谕袨椋援?dāng)一個(gè)合法的用戶做了與常規(guī)不一樣的事(是合法的)，它不會(huì)產(chǎn)生虛警，它還能識(shí)別已知攻擊與未知攻擊[9-10]。

2.2 入侵檢測(cè)的整合

入侵檢測(cè)技術(shù)的主要挑戰(zhàn)是分析IDS發(fā)出的警報(bào)，發(fā)生入侵時(shí)，選擇對(duì)策所需要的時(shí)間應(yīng)該盡可能短。所以現(xiàn)在大型網(wǎng)絡(luò)下入侵檢測(cè)系統(tǒng)常常被集成到SIEM[11]系統(tǒng)中，系統(tǒng)架構(gòu)圖如圖1所示。該架構(gòu)一般分成5層，從下至上包括數(shù)據(jù)采集層，數(shù)據(jù)歸一化層，數(shù)據(jù)存儲(chǔ)層，數(shù)據(jù)分析層和數(shù)據(jù)可視化層，其中數(shù)據(jù)分析層的核心是關(guān)聯(lián)引擎;數(shù)據(jù)可視化層用于可視化展示，供安全分析人員使用。

圖1 SIEM系統(tǒng)架構(gòu)

2.3 博弈論

按照不同的分類條件，博弈論可以分成不同的類別[12]。

(1)按照博弈論之間是否存在約束協(xié)議，可分為合作博弈和非合作博弈，兩者主要區(qū)別在于相互作用的當(dāng)事人之間是否存在具有約束力的協(xié)議。

(2)按照博弈雙方互相了解的程度，可分為完全信息博弈和不完全信息博弈。完全信息博弈是指在博弈過程中，每一位參與人對(duì)其他參與人的特征、策略空間及收益函數(shù)有準(zhǔn)確的信息。而在不完全信息博弈中，每個(gè)參與者并不清楚有關(guān)博弈的一些信息。

(3)按照行為的時(shí)間序列，分為靜態(tài)博弈和動(dòng)態(tài)博弈。靜態(tài)博弈是指在博弈中，參與人同時(shí)選擇或雖非同時(shí)選擇但后行動(dòng)者并不知道先行動(dòng)者采取了什么具體行動(dòng);動(dòng)態(tài)博弈是指在博弈中，參與人的行動(dòng)有先后順序，且后行動(dòng)者能夠觀察到先行動(dòng)者所選擇的行動(dòng)。

(4)按照博弈的表現(xiàn)形式分為戰(zhàn)略型博弈和展開型博弈。

三、研究方法

3.1 攻擊前的網(wǎng)絡(luò)安全加固

網(wǎng)絡(luò)安全加固的核心模型是Stackelberg博弈模型[14]。Stackelberg安全博弈最開始應(yīng)用于現(xiàn)實(shí)生活的安全領(lǐng)域，用于安全資源調(diào)度，后來被運(yùn)用在網(wǎng)絡(luò)安全資源調(diào)度之上。例如，美國(guó)的洛杉磯國(guó)際機(jī)場(chǎng)應(yīng)用在警力資源調(diào)度，空中警察調(diào)度，城市軌道交通系統(tǒng)安全調(diào)度等實(shí)際應(yīng)用中。我們的模型是建立在攻擊圖上的Stackelberg博弈模型：將網(wǎng)絡(luò)攻擊場(chǎng)景建模為攻擊圖上的Stackelberg博弈，防御者是先行者，攻擊者是跟隨者，攻擊者的目標(biāo)是從攻擊圖中找到一條最短代價(jià)的路徑，防御者的目的是用有限的資源在路徑上設(shè)置障礙阻止攻擊者。博弈模型建好之后，最重要的就是求解納什均衡。

目前，針對(duì)Stackelberg納什均衡主要列舉如下基本求解算法，文獻(xiàn)[13]對(duì)三種算法進(jìn)行了總結(jié)。

(1)MultiLPs算法[15]

該算法是研究者于2006年提出，是針對(duì)標(biāo)準(zhǔn)型的Stackelberg博弈求解的最基本多項(xiàng)式時(shí)間的算法，也可以用來求解貝葉斯Stackelberg博弈。

(2)DOBSS 算法[16]

因?yàn)椴煌愋偷淖冯S者之間是相互獨(dú)立的，所以追隨者的純策略產(chǎn)生組合爆炸。而DOBSS算法可以解決這個(gè)問題，DOBSS算法是第一個(gè)成功的應(yīng)用在實(shí)際系統(tǒng)上的算法，它利用跟隨者的類型相互獨(dú)立的特點(diǎn)將這一問題進(jìn)行降解，從而將其轉(zhuǎn)化成求解一個(gè)混合整數(shù)規(guī)劃的問題(MILP)。

(3)ERASER 算法[17]

該算法直接對(duì)緊湊型的安全博弈進(jìn)行求解，可以避免枚舉指數(shù)級(jí)的防御者的純策略。

3.2 IDS優(yōu)化

3.2.1優(yōu)化基于網(wǎng)絡(luò)的IDS的資源分配

(1)NIDS如果對(duì)每個(gè)數(shù)據(jù)包都檢查，需要很高的處理資源。文獻(xiàn)[20]中研究者開發(fā)了一種網(wǎng)絡(luò)分組采樣策略，在總資源預(yù)算一定的情況下，通過合適的采樣率采樣不同路徑的數(shù)據(jù)包，作者定義了一個(gè)簡(jiǎn)單的雙人靜態(tài)零和博弈，求解出預(yù)算一定的情況下每一條鏈路的最優(yōu)采樣率。

(2)基于規(guī)則的NIDS如Snort，一般會(huì)存儲(chǔ)對(duì)于已知的網(wǎng)絡(luò)攻擊的特征庫(kù)，并需要配置大量的攻擊檢測(cè)庫(kù)和一些系統(tǒng)參數(shù)。比如Snort有51個(gè)攻擊類別以及將近10000個(gè)特征規(guī)則，所以獲得最佳的IDS配置以有效檢測(cè)攻擊絕非易事，配置規(guī)則庫(kù)是在系統(tǒng)性能和安全性能之間找到平衡，文獻(xiàn)[21]建立一個(gè)動(dòng)態(tài)的隨機(jī)博弈對(duì)于不同的系統(tǒng)狀態(tài)去設(shè)計(jì)最優(yōu)的IDS配置，使用動(dòng)態(tài)和迭代的方式配置IDS，是平衡安全開銷和系統(tǒng)性能的方法。

(3)從博弈論的角度來看，生成對(duì)抗網(wǎng)絡(luò)是一個(gè)二人零和博弈，生成器和判別器是博弈的兩個(gè)參與者，生成器的策略是如何生成樣本，判別器的策略則是如何判定樣本的真實(shí)度。因此，策略組(“生成好樣本”，“真假難辨”)是一個(gè)納什均衡，在這種情況下，生成器和判別都無法單方面改變策略而得到額外的好處。

利用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行異常檢測(cè)主要存在以下兩方面問題：

(1)由于對(duì)異常數(shù)據(jù)進(jìn)行正向檢測(cè)的效果不理想，研究者往往逆向研究，基于生成對(duì)抗網(wǎng)絡(luò)的無監(jiān)督多元異常檢測(cè)，利用重構(gòu)誤差進(jìn)行異常檢測(cè)。

(2)因借助訓(xùn)練標(biāo)簽樣本較少，從而影響有監(jiān)督分類模型的檢測(cè)效果的問題。文獻(xiàn)[22]借助生成對(duì)抗網(wǎng)絡(luò)對(duì)抗交互訓(xùn)練的思想，在訓(xùn)練的階段引入了生成模型，由生成模型不斷生成樣本，擴(kuò)充原有標(biāo)簽樣本集，可輔助入侵檢測(cè)模型分類，提高了模型檢測(cè)準(zhǔn)確率，提升了執(zhí)行多分類任務(wù)時(shí)對(duì)入侵行為的識(shí)別能力。

3.3 攻擊自動(dòng)化響應(yīng)

攻擊之后的自動(dòng)化選擇，主要涉及IPS和IRS，研究工作[23]主要是一旦發(fā)現(xiàn)攻擊就會(huì)觸發(fā)最佳的防御策略，無需依靠管理員的手動(dòng)干預(yù)，該項(xiàng)工作主要是優(yōu)化系統(tǒng)響應(yīng)，而不是IDS性能，因此假定總能夠成功檢測(cè)到攻擊。

3.4 基于合作博弈的分布式入侵檢測(cè)

單個(gè)入侵檢測(cè)系統(tǒng)難以檢測(cè)所有的攻擊,與傳統(tǒng)的同類產(chǎn)品相比，入侵檢測(cè)設(shè)備之間的協(xié)作可以獲得更高的檢測(cè)精度和成本效率。文獻(xiàn)[24-26]提出協(xié)作式入侵檢測(cè)網(wǎng)絡(luò)的系統(tǒng)架構(gòu)，其中值得信賴的高效反饋聚合是關(guān)鍵組成部分,當(dāng)IDS協(xié)作者的數(shù)量很大的時(shí)候，提出了一種固有的信任評(píng)價(jià)機(jī)制，并減少了IDS所需的通信開銷以及實(shí)現(xiàn)令人滿意的反饋聚合所需的計(jì)算資源和內(nèi)存。

四、挑 戰(zhàn)

(1)建立的博弈模型一般都是基于完全理性假設(shè)，假設(shè)攻擊過程中攻擊者和防御者都是完全理性的，有人嘗試前景理論和量化反應(yīng)模型，大多數(shù)的這些模型具有不同于理性人假設(shè)的表現(xiàn)，也使得優(yōu)化問題增加了求解的難度。

(2)建立的模型一般假設(shè)博弈雙方具有完全信息，網(wǎng)絡(luò)中的信息對(duì)于攻防雙方都是一致的，但是在實(shí)際中不可能。

(3)網(wǎng)絡(luò)攻擊數(shù)據(jù)集很難構(gòu)建，小規(guī)模的數(shù)據(jù)集可以使用真實(shí)的場(chǎng)景，但是大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)集無法實(shí)現(xiàn)。

(4)博弈模型的抽象程度較高，很難應(yīng)用在實(shí)際生產(chǎn)中。

五、研究展望

基于博弈論的入侵檢測(cè)與響應(yīng)模型仍處于高速發(fā)展的過程中，目前，我覺得比較有前景的研究方向是以下兩點(diǎn)。

(1)基于歷史數(shù)據(jù)的學(xué)習(xí)

攻擊者和防御者因重復(fù)且頻繁的交流，不斷積累數(shù)據(jù)，這成為了溝通博弈與機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究契機(jī)。研究人員能夠在既往收集的數(shù)據(jù)中學(xué)習(xí)得到博弈模型，現(xiàn)有的安全領(lǐng)域收益都是專家指定的，但是很多地方無法確定收益函數(shù)，而且數(shù)值會(huì)隨著時(shí)間發(fā)生變化，進(jìn)而影響博弈結(jié)果。如何在盡可能少的博弈回合之下學(xué)習(xí)攻擊者的攻擊偏好，進(jìn)而進(jìn)行有效的保護(hù)，將會(huì)是一個(gè)很好的研究方向。值得注意，基于逆向強(qiáng)化學(xué)習(xí)得出收益函數(shù)可能是一個(gè)解決辦法。

(2)基于合作博弈的分布式入侵檢測(cè)

不同的傳感器收集數(shù)據(jù)之后，還需要進(jìn)行聚合關(guān)聯(lián)，共同決策，達(dá)到合作博弈的帕累托最優(yōu)。因此各個(gè)入侵檢測(cè)之間需要有良好的通訊機(jī)制和良好的協(xié)商機(jī)制。一個(gè)良好的入侵檢測(cè)系統(tǒng)應(yīng)該是一個(gè)高級(jí)的多智能系統(tǒng)，每個(gè)采集的傳感器都是一個(gè)智能體，如基于誤用檢測(cè)和異常檢測(cè)的IDS，日志分析等傳感器都是智能體，全部的傳感器智能體共同優(yōu)化一個(gè)目標(biāo)，產(chǎn)生高效的告警信息，并自動(dòng)化響應(yīng)一部分告警，通過人機(jī)聯(lián)動(dòng)，反饋到傳感器中，動(dòng)態(tài)迭代優(yōu)化系統(tǒng)，讓整體的入侵檢測(cè)系統(tǒng)處于學(xué)習(xí)進(jìn)化中。

參考文獻(xiàn)

[1] 姜偉，方濱興，田志宏.基于攻防博弈模型的網(wǎng)絡(luò)安全測(cè) 評(píng)和最優(yōu)主動(dòng)防御[J]. 計(jì)算機(jī)學(xué)報(bào)，2013，32 ( 4) : 818 - 827.

[2] Minghui Min, Liang Xiao, Caixia Xie, Mohammad Hajimirsadeghi, and Narayan B Mandayam. Defense against advanced persistent threats: A colonel blotto game approach. In 2017 IEEE international conference on

communications (ICC), pages 1{6. IEEE, 2017.

[3] 王震，段晨健，吳 鋌. 基于 Stackelberg 攻防博弈的網(wǎng)絡(luò)系統(tǒng) 安全控制機(jī)制優(yōu)化研究. 信息安全學(xué)報(bào)，2019

[4] Praveen Paruchuri, Jonathan P Pearce, Janusz Marecki, Milind Tambe, Fernando Ordonez, and Sarit Kraus. Playing games for security: An efficient exact algorithm for solving bayesian stackelberg games. In Proceedings

of the 7th international joint conference on Autonomous agents and multiagent systems-Volume 2, pages 895{902. International Foundation for Autonomous Agents and Multiagent Systems, 2008.

[5] Jun Zhuang and Vicki M Bier. Balancing terrorism and natural disasters|defensive strategy with endogenous attacker effort. Operations Research, 55(5):976{991, 2007.

[6]Quanyan Zhu and Stefan Rass. Game theory meets network security: A tutorial. In Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security, pages 2163{2165, 2018.

[7]Kiennert C, Ismail Z, Debar H, et al. A survey on game-theoretic approaches for intrusion detection and response optimization[J]. ACM Computing Surveys (CSUR), 2018, 51(5): 1-31.

[8] Denning D E. An intrusion-delection model. IEEE Transactions on Software Engineering, 1987, SE-13(2):

222-232.

[9] Sandeep Kumar. Classification and detection of computer intrusions. PhD thesis, PhD thesis, Purdue

University, 1995

[10] Phillip A Porras and Richard A Kemmerer. Penetration state transition analysis: A rule-based intrusion

detection approach. In Computer Security Applications Conference, 1992. Proceedings., Eighth Annual,

pages 220–229. IEEE, 1992

[11] IBM QRadar SIEM. https://www.ibm.com/us-en/marketplace/ibm-qradar-siem.

[12] Osborne M J, Rubinstein A. A course in game theory[M]. MIT press, 1994.

[13] 王震，袁勇，安波。安全博弈論研究綜述 ，指揮自動(dòng)化學(xué)報(bào)，2015

[14] Milind Tambe. Security and game theory: algorithms, deployed systems,

lessons learned. Cambridge university press, 2011.

[15] Conitzer V, Sandholm T. Computing the optimal strategy to commit to[C]// Proceedings of the 7th

ACM Conference on Electronic Commerce (EC’06). Ann Arbor, Michigan, USA, 2006: 82?90.

[16] Paruchuri P, Pearce J P. Playing games for security: an e–cient exact algorithm for solving bayesian

stackelberg games[C]// Proceedings of the 7th International Joint Conference on Autonomous Agents and

Multiagent Systems (AAMAS’08). Estoril, Portugal, 2008: 895902.

[17] Pita J, Jain M. Using game theory for los angeles airport security[J]. AI Magazine, 2009, 30(1): 43?57

[18] 杜威, 丁世飛. 多智能體強(qiáng)化學(xué)習(xí)綜述[J]. 計(jì)算機(jī)科學(xué), 2019, 46(8): 1-8.

[19] Lowe R, Wu Y, Tamar A, et al. Multi-agent actor-critic for mixed cooperative-competitive environments[C]//Advances in neural information processing systems. 2017: 6379-6390.

[20] Murali Kodialam and TV Lakshman. Detecting network intrusions via sampling: a game theoretic approach. In IEEE INFOCOM 2003. Twentysecond Annual Joint Conference of the IEEE Computer and Communications Societies (IEEE Cat. No. 03CH37428), volume 3, pages 1880{1889.IEEE, 2003

[21] Quanyan Zhu and Tamer Ba?sar. Dynamic policy-based ids configuration. In Proceedings of the 48h IEEE Conference on Decision and Control (CDC) held jointly with 2009 28th Chinese Control Conference, pages 8600{8605. IEEE, 2009.

[22] An Enhancing Framework for Botnet Detection using Generative Adversarial Networks, 2018 International Conference on Artificial Intelligence and Big Data. 2018.

[23] Yi Luo, Ferenc Szidarovszky, Youssif Al-Nashif, and Salim Hariri. A game theory based risk and impact analysis method for intrusion defense systems. In 2009 IEEE/ACS International Conference on Computer Systems and Applications, pages 975{982. IEEE, 2009.

[24] Carol J Fung and Quanyan Zhu. Facid: A trust-based collaborative decision framework for intrusion detection networks. Ad Hoc Networks, 53:17{31, 2016.

[25] Quanyan Zhu, Carol Fung, Raouf Boutaba, and Tamer Basar. A gametheoretical approach to incentive design in collaborative intrusion detection networks. In 2009 International Conference on Game Theory for Networks, pages 384{392. IEEE, 2009.

[26] Quanyan Zhu, Carol Fung, Raouf Boutaba, and Tamer Basar. Guidex:A game-theoretic incentive-based mechanism for intrusion detection networks. IEEE Journal on Selected Areas in Communications, 30(11):2220{

2230, 2012.