ChatGPT vs Gemini：誰(shuí)在網(wǎng)絡(luò)安全運(yùn)營(yíng)中更好用？
AI大模型的行業(yè)應(yīng)用無(wú)疑是當(dāng)前最火熱的話題。在AI大模型的驅(qū)動(dòng)下，整個(gè)信息科技領(lǐng)域故事不斷。而在網(wǎng)絡(luò)安全領(lǐng)域，AI大模型也為網(wǎng)絡(luò)安全運(yùn)營(yíng)工作開辟出新的想象空間。作為AI大模型領(lǐng)域的兩個(gè)代表性工具，OpenAI在2月初推出了ChatGPT 4.0收費(fèi)版（ChatGPT Plus），谷歌也將Google Bard免費(fèi)版正式升級(jí)為Gemini。在網(wǎng)絡(luò)安全運(yùn)營(yíng)工作中，這兩個(gè)全新發(fā)布的產(chǎn)品誰(shuí)的可用性更好呢？在本文中，IBS Software的安全研究團(tuán)隊(duì)精心設(shè)計(jì)了十大安全運(yùn)營(yíng)用例，對(duì)這兩種工具進(jìn)行了針對(duì)性的測(cè)試。
1、生成流程示意圖
結(jié)果：Gemini表現(xiàn)基本合格，ChatGPT存在誤導(dǎo)問(wèn)題
這兩種工具都宣稱能夠生成流程示意圖。然而，Gemini承認(rèn)只能生成基于ASCII碼的示意圖，如果用戶想要更高級(jí)的功能，需要額外購(gòu)買更專業(yè)的工具。在本次測(cè)試中，研究人員讓這兩種工具分別生成一個(gè)示意圖來(lái)解釋一次身份安全的驗(yàn)證流程，并將結(jié)果進(jìn)行了比較。
結(jié)果顯示，Gemini用ASCII加以表示，流程圖表現(xiàn)合格，將整個(gè)圖細(xì)分為幾個(gè)實(shí)用的類別；而ChatGPT生成的流程圖盡管看起來(lái)很專業(yè)，但存在嚴(yán)重的誤導(dǎo)問(wèn)題，其所表示的根本就不是身份驗(yàn)證流程。同時(shí)，其對(duì)流程的描述也存在大量錯(cuò)誤，不僅拼寫有誤，使用的術(shù)語(yǔ)也不準(zhǔn)確。
圖注：ChatGPT輸出的流程示意圖
2、解釋安全架構(gòu)示意圖
結(jié)果：Gemini更加簡(jiǎn)潔，ChatGPT中規(guī)中矩
這兩種工具獲得安全架構(gòu)示意圖后都能夠解釋具體情況。結(jié)果比要求它們生成檢測(cè)流程示意圖時(shí)的表現(xiàn)好得多。在本次測(cè)試中，研究人員使用Edgenexus公司的Web應(yīng)用程序防火墻（WAF）架構(gòu)示例作為了輸入。結(jié)果顯示，Google Gemini表述的更加簡(jiǎn)潔，在解釋架構(gòu)示意圖方面做得更勝一籌。ChatGPT的輸出表現(xiàn)可以說(shuō)中規(guī)中矩，但是解釋過(guò)程有點(diǎn)啰嗦。
3、解釋安全漏洞利用代碼
結(jié)果：兩者難分伯仲
在企業(yè)日常的安全運(yùn)維（SecOps）工作中，有一項(xiàng)基礎(chǔ)的任務(wù)就是試圖找出特定惡意軟件或漏洞利用代碼的具體用途。測(cè)試者將最近的Elasticsearch堆棧溢出公共漏洞利用代碼輸入到這兩種工具中，實(shí)際測(cè)試了它們的解讀能力。結(jié)果顯示，兩種工具在這方面沒有明顯的差距，都能比較正確地識(shí)別漏洞利用代碼，并解釋最終結(jié)果，說(shuō)明代碼的每個(gè)部分有什么用途以及代碼工作原理。
4、解讀安全日志文件
結(jié)果：Gemini解釋得更清楚
安全運(yùn)營(yíng)專業(yè)人員常常需要分析海量的安全日志文件，并從中了解到底發(fā)生了什么。在此項(xiàng)測(cè)試中，測(cè)試人員分別為這兩種工具輸入了一起攻擊事件的CEF格式日志文件示例，并要求每種工具通過(guò)分析日志來(lái)解釋發(fā)生了什么。結(jié)果顯示，Gemini解釋得更清楚，總結(jié)全面，甚至給出了應(yīng)該采取哪些后續(xù)處置措施的建議。它在分析的開始就清楚地闡明了發(fā)生了什么事情（企圖訪問(wèn)/etc/passwd），并詳細(xì)解釋了它是如何得出這個(gè)結(jié)論的。ChatGPT盡管也得出了同樣的結(jié)論，但是解釋的過(guò)程有點(diǎn)混亂，缺乏清晰的表述邏輯。
5、編寫安全運(yùn)營(yíng)策略和安全文檔
結(jié)果：Gemini更勝一籌
AI大模型具有強(qiáng)大的運(yùn)營(yíng)策略和安全文檔編寫能力，這有望提高企業(yè)安全運(yùn)營(yíng)流程的標(biāo)準(zhǔn)化，使其能夠適應(yīng)安全環(huán)境變化，這將是一種非常關(guān)鍵的應(yīng)用價(jià)值體現(xiàn)。本次測(cè)試中，研究人員對(duì)Gemini和ChatGPT的運(yùn)營(yíng)策略編寫能力進(jìn)行了測(cè)試，結(jié)果顯示：Gemini能夠更清楚地理解并生成安全文檔，綜合表現(xiàn)比ChatGPT更勝一籌。
6、識(shí)別易受攻擊的代碼
結(jié)果：兩者均有不俗表現(xiàn)
雖然Gemini和ChatGPT這兩種生成式AI工具都不是為網(wǎng)絡(luò)安全運(yùn)營(yíng)工作而設(shè)計(jì)的，目前也不很少被用于識(shí)別易受攻擊的代碼，但在實(shí)際測(cè)試中，它們均有著有不俗的表現(xiàn)。測(cè)試人員分別為這兩種工具提供了一個(gè)不安全的直接對(duì)象引用（IDOR）漏洞示例來(lái)進(jìn)行測(cè)試，該示例中還含有SQL注入漏洞。
測(cè)試結(jié)果顯示，ChatGPT正確地識(shí)別了漏洞和缺乏身份驗(yàn)證的問(wèn)題，但最初并沒有發(fā)現(xiàn)SQL注入漏洞，而是在為它進(jìn)行了相關(guān)提示后才成功發(fā)現(xiàn)。Gemini未能發(fā)現(xiàn)IDOR，但卻快速指出了SQL注入漏洞，并進(jìn)一步建議了改如何修改代碼以修復(fù)該漏洞。
7、編寫腳本和代碼
結(jié)果：都有著較強(qiáng)大的代碼編寫能力
在現(xiàn)代企業(yè)的安全運(yùn)營(yíng)中心（SOC），有一項(xiàng)常見的工作就是編寫用于日志解析或海量數(shù)據(jù)處理的自動(dòng)化處理腳本。本次測(cè)試中，研究人員給了這兩種工具如下提示：“編寫一個(gè)Python腳本，從一個(gè)txt輸入文件中提取所有IPv6地址，刪除所有重復(fù)的地址，執(zhí)行查詢以確定IP所有者的地理定位并識(shí)別身份，將結(jié)果輸出到一個(gè)CSV文件中。”
測(cè)試結(jié)果顯示，這兩種工具都有著強(qiáng)大的代碼編寫能力，均能夠準(zhǔn)確生成清晰易讀的代碼，并能夠解釋出工作原理。
8、分析數(shù)據(jù)和安全指標(biāo)
結(jié)果：Gemini一敗涂地，ChatGPT優(yōu)勢(shì)明顯
研究人員還測(cè)試了這兩種工具是否能夠幫助安全運(yùn)營(yíng)人員分析樣本數(shù)據(jù)或安全指標(biāo)。Gemini在這項(xiàng)測(cè)試中一敗涂地，因?yàn)樗鼛缀醪痪邆溥@種能力，只能指導(dǎo)用戶如何在Excel和Power BI中實(shí)現(xiàn)這項(xiàng)操作。而ChatGPT的優(yōu)勢(shì)主要來(lái)自其Data Analyst插件，該插件可以獲取Excel文件以生成用戶想要的任何圖形。它甚至支持多種可視化類型，用戶可以通過(guò)提示來(lái)修改圖形的設(shè)計(jì)，包括顏色、軸和標(biāo)簽。
圖片
圖注：ChatGPT生成的示例圖形
9、編寫安全意識(shí)培訓(xùn)的課件
結(jié)果：Gemini幽默風(fēng)趣，ChatGPT嚴(yán)謹(jǐn)規(guī)范
這兩種工具都可以幫助編寫安全意識(shí)培訓(xùn)的課件。本次測(cè)試以生成開展安全意識(shí)活動(dòng)的電子郵件為例。研究人員給了兩種工具以下提示：“生成一封用于開展安全意識(shí)培訓(xùn)的電子郵件。措辭幽默風(fēng)趣，提醒大家不要隨意點(diǎn)擊陌生人發(fā)來(lái)的郵件。”
測(cè)試結(jié)果顯示，這兩種工具都表現(xiàn)不賴。Gemini生成的電子郵件更簡(jiǎn)短，而且閱讀起來(lái)感受更幽默風(fēng)趣。ChatGPT也同樣能生成得當(dāng)?shù)拇朕o和規(guī)范的郵件，但它對(duì)于開展安全意識(shí)活動(dòng)而言，內(nèi)容的生動(dòng)性稍差，顯得更加嚴(yán)謹(jǐn)規(guī)范。
圖片
圖注、 Gemini生成的加強(qiáng)用戶安全意識(shí)電子郵件
10、解讀網(wǎng)絡(luò)安全合規(guī)框架
結(jié)果：Gemini的解讀能力更強(qiáng)
如果用戶想快速了解如何實(shí)施一套網(wǎng)絡(luò)安全合規(guī)框架，這兩種工具都能夠給予有效的幫助。這一點(diǎn)在企業(yè)的網(wǎng)絡(luò)安全運(yùn)營(yíng)工作中非常有用。
在本次測(cè)試中，研究人員為每個(gè)工具給出以下輸入提示：“請(qǐng)解釋PCI-DSS方面的‘重大變化’這一概念。通常什么才是重大變化？同時(shí)列出這項(xiàng)標(biāo)準(zhǔn)的確切要求。”
測(cè)試結(jié)果顯示，Gemini的解讀能力更勝一籌，它正確地列出了標(biāo)準(zhǔn)的確切要求（比如6.4.5和6.4.6），并且還解釋了某方面是重大變化的原因。而ChatGPT并沒有提到這些信息在標(biāo)準(zhǔn)中的具體位置。
結(jié)語(yǔ)
通過(guò)以上十項(xiàng)安全運(yùn)營(yíng)用例的實(shí)際測(cè)試結(jié)果分析，我們可以看出，ChatGPT和Gemini這兩種AI大模型工具都有助于安全運(yùn)營(yíng)團(tuán)隊(duì)提高工作效率，幫助安全運(yùn)營(yíng)專業(yè)人員處理繁瑣的日常事務(wù)性工作。盡管從對(duì)比數(shù)據(jù)看，Gemini在部分測(cè)試項(xiàng)目中的表現(xiàn)更出色，但是在安全指標(biāo)分析、IDOR漏洞代碼分析等測(cè)試中，也存在很多不足之處。因此，企業(yè)組織在應(yīng)用選型時(shí)，還需視組織的具體應(yīng)用需求而定。
需要特別指出的是，AI大語(yǔ)言模型在網(wǎng)絡(luò)安全運(yùn)營(yíng)領(lǐng)域的應(yīng)用才剛剛開始，還會(huì)有更多基于大語(yǔ)言模型的AI安全平臺(tái)問(wèn)世，企業(yè)安全團(tuán)隊(duì)?wèi)?yīng)該積極地通過(guò)AI技術(shù)增強(qiáng)持續(xù)學(xué)習(xí)能力，從而更好地預(yù)防和響應(yīng)安全事件，在攻擊得手之前進(jìn)行遏制。
