人工智能是一個不斷發(fā)展的行業(yè)，其動力來自大型科技公司、新創(chuàng)業(yè)公司和大學(xué)研究團(tuán)隊(duì)。雖然人工智能技術(shù)正在飛速發(fā)展，但圍繞機(jī)器學(xué)習(xí)安全的規(guī)定和故障保護(hù)卻是完全不同的情況。

無法保護(hù)機(jī)器學(xué)習(xí)模型免受數(shù)據(jù)中毒等網(wǎng)絡(luò)攻擊可能會造成極大的損失。聊天機(jī)器人漏洞甚至可能導(dǎo)致私人用戶數(shù)據(jù)被盜。以下將探討機(jī)器學(xué)習(xí)網(wǎng)絡(luò)安全的重要性。此外，我們將說明聊天機(jī)器人安全商Scanta公司如何通過其虛擬助手保護(hù)聊天機(jī)器人。

[[345307]]

為什么機(jī)器學(xué)習(xí)安全性很重要?

保護(hù)機(jī)器學(xué)習(xí)模型免受網(wǎng)絡(luò)攻擊類似于確保車輛通過安全檢查。僅僅因?yàn)槠嚳梢孕旭偛⒉灰馕吨诠驳缆飞闲旭偸前踩?。無法保護(hù)機(jī)器學(xué)習(xí)模型可能導(dǎo)致數(shù)據(jù)泄露或更糟的情況。

一個很好的例子是McAfee公司技術(shù)人員如何入侵特斯拉的一種自動駕駛汽車。特斯拉早期的路標(biāo)檢測系統(tǒng)模型使它容易受到網(wǎng)絡(luò)攻擊。技術(shù)人員只需在特斯拉汽車上加上幾英寸的黑色膠帶，就能讓它誤讀時速35英里的標(biāo)志。這導(dǎo)致車輛將其解釋為85英里/小時的標(biāo)志。其結(jié)果，每當(dāng)汽車加速超過35英里/小時就會踩下剎車。

自動駕駛汽車中的漏洞可能導(dǎo)致致命事故。對于聊天機(jī)器人和虛擬助手來說，缺乏機(jī)器學(xué)習(xí)安全性可能會導(dǎo)致大量私人客戶數(shù)據(jù)泄露、網(wǎng)絡(luò)釣魚攻擊以及對企業(yè)的代價昂貴訴訟。而這正是達(dá)美航空發(fā)生的事情。

在2019年，達(dá)美航空公司起訴其聊天機(jī)器人開發(fā)人員，原因是該公司在2017年發(fā)生了乘客數(shù)據(jù)泄露事件。黑客獲得了對達(dá)美航空公司聊天機(jī)器人系統(tǒng)的訪問權(quán)限，并修改了源代碼。這使他們可以抓取用戶輸入的數(shù)據(jù)。這次事故對達(dá)美航空公司造成了巨大的損失，導(dǎo)致數(shù)百萬美元用于調(diào)查漏洞并保護(hù)受影響的客戶。

聊天機(jī)器人中的機(jī)器學(xué)習(xí)安全漏洞

聊天機(jī)器人特別容易受到機(jī)器學(xué)習(xí)攻擊，因?yàn)樗鼈冎g經(jīng)常發(fā)生用戶交互，而這些交互通常是完全不受監(jiān)督的。Scanta公司對聊天機(jī)器人面臨的最常見的網(wǎng)絡(luò)攻擊進(jìn)行了闡述。

Scanta公司首席技術(shù)官Anil Kaushik表示，他們看到的最常見的攻擊之一是通過對抗性輸入進(jìn)行的數(shù)據(jù)中毒攻擊。

什么是數(shù)據(jù)中毒?

數(shù)據(jù)中毒是黑客對機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)進(jìn)行污染的一種機(jī)器學(xué)習(xí)攻擊。他們通過注入對抗性輸入來實(shí)現(xiàn)這一點(diǎn)，這些輸入是故意改變數(shù)據(jù)樣本的，目的是誘使系統(tǒng)產(chǎn)生錯誤的輸出。

像客戶服務(wù)聊天機(jī)器人這樣經(jīng)過用戶輸入數(shù)據(jù)進(jìn)行持續(xù)訓(xùn)練的系統(tǒng)尤其容易受到此類攻擊。大多數(shù)現(xiàn)代的聊天機(jī)器人都可以自動操作并在沒有人工干預(yù)的情況下回答客戶的詢問。通常情況下，除非查詢升級為人員，否則永遠(yuǎn)不會監(jiān)視聊天機(jī)器人與用戶之間的對話。缺乏監(jiān)督使得聊天機(jī)器人成為黑客利用的主要目標(biāo)。

為了幫助企業(yè)保護(hù)其聊天機(jī)器人和虛擬助手，Scanta公司不斷改進(jìn)其機(jī)器學(xué)習(xí)安全系統(tǒng)VA Shield。

Scanta公司由Chaitanya Hiremath于2016年創(chuàng)立，是一家科技公司，最初是增強(qiáng)現(xiàn)實(shí)游戲和社交媒體應(yīng)用程序的開發(fā)商。他們在增強(qiáng)現(xiàn)實(shí)(AR)行業(yè)的成功甚至在探索頻道上嶄露頭角。但是，Scanta最近轉(zhuǎn)向?yàn)榱奶鞕C(jī)器人和虛擬助手提供機(jī)器學(xué)習(xí)安全服務(wù)。

Scanta如何保護(hù)聊天機(jī)器人和虛擬助手

Scanta公司的VA Shield是一種機(jī)器學(xué)習(xí)安全系統(tǒng)，可以在模型、數(shù)據(jù)集和對話級別保護(hù)聊天機(jī)器人。Scanta公司首席技術(shù)官AnilKaushik說，“VA Shield使用機(jī)器學(xué)習(xí)防御機(jī)器學(xué)習(xí)攻擊。我們?yōu)槊總€用戶進(jìn)行行為分析，并標(biāo)記任何異常行為。行為分析是針對最終用戶以及聊天機(jī)器人的。分析所有輸入、輸出和輸入輸出組合實(shí)體，以檢測任何惡意活動。”

在對話級別，Scanta公司評估聊天機(jī)器人的輸出，以阻止惡意攻擊并捕獲業(yè)務(wù)見解。他說，“場景分析是一個簡單的概念，其中聊天機(jī)器人的響應(yīng)是在場景中根據(jù)請求進(jìn)行查看的，”為了進(jìn)行這些分析，我們使用歷史數(shù)據(jù)。例如，查看了用戶的歷史請求特征和來自聊天機(jī)器人的響應(yīng)，以及聊天機(jī)器人的響應(yīng)特征。”

為什么常規(guī)的IT團(tuán)隊(duì)無法處理這些攻擊?

Scanta公司首席執(zhí)行官Chaitanya Hiremath表示，擁有自己IT團(tuán)隊(duì)的公司會外包機(jī)器學(xué)習(xí)安全服務(wù)。這些IT團(tuán)隊(duì)難道不能自己納入機(jī)器學(xué)習(xí)安全協(xié)議嗎?Hiremath說，“我們已經(jīng)與許多公司進(jìn)行了交談，得知這些機(jī)器學(xué)習(xí)威脅是大多數(shù)人不知道的事情，我感到非常驚訝，現(xiàn)實(shí)是許多人甚至不知道這是他們必須防止的事情。大多數(shù)IT團(tuán)隊(duì)和安全解決方案都提供網(wǎng)絡(luò)安全和Web應(yīng)用程序防火墻等功能。這種類型的安全性不同于Scanta提供的安全性。我們在討論和介紹的內(nèi)容處于不同的水平。這遠(yuǎn)遠(yuǎn)超出了消除訓(xùn)練數(shù)據(jù)的偏見。”

在以上提到的達(dá)美航空示例中，網(wǎng)絡(luò)攻擊者入侵了聊天機(jī)器人并修改了源代碼，并且能夠訪問私人客戶數(shù)據(jù)。Hiremath說，“這是因?yàn)闆]有人監(jiān)視正在進(jìn)入聊天機(jī)器人的內(nèi)容和正在發(fā)生的內(nèi)容，這是當(dāng)今機(jī)器學(xué)習(xí)技術(shù)構(gòu)建方式的結(jié)果。但是，必須有一種機(jī)制來解釋是否有惡意。我們將此系統(tǒng)稱為零信任框架。必須確保所有方面都受到保護(hù)。這與保護(hù)數(shù)據(jù)庫或網(wǎng)絡(luò)一樣重要。”

人們的日常生活和個人數(shù)據(jù)越來越與計(jì)算機(jī)系統(tǒng)交織在一起。隨著現(xiàn)代社會數(shù)字化的日益發(fā)展，提高數(shù)據(jù)安全性成為當(dāng)務(wù)之急。特別是像GDPR這樣的組織制定的數(shù)據(jù)法律，企業(yè)比以往任何時候都更重要地保護(hù)其私有數(shù)據(jù)和客戶數(shù)據(jù)。

Scanta公司和機(jī)器學(xué)習(xí)安全性的未來

Hiremath說，“我們希望成為機(jī)器學(xué)習(xí)安全性的領(lǐng)導(dǎo)者，并幫助各個行業(yè)的企業(yè)保護(hù)他們創(chuàng)建的機(jī)器學(xué)習(xí)系統(tǒng)。我們不僅僅將其視為應(yīng)用程序的插件或附件。在三到五年內(nèi)，我們看到這成為其自己的行業(yè)，我們希望成為該領(lǐng)域的市場領(lǐng)導(dǎo)者之一。機(jī)器學(xué)習(xí)安全性有大量用例?，F(xiàn)在，我們希望專注于虛擬助手和聊天機(jī)器人。我們不僅希望成為聊天機(jī)器人安全性的領(lǐng)導(dǎo)者，而且還希望成為其他機(jī)器學(xué)習(xí)系統(tǒng)的領(lǐng)導(dǎo)者。我們目前正在進(jìn)行研發(fā)，以找出我們可以幫助他們保護(hù)的其他領(lǐng)域。”

機(jī)器學(xué)習(xí)模型的更高安全性將使數(shù)據(jù)科學(xué)界和人工智能技術(shù)的日常用戶受益。在2020年上半年，由于存在固有的種族偏見和執(zhí)法部門可能濫用的證據(jù)，IBM公司抵制面部識別技術(shù)。重要的是，像IBM、達(dá)美公司和特斯拉公司這樣的大型企業(yè)應(yīng)退后一步，將安全性和社會影響放在開發(fā)之前。

希望有更多類似Scanta公司出現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域，為開發(fā)機(jī)器學(xué)習(xí)技術(shù)的公司和使用它們的人們創(chuàng)建更安全的人工智能系統(tǒng)。