Thales的全球副總裁Ashvin Kamaraju深入探討了人們對AI風險的日益擔憂，隨著企業擁抱AI，他解釋了最大的風險，并概述了領導者保護其AI生態系統的戰略方法。

廣泛可用的GenAI平臺和工具的興起，促使企業的決策者評估該技術在其堆棧中的哪些地方可以被利用來增強運營。根據GitHub的調查，92%的開發人員已經在使用AI編碼工具，這些平臺正在成為企業中一切的基礎——從流程到解決方案和思維方式。

對增加AI使用率的日益關注，引發了圍繞這項技術的潛在風險的討論。盡管如此，隨著它變得更加普遍，一個更令人擔憂的因素必須被考慮：對AI的風險。

AI面臨的四大風險以及領導者需要知道的事

• 竊取模型：威脅參與者可以通過復制模型來瞄準使用公共API的機器學習模型。通過手頭有準確的模型，網絡罪犯可以了解其能力的細節，測試限制，看看他們如何成功地瞄準真正的東西。隨著企業尋求整合AI，但沒有預算為代價高昂的開發提供資金，這種威脅載體正在增長。他們求助于更具成本效益的選項，如GPT-4，為付費客戶提供對其數據的洞察。
• 數據中毒：用于訓練深度學習模型的公共數據集有可能被篡改。如果壞人可以訪問這些集合，這些集合就可以被操縱，而對有毒數據進行訓練的模型會產生錯誤或惡意的預測和決定。雖然目前還沒有報道的例子，但如果成功完成，這種情況可能會造成巨大的損害。
• 快速注入：已經證明其對AI有害的風險是快速注入。大型語言模型是AI工具的基礎，它們通過預測接下來會發生什么來工作——對于聊天機器人來說，這是用來驅動響應和發出指令的。黑客正在使用提示注入技術，通過輸入一系列提示或問題來欺騙應用程序，以覆蓋其現有指令，從而“欺騙”聊天機器人。
• 提取機密信息：人們越來越擔心這些AI平臺存儲的是什么。由于土地管理公司接受了數據方面的培訓，因此上傳到這些平臺上的信息可以存儲起來，如果查詢正確，則可以重新分發。隨著企業將大型語言模型添加到他們的技術堆棧中，最大的風險將是上傳的數據。如果團隊上傳個人身份信息或機密信息，企業將面臨公開共享這些數據的風險。

企業如何緩解AI面臨的風險

AI在企業中的廣泛使用是一個日益增長的趨勢，這意味著除非得到適當的解決，否則AI面臨的風險將持續存在。實施這些AI系統的企業應該負責任地這樣做，納入安全行業指導，并將這些系統納入威脅格局。

那么，企業如何才能撐起AI責任的盡頭呢?通過確定適當的AI業務用例來領先于威脅，這些使用案例包括：

• 利用AI作為一種靈活的防御：今天的威脅需要一種主動的安全方法，而不是被動的方法。通過將AI添加到他們的安全堆棧中，企業可以先發制人地應對威脅。使用基于AI的系統，IT和安全團隊可以訪問不斷收集的大量威脅情報資源，使他們能夠快速實施新策略，并更好地了解壞人不斷演變的策略。AI為團隊配備了緩解現代風險所需的洞察力和解決方案，這在網絡犯罪分子轉向AI以推進他們的方法時至關重要。
• 利用GenAI進行高級異常檢測：借助AI系統收集的威脅情報，IT和安全團隊可以進行實時異常檢測。誤報可能會使內部團隊難以檢測異常，因為他們篩選結果以確保系統識別真正的異常。與其對數據進行分類，還可以對生成模型進行訓練，以便更好地理解“正常數據”模式，從而幫助減少誤報。GenAI可以通過從數據集中提取信息來幫助警報尖峰、機器人和其他可能針對系統的攻擊。準確高效地支持團隊挫敗攻擊。
• 減少工作量：以前，安全團隊需要某些編程語言等領域的專家來幫助在攻擊過程中為決策過程提供信息。AI消除了對每種語言專家的需求。如果企業因惡意腳本試圖攻擊其系統而面臨攻擊，IT和安全團隊可以求助于GenAI來輸入腳本，并收到有關修補任何現有漏洞以防御攻擊的即時指示，這不僅允許快速補救，而且還減輕了內部團隊的負擔。

AI風險責任不僅僅是企業的責任

在所有技術中，該行業在塑造未來使用方面發揮著關鍵作用。幾乎在一夜之間，AI變得迅速普及，其進步也同樣迅速。美國有開發更負責任的AI的需求，但缺乏明確的法規，對那些不太熟悉這項技術的人來說，幾乎沒有什么清晰的東西。

隨著AI繼續滲透到工作場所，企業面臨著快速、安全地部署基于AI的系統以滿足新需求，同時避免將自己暴露在不斷擴大的威脅矢量中的巨大負擔，這一巨大的重量并不是企業本身可以承受的，因此制定法規、提供指導和框架對工作場所AI的未來至關重要。

拜登政府發布的AI行政命令有助于為AI的安全和安保建立新的標準。白宮最近的努力也推動了領先的AI公司承諾推動安全、可靠的AI發展，這將進一步提高實施這些公司解決方案的企業對AI的使用。盡管取得了進展，但監管需要時間才能充分發揮作用，AI的進步也不會因為等待政策實施而放緩。

幸運的是，現有的框架、指導和資源可供企業在等待更嚴格的法規時確保適當的業務使用和AI的實現。例如，美國國家標準與技術研究院(NIST)推出了NIST AI風險管理框架，這個框架旨在更好地管理與AI相關的個人、企業和社會的風險。

在過去的一年里，我們看到了AI發展的如此之快。隨著我們等待對提供更多定義流程的技術的進一步監管，企業應該求助于像NIST這樣的現有框架來最好地裝備自己。

協作將是保護AI的關鍵

為了成功地使用AI，很明顯，企業需要轉變心態，專注于這項技術的風險。通過將資源放在保護AI的背后，并呼吁商業領袖、監管機構和行業專家的合作，可以清楚地看到一條從AI創新中受益的更安全的未來。