生成式人工智能（GenAI）正處于技術創新的前沿，為各個行業變革發展帶來新的可能性。然而，隨著這些技術的不斷應用與整合，企業組織也必須謹慎對待其應用安全性和監管合規，以負責任和可持續的方式實現GenAI技術的價值落地。日前，專業媒體Helpnetsecurity收集整理了多家研究機構在2023年開展的GenAI技術應用調查，并對其主要預測觀點進行了總結。通過對這些觀點的總結和觀察，將有助于企業組織在2024年更好地應用GenAI技術。

1. 中小型企業更希望擁抱GenAI，但往往會忽視安全措施

Zscaler公司今年針對900多名全球IT決策者進行了一項調查，數據顯示，盡管89%的組織認為像ChatGPT這樣的GenAI工具存在潛在的安全風險，但仍然有95%的受訪組織已經在其業務中以某種形式使用了這些技術。

令人擔憂的是，23%的用戶根本沒有監控GenAI的使用情況，33%的用戶還沒有為GenAI應用采取額外的安全措施。這種情況在小型企業（500-999名員工）中尤為明顯。51%的受訪者預計，其所在的企業在2024年對GenAI工具的關注度將進一步增加，因此需要迅速采取行動，以縮小GenAI采用和安全之間的缺口。

2. 大多數企業不知道如何應對GenAI應用風險

ISG研究數據顯示，85%的受訪公司認為，在未來24個月內，對GenAI的投資是重要或關鍵的。然而，大多數公司并沒有采取“空白名單”（blank slate）的方式，而是要求或通過服務提供商將GenAI應用整合到現有服務中。

關于生成式人工智能的最大擔憂之一是偏見和誤解。當生成式人工智能無法生成一個問題的正確答案時，“人工智能幻覺”就會形成。此外，企業在應用AI時，還要擔心數據質量和模型被破壞或中毒的可能性。雖然很多企業組織看到了GenAI的潛力，但很少有企業知道該如何處理AI技術的應用風險。ISG報告指出，在通過AI技術實現飛躍式發展之前，企業需要克服的障礙包括安全、版權問題、道德考慮和法律問題。

3. ChatGPT的應用流行引發了全球GenAI投資的激增

人工智能并不是一項新技術，多年來，眾多科技公司一直在大力投資于預測和可解釋型人工智能。但研究機構IDC表示，OpenAI所發布的GPT-3.5系列應用，吸引了全世界的關注，并引發了對GenAI投資的激增。IDC預計，到2027年，全球在人工智能解決方案上的支出將增長到5000億美元以上。大多數組織都要經歷一個向人工智能增強產品/服務過渡的轉變過程。

4. 企業技術領導者難以跟上AI的發展

Harvey Nash最新報告指出，AI技術正在全面挑戰組織傳統的發展模式，但只有15%的企業技術領導者表示已經為GenAI的應用做好了準備，88%的受訪者表示加強對AI技術應用的監管至關重要。研究人員發現，盡管AI的市場預測呈爆炸式增長，但僅有10%的組織大規模實施了AI，而更多組織還是處于試點或小規模實施階段。

對AI有效應用的擔憂是顯著的，近45%的企業技術領導者表示，AI技術是企業目前最短缺的技能領域，技能短缺將使企業無法跟上技術變革的步伐。

5. 企業有充分的理由擔心GenAI應用安全性

據Portal26發布的調研數據顯示，三分之二的受訪者承認在過去一年中發生過GenAI安全或濫用事件。73%的受訪者已經經歷過與GenAI相關的安全事件，其中67%發生在2023年。研究人員認為，企業組織對GenAI應用的安全性擔憂正在不斷增長，并且應用風險仍未得到有效解決，具體擔心包括影子AI應用（占比58%）、數據隱私（56%）、合規治理（63%）、知識產權保護（62%）、訓練偏見（55%）、數據安全（60%）以及員工培訓（58%）等方面。

6. CISO需要提前為AI技術引發的網絡攻擊做好準備

根據Abnormal Security公司提供的監測數據，企業組織在2023年所經歷的電子郵件攻擊數量和復雜程度都出現了明顯增長，而主要原因很可能就是因為攻擊者廣泛使用了GenAI技術。

讓安全研究人員最擔心的是，GenAI不僅使電子郵件攻擊變得越來越復雜，還能夠幫助攻擊者根據公開可用的信息制作高度針對性和個性化的欺詐電子郵件。

2023年，有許多人已經在經歷這些威脅，80.3%的受訪者證實，他們的組織已經收到由AI生成的電子郵件攻擊。但絕大多數安全負責人并沒有做好充分準備，難以防范AI生成的電子郵件攻擊。傳統的安全防護方法難以應對AI生成的網絡攻擊，因此，有46%的受訪者對檢測和阻止人工智能生成的攻擊缺乏信心。

7. 通過構建GenAI能力促進業務增長

IDC的研究人員表示，現代企業組織應該盡快踏上GenAI技術采用之旅以實現業務成功，這需要不斷開展與GenAI投資相關的基礎活動，確定用例優先級的指導，以及確定構建和實施成功計劃所必需的關鍵利益相關者。構建和使用GenAI模型將需要新的能力，例如“提示工程師”為GenAI系統編寫和測試提示。每個組織都必須為核心AI技術和業務能力創建新的技能地圖，以便在整個組織中大規模部署GenAI。組織還應該為關鍵角色建立個性化的培訓計劃。

8. GenAI可能會將DevOps和SecOps引入到危險領域

Sonatype公司研究表示，企業應用安全領導者和軟件開發領導者們都一直認為，GenAI技術將導致軟件開發中更普遍的安全漏洞，可能會將DevOps和SecOps引入到危險領域。

調查顯示，97%的受訪DevOps和SecOps領導者目前已經開始使用GenAI技術。但大多數受訪者都認為，安全風險是他們對該技術應用最大擔憂。不過，雖然DevOps和SecOps受訪者對GenAI的風險看法高度，但在采用率方面卻存在顯著差異。45%的SecOps領導者已經在軟件開發過程中實施了GenAI，而DevOps的這一比例為31%。57%的SecOps受訪者表示GenAI每周至少為他們節省6個小時，而DevOps方面只有31%的受訪者表示節省了同樣時間。

9. 企業對GenAI的SaaS化服務安全影響感到焦慮

Snow Software公司表示，企業的IT領導者正在努力應對GenAI應用風險挑戰，盡管96%的受訪者仍然對其組織的SaaS安全措施“有信心或非常有信心”，然而，IT領導者現在必須將GenAI的風險影響納入其整體SaaS安全方法中。23%的受訪者表示，GenAI應用程序是最令人擔憂的SaaS安全問題。57%的受訪者表示，如果SaaS供應商在他們不知情的情況下使用GenAI，這會讓他們感到震驚和焦慮。

參考鏈接：https://www.helpnetsecurity.com/2023/12/22/genai-cybersecurity-surveys/