企業(yè)在AI創(chuàng)新與安全之間走鋼絲

根據(jù)Zscaler的數(shù)據(jù),全球范圍內(nèi)AI/ML工具的使用激增,企業(yè)紛紛將AI融入運營之中,員工也在日常工作流程中加以運用。
該報告顯示,企業(yè)使用AI/ML工具的數(shù)量同比增長了3000%以上,凸顯出各行業(yè)迅速采用AI技術(shù),以解鎖生產(chǎn)力、效率和創(chuàng)新的新水平。這些發(fā)現(xiàn)基于Zscaler云在2024年2月至12月期間分析的5365億筆AI和ML交易。
企業(yè)向AI工具發(fā)送了大量數(shù)據(jù),總計達3624TB,這進一步強調(diào)了這些技術(shù)與企業(yè)運營的融合程度,然而,這種采用熱潮也帶來了更高的安全隱憂。企業(yè)阻止了59.9%的所有AI/ML交易,這表明企業(yè)已經(jīng)意識到AI/ML工具可能帶來的風險,包括數(shù)據(jù)泄露、未經(jīng)授權(quán)的訪問和合規(guī)性違規(guī)。
威脅行為者也日益利用AI來增強攻擊的復(fù)雜性、速度和影響力,迫使企業(yè)重新思考其安全策略。
Zscaler首席安全官迪潘·德賽表示:“隨著AI改變各行業(yè),它也帶來了新的、未曾預(yù)料到的安全挑戰(zhàn)。數(shù)據(jù)是AI創(chuàng)新的金礦,但必須安全地處理。”
ChatGPT占據(jù)AI/ML交易的主導(dǎo)地位
ChatGPT已成為使用最廣泛的AI/ML應(yīng)用程序,占全球已識別AI/ML交易的45.2%,然而,由于其引發(fā)的敏感數(shù)據(jù)泄露和未經(jīng)授權(quán)使用的擔憂,它也成為被阻止最多的工具。其他被阻止最多的應(yīng)用程序還包括Grammarly、Microsoft Copilot、QuillBot和Wordtune,這顯示出AI在內(nèi)容創(chuàng)作和生產(chǎn)力提升方面的廣泛應(yīng)用模式。
企業(yè)在AI創(chuàng)新與安全之間走鋼絲
隨著AI采用的持續(xù)增長,企業(yè)將不得不在控制風險的同時,利用AI/ML的力量保持競爭力,在AI創(chuàng)新與安全之間走鋼絲。
AI放大了網(wǎng)絡(luò)風險,自主式AI工具使威脅行為者能夠擴大攻擊規(guī)模。在2025年至今,我們目睹了DeepSeek挑戰(zhàn)美國巨頭,如OpenAI、Anthropic和Meta,憑借其強大的性能、開放獲取和低成本沖擊了AI開發(fā),然而,這些進展也帶來了重大的安全風險。
歷史上,前沿AI模型的開發(fā)僅限于一小部分精英“建設(shè)者”——如OpenAI和Meta等投入數(shù)十億美元訓練大型基礎(chǔ)模型的公司,然后,“增強者”在這些基礎(chǔ)模型之上構(gòu)建應(yīng)用程序和智能體,之后才到達更廣泛的“采用者”或終端用戶。
DeepSeek通過大幅降低訓練和部署基礎(chǔ)大型語言模型(LLM)的成本,打破了這一結(jié)構(gòu),使得更多參與者能夠進入AI領(lǐng)域。與此同時,隨著xAI的Grok 3模型的發(fā)布,該公司宣布Grok 2將成為開源——這意味著,與Mistral的Small 3模型等一起,用戶在開源AI方面有了更多選擇。
各行業(yè)加大力度保障AI/ML交易安全
美國和印度產(chǎn)生的AI/ML交易量最高,體現(xiàn)了全球向AI驅(qū)動創(chuàng)新的轉(zhuǎn)變,然而,這些變化并非在真空中發(fā)生,這些地區(qū)以及其他地區(qū)的企業(yè)正面臨著日益嚴峻的挑戰(zhàn),如嚴格的合規(guī)要求、高昂的實施成本和熟練人才的短缺。
金融和保險行業(yè)占所有企業(yè)AI/ML活動的28.4%,反映了其廣泛的采用程度,也表明了該行業(yè)所支持的關(guān)鍵功能,如欺詐檢測、風險建模和客戶服務(wù)自動化。制造業(yè)位居第二,占交易量的21.6%,這可能是由供應(yīng)鏈優(yōu)化和機器人自動化方面的創(chuàng)新所驅(qū)動的。
包括服務(wù)業(yè)(18.5%)、技術(shù)業(yè)(10.1%)和醫(yī)療保健業(yè)(9.6%)在內(nèi)的其他行業(yè)也在增加對AI的依賴,而每個行業(yè)都面臨著獨特的安全和監(jiān)管挑戰(zhàn),這些挑戰(zhàn)帶來了新的風險,并可能影響整體的采用率。
各行業(yè)也在加大力度保障AI/ML交易的安全,但阻止的AI/ML活動量各不相同。金融和保險行業(yè)阻止了39.5%的AI交易。這一趨勢與該行業(yè)嚴格的合規(guī)環(huán)境以及保護財務(wù)和個人數(shù)據(jù)的必要性相一致。
制造業(yè)阻止了19.2%的AI交易,這表明該行業(yè)在廣泛采用AI的同時,也采取了一種密切監(jiān)控安全風險的戰(zhàn)略方法,而服務(wù)業(yè)則采取了一種更為平衡的方法,阻止了15%的AI交易。另一方面,醫(yī)療保健行業(yè)僅阻止了10.8%的AI交易。盡管醫(yī)療保健組織處理著大量的健康數(shù)據(jù)和個人身份信息(PII),但在確保AI工具的安全方面仍然滯后,其安全團隊正在追趕快速的創(chuàng)新步伐。
Deepfake將成為各行業(yè)的一大欺詐手段
隨著企業(yè)將AI融入其工作流程,它們還必須應(yīng)對影子AI的風險——即未經(jīng)授權(quán)的AI工具使用,這可能導(dǎo)致數(shù)據(jù)泄露和安全盲點。如果沒有適當?shù)目刂拼胧舾械纳虡I(yè)信息可能會被泄露、被第三方AI模型保留,甚至被用于訓練外部系統(tǒng)。
GenAI將在2025年及以后將社會工程學攻擊提升到新的水平,特別是在語音和視頻網(wǎng)絡(luò)釣魚方面。隨著基于GenAI的工具的興起,初始訪問代理組織將越來越多地使用AI生成的語音和視頻與傳統(tǒng)渠道相結(jié)合。隨著網(wǎng)絡(luò)犯罪分子采用本地化語言、口音和方言來提高其可信度和成功率,受害者將越來越難以識別欺詐性通信。
隨著企業(yè)和終端用戶迅速采用AI,威脅行為者將越來越多地利用人們對AI的信任和興趣,通過設(shè)計用于促進惡意軟件、竊取憑據(jù)和利用敏感數(shù)據(jù)的虛假服務(wù)和工具來牟利。
Deepfake技術(shù)將掀起新一輪欺詐浪潮,從操縱公眾人物視頻的簡單手段擴展到更復(fù)雜的騙局。欺詐者已經(jīng)在使用AI生成的內(nèi)容制作假身份證、偽造事故圖像以騙取保險金,甚至制作假冒X光片來利用醫(yī)療保健系統(tǒng)。
隨著Deepfake工具變得更加先進和易于獲取,且其輸出更具說服力,欺詐將更難被檢測,從而破壞身份驗證和通信信任。
采用AI應(yīng)用需采取戰(zhàn)略性和分階段的方法。最安全的起點是阻止所有AI應(yīng)用程序,以減輕潛在的數(shù)據(jù)泄露風險,然后,逐步整合經(jīng)過審查的AI工具,并實施嚴格的訪問控制和安全措施,以維持對企業(yè)數(shù)據(jù)的全面監(jiān)督。



























