譯者 | 晶顏

審校 | 重樓

想象一下：一個營銷經理使用ChatGPT來起草一個個性化的電子郵件活動。與此同時，一名開發人員用經過客戶數據訓練的機器學習模型進行了實驗，人力資源團隊集成了人工智能（AI）工具來篩選簡歷。但這些操作都沒有經過IT部門的允許。如此一來的后果是什么？沒錯，就是“影子AI”泛濫！

影子IT——在工作中使用未經批準的軟件或工具——并不是什么新鮮事物。然而，隨著AI的快速采用，影子IT已經演變成更復雜的東西：影子AI。員工現在可以輕松訪問ChatGPT、AutoML平臺和開源模型等AI工具，使他們無需等待批準即可進行創新。雖然這聽起來像是生產力的勝利，但它也帶來了嚴重的風險。

對于采用AI驅動的解決方案的組織來說，影子AI越來越受到關注，因為它在IT治理的邊界之外運行。使用這些工具的員工可能會在不知不覺中暴露敏感數據，違反隱私法規，或將有偏見的AI模型引入關鍵工作流程。這種不受管理的AI應用不僅僅是違反規則，還涉及道德、法律和運營方面的潛在后果。

什么是影子AI？

影子AI是指在組織內未經授權或未經管理地使用AI工具、模型或平臺。這是一種新形式的影子IT，員工或團隊在未經IT或治理團隊批準的情況下采用AI技術。與傳統工具不同，AI對數據和決策能力的依賴使其風險加劇。

影子AI的示例

1.營銷團隊和ChatGPT

市場實習生面臨著快速制作新聞稿的壓力。他們聽說了ChatGPT編寫內容的能力，便決定嘗試一下。為此，實習生復制了之前包含機密客戶詳細信息的新聞稿，并將其粘貼到ChatGPT的輸入框中以獲取“靈感”。

ChatGPT生成了一份十分驚艷的草稿，但是平臺的數據策略允許它保留用戶輸入以改進模型。現在，敏感的客戶信息在公司不知情的情況下存儲到了外部服務器上。

2.數據科學家和流氓模型

數據科學家急于證明預測分析對公司銷售部門的價值。他在沒有正式獲得批準的情況下下載了客戶購買歷史，并訓練機器學習模型。他還使用開源數據集來補充訓練數據，以節省時間。

然而，這個外部數據集包含有偏差的信息。該模型雖旨在預測購買行為，但由于訓練數據的偏差，其結果是有傾向性的。在沒有監督的情況下，該模型被用于做出關鍵的銷售決策。某些特定人群的客戶被不公平地排除在促銷活動之外，這對公司的聲譽造成了損害。

3.開發人員和API快捷方式

開發人員的任務是向公司的客戶服務門戶添加翻譯功能。她沒有在內部構建解決方案，而是找到了一個提供即時翻譯的第三方AI API。開發人員無需審查其提供者或通知IT部門即可集成API。

但是，該API卻包含開發人員不知道的漏洞。短短幾周內，攻擊者便利用這些漏洞訪問了敏感的客戶通信日志。該公司遭受了嚴重的安全漏洞，導致運營停機和經濟損失。

影子AI背后的驅動因素

影子AI正在蔓延，因為員工比以往任何時候都更容易獨立采用AI工具。但是這種獨立性伴隨著風險，涵蓋從合規性問題到安全漏洞在內的諸多隱患。而推動影子AI的主要因素包括以下幾點：

AI工具的可訪問性

AI工具現在比以往任何時候都更容易獲得，許多工具都是免費的、便宜的，或者只需要很少的設置，這使得它們對尋求快速解決方案的員工極具吸引力。

例如，一個銷售團隊可能會使用一個免費的AI聊天機器人來管理客戶查詢，在不知情的情況下上傳真實的客戶數據進行培訓。這些數據可能會保存在外部服務器上，從而造成潛在的隱私泄露。

這里的問題在于缺乏治理，因為在沒有監督的情況下使用易于訪問的工具可能導致數據泄露或違反法規，從而給組織帶來重大風險。

AI民主化

AutoML和Datarrobot等用戶友好型平臺，以及Hugging Face等平臺上的預訓練模型，允許非技術用戶快速創建AI模型或部署AI解決方案。例如，營銷分析師可能會使用谷歌AutoML通過上傳購買歷史來訓練模型，以預測客戶流失。

雖然該工具可以無縫地工作，但卻可能在不知不覺中違反公司的數據處理政策，因為它沒有將敏感信息匿名化，并將私人客戶數據暴露給第三方平臺。

這里的問題在于缺乏技術監督，因為這種能力增加了錯誤、數據濫用和道德問題的風險，潛在地損害了組織的安全性和合規性。

創新的壓力

創新的壓力往往會導致員工繞過IT治理，更快地部署AI工具，尤其是在面臨緊迫的最后期限時，等待批準感覺像是一個“鎖喉術”般難受。

例如，一個產品團隊面臨著在幾周內推出新功能的壓力，可能會跳過IT審批，部署GitHub上的開源AI推薦系統。

雖然系統能夠運行，但它會產生有偏見的推薦，從而疏遠某些客戶群。這種沒有適當監督的急于創新會導致重大的后續問題，包括有偏見的決策、技術債務和聲譽損害，破壞組織的信任和績效。

組織AI戰略存在缺口

缺乏明確的AI政策或獲批工具往往迫使員工尋找自己的解決方案，創造了一個允許影子AI蓬勃發展的環境。例如，如果沒有可用的內部選項，需要分析客戶情緒的員工可能會在不了解相關風險的情況下使用外部平臺。

由于數據隱私和安全指導方針不明確，對AI風險的培訓不足，以及批準的工具或平臺不可用，這種種治理方面的缺口都阻礙了負責任地采用AI，最終使組織暴露在合規性和安全漏洞之下。

與影子AI相關的風險

影子AI給組織帶來了巨大的風險，甚至遠超與傳統影子IT相關的風險。從數據泄露到道德困境，未經管理的AI應用可能會產生難以發現且緩解成本高昂的問題。

安全風險

未經授權的AI工具會帶來重大的安全風險，主要是當敏感數據在沒有適當保護的情況下上傳或共享時，十分容易暴露。

例如，使用ChatGPT等免費生成式AI工具的員工可能會無意中上傳專有信息，如商業計劃或客戶數據，平臺可能會保留或共享這些信息以用于訓練目的。

此外，開發人員下載開源AI模型來加速項目，可能會在不知不覺中引入帶有隱藏后門的惡意模型，這些后門會在使用過程中泄露敏感數據。

合規和法律風險

影子AI經常違反數據隱私法律和許可協議，使組織面臨監管和法律風險。

例如，醫療保健提供商可能使用未經授權的AI診斷工具，在不知情的情況下將患者數據上傳到不合規的服務器，從而違反了HIPAA或GDPR等法規，并招致巨額罰款。

同樣地，一個團隊可能會使用具有限制許可條款的數據集來訓練機器學習模型，并且在商業化后，該組織可能會面臨侵犯知識產權的法律訴訟。

倫理問題

在沒有適當監督的情況下部署的AI工具可能會使偏見永久化，做出不公平的決定，缺乏透明度，導致重大的道德和聲譽問題。

例如，基于偏見數據訓練的招聘工具可能會無意中將合格的候選人排除在代表性不足的群體之外，從而加劇系統性不平等。

同樣地，使用不透明的AI模型的客戶信用評分系統可以在沒有明確解釋的情況下拒絕貸款，從而侵蝕信任并損害組織的可信度。

操作風險

影子AI經常導致系統碎片化、冗余工作和技術債務，破壞業務運營和效率。

例如，當不同的部門獨立地采用AI工具來完成類似的任務時，它會產生效率低下和集成挑戰。此外，團隊可能在沒有適當文檔或維護的情況下開發機器學習模型，導致組織無法在模型失敗時對其進行故障排除或重建，從而加劇了技術債務和操作風險。

緩解影子AI的策略

影子AI在沒有監督、明確政策或可訪問工具的環境中茁壯成長。為了緩解其風險，組織需要采取一種主動和全面的方法。

1.創建一個AI治理框架

強大的AI治理框架為在組織內使用AI提供了明確的政策和指導方針，為管理與AI工具和模型相關的風險奠定了基礎。這包括為已批準的AI工具、模型開發和數據處理實踐建立規則和策略，以及指定可接受的用例，例如數據匿名化需求和許可遵從性。

該框架還應該通過概述AI模型開發、部署、監控和退役過程來實現模型生命周期管理，同時需要全面的數據集、算法和性能度量文檔。

此外，任命AI管理者——負責執行治理政策和監督AI項目的個人或團隊——確保始終遵守這些標準。

策略示例：“組織內使用的AI工具必須得到IT和安全團隊的預先批準。任何上傳到外部AI服務的數據都必須匿名化，并遵守相關的數據保護法。”

2.提高認識

教育對于解決影子AI至關重要，員工大多都因缺乏對相關風險的認識而經常使用未經授權的工具。

舉辦關于AI倫理、數據隱私法（例如GDPR和HIPAA）以及影子AI危險的研討會和培訓課程，有助于建立理解和問責制。通過時事通訊或內部通信進行定期更新可以使員工了解已批準的工具、新政策和新出現的風險。此外，進行模擬演習或桌面場景可以生動地展示影子AI漏洞的潛在后果，加強合規并強調警惕的重要性。

培訓實例：組織一場全公司范圍的培訓課程，題為“影子AI的潛在風險：保護我們的組織”。

3.實施安全控制

安全控制對于監測和限制未經授權使用AI工具，實現早期發現和緩解影子AI活動至關重要。

AI監控工具（如MLFlow和Domino Data Lab）可以跟蹤組織內的AI模型開發和部署。API和日志監控解決方案有助于檢測與外部AI平臺的未經授權的交互。數據泄漏預防（DLP）工具可以識別并阻止將敏感數據上傳到未經批準的AI平臺的嘗試。此外，網絡控制（包括已知外部AI服務的黑名單）可以限制對未經授權的AI應用程序的訪問，從而加強整體安全性。

4.提供認可的替代方案

由于無法獲得滿足其需求的批準工具，員工經常求助于影子AI，因此提供替代方案以減少未經授權平臺的吸引力至關重要。

進行調查或訪談可以幫助確定員工需要的特定工具，同時將批準的選項集中在文檔完備的目錄中，確保可訪問性和清晰度。此外，為批準的工具提供用戶友好的界面和培訓，鼓勵采用并最大限度地減少對未經批準的解決方案的依賴。

合規性示例：提供對基于云的AI平臺（如谷歌Cloud AI或Azure AI）的預先批準訪問，這些平臺配置了組織安全和合規性策略。

5.鼓勵合作

AI計劃的有效管理需要促進IT、安全和業務團隊之間的溝通和協調，確保AI治理在維護安全性和合規性的同時支持運營目標。

建立跨職能團隊，例如由IT、安全、法律和業務單位代表組成的AI治理委員會，可以促進協作和全面監督。

實施反饋循環允許員工要求新的工具或提出對AI治理政策的擔憂，確保他們的聲音被聽到。此外，將AI計劃與組織目標結合起來，可以增強它們的重要性，并促進團隊的共同承諾。

協作示例：召開季度AI治理會議，討論新工具，審查合規性更新，并處理員工反饋。

影子AI的未來

隨著AI的發展，管理其未經授權使用的挑戰也在增加。AI的新興趨勢，如生成模型和基礎系統，帶來了機遇和風險，進一步放大了影子AI的復雜性。

將AI治理集成到DevSecOps中

AI治理越來越成為現代DevSecOps實踐的核心，確保AI生命周期中嵌入安全性、合規性和道德考慮。這包括左移AI治理，即在開發早期集成數據集驗證和模型偏差測試等治理檢查。

DevOps實踐也在不斷發展，以整合AI特定的CI/CD管道，包括模型驗證、性能基準測試和部署期間的合規性檢查。此外，實時監控和事件響應機制，例如針對意外輸出或數據完整性違規等異常情況的自動警報，在維護AI系統的完整性和可靠性方面發揮著關鍵作用。

AI監控工具的進步

新的工具和技術正在出現，以應對監控AI系統的獨特挑戰，特別是那些自主運行的AI系統。可解釋性和透明度工具，如SHAP、LIME和ELI5，允許組織解釋模型決策，并確保與道德標準保持一致。

像Arize AI和Evidently AI這樣的連續模型監測平臺提供持續的性能跟蹤，以檢測模型漂移或精度下降等問題。基于網絡的監控解決方案可以通過標記與未經批準的AI API或平臺的交互來自動檢測未經授權的AI使用。

生成式AI和基礎模型進一步推動影子AI發展

生成式AI和基礎模型（如GPT和BERT）大大降低了開發AI驅動應用程序的障礙，增加了影子AI的風險和收益。它們的用戶友好性使非技術員工也能創建復雜的AI解決方案，增加了可訪問性。

然而，這種易用性使治理復雜化，因為這些工具通常依賴于大型、不透明的數據集，使合規性和道德監督更具挑戰性。此外，生成模型可能產生有偏見的、不恰當的或機密的內容，進一步放大組織完整性和聲譽風險。

結語：管理影子AI的“雙刃劍”

隨著組織越來越多地采用AI驅動的解決方案，影子AI既是創新的催化劑，也是重大風險的來源。一方面，它賦予員工解決問題、自動化任務和提高效率的能力。另一方面，它的非管理性也帶來了漏洞，涉及數據泄露、違反法規、道德挑戰和運營效率低下等諸多問題。

影子AI是AI可訪問性和民主化的副產品，反映了技術在現代工作流程中日益重要的作用。然而，其風險也不容忽視。如果不加以控制，影子AI可能會侵蝕信任，擾亂運營，并使組織面臨監管和聲譽方面的損害。

AI工具在現代工作中無處不在，但它們的潛在好處也伴隨著責任。員工和決策者必須做到以下幾點：

• 批判性地思考他們采用的工具及其更廣泛的含義。
• 仔細評估風險，特別是在數據隱私、合規性和道德考慮方面。
• 跨團隊協作，使AI計劃與組織價值觀和社會標準保持一致。

最終，問題不在于影子AI是否會存在，而在于我們如何管理它。

原文標題：What is Shadow AI? The Hidden Risks and Challenges in Modern Organizations，作者：Sonya Moisset