譯者 | 布加迪

審校 | 重樓

您猜怎么著？云計算會議現在是生成式AI會議。怎么會這樣？很簡單，云提供商將生成式AI視為銷售更多云服務的最佳方式了。

隨著企業界轉向AI驅動的生態系統，這一幕主要在云計算環境中上演。在這里您通常可以找到最先進的生成式AI系統、可擴展性、可訪問性和成本效益。當我們踏上這段旅程時，企業應該如何有效地運行這些系統？我們應該考慮哪些最佳實踐？

了解云端生成式AI

簡而言之，生成式AI模型是從輸入數據中獲取模式和結構以生成新型原創內容的系統。這些內容是輸出數據，它可以是任何類型的結構化或非結構化信息。

如果要在現有模式的基礎上進行構建，這是一個數據操作問題。然而存在重大的差異，包括處理頻繁得多，以及數據輸入和輸出性能決定了云端生成式AI系統的性能。

基于云的生成式AI系統的流程

不妨定義一個基本流程或一系列最佳實踐。運營人員喜歡核對清單，以下是我給出的核對清單。

• 設計系統。您的AI和云解決方案必須協同擴展，生成式AI模型需要有效地管理存儲和計算資源。您編寫的應用程序必須盡可能地利用云原生服務。這樣既經濟高效，又簡化了操作。這時候Devops就有了用武之地，與開發團隊協作優化代碼。

其想法是，如果系統一開始就設計正確，您就不需要處理操作問題。我遇到的大多數關于操作的問題都歸結為系統的核心設計。

• 垃圾輸入等于垃圾輸出。為了從AI中獲得有意義的輸出，應該將高質量和適當格式的數據輸入到系統。管理、驗證和保護饋送到AI引擎的這些數據至關重要，從這些系統收集數據也很重要。這個階段實現自動化將大大節省時間，包括在攝取訓練數據之前檢查數據質量。我發現大多數生成型AI的幻覺都源于不到位和低質量的數據。
• 定期檢查。生成式AI軟件不是一種安裝后就可以撒手不管的工具。這項技術從一開始就需要定期的性能調優和優化。AI的動態性需要持續監控，以確保參數提供最佳的操作結果。這意味著要經常調整系統，可能每天都要調整。
• 借助嚴格的訪問控制解決安全問題。由于您的生成式AI系統在云端，因此安全性必須包括數據加密和定期審計。最好確保那些合規策略落實到位，您在部署到生產環境期間和之后需要使這些策略實現自動化。其想法是將盡可能多的不穩定因素放到一個單獨的域中，從而廣泛使用策略以處理合規和安全參數。公共云上的生成式AI系統更是如此。
• 設置系統故障警報。密切關注使用模式，執行定期維護，并保持補丁和新版本的更新，這些工作必不可少。自動化可以再次發揮作用，減輕負擔，并提高效率。不過，您仍得盡量提高自動化程度，以跟上需要實施的變更的數量。

準備、瞄準、開火!

先讓系統正常運行起來。這意味著在部署之前做好設計和更改代碼。在許多情況下，企業試圖一下子推出系統，希望運營團隊能夠解決導致性能和穩定性問題的設計缺陷，并確保整個系統的準確性。太多的企業對云端生成式AI采取了“準備、開火、瞄準”的做法。這種做法不僅花費太多的錢，還因基本上可以避免的生產問題而降低了這些系統的價值。

我們應該通過部署第一代基于云的系統來正視這個問題，而且愿意解決許多技術問題。這些系統出差錯帶來的后果嚴重得多。我們盡量不要制造問題，不然問題在操作過程中只會愈加嚴重。

原文標題：Best practices for operating cloud-based generative AI systems，作者：David Linthicum