隨著AI大模型的興起，數字基礎設施行業正面臨前所未有的變革壓力，尤其是作為“三大件”之一的存儲領域。AI大模型，如ChatGPT和Sora，以其卓越的表現刷新了人們對人工智能的認知，但這些成就背后是對計算資源、網絡連接和數據存儲能力的極限挑戰。

傳統上，存儲被視為數據的倉庫，但在AI大模型的背景下，存儲系統已轉變為數據處理和分析的積極參與者。存儲設備不僅要提供足夠的空間來容納快速增長的數據量，還要具備高效的數據管理能力，以確保數據可以被迅速地訪問、處理和利用。特別是在數據預處理、模型訓練和實時應用等關鍵環節，存儲性能直接影響到AI模型的訓練速度和最終的業務效果。

長久以來，AI領域的焦點集中在算法模型的開發與訓練上，企業投入大量資源構建復雜模型以提升預測準確率和任務執行能力。然而，隨著模型的不斷成熟和應用場景的多樣化，如何高效地將這些模型應用于實際業務場景，即AI推理，成為了新的關注點。推理階段涉及到模型在實時環境中處理數據、做出決策的過程，它直接影響到用戶體驗和業務效率。

存儲性能差異：

• 訓練階段：AI模型訓練是一個高度數據密集型的過程，需要頻繁地讀取大量訓練數據，對存儲的讀取速度和帶寬有著極高的要求。同時，訓練過程中還會產生大量中間結果和模型檢查點，需要快速寫入存儲以備后續使用或恢復訓練狀態。
• 推理階段：相比之下，推理過程更多地依賴于模型而非原始數據，對存儲的讀寫性能要求相對較低，但對響應時間和低延遲有更高要求。推理系統需要快速地從存儲中檢索模型參數，并對輸入數據進行實時處理，確保用戶體驗的流暢性。

存儲容量與成本差異：

• 在訓練階段，企業可能會選擇高性能的全閃存存儲來滿足大數據量和高IOPS的需求，這通常意味著較高的成本。
• 隨著重點轉向推理，對存儲容量的需求可能減少，但同時對成本效益的追求增加，企業可能會傾向于采用更為經濟的存儲解決方案，如混合存儲或分層存儲策略，以平衡成本與性能。

數據訪問模式差異：

• 訓練階段數據訪問往往涉及大量隨機讀寫
• 推理則主要是模型參數的讀取和少量的輸出數據寫入，這要求存儲系統能夠優化讀取路徑，減少讀取延遲，提高I/O效率。

AI應用程序在處理大規模數據集和復雜模型訓練時，往往展現出獨特的IO模型，特別是當提到"數百萬個小IO讀寫操作"時，AI工作負載，尤其是在深度學習訓練階段，經常涉及對大量小塊數據的頻繁讀取和寫入操作。

小IO請求相比大塊連續讀寫更容易造成存儲設備的隨機訪問壓力，降低IOPS和吞吐量。AI訓練對數據訪問延遲非常敏感，頻繁的小I/O可能會累積延遲，影響訓練效率和模型收斂速度。大量并發的小I/O請求可能導致存儲資源過度碎片化，影響存儲空間的有效利用率。

為了優化訓練效率，實踐中可能采取以下策略：

• 分層存儲：采用多層次存儲方案，將頻繁訪問的數據或活躍數據緩存在高速存儲（如SSD）中，而較少訪問的數據則存儲在低成本但容量大的存儲（如HDD）中。
• 數據預處理：在訓練前進行數據預處理，如數據壓縮、數據增強等，減少實際需要從存儲中讀取的數據量。
• I/O優化：利用軟件層面的優化，如異步I/O、數據預讀取策略，減少I/O等待時間，提高數據讀取效率。
• 分布式訓練：采用分布式訓練策略，將數據集分割到多個計算節點上，每個節點獨立處理一部分數據，這樣可以分散對單一存儲系統的讀取壓力，同時利用多個存儲設備的總帶寬。
• 分布式存儲：采用分布式文件系統或對象存儲解決方案，通過并行處理小I/O請求來分散負載，提高整體系統吞吐量。
• 數據預加載和預處理：提前將數據加載到內存或更快的存儲層，并進行必要的預處理，減少實時I/O需求。

根據相關預測，到2028年，四分之三擁有生成式 AI 訓練數據的組織將部署單一存儲平臺來存儲數據，這一比例高于 2024 年的 10%。大多數企業將不必為生成式AI構建新的存儲基礎設施，因為他們將微調現有的大型語言模型（LLMs），而不是訓練新模型。

大規模生成式AI部署將需要獨特的存儲性能和數據管理功能，用于生成式AI工作流程的數據攝取、訓練、推理和歸檔階段。將數據直接引入現成的LLM或部署生成式AI時，獲取“GenAI in a box”融合存儲解決方案。

在使用少量數據進行訓練或采用預訓練模型時，使用現有的企業存儲平臺：存儲區域網絡 (SAN)、網絡附加存儲 (NAS)、對象存儲或超融合基礎設施 (HCI)。如果要運行大規模生成式AI應用程序，需要構建一個端到端存儲基礎設施平臺，該平臺可以支持生成式AI工作流程的所有應用階段：數據攝取、訓練和微調、推理和歸檔。它應該能夠靈活地管理來自多個來源的數據，包括數據中心、邊緣和公有云。

在大多數情況下，組織在架構生成式AI基礎設施時，服務器可能需要進行重大更新，從基于 CPU 遷移到基于 GPU，以滿足對計算能力的極端需求，特別是在語言模型具有許多參數的情況下。然而，雖然存儲是生成式AI堆棧中的關鍵層，完成模型訓練時很容易成為瓶頸，但存儲經常被組織所忽視。如果選型不當，存儲可能會減慢 GPU 的整體數據傳輸以及模型檢查點和恢復過程，從而造成GPU速度的降低和關鍵計算資源的浪費。

沒有一種存儲部署類型適合所有企業，也沒有一個單一的功能列表可以指出生成式AI 應用程序的最佳存儲類型。如果選擇錯誤的存儲部署類型或忽略生成式AI所需的關鍵功能，那么可能會帶來一個高昂的代價。

生成式AI使用的存儲需要三組獨特的功能：

• 單一、可擴展的數據湖存儲平臺，可以托管用于模型訓練的所有數據。無論是基于文件或基于對象的用例、吞吐量或延遲敏感的工作負載、大型或小型文件、元數據密集型或數據密集型訪問量大的工作負載。
• 一個可提供足夠高的性能的特定功能集，以在訓練階段保持服務器上的 GPU 占用，并足夠快地完成模型檢查點和恢復過程。如果存儲無法足夠快地將數據提供給 GPU，這些 GPU 就會閑置，這相當于浪費。
• 一組可提供跨本地部署、多個云和邊緣位置的全局數據管理功能。訓練或完善模型所需的數據可能來自多個位置。如果沒有全局數據管理數據，則必須對其進行復制，這會導致操作復雜性和容量浪費。

大多數組織將采用現有的人工智能模型，或根據其現有業務數據重新訓練現有模型，并可選擇根據其業務需求添加特定的外部數據。對于在少量數據上使用現有 LLMs 的企業來說，一體化、全棧、生成式AI一體式融合存儲解決方案很可能是最佳選擇。

當主要使用現有數據進行微調時，有兩種部署存儲的方法：投資專用的生成式AI盒裝解決方案。這些通常是超融合解決方案，由適當大小的存儲、計算和網絡以及預訓練的 LLM（類似于 Nutanix 的 GPT-in-a-Box）組成。使用現有的存儲基礎設施，無論數據是存儲在文件、對象或塊存儲、外部或直連存儲還是超融合存儲中。對于這種方法，如果組織擁有一個數據管理軟件層，可以提供跨不同存儲孤島、本地、邊緣和/或公共云中的數據訪問，則會有所幫助。

大規模生成式AI部署需要先進的模型訓練和推理能力以及全面的數據管理能力。一些 GenAI 工作負載以 PB 級數據量而聞名，這些數據量對于 GenAI 工作流程的各個階段有不同的性能和操作要求。對于這些工作負載，通常使用數據湖或分布式存儲系統（例如 Hadoop 或 Spark）來存儲訓練數據和中間輸出。在訓練、微調和推理方面，專門的 GPU 優化的高吞吐量基礎設施堆棧至關重要。對于整個流程，具體實踐者應該：

• 將數據直接引入現成的LLM或運行生成式AI部署時，獲取生成式AI盒裝融合存儲解決方案。
• 使用現有的企業存儲平臺（SAN、NAS、DFS 或 HCI）來運行小規模生成式AI試點。
• 投資數據管理解決方案，以提供跨現有存儲的通用訪問，以及支持自定義標記和基于元數據搜索能力。
• 在考慮其他供應商的新產品之前，請先了解現有存儲供應商的生成式AI功能。供應商正在快速為 GenAI 構建新功能并推出新的專用解決方案。

存儲在此堆棧中發揮著重要作用，存儲解決方案的選擇取決于人工智能模型的大小。對于較小的型號，本地連接的磁盤存儲可能就足夠了。但較大的模型通常需要基于對象存儲或并行文件系統的共享存儲。對于大規模 GenAI 系統，可擴展、高容量和低延遲存儲組件的集成對于處理非結構化數據操作時的最佳性能至關重要。

大規模 GenAI 部署將通過增加數據量、需要支持不同的數據類型以及需要高效的數據版本控制和生命周期管理來影響非結構化數據存儲領域。網絡和存儲基礎設施必須適應高吞吐量，同時將數據丟失降至最低。它還必須是可組合的，從而支持 GenAI 工作負載不斷變化的需求。此外，GenAI 數據平臺必須在 GenAI 工作負載的不同階段之間實現混合數據管理，以實現數據管道的自動化。最后，GenAI數據平臺必須支持高于平常的數據安全標準，以保護敏感數據。

傳統的存儲基礎設施方法不適用于 GenAI 工作負載，因為其工作流程具有異構性。不僅應該關注用于訓練 GenAI 模型的高性能存儲，還應該構建端到端工作流程策略，包括跨邊緣、公共云和本地存儲解決方案提供數據管理功能的能力。上表概述了如何評估存儲平臺以滿足大規模實施的要求。

目前，GenAI 的早期采用者正在與超大規模公共云提供商合作，因為這些提供商可以快速容納任何規模的試點。為大規模 GenAI 部署構建基礎設施，應該：

• 選擇能夠為面向帶寬/順序批處理工作負載和小文件/隨機 I/O 工作負載提供高性能的供應商和產品，因為大多數傳統解決方案無法為提供良好的性能。
• 使用共享存儲方法來整合數據平臺并消除生成式AI數據管道階段之間的移動，并提高存儲效率。
• 通過使用高性能結構消除瓶頸并最大限度地提高 GPU 利用率，實現現有存儲網絡的現代化。
• 開發跨不同人工智能數據管道階段和部署選項（邊緣、核心和公共云）的集成數據管理方法，以避免引入存儲孤島。

總而言之，AI市場正經歷著快速的增長，這一增長動力來源于技術的進步、數據可用性的增加以及對自動化和智能決策的需求。各行各業的企業開始認識到AI在提升效率、改善客戶體驗以及獲取競爭優勢方面的價值。AI市場涵蓋了廣泛的產品和服務，包括AI軟件平臺、支持AI的硬件以及AI服務。隨著算法的不斷優化，尤其是深度學習和機器學習領域的突破，AI技術得以迅速發展，能夠處理更復雜的問題。同時，互聯網、物聯網（IoT）設備和社交媒體等產生的海量數據為AI模型提供了豐富的學習素材，促進了AI解決方案的優化和創新，選擇合理的數據存儲方案，進一步加速AI落地。