圖片

想知道ChatGPT這樣的大語言模型是如何煉成的嗎？今天帶你揭開大模型訓練的神秘面紗，看看在數百個GPU上協同訓練大語言模型的技術秘密。

為什么這很重要？

曾幾何時，訓練大語言模型是少數頂級研究實驗室的專利。雖然現在我們可以下載Llama或DeepSeek這樣的開源模型，但最具挑戰性的部分——訓練代碼、知識和技術仍然隱藏在復雜性之后。這些關鍵知識分散在眾多論文和私有代碼庫中，讓大多數開發者和研究者望而卻步。    

圖片

圖片

深入解析：GPU集群上的"交響樂"

當一個模型在單個 GPU 上訓練時，訓練通常包括三個步驟：    

• 前向傳播，將輸入通過模型傳遞以產生輸出
• 反向傳播來計算梯度
• 使用梯度更新參數的優化步驟

它看起來大致是這樣的：

圖片

研究團隊進行了超過4000次擴展性實驗，使用高達512個GPU進行測試。他們發現，訓練大語言模型面臨三大核心挑戰：

1. 內存使用：這是硬性限制，如果訓練步驟超出內存，就無法繼續
2. 計算效率：需要確保硬件大部分時間都在進行計算，而不是數據傳輸
3. 通信開銷：必須最小化GPU之間的通信開銷，因為這會導致GPU空閑

為了應對這些挑戰，研究人員采用了多種并行技術：

• 數據并行
• 張量并行
• 流水線并行
• 上下文并行以及ZeRO和內核融合等優化方法

關鍵發現與實踐指導

圖片

研究揭示了一些重要的訓練規律：

1.批量大小的演進：

• DeepSeek-V3/R1的訓練中，批量大小從3072個輸入序列逐步增加到15360
• 現代LLM訓練通常使用400萬到6000萬tokens的批量大小
• Llama 1用約400萬tokens批量大小訓練了1.4萬億tokens，而DeepSeek用約6000萬tokens批量大小訓練了14萬億tokens

2.內存管理的精妙之處：

• 模型權重
• 模型梯度
• 優化器狀態
• 計算梯度所需的激活值

這些都需要在有限的GPU內存中精心安排

3.混合精度訓練：

• 使用BF16進行大部分計算（每個參數2字節）
• 同時保持FP32的模型權重和梯度副本（每個參數4字節）
• 優化器狀態通常以FP32存儲以保持數值穩定性

圖片

實踐啟示

如果你也在考慮訓練或微調大語言模型，這項研究給出了重要的指導：

• 合理規劃資源：
• 根據模型規模和可用GPU數量選擇合適的并行策略
• 注意通信和計算的平衡
• 優化訓練流程：
• 在可能的情況下重疊通信和計算
• 針對特定硬件布局編寫定制內核
• 關注實際應用：
• 分布式訓練技術不僅適用于預訓練，也適用于推理和微調
• 隨著AI建設者社區和模型規模的快速增長，掌握這些技術變得越來越重要

這些發現不僅幫助我們理解大模型訓練的技術細節，更為未來的AI發展提供了重要指導。無論你是AI研究者、開發者還是對大模型感興趣的普通讀者，這些知識都將幫助你更好地理解和參與AI技術的發展。

如果你也對大模型訓練感興趣，不妨點贊關注，我們一起探討更多AI技術的前沿進展！

文章標題：The Ultra-Scale Playbook: Training LLMs on GPU Clusters    

文章鏈接：???https://huggingface.co/spaces/nanotron/ultrascale-playbook??

本文轉載自 ??AI帝國??，作者： 無影寺