要訓練一個性能卓越的 LLM，計算資源是首要門檻。從數千顆 GPU 到優化的內存管理，再到高速網絡互連，每個環節都決定著模型的最終表現。傳統的 AI 計算架構無法輕松支持如此龐大的計算負載，內存容量不足、計算效率受限、網絡帶寬瓶頸 成為橫亙在 AI 發展道路上的三座大山。

5月14日，DeepSeek-AI 團隊發表技術論文《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》，公布了DeepSeek-V3 相關技術內容，該論文計劃在第52屆國際計算機架構研討會（ISCA '25）的工業軌道上發表。

DeepSeek-V3的解決方案便是硬件感知的模型設計（Hardware-Aware Model Design），即讓模型結構主動適配底層計算架構，充分利用硬件資源，做到高效推理與低成本訓練。這不僅是技術優化，更是一種突破 AI 計算瓶頸的戰略性思考。

傳統的 AI 訓練往往在兩種極端之間徘徊：要么依賴強大的硬件集群，成本高昂；要么局限于標準計算資源，模型性能受限。DeepSeek-V3 展示了一種新的路徑——軟件算法與硬件架構深度協同，使得大型模型的訓練和推理在有限資源條件下實現優化。

這一點在 DeepSeek-V3 的多個關鍵技術中得到了體現：

• FP8 混合精度訓練（FP8 Mixed-Precision Training）降低計算開銷，同時提升硬件適配能力。
• 專家混合模型（MoE）通過激活少量專家參數，大幅提升推理效率。
• 多令牌預測（MTP）打破自回歸推理的單步生成瓶頸，讓推理速度更進一步。

在 AI 計算不斷升級的時代，僅靠算法優化已經不足夠，將 AI 計算架構與硬件深度結合才是可持續的進化方向。

《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》由DeepSeek-AI 研發團隊共同完成，成員有Chenggang Zhao, Chengqi Deng, Chong Ruan, Damai Dai, Huazuo Gao, Jiashi Li, Liyue Zhang, Panpan Huang, Shangyan Zhou, Shirong Ma, Wenfeng Liang, Ying He, Yuqing Wang, Yuxuan Liu, Y.X. Wei，涵蓋人工智能科學家、深度學習工程師和計算架構專家，在 AI 計算基礎設施優化領域擁有深厚的技術積累。

DeepSeek-AI 在過去的 AI 研究浪潮中始終堅持開源創新，他們的 DeepSeek-V3 不僅優化了大型模型訓練，還推動了 AI 計算架構的演進，為整個 AI 研究社區提供了重要的技術參考。

論文鏈接：??https://arxiv.org/pdf/2505.09343??

1.設計與實現原理

硬件感知的模型架構：軟件與硬件協同演進

當 AI 計算邁向更高階的規模化時，硬件架構與模型設計不再是孤立存在的兩個范疇，而是相輔相成的。DeepSeek-V3 采用硬件感知的模型設計理念，即在構建大型語言模型時，主動適配現有計算架構的特點，使其最大化利用底層硬件資源。

圖1:DeepSeek-V3的基本架構。基于DeepSeek-V2的MLA和DeepSeekMoE，引入了多令牌預測模塊和FP8混合精度訓練，以提高推理和訓練效率。該圖顯示了架構不同部分計算所使用的精度。所有組件在BF16中進行輸入和輸出。

具體而言，DeepSeek-V3 在訓練和推理過程中，需要處理巨量數據，而傳統的 GPU 互連架構存在帶寬瓶頸。NVLink 提供更快的 GPU 之間數據交換，PCIe 則用于 CPU-GPU 通信，這兩者的平衡決定了推理速度。為了適應 NVLink 帶寬受限的挑戰，DeepSeek-V3 采用節點限制路由策略，減少跨節點數據傳輸，提高 GPU 內部數據交換的效率。這一優化策略不僅減少了 IB 傳輸開銷，還提升了專家并行（EP）的計算穩定性。

低精度驅動設計：計算資源的精準利用

AI 計算架構的最大挑戰之一是如何降低計算成本，而不犧牲模型質量。DeepSeek-V3 采用FP8 混合精度訓練，通過低精度計算減少內存占用，同時保持模型精度。這種策略相比 BF16 減少了一半的內存需求，有效提升計算效率。

FP8 訓練也存在局限性，例如：

• 累積精度受限：Tensor Core 僅保留 13 個尾數位進行累加，可能影響超大規模模型訓練的穩定性。
• 細粒度量化的計算開銷：在 Tensor Core 與 CUDA Core 之間，頻繁數據傳輸可能降低計算效率。

為了解決這些問題，DeepSeek-V3 提出了硬件優化建議：

• 增加 FP8 的累積精度，使其更適用于大模型訓練。
• 讓 Tensor Core 直接支持細粒度量化計算，減少數據傳輸負擔。

此外，DeepSeek-V3 還采用LogFMT 低精度通信壓縮，用于減少專家并行（EP）的通信數據量。LogFMT 通過對數空間映射優化數據存儲，使數據更均勻分布，提高低精度存儲能力。這項技術可以大幅降低網絡通信成本，提升數據傳輸的穩定性。

高效內存管理與 KV 緩存優化

Transformer 架構的核心之一是自注意力機制，但它的 KV 緩存開銷極大，成為 AI 計算的內存瓶頸。DeepSeek-V3 通過多頭潛在注意力（MLA），減少 KV 緩存存儲需求，使其更適用于長文本推理。

MLA 技術將多個注意力頭的 KV 表示壓縮為更小的潛在向量，降低存儲占用。相比于傳統的 GQA 和 MQA 方法，MLA 能夠在保證推理質量的同時，大幅減少 KV 緩存需求。例如：DeepSeek-V3 每個令牌的 KV 存儲僅 70 KB，而LLaMA-3.1 405B 需要 516 KB，Qwen-2.5 72B 需要 327 KB。MLA 技術使 DeepSeek-V3 在長文本處理場景下具有更高的可擴展性。

除了 MLA 之外，DeepSeek-V3 還探索了其他 KV 緩存優化策略，例如共享 KV、窗口 KV 和量化壓縮。這些技術在內存效率上各有優劣，MLA 方案最終被選為 DeepSeek-V3 的核心優化策略。

專家并行與推理加速：突破 LLM 推理速度瓶頸

深度學習模型在推理時面臨計算負擔大、推理速度慢的問題。DeepSeek-V3 通過專家混合模型（MoE），只激活部分專家參數，減少計算資源消耗。例如：

• DeepSeek-V3 具有671B規模的參數，但每個推理令牌僅激活 37B。
• 相比于 Qwen2.5-72B 和 LLaMA3.1-405B 必須激活所有參數，DeepSeek-V3 的 MoE 架構在計算效率上更具優勢。

此外，DeepSeek-V3 還采用多令牌預測（MTP） 技術，解決傳統自回歸推理的單步生成問題。MTP 通過并行預測多個令牌，使推理速度提高 1.8 倍，而且其預測接受率達到80%-90%，保證推理質量不受影響。

這些優化策略共同構建了 DeepSeek-V3低成本、高效推理 的技術優勢，使其能夠在有限的計算資源下，依然提供卓越的 AI 模型性能。

2.互連與網絡優化解讀

硬件互連現狀：讓 AI 計算更高速、更可擴展

DeepSeek-V3 的成功，離不開對硬件互連架構的深度優化。傳統的 AI 計算架構往往受到帶寬限制，而 NVIDIA H800 GPU 采用 Hopper 架構，盡管整體計算性能強大，但 NVLink 帶寬卻從 H100 的 900GB/s 降至 400GB/s，這對大規模推理任務帶來了挑戰。

圖2:H800節點互連。

為了彌補 NVLink 帶寬下降帶來的影響，DeepSeek-V3 采用了 CX7 InfiniBand 網卡，每個節點配置 8×400Gbps IB NIC，以增強 Scale-Out 能力。這種做法意味著即使 NVLink 在單節點內部的帶寬受限，集群之間仍然可以通過 IB 高速互連，保持分布式 AI 計算的高吞吐量。換句話說，DeepSeek-V3 在 Scale-Up 受限時，巧妙地通過 Scale-Out 解決問題。

互連驅動設計策略：優化計算并行，加速推理

面對 GPU 互連帶寬的挑戰，DeepSeek-V3 采用硬件感知的并行計算策略，在訓練和推理過程中優化計算任務的分布，確保計算資源的高效利用。

首先，DeepSeek-V3 避免使用 Tensor 并行（TP），因為 TP 依賴NVLink，而 NVLink 帶寬下降導致 TP 在大規模訓練中效率低下。然而，在推理階段，TP 仍可被選擇性啟用，用于降低推理延遲。

與此同時，DeepSeek-V3 強化流水線并行（DualPipe） 計算架構，允許注意力計算和專家選擇計算同時進行，減少流水線中的空閑時間，提高 GPU 計算利用率。此外，DeepSeek-V3 還開源了 DeepEP（高效專家并行實現），以優化專家并行（EP）的分布式計算性能，使 AI 計算集群能夠更穩定地擴展。

值得注意的是，DeepSeek-V3 采用了節點限制路由策略，利用 NVLink 進行本地 GPU 互連，減少 IB 傳輸數據量。例如：

• 每個節點包含 8 GPUs 和 256 個專家，模型會根據TopK Expert Selection規則，將令牌傳輸至最多4 個目標節點。
• 在傳統 AI 集群中，每個令牌需要跨多個節點傳輸，而 DeepSeek-V3 通過NVLink 進行本地轉發，確保數據盡量在同一節點內傳播，從而降低      IB 傳輸負擔，提高數據交換效率。

帶寬競爭與低延遲優化：保障數據流動的高效與穩定

在推理任務中，數據流動的穩定性至關重要。然而，DeepSeek-V3 需要同時進行 KV 緩存傳輸（CPU 到 GPU）和專家并行通信（EP通信），這兩者都會大量占用 PCIe 帶寬，導致帶寬爭奪現象。

圖3：八平面雙層脂肪樹鱗片網絡：每個GPU和IB NIC對屬于一個網絡平面。跨平面流量必須使用另一個NIC和PCIe或NVLink進行節點內轉發。

為了解決這個問題，DeepSeek-V3 采用 動態流量優先級，確保 EP 計算與 KV 傳輸不會發生嚴重沖突。此外，在網絡層面，DeepSeek-V3 使用IB（InfiniBand）而非 RoCE（RDMA over Converged Ethernet），因為 IB 具有更低的通信延遲。例如：

• RoCE 同葉交換延遲：3.6μs，RoCE 跨葉交換延遲：5.6μs
• IB 同葉交換延遲：2.8μs，IB 跨葉交換延遲：3.7μs

圖4:AllGather和ReduceScatter通信原語在不同路由方法（ECMP、AR、靜態路由）和TP維度下的RoCE網絡帶寬。

可以看到，IB 的延遲比 RoCE 更低，因此DeepSeek-V3 優先選擇 IB 作為 AI 計算集群的主要網絡通信標準，以確保模型訓練和推理任務的低延遲。

此外，DeepSeek-V3 還采用 InfiniBand GPUDirect Async（IBGDA） 技術，優化 GPU-CPU 之間的通信方式：

• 傳統的 GPU-CPU 數據交換需要 先通知 CPU，再由 CPU 向 NIC 發送數據請求，這種做法增加了通信開銷。
• IBGDA 允許 GPU 直接訪問 RDMA 設備，跳過 CPU 代理，從而降低通信延遲，提高推理吞吐量。

圖5：理想的多平面網絡：每個NIC都配備了多個物理端口，每個端口都連接到一個不同的網絡平面。單個隊列對（QP）可以同時利用所有可用端口來傳輸和接收數據包，這需要對NIC內無序放置的本地支持。

DeepSeek-V3 在硬件互連與網絡優化方面采取了一系列針對性措施，從NVLink 帶寬優化、IB 高速互連、節點路由策略到 InfiniBand GPUDirect Async 技術，這些設計共同確保了 AI 計算的高效性。

3.未來硬件架構設計思考

提升系統穩健性：AI 計算的容錯性與數據可靠性

在大規模 AI 計算環境中，穩健性不僅是系統運行的關鍵，也是保證長期訓練任務穩定性的基礎。DeepSeek-V3在架構設計上特別關注兩類問題：互連故障與數據損壞。

高性能計算集群往往依賴復雜的網絡互連，如InfiniBand、NVLink，這些互連技術的故障可能會導致 GPU 之間的數據傳輸受阻，進而影響整個 AI 計算任務的進行。同時，單點硬件故障，如GPU 崩潰、ECC 內存錯誤，也可能導致訓練任務中斷，甚至讓大規模數據丟失，影響模型質量。

DeepSeek-V3 提出的優化方向包括高級錯誤檢測與校驗機制，通過硬件冗余設計降低系統故障率。例如，可以采用增強的 ECC來檢測多比特翻轉問題，同時配合數據完整性校驗（Checksum），確保存儲數據在長期訓練過程中不會發生隱性損壞。此外，DeepSeek-V3 還鼓勵標準化診斷工具，讓用戶可以實時監測硬件健康狀態，避免長時間運行導致的不可見錯誤堆積。

CPU與互連瓶頸改進：突破數據傳輸與計算性能限制

在 AI 計算架構中，CPU-GPU 之間的數據交換 往往成為系統的瓶頸，尤其是在大規模訓練和推理任務中。DeepSeek-V3 采用 NVLink 和 Infinity Fabric作為 CPU-GPU 直連方案，使其能夠繞過傳統 PCIe 傳輸瓶頸，提高數據吞吐量。

傳統 PCIe 的帶寬限制了 GPU 獲取CPU 側 KV 緩存的速度，同時在大規模參數傳輸（如梯度更新）過程中，會因PCIe 爭奪產生顯著延遲。采用NVLink 或 Infinity Fabric直連 CPU 與 GPU，可以減少數據在 PCIe 總線上的傳輸，提高 AI 計算速度。此外，DeepSeek-V3 提出的優化方案之一是提高單核 CPU 的計算頻率（>4GHz），確保內核啟動任務、網絡數據處理等關鍵計算任務不會因 CPU 計算速度不足而拖慢 AI 計算進程。

在多核架構優化方面，DeepSeek-V3 也提出了多核協同計算的設計思路。例如，在芯粒（Chiplet）架構下，每個獨立計算芯片可以擁有多個專屬計算核心，分別用于緩存感知任務劃分和高效數據隔離。這一優化策略確保 AI 計算在大規模集群中不會因 CPU 計算壓力而導致吞吐量下降。

智能網絡與自適應互連：讓 AI 計算架構更智能

未來的 AI 計算不僅僅是更快、更強，更需要智能化的網絡架構來優化數據流動和降低系統故障率。DeepSeek-V3 提出的幾項關鍵優化方向包括集成硅光子、無損網絡與智能自適應路由。

硅光子技術（Silicon Photonics）已經被證明在高帶寬計算場景下具有極強的優勢。DeepSeek-V3 建議未來GPU 互連可以采用光學數據傳輸技術 來替代傳統電子傳輸，從而降低功耗并提高大規模 AI 計算集群的帶寬吞吐量。

此外，DeepSeek-V3 還討論了無損網絡（Lossless Network）的必要性。例如，InfiniBand 采用信用流量控制（CBFC）來確保數據傳輸不會丟失，但在大規模集群中，無效流量堵塞（HOL Blocking） 仍然會影響系統穩定性。因此，DeepSeek-V3 提倡采用智能擁塞控制（CC）算法，例如基于 RTT 的 CC（RTTCC）或用戶可編程 CC（PCC），從而提升 AI數據傳輸的動態優化能力。

在數據路由方面，DeepSeek-V3 采用動態路由（Adaptive Routing）方案，使 AI 數據流量可以根據實時網絡條件自動調整路徑，優化全對全（All-to-All）和歸約（Reduce-Scatter）計算任務的吞吐率。這種智能數據流動的策略確保即使 AI 計算任務達到超大規模，仍然可以保持穩定的系統響應速度。

內存中心的創新策略：突破 AI 計算架構的核心瓶頸

無論 AI 計算如何進化，內存始終是影響計算效率的核心因素。DeepSeek-V3 提出的兩項關鍵優化方向分別是DRAM 疊層加速器（DRAM-Stacked Accelerators）和System-on-Wafer（SoW）技術。

當前 AI 模型的擴展速度遠超高帶寬內存（HBM）的發展速度，導致AI 計算的內存瓶頸越來越嚴重。DeepSeek-V3 提出的DRAM 疊層技術，采用3D 立體集成方式，將 DRAM 直接疊加到 GPU 計算單元上，實現更快的數據交換。這種技術可以有效解決專家混合模型（MoE）中計算-內存之間的帶寬問題，提高推理效率。例如SeDRAM架構已經展示了該技術的可行性，其高帶寬、低延遲 的特性對 AI 計算極為友好。

此外，DeepSeek-V3 還探索了晶圓級集成（System-on-Wafer，SoW） 的可能性，使計算芯片可以在整個晶圓范圍內完成高速數據交互，避免傳統單一芯片設計中的數據傳輸瓶頸。SoW 技術的突破可以為 AI 計算提供更大規模的并行計算支持，推動 AI 計算架構進入更高維度的性能優化。

AI 計算架構的發展，離不開硬件穩健性提升、CPU-互連優化、智能網絡架構升級以及內存技術的突破。DeepSeek-V3以硬件感知的設計理念，結合新興的計算架構優化策略，為大規模 AI 計算提供了一種更加高效、低成本、可擴展的解決方案。

隨著 AI 技術的不斷演進，如何讓計算架構在更智能、更穩定、更低成本的前提下實現突破，將是 AI 產業發展的關鍵命題。而 DeepSeek-V3 提供的優化方向，不僅是一種工程技術的進步，更是 AI 計算架構演進的長期趨勢。未來 AI 計算，或許將因這些創新而迎來新的突破。（END）

參考資料：???https://arxiv.org/pdf/2505.09343??

本文轉載自??獨角噬元獸??，作者：FlerkenS