大家好，我是肆〇柒。DeepSeek-V3 曾經一度備受全球矚目，從 V3 發布至今，這一開源模型已經在眾多企業場景中成功落地。然而，在落地過程中，由于其復雜的工程細節，相信許多團隊也遇到了不少挑戰。剛好，我最近讀到一篇論文——《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》。這篇論文相比于 DeepSeek 的技術報告，更加深入探討了 DeepSeek-V3 在硬件與模型協同設計方面的創新實踐，不僅揭示了 DeepSeek-V3 如何巧妙應對大規模語言模型（LLM）在內存容量、計算效率和通信帶寬等方面的挑戰，還為我們展示了未來 AI 硬件架構發展的新方向。

這些內容將有助于大家更加深刻地理解 DeepSeek 的工程優化細節，從而在進行私有化落地時，能夠結合具體業務場景，更好地理解并解決遇到的問題。下面就一起來了解一下。

DeepSeek-V3 的模型架構設計

Multi-head Latent Attention（MLA）

Multi-head Latent Attention（MLA）是 DeepSeek-V3 中一項關鍵的創新技術，它巧妙地解決了傳統注意力機制在處理長序列和多輪對話時面臨的內存瓶頸問題。在傳統的 Transformer 架構中，注意力機制需要存儲大量的 Key-Value（KV）緩存，以便在生成后續 token 時進行計算。然而，這種方法在內存消耗方面十分巨大，尤其是當處理長序列或需要多輪對話交互時，KV 緩存的存儲需求會呈指數級增長，嚴重限制了模型的擴展性和推理速度。

MLA 的核心思想是通過一個投影矩陣，將所有注意力頭的 KV 表示壓縮到一個更小的潛在向量中。這個潛在向量不僅能夠保留原始 KV 緩存的關鍵信息，還能在很大程度上減少內存占用。在推理過程中，只需要緩存這個潛在向量，就可以在后續的計算中重建出所需的 KV 信息，從而大大降低了內存消耗。

MLA 的實現原理可以表示為如下公式：

其中， 表示潛在向量， 是投影矩陣， 是輸入隱藏狀態。通過這種方式，MLA 將每個注意力頭的 KV 表示壓縮到一個共享的潛在空間中。在解碼階段，根據潛在向量重建 KV 緩存的公式為：

在這里，和  分別是重建 Key 和 Value 的投影矩陣。通過這種潛在向量的壓縮與重建機制，MLA 在保證模型性能的同時，顯著減少了內存占用。

如圖表所示，在與其他模型的對比中，DeepSeek-V3 的 MLA 技術展現出了卓越的內存壓縮效果。

例如，與 LLaMA-3.1 405B 相比，DeepSeek-V3 的 KV 緩存大小僅為后者的  左右，這對于需要處理長序列和多輪對話的場景來說，無疑是一個巨大的優勢。這不僅使得模型能夠處理更長的上下文，還大大提高了推理速度，降低了對硬件內存資源的要求。

DeepSeek-V3 的基本架構上圖展示了 DeepSeek-V3 的基本架構，其中融合了 DeepSeek-V2 的 MLA 和 DeepSeekMoE 架構，并引入了多 token 預測模塊和 FP8 混合精度訓練，以提升推理和訓練效率。圖中還標明了不同部分計算所使用的精度，所有組件的輸入和輸出均采用 BF16。

Mixture of Experts（MoE）架構的原理與協同

Mixture of Experts（MoE）架構是一種稀疏計算模型，它通過在不同的計算任務中選擇性地激活不同的專家網絡，從而實現模型規模的擴展，同時避免了計算資源的浪費。DeepSeek-V3 中的 MoE 架構采用了先進的門控機制和專家選擇策略，以確保在每個 token 的處理過程中，只有最相關的專家網絡被激活。

MoE 架構的算法邏輯可以分為以下幾個關鍵步驟：

1. 專家選擇（Expert Selection）

在 MoE 架構中，輸入數據首先被傳遞到一個門控網絡（Gating Network）。門控網絡的作用是根據輸入數據的特征，計算出每個專家網絡的權重分數。這些權重分數反映了每個專家網絡對當前輸入數據的適用性。具體來說，門控網絡會輸出一個概率分布，表示每個專家網絡被選中的概率。通常，門控網絡會采用一個 softmax 函數來生成這些概率值。例如，對于一個包含 ( N ) 個專家網絡的 MoE 架構，門控網絡的輸出可以表示為：

其中， 是輸入數據，和 是門控網絡的權重和偏置參數， 是門控網絡的輸出，表示每個專家網絡的權重分數。

在實際應用中，通常會選擇權重分數最高的前 個專家網絡進行激活。這種方法被稱為“Top-K 選擇”。例如，如果 ，則每個輸入數據只會激活權重分數最高的兩個專家網絡。這種稀疏激活機制大大減少了計算量，同時保留了模型的多樣性。

2. 專家處理（Expert Processing）

一旦選定了要激活的專家網絡，這些專家網絡將對輸入數據進行處理。每個專家網絡是一個獨立的神經網絡，通常具有相同的架構，但權重不同。專家網絡的輸出可以表示為：

其中，表示第  個專家網絡的函數， 是第  個專家網絡的輸出。每個專家網絡的輸出都是對輸入數據的一種解釋或表示。

3. 結果融合（Result Fusion）

在所有被激活的專家網絡完成處理后，需要將它們的輸出結果進行融合，以生成最終的輸出。融合過程通常基于門控網絡計算出的權重分數進行加權求和。具體來說，最終輸出可以表示為：

其中，是第  個專家網絡的權重分數， 是第  個專家網絡的輸出。這種加權求和的方式確保了每個專家網絡的貢獻與其重要性成正比。

這種架構與 Multi-head Latent Attention（MLA）協同工作，共同優化了計算 - 通信權衡。MLA 在注意力機制層面減少了內存消耗和通信開銷，而 MoE 則通過稀疏激活的方式，降低了計算復雜度和通信壓力。兩者相互配合，使得 DeepSeek-V3 在大規模訓練和推理過程中，能夠更高效地利用硬件資源，實現性能的顯著提升。

從實驗數據可以看出，MoE 架構在參數規模和計算成本方面具有明顯的優勢。例如，DeepSeek-V3 的參數規模達到了 671B，但每個 token 激活的計算量僅為 37B，遠低于密集模型在相同參數規模下的計算需求。這表明 MoE 架構能夠在保持模型性能的同時，大幅降低計算資源的消耗，提高模型的性價比和可擴展性。

下表列出了 MoE 和密集模型的訓練計算成本對比，在序列長度為 4096 的情況下，DeepSeek-V3 的訓練計算成本僅為每 token 250 GFLOPS，而 Qwen-72B 密集模型和 LLaMA-405B 密集模型的訓練計算成本分別高達每 token 394 GFLOPS 和 2448 GFLOPS。

FP8 混合精度訓練

FP8 混合精度訓練是 DeepSeek-V3 提升訓練效率和模型性能的又一重要創新。與傳統的 FP16 和 FP32 精度訓練相比，FP8 在內存占用和計算速度方面具有顯著的優勢。然而，由于其較低的精度，FP8 訓練也面臨著數值穩定性和模型收斂性等挑戰。

為了充分發揮 FP8 的優勢，同時保證訓練的穩定性，DeepSeek-V3 采用了以下關鍵策略：

1. 1. 高精度累積 ：在計算梯度時，采用 FP32 精度進行累積，以避免數值下溢和上溢問題，確保訓練過程的穩定性。
2. 2. 細粒度量化 ：對激活和模型權重進行細粒度量化，采用 1x128 的 tile-wise 量化和 128x128 的 block-wise 量化策略，以減少量化誤差，提高模型精度。
3. 3. 張量核心優化 ：充分利用 NVIDIA GPU 的張量核心（Tensor Cores），實現 FP8 矩陣乘法的高效計算，加速訓練過程。

從實驗數據來看，FP8 混合精度訓練在 DeepSeek-V3 中取得了良好的平衡效果。與 FP16 相比，FP8 能夠將內存占用減少約 50%，同時在訓練速度上也有顯著提升。盡管在某些情況下可能會出現精度損失，但通過上述優化策略，DeepSeek-V3 將相對精度損失控制在了 0.25% 以內，幾乎不會對模型的最終性能產生明顯影響。這表明 FP8 混合精度訓練是一種極具潛力的訓練方法，能夠在保證模型質量的前提下，大幅提高訓練效率，降低硬件成本。

內存效率優化的實踐

低精度模型

低精度模型，如 FP8，在內存消耗方面的表現令人矚目。與傳統的 BF16 模型相比，FP8 將內存占用減少了一半，這對于緩解 AI 內存墻問題具有重要意義。在現代 AI 系統中，內存資源往往成為限制模型規模和性能的關鍵因素。通過采用低精度模型，可以在不顯著降低模型性能的情況下，大幅度減少內存占用，提高系統的整體效率。

然而，低精度模型的實現并非一帆風順。它需要在硬件和軟件層面進行深入的優化和協調。在硬件方面，需要確保 GPU 等計算設備能夠高效地支持 FP8 等低精度計算。例如，NVIDIA 的 Hopper 架構 GPU 就對 FP8 計算提供了一定的支持，但這仍然需要軟件層面的進一步優化。在軟件方面，需要開發專門的量化算法和訓練框架，以確保低精度模型能夠在訓練和推理過程中保持良好的性能。

此外，低精度模型在不同硬件平臺上的適用性也需要仔細評估。例如，在某些對精度要求較高的應用場景中，可能需要對低精度模型進行進一步的優化和調整，以滿足特定的業務需求。同時，還需要考慮不同硬件平臺的內存架構和計算能力，以充分發揮低精度模型的優勢。

下表對比了 DeepSeek-V3 與其他模型的 KV 緩存大小，在 BF16 精度下，DeepSeek-V3 的 MLA 技術顯著減少了 KV 緩存占用。DeepSeek-V3 每個 token 僅需 70.272 KB，而 Qwen-2.5 72B 和 LLaMA-3.1 405B 分別需要 327.680 KB 和 516.096 KB。

MLA 壓縮 KV 緩存的效果量化

如論文中所述，MLA 技術在壓縮 KV 緩存方面取得了顯著的成果。通過將 KV 表示壓縮到潛在向量中，MLA 大大減少了 KV 緩存的存儲需求。具體來說，DeepSeek-V3 的 MLA 實現將 KV 緩存大小降低到了每個 token 僅需 70.272 KB，而相比之下，Qwen-2.5 72B（采用 GQA 技術）的每個 token KV 緩存大小為 327.680 KB，LLaMA-3.1 405B（同樣采用 GQA 技術）的每個 token KV 緩存大小更是高達 516.096 KB。這表明 MLA 在 KV 緩存壓縮方面具有明顯的優勢。

這種 KV 緩存的壓縮對于模型的性能有著深遠的影響。首先，在推理速度方面，較小的 KV 緩存意味著更少的內存訪問和數據傳輸，從而降低了推理延遲，提高了推理速度。其次，在內存占用方面，KV 緩存的壓縮使得模型能夠在有限的內存資源中處理更長的序列和更大的批量，提高了系統的整體吞吐量。此外，對于需要在資源受限環境中運行的場景，如移動端或嵌入式設備，MLA 的壓縮效果使得大型語言模型的部署成為可能，大大拓展了模型的應用范圍。

其他內存優化方法的對比與應用

除了 MLA 和低精度模型之外，還有其他一些內存優化方法在 AI 領域得到了廣泛的研究和應用。例如，共享 KV（如 Grouped-Query Attention，GQA；Multi-Query Attention，MQA）通過讓多個注意力頭共享同一組 KV 對，顯著減少了 KV 存儲需求。這種方法在不增加太多計算復雜度的情況下，實現了內存占用的有效降低，適用于多種 Transformer 架構的變體。

窗口化 KV（Windowed KV）則針對長序列場景，只在緩存中保留一個滑動窗口內的 KV 對，從而減少了存儲需求。然而，這種方法可能會對長序列的推理能力產生一定的影響，因為它丟棄了窗口之外的信息。在實際應用中，需要根據具體的業務場景和模型需求，權衡窗口大小與推理性能之間的關系。

量化壓縮是一種更為通用的內存優化方法，它通過使用低比特表示（如 4 位或 8 位量化）來減少 KV 對的存儲需求。這種方法可以在保持模型性能基本不變的前提下，顯著降低內存占用。量化壓縮技術的關鍵在于如何設計高效的量化算法，以最小化量化誤差對模型性能的影響。

在實際應用中，選擇合適的內存優化方法需要綜合考慮多種因素，包括模型的規模、序列長度、硬件資源限制以及業務場景對推理性能和精度的要求等。例如，在需要處理長序列且對內存占用敏感的場景中，可以優先考慮 MLA 和窗口化 KV 的結合應用；而在對推理速度要求較高且硬件資源相對有限的場景中，低精度模型和量化壓縮技術則可能更為合適。

降低成本與提高推理速度的策略

MoE 模型的成本效益分析

MoE 模型在降低訓練成本方面展現出了巨大的優勢。與傳統的密集模型相比，MoE 模型通過稀疏激活的方式，在保持模型性能的同時，大幅減少了計算資源的消耗。以 DeepSeek-V3 為例，其參數規模達到了 671B，但每個 token 激活的計算量僅為 37B，而相比之下，同樣規模的密集模型（如 405B 的 LLaMA-3.1）在訓練過程中需要激活所有的參數，導致計算成本急劇上升。

從上表中的數據可以看出，DeepSeek-V3 的訓練計算成本為每 token 250 GFLOPS，而 72B 的 Qwen-72B 密集模型的訓練計算成本為每 token 394 GFLOPS，405B 的 LLaMA-405B 密集模型的訓練計算成本更是高達每 token 2448 GFLOPS。這表明 MoE 模型在大規模訓練中具有顯著的經濟效益，能夠在相同的硬件資源下實現更大的模型規模和更高的性能。

這種成本效益的提升不僅有助于降低大規模模型訓練的門檻，還使得更多的研究團隊和企業能夠參與到 AI 技術的創新中來。同時，隨著模型規模的擴大和性能的提升，MoE 模型也能夠為各種復雜的應用場景提供更強大的支持，推動 AI 技術在更多領域的廣泛應用。

推理速度的影響因素分析

推理速度是衡量 AI 模型性能的重要指標之一，它直接關系到用戶體驗和系統的實際可用性。推理速度的影響因素可以主要從系統整體吞吐量和單次請求延遲兩個維度進行分析。

從系統整體吞吐量的角度來看，提高吞吐量的關鍵在于充分利用硬件資源，減少計算和通信的空閑時間。DeepSeek-V3 通過采用雙微批處理重疊策略，巧妙地將通信延遲與計算過程重疊起來，使得 GPU 能夠始終保持高利用率。例如，在線推理系統中，通過將 MLA 和 MoE 的計算過程分解為兩個階段，并在兩個微批處理之間進行交替計算和通信，實現了計算與通信的無縫銜接。這種策略不僅提高了系統的整體吞吐量，還降低了推理延遲，為用戶提供更流暢的服務體驗。

在單次請求延遲方面，影響因素主要包括模型的計算復雜度、KV 緩存的訪問速度以及通信帶寬等。為了降低單次請求延遲，需要對模型架構進行優化，減少不必要的計算和數據傳輸。例如，通過采用 MLA 技術，減少 KV 緩存的存儲需求和訪問時間；通過優化 MoE 架構中的專家選擇和通信策略，降低通信開銷；以及通過使用低精度計算和量化壓縮技術，加速計算過程。

此外，推理速度還受到硬件性能的直接影響。高性能的 GPU、高速的內存和通信接口等硬件設施能夠顯著提高推理速度。因此，在設計 AI 系統時，需要綜合考慮軟件優化和硬件選型，以實現推理速度的最大化。

Multi-Token Prediction（MTP）技術的實證

Multi-Token Prediction（MTP）技術是 DeepSeek-V3 提高推理速度的一項創新性嘗試。傳統的自回歸模型在推理過程中通常一次只生成一個 token，這導致了推理過程中的順序瓶頸，限制了推理速度的提升。而 MTP 框架通過在每次解碼步驟中同時生成多個候選 token，并在并行驗證這些 token，從而顯著提高了推理效率。

MTP 的實現原理可以概括為以下幾個步驟：

1. 多 token 預測 ：在推理過程中，模型不僅預測下一個 token，還會預測接下來的多個 token，生成多個候選序列。
2. 并行驗證 ：通過輕量級的網絡結構對生成的候選序列進行快速驗證，篩選出最有可能的序列。
3. 結果融合 ：將驗證后的序列進行融合，得到最終的輸出結果。

實際測試數據表明，MTP 技術在提高推理吞吐量方面具有顯著的效果。例如，在預測第二個后續 token 時，MTP 模塊的接受率能夠達到 80% - 90%，使得生成吞吐量（TPS）相比沒有 MTP 模塊的場景提高了 1.8 倍。這表明 MTP 技術在一定程度上能夠有效緩解傳統自回歸模型在推理速度方面的限制，為實現更快速、更高效的 AI 服務提供了一種新的解決方案。

然而，MTP 技術也存在一定的局限性。由于其需要同時處理多個候選序列，可能會導致計算資源的增加和模型復雜度的提升。在某些對延遲要求極高的場景中，MTP 的并行驗證過程可能會引入額外的延遲。因此，在實際應用中，需要根據具體的業務需求和硬件條件，合理選擇和調整 MTP 技術的參數和策略，以實現最佳的推理性能。

網絡拓撲優化的探索

Multi-Plane Network Topology 的優勢與實現

Multi-Plane Network Topology 是 DeepSeek-V3 在網絡通信優化方面的重要創新之一。傳統的網絡拓撲結構在處理大規模集群通信時，往往會面臨網絡擁塞、通信延遲高以及擴展性差等問題。而 Multi-Plane Network Topology 通過將網絡劃分為多個獨立的平面，并在每個平面中采用多層 Fat-Tree 架構，有效地解決了這些問題。

八平面雙層胖樹擴展網絡：每對GPU和IB網卡屬于一個網絡平面。跨平面流量必須使用另一塊網卡以及PCIe或NVLink進行節點內轉發

DeepSeek-V3 的 Multi-Plane Network Topology 具有以下優勢：

1. 故障隔離與容錯性 ：由于每個網絡平面獨立運行，一個平面中的故障不會影響其他平面的正常工作，大大提高了系統的可靠性。例如，當某個平面中的交換機或鏈路出現故障時，其他平面仍然可以繼續工作，確保了整個集群的穩定運行。
2. 成本效率 ：與傳統的三層 Fat-Tree 拓撲相比，Multi-Plane Network Topology 能夠在保持成本相近的情況下，支持更多的計算節點。如論文中的表 3 所示，采用 MPFT（Multi-Plane Fat-Tree）拓撲的網絡在支持 16,384 個 GPU 時，其總成本與支持 10k 端點的兩層 Fat-Tree（FT2）網絡成本相近，但能夠提供更強大的擴展能力和通信性能。
3. 低延遲與高帶寬 ：通過優化網絡拓撲結構和通信協議，Multi-Plane Network Topology 實現了更低的通信延遲和更高的帶寬利用率。這在需要頻繁進行大規模數據傳輸和同步的 AI 訓練和推理場景中，能夠顯著提高系統的整體性能。例如，在進行模型的分布式訓練時，低延遲的網絡通信能夠加快梯度同步的速度，從而縮短訓練時間，提高訓練效率。如下表為MPFT網絡與MRFT網絡的訓練指標比較數據

NCCL all-to-all性能從32個GPU擴展到128個GPU，針對MRFT和MPFT網絡

DeepEP在MPFT上的表現：EP分發和合并內核通過全互聯方式在16到128個GPU之間通信。每個GPU處理4096個標記。觀察到的吞吐量幾乎達到了400Gbps網卡帶寬的飽和狀態

為了驗證 Multi-Plane Network Topology 的性能優勢，研究者進行了實際的實驗測試。實驗結果表明，MPFT 網絡在大規模分布式訓練中的通信效率與 MRFT 網絡相當，但具有更高的可擴展性和成本效益。

在不同消息大小下，NCCL全互聯測試中MPFT網絡和MRFT網絡的延遲對比，表明它們的性能幾乎相同

下表對比了不同網絡拓撲的成本，采用 MPFT（多平面 Fat-Tree）拓撲的網絡在支持 16,384 個 GPU 時，總成本為 72 百萬美元，與支持 10k 端點的兩層 Fat-Tree（FT2）網絡成本相近，但提供了更強大的擴展能力和通信性能。

在實現方面，Multi-Plane Network Topology 需要對網絡設備和通信協議進行深度定制和優化。例如，每個 GPU 節點配備多個網絡接口卡（NIC），每個 NIC 連接到不同的網絡平面。同時，在通信協議棧中引入了特殊的路由機制和流量調度策略，以確保數據能夠在多個平面之間高效地傳輸和交換。此外，為了進一步降低通信延遲，還需要對網絡硬件進行優化，如采用高速的 InfiniBand 交換機和低延遲的通信芯片等。

理想多平面網絡：每個網卡（NIC）都配備了多個物理端口，每個端口都連接到一個獨立的網絡平面。一個隊列對（QP）可以同時利用所有可用端口進行數據包的發送和接收，這需要網卡本身支持亂序放置（out-of-order placement）

上圖描述了理想的多平面網絡架構，每個 NIC 配備多個物理端口，每個端口連接到不同的網絡平面。單個隊列對（QP）可以同時利用所有可用端口進行數據包的發送和接收，這需要 NIC 原生支持數據包的無序放置。然而，當前的硬件實現還存在一些限制。例如，由于當前 400G NDR InfiniBand 的限制，跨平面通信需要通過節點內的轉發，這會引入額外的延遲。如果未來的硬件能夠實現規模擴展（scale-up）和擴展出（scale-out）網絡的融合，這種延遲可以顯著降低，從而進一步增強多平面網絡的可行性

低延遲通信網絡的實踐

低延遲通信網絡在大規模模型訓練和推理中發揮著至關重要的作用。在 DeepSeek-V3 的實踐中，通過采用 InfiniBand（IB）網絡和一系列優化技術，實現了低延遲、高帶寬的通信環境，為模型的高效訓練和推理提供了有力支持。

IB 網絡相較于 RoCE（RDMA over Converged Ethernet）等其他網絡技術，在延遲方面具有明顯的優勢。如論文中的表 5 所示，在進行 64B 數據傳輸時，IB 在相同葉節點和跨葉節點的傳輸延遲分別為 2.8us 和 3.7us，而 RoCE 的對應延遲則為 3.6us 和 5.6us。這種低延遲特性對于需要頻繁進行小數據包通信的 AI 應用來說至關重要，因為它能夠顯著減少通信開銷，提高系統吞吐量。

然而，盡管 IB 網絡在性能上表現出色，但其也存在一些局限性，如成本較高、可擴展性相對較差等。針對這些問題，研究人員提出了一系列改進 RoCE 性能的建議，例如開發專用的低延遲 RoCE 交換機、優化路由策略以及改進流量隔離和擁塞控制機制等。這些改進措施是為了提高 RoCE 網絡的性能，使其能夠在大規模 AI 系統中發揮更大的作用。

不同路由方法（ECMP、AR、靜態路由）以及不同TP維度下AllGather和ReduceScatter通信原語的RoCE網絡帶寬

通過優化路由策略，可以顯著提高 RoCE 網絡在大規模分布式通信中的性能。例如，自適應路由（AR）能夠動態地將數據包分散到多個路徑上，從而避免網絡擁塞，提高通信效率。

此外，DeepSeek-V3 還采用了 InfiniBand GPUDirect Async（IBGDA）技術，進一步降低了網絡通信中的延遲。通過允許 GPU 直接填充工作請求（WR）內容并寫入 RDMA 門鈴 MMIO 地址，IBGDA 消除了傳統通信模式中 GPU 與 CPU 之間頻繁的交互開銷，提高了通信效率。這在大規模分布式訓練和推理場景中，能夠顯著減少通信延遲，提高系統的整體性能。

以下是 H800 節點互連的示意圖：

H800 節點互連

硬件與模型的相互依賴關系

硬件特性對模型設計的塑造

硬件特性在很大程度上塑造了 DeepSeek-V3 的模型設計。例如，FP8 低精度計算作為一種新興的硬件特性，為模型訓練和推理提供了更高的計算效率和更低的內存占用。DeepSeek-V3 針對 FP8 硬件特性進行了專門的優化，開發了一套兼容 FP8 的訓練框架，使得模型能夠在充分利用硬件能力的同時，保持良好的訓練穩定性和模型精度。

此外，硬件的規模擴展（scale-up）和擴展出（scale-out）網絡特性也對模型設計產生了重要影響。為了避免張量并行（TP）在有限的 NVLink 帶寬下效率低下，DeepSeek-V3 在訓練過程中盡量避免使用 TP，而在推理階段則根據實際需求選擇性地采用 TP 來降低延遲和提高 TPOT 性能。同時，通過對模型架構進行分解和重組，使得模型能夠更好地適應硬件的并行計算模式，提高整體性能。

例如，DeepSeek-V3 的 Multi-Plane Network Topology 設計，充分考慮了硬件網絡的特性和限制。通過將網絡劃分為多個獨立的平面，每個平面采用多層 Fat-Tree 架構，實現了故障隔離、低延遲通信和成本效益的統一。這種網絡拓撲結構不僅提高了系統的可靠性和通信效率，還為大規模模型的分布式訓練和推理提供了有力支持。

模型發展對硬件需求的推動

隨著 LLMs 的不斷發展和模型規模的日益擴大，它們對硬件的需求也在不斷增長。DeepSeek-V3 的成功實踐表明，現有的硬件架構在內存容量、計算能力和通信帶寬等方面已經難以滿足未來大規模模型的需求。因此，模型的發展推動了下一代硬件的研發，促使硬件廠商不斷創新和優化硬件技術。

例如，為了滿足模型對內存容量和帶寬的高要求，硬件廠商正在探索新型的內存技術，如高帶寬內存（HBM）的進一步升級和優化，以及內存語義通信和順序問題的改進等。通過提高內存的帶寬和容量，能夠更好地支持大型模型的訓練和推理，降低內存訪問延遲，提高系統性能。

在計算能力方面，硬件廠商需要進一步提升 GPU 等計算設備的計算效率，特別是在低精度計算和混合精度計算方面。例如，開發支持更高精度累積的張量核心，以及優化對細粒度量化技術的支持，能夠提高模型的訓練速度和精度，滿足大規模模型的計算需求。

通信帶寬也是模型發展中的一個關鍵瓶頸。硬件廠商需要研發更高帶寬、更低延遲的網絡互連技術，如統一總線（UB）、Ultra Ethernet 等。這些新技術將有助于提高大規模集群的通信效率，減少通信延遲，為分布式模型訓練和推理提供更強大的支持。

此外，模型的發展還推動了硬件在可靠性、可擴展性和易用性等方面的進步。例如，為了應對大規模集群中硬件故障的頻繁發生，硬件廠商需要開發更先進的錯誤檢測和糾正機制，提高系統的魯棒性。同時，通過優化硬件的架構設計和軟件工具鏈，提高硬件的可擴展性和易用性，使得研究人員和工程師能夠更方便地開發和部署大規模模型。

以硬件驅動模型設計

硬件特性對架構選擇的影響

DeepSeek-V3 的架構選擇深受硬件特性的影響，尤其是 FP8 低精度計算和網絡拓撲特性。FP8 低精度計算作為一種新興的硬件特性，為模型訓練和推理提供了更高的計算效率和更低的內存占用。DeepSeek-V3 針對 FP8 硬件特性進行了專門的優化，開發了一套兼容 FP8 的訓練框架，使得模型能夠在充分利用硬件能力的同時，保持良好的訓練穩定性和模型精度。

此外，硬件的網絡拓撲特性也對模型設計產生了重要影響。為了避免張量并行（TP）在有限的 NVLink 帶寬下效率低下，DeepSeek-V3 在訓練過程中盡量避免使用 TP，而在推理階段則根據實際需求選擇性地采用 TP 來降低延遲和提高 TPOT 性能。同時，通過對模型架構進行分解和重組，使得模型能夠更好地適應硬件的并行計算模式，提高整體性能。

例如，DeepSeek-V3 的 Multi-Plane Network Topology 設計，充分考慮了硬件網絡的特性和限制。通過將網絡劃分為多個獨立的平面，每個平面采用多層 Fat-Tree 架構，實現了故障隔離、低延遲通信和成本效益的統一。這種網絡拓撲結構不僅提高了系統的可靠性和通信效率，還為大規模模型的分布式訓練和推理提供了有力支持。

硬件特性對模型性能的影響

硬件特性不僅影響了 DeepSeek-V3 的架構選擇，還對模型的性能產生了深遠的影響。例如，FP8 計算的引入顯著提高了訓練速度，同時降低了內存占用。通過采用 FP8 混合精度訓練，DeepSeek-V3 在保證模型精度的前提下，將內存占用減少約 50%，訓練速度顯著提升。這種性能的提升使得模型能夠在更短的時間內完成訓練，提高了研發效率，降低了訓練成本。

此外，硬件的內存帶寬和計算核心數量也對模型性能產生了重要影響。為了充分利用 GPU 的高內存帶寬，DeepSeek-V3 對模型的內存訪問模式進行了優化，減少了內存訪問沖突和數據傳輸延遲。同時，根據 GPU 的計算核心數量和并行處理能力，對模型的計算任務進行了合理的分配和調度，提高了計算資源的利用率，進一步提升了模型的訓練和推理速度。

Figure 2 展示了 H800 節點的互連架構，基于 Hopper 架構，與 H100 GPU 類似，但 NVLink 帶寬從 900 GB/s 降低到 400 GB/s，以符合監管要求。每個節點配備八個 400G Infiniband (IB) CX7 NIC，增強擴展出能力，彌補帶寬不足。

硬件與模型之間的相互依賴

硬件能力塑造模型創新

硬件能力的發展為模型創新提供了強大的支持，推動了 DeepSeek-V3 等先進模型的誕生。例如，高性能的 GPU 和高速的內存技術使得大規模模型的訓練和推理成為可能。同時，硬件的低延遲通信網絡為分布式模型的訓練和推理提供了有力保障，使得模型能夠在大規模集群中高效運行。

例如，DeepSeek-V3 中的 MoE 架構能夠實現稀疏激活，這得益于硬件對大規模并行計算的支持。硬件的高性能計算能力使得在每個 token 的處理過程中，只有最相關的專家網絡被激活，從而實現了模型規模的擴展，同時避免了計算資源的浪費。這種硬件能力與模型創新的結合，不僅提高了模型的性能，還為未來模型的發展提供了新的方向。

模型演變需求推動硬件發展

隨著 LLM 的不斷發展和模型規模的日益擴大，它們對硬件的需求也在不斷增長。DeepSeek-V3 的成功實踐表明，現有的硬件架構在內存容量、計算能力和通信帶寬等方面已經難以滿足未來大規模模型的需求。因此，模型的發展推動了下一代硬件的研發，促使硬件廠商不斷創新和優化硬件技術。

例如，為了滿足模型對內存容量和帶寬的高要求，硬件廠商正在探索新型的內存技術，如高帶寬內存（HBM）的進一步升級和優化，以及內存語義通信和順序問題的改進等。通過提高內存的帶寬和容量，能夠更好地支持大型模型的訓練和推理，降低內存訪問延遲，提高系統性能。

此外，模型的發展還推動了硬件在可靠性、可擴展性和易用性等方面的進步。例如，為了應對大規模集群中硬件故障的頻繁發生，硬件廠商需要開發更先進的錯誤檢測和糾正機制，提高系統的魯棒性。同時，通過優化硬件的架構設計和軟件工具鏈，提高硬件的可擴展性和易用性，使得研究人員和工程師能夠更方便地開發和部署大規模模型。

硬件開發未來方向

從 DeepSeek-V3 提取的硬件設計見解

DeepSeek-V3 的實踐為未來硬件設計提供了寶貴的見解。例如，FP8 混合精度計算的廣泛應用表明，低精度計算將成為未來硬件發展的重要方向。硬件廠商需要進一步優化對低精度計算的支持，提高計算效率，降低功耗。

此外，DeepSeek-V3 的 Multi-Plane Network Topology 設計為未來網絡硬件的發展提供了新的思路。硬件廠商可以借鑒這種網絡拓撲結構，開發更高性能、更可靠的網絡互連技術，以滿足大規模模型的通信需求。

未來硬件與模型協同設計

為了實現硬件與模型的更好協同，未來的研究和開發方向可能包括以下幾個方面：

1. 1. 精確低精度計算單元 ：開發支持更高精度累積的張量核心，以及優化對細粒度量化技術的支持，能夠提高模型的訓練速度和精度，滿足大規模模型的計算需求。
2. 2. 規模擴展與擴展出的融合 ：設計更高效的并行計算架構，實現規模擴展和擴展出的無縫融合，提高硬件資源的利用率，降低通信開銷。
3. 3. 低延遲通信網絡 ：研發更高帶寬、更低延遲的網絡互連技術，如統一總線（UB）、Ultra Ethernet 等，提高大規模集群的通信效率，減少通信延遲。
4. 4. 硬件與模型的深度協同優化 ：通過硬件意識的模型開發和軟件定義的硬件優化，實現兩者在性能、功耗和成本等方面的最佳平衡。

總結

總結要點

通過對 DeepSeek-V3 的深入理解，我們領略到了硬件 - 模型協同設計的無窮魅力和巨大潛力。DeepSeek-V3 作為一款在大規模 GPU 集群上成功訓練的先進語言模型，憑借其獨特的 Multi-head Latent Attention（MLA）、Mixture of Experts（MoE）架構以及 FP8 混合精度訓練等創新技術，在提高 LLM 訓練和推理效率方面取得了顯著的成就。它不僅成功地解決了內存效率、成本效益和推理速度等關鍵問題，還為我們展示了硬件與模型相互促進、共同發展的良好典范。

從內存優化的角度來看，MLA 技術通過巧妙地壓縮 KV 緩存，大幅減少了內存占用，使得模型能夠處理更長的序列和更大的批量，提高了系統的吞吐量。同時，低精度模型和量化壓縮技術的廣泛應用，也為緩解 AI 內存墻問題提供了有效的解決方案。在降低成本方面，MoE 架構通過稀疏激活的方式，在保持模型性能的同時，顯著降低了訓練和推理的計算成本。此外，MTP 技術的引入，進一步提高了推理速度，為實現更快速、更高效的 AI 服務開辟了新的途徑。

在網絡拓撲優化方面，DeepSeek-V3 所采用的 Multi-Plane Network Topology 為我們提供了一種高效、可靠的大規模集群通信方案。它通過多個獨立的網絡平面，實現了故障隔離、低延遲通信和成本效益的統一，為大規模模型的分布式訓練和推理提供了有力支持。同時，低延遲通信網絡的實踐和相關技術的探索，也為未來網絡硬件的發展指明了方向。

展望未來

基于 DeepSeek-V3 的實踐經驗，我們對未來的 AI 系統架構設計充滿了期待。未來可能開發方向可能包括以下幾個方面：

1. 硬件架構的創新 ：隨著模型規模的不斷增長，硬件廠商需要不斷探索新的架構和技術，如存算一體芯片、新型內存技術、更高性能的網絡互連等，以滿足 AI 工作負載對內存、計算和通信的極高要求。
2. 模型優化算法的研發 ：研究人員將致力于開發更高效的模型優化算法，進一步提高模型的性能和效率。例如，改進的量化算法、更智能的稀疏激活策略以及新穎的注意力機制等，都將成為未來研究的重點領域。
3. 硬件與模型的深度協同設計 ：未來的 AI 系統將更加注重硬件與模型之間的深度協同設計。通過硬件意識的模型開發和軟件定義的硬件優化，實現兩者在性能、功耗和成本等方面的最佳平衡。
4. 系統軟件的優化 ：為了充分發揮硬件和模型的潛力，系統軟件也需要進行深度優化。包括高效的分布式訓練框架、智能的資源調度算法以及用戶友好的開發工具等，都將是未來系統軟件發展的重要方向。

DeepSeek-V3 的成功為我們展示了硬件與模型協同設計的強大力量。它不僅在當前的 AI 領域具有重要的應用價值，更為未來 AI 系統的發展提供了寶貴的經驗和啟示。我們通過這次深入理解 DeepSeek-V3，不僅可以豐富自己的知識儲備，還拓寬了技術視野。

參考資料

• Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures

     https://arxiv.org/pdf/2505.09343