傳聞 DeepSeek R2 今天上新，東大時區已過，難道是阿美時間？不必失望，筆者20多年職業生涯學到一個深刻道理是：所有的 rumor 都是真的。

DeepSeek不愧是國產之光，V3, R1系列模型以其卓越的性能和開源創新席卷全球。

相應技術文檔分享了多項關鍵技術突破，為高效、可擴展的大模型訓練與推理奠定了基礎。

R1發布給行業帶來的天翻地覆的震動波還在激蕩，R2很快就可能接踵而至了。借此機會，筆者梳理一下DeepSeek R1&R2超越其他對手的核心秘方。

一、GRPO與軟歸納偏好

• DeepSeekMath的組相對策略優化（GRPO）是R1成功的關鍵，核心思想是：去除傳統強化學習中價值函數，避免其高內存和計算成本；
• 對每個問題采樣多個輸出，組內通過相對獎勵估計來優化策略；
• 最大化相對獎勵和策略的 KL 散度約束來更新策略模型。

學者用軟歸納偏好來解釋，深度神經網絡的異常泛化行為，包括良性過擬合、雙下降現象以及過參數化的奇特效果。

軟歸納偏好是解釋這些異常泛化現象的關鍵統一原則：

與其通過限制假設輸出空間來避免過擬合，不如擁抱一個更大更靈活的假設解的搜索空間，同時通過某種機制對與數據一致的簡單解賦予軟性偏好。

筆者認為GRPO 可以看作是軟歸納偏好在強化學習領域的一種具體實現形式，能夠很好解釋scaling law和頓悟（grokking）等涌現泛化現象：

去除傳統強化學習中價值函數，允許更大更靈活的假設輸出空間；

分組采樣和相對獎勵估計引入軟性偏好，賦予模型更高的泛化潛力。

軟歸納偏好被定義為對某些解的偏好，即使這些解對數據的擬合效果相同。下圖展示了通過軟歸納偏好實現良好泛化的過程。

左圖：一個大的假設空間，但對擬合數據效果相同的解沒有偏好，因此訓練通常會導向過擬合的解，泛化能力較差。

中圖：軟歸納偏好通過結合靈活的假設空間和對解的偏好（用不同深淺表示）來引導訓練，從而實現良好的泛化。

右圖：限制假設空間可以通過僅考慮具有某些理想屬性的解來幫助防止過擬合，但限制表達能力，模型無法捕捉現實的細微差別，從而阻礙泛化。

殘差路徑先驗（Residual Pathway Priors, RPP）研究表明，給定問題，軟偏好對于等變性的效果通常與完美約束的模型一樣好。

在僅接觸少量數據后，軟偏好會收斂到近乎完美的旋轉等變性，因為模型被鼓勵以對稱性表示數據，并且即使數據量很小，它也可以精確地做到這一點。

此外，在數據僅包含近似對稱性或完全沒有對稱性的情況下，軟偏好RPP方法的表現顯著優于具有硬對稱性約束的模型。

等變性對稱性提供了壓縮數據的機制，而transformer具有一種軟歸納偏好，傾向于壓縮數據。訓練后的vision transformer甚至比CNN更具平移等變性！

軟歸納偏好（而非限制假設空間）是構建智能系統的關鍵處方，GRPO是個成功的實現，所以筆者說：??GRPO 是DeepSeek魔法的源泉??。

二、內存墻與 I/O感知

為執行運算，GPU必須將數據從高層級的 DRAM 移動到低層級的計算核，因而GPU 的性能不僅受限于計算能力（TFLOPs），還受限于內存帶寬（GB/s）。

現在大模型已經撞到了內存墻——隨著計算能力的提升速度（×3/2年）遠快于 DRAM 帶寬的提升速度（×1.6/2年），算法越來越受限于帶寬/傳輸成本。

此外，DRAM 已占系統總功耗的 46%，隨著內存相對于計算效率的逐漸降低，考慮傳輸成本 I/O 感知 變得非常關鍵。大力出奇跡，還得當心很多白費蠻力。

這應該是DeepSeek AI工程團隊做了大量的對英偉達芯片集群性能的極限優化與提升的更深層次的原因。可見于通信與混合精度的驚艷工作：

DualPipe通信優化，在前后向微批次內部和之間疊加計算和通信階段，從而減少了流水線低效。

特別是，分發（將token路由到專家）和合并（聚合結果）操作通過定制的PTX（并行線程執行）指令與計算并行處理，繞過CUDA與NVIDIA GPU接口并優化其操作。

某種意義上說，DeepSeek 實際上是為 GPU 集群中的all對all通信創建了自己的 GPU 上的虛擬 DPU，用于執行各種與 SHARP 類似的操作。

同時，DeepSeek使用FP8混合精度框架，實現更快的計算速度和更低的內存占用，同時不犧牲數值穩定性。

關鍵操作（如矩陣乘法）以FP8精度執行，而敏感組件（如嵌入層和歸一化層）則保留更高精度（BF16或FP32）以確保準確性。

DeepSeek 獨創了對正在處理的數據的尾數和指數進行微縮放，從而在不損害數據保真度的情況下，保持任何給定計算所需的精度水平和數值范圍。

大家熟悉的FlashAttention也是一種 I/O-Aware的注意力機制，克服了內存墻問題。注意力機制是生成模型的核心，包括大語言模型和圖像生成算法。

FlashAttention 通過融合注意力機制的步驟，在低層級內存上完成所有順序計算，避免了不必要的中間數據傳輸。與標準的 PyTorch 實現相比，其吞吐量提高了 6 倍。

然而，當前生成 I/O 感知算法，以利用硬件特性的最佳技術，仍然是緩慢的手動推導，可能導致大量性能仍未被充分挖掘。

FlashAttention就是歷經三年三次迭代才能充分利用 Hopper 硬件（NVIDIA, 2022）的特性。DeepSeek業界良心，開源了不少代碼，方便大家抄作業。

系統化創新自動優化算法需要一種機制來理解算法的組合結構，并需要一個性能模型來比較執行同一操作的不同方式，難度很大，【文獻2】非常值得期待：

文獻提出了基于神經電路圖（Neural Circuit Diagrams）的深度學習算法表征方案，展示了任務在 GPU 層級結構中的分布及相關資源使用情況。

該方案結合了用于融合算法組合性質的定理，能夠快速推導出 GPU 優化的矩陣乘法和注意力機制的高層次草圖，并構建出相應性能模型。

三、代碼與推理Scaling Law

基于宏大的人類知識提取出來豐富范疇，形成眾多領域的本體知識結構，這是大模型通過預訓練已經構建的內部世界模型；

提高推理采樣的機制，通過訓練測試達成學習推理的scaling law，是大模型下一步努力提升的關鍵方向。

在已訓練的LLM世界模型的基礎上，進行專注推理策略的第二階預訓練，給LLM構建完整的“大腦皮層”，進而借助皮層指揮LLM推理生成。

 “???MoE = 推理采樣策略??” ：MoE里的“專家”是一種擬人的形象化的說法，本質上是基于某種人類先驗“知識”或“策略”的“跨范疇采樣”：

“在外部感官輸入下，大模型內部將限定在相應的高維語言概率空間的子空間內推理；推理是在子空間中采樣，做類比時跨范疇采樣”。

現有支撐激發LLM推理scaling law的技術：參數更新、輸入修改和輸出校準解決分布偏移并增強穩健性；重復采樣、自我校正和樹搜索等策略用來加強推理。

測試時計算模型更新，等于利用測試樣本信息在推理階段進一步微調了模型參數，使模型能夠適應測試分布。

推理過程中進行重復采樣同樣可以顯著提升復雜任務（如數學和編程）的性能【文獻3】，即使是較小的模型也能通過增加采樣獲得顯著性能提升。性能改進遵循指數冪律關系。

關鍵的推理階段增強技術可以結合使用：重復采樣（生成多次嘗試）、融合（綜合多個響應）、批判與排序響應、驗證輸出（自動或手工），這些也是軟歸納偏好方案。

目前看行業技術發展趨勢是，推理與訓練測試之間的界限正在變得模糊，推理結果也被反饋到訓練測試過程中以提升模型能力。

未來的模型需要無縫的自我改進循環，以持續增強其能力，類似于人類通過持續互動和反饋學習，而非離散的訓練階段。軟歸納偏好是很自然的方式。

四、不同層次/尺度語言處理

從語言到認知：LLM如何超越人類語言網絡筆者總結：通過對LLM訓練過程中大腦對齊性的系統分析，揭示了形式語言能力（語法）與功能語言能力（語義）的不同發展軌跡。

未來的研究應進一步擴展對齊性評估的范圍，探索LLM與其他認知網絡的關系，并推動人工與生物語言處理的深度融合。