2025 年 2 月 24日，中國 AI 領域明星公司 DeepSeek 正式啟動“開源周”，并甩出首張技術王炸 —— FlashMLA。這款專為 NVIDIA Hopper GPU 優化的高效解碼內核，針對多頭潛注意力（MLA）進行了深度優化，尤其在處理變長序列的大型語言模型（LLM）推理場景中表現出色。

圖片

FlashMLA 是什么？

FlashMLA 是 DeepSeek 為 Hopper 架構 GPU（如英偉達 H100/H800）量身打造的多層注意力機制（MLA）解碼內核。其核心目標是通過動態內存調度與并行計算優化，顯著提升大語言模型（LLM）的推理效率，尤其在處理可變長度序列時表現突出。

FlashMLA 性能有多強？

FlashMLA 在 H800 SXM5 GPU 上展現了驚艷的性能，基于 CUDA 12.6 測試數據如下：

• 內存受限場景：處理速度高達 3000 GB/s。
• 計算受限場景：算力達到 580 TFLOPS。

FlashMLA 的工作原理

FlashMLA 在處理可變長度序列方面表現出色，這是自然語言處理和生成式 AI 等任務中常見的挑戰。傳統的解碼內核通常難以應對這種不規則的數據，從而導致性能瓶頸。FlashMLA 通過在 Hopper GPU 上優化內存使用和計算，解決了這一問題，確保無論輸入大小如何，都能實現流暢高效的性能。

FlashMLA 真正的創新在于對 BF16 的支持以及具有塊大小為 64 的分頁 KV 緩存。這些特性最大程度地減少了內存開銷并降低了延遲，使 FlashMLA 成為實時 AI 應用的理想選擇。對于開發者而言，這意味著更快的模型訓練和推理，尤其適用于復雜且動態的數據集。

Deepseek 還借鑒了 FlashAttention 2&3 和 CUTLASS 等項目的經驗，并將這些最佳實踐融入 FlashMLA 中。

FlashMLA 的優勢

1. 專為 Hopper GPU 優化性能FlashMLA 針對 NVIDIA Hopper GPU（如 H800）量身打造，利用其先進的 Tensor Cores 和 Transformer Engines，實現 3000 GB/s 的內存帶寬和 580 TFLOPS 的計算性能。這種優化讓它能高效處理 LLM 等 AI 應用的高強度計算需求。
2. 支持變長序列處理FlashMLA 針對變長序列進行了優化，非常適合自然語言處理（NLP）任務。無論是句子還是文檔，輸入長度變化無常，它都能靈活應對，使其成為聊天機器人、翻譯系統和文本生成等現實應用的理想選擇。
3. 高效的內存管理通過塊大小為 64 的分頁 KV 緩存，FlashMLA 提升了內存效率并減少了解碼時的延遲。這種分頁方式將數據拆分為易管理的塊，尤其對內存受限的大型模型表現優異，避免了性能瓶頸。
4. BF16 精度的高效支持FlashMLA 采用 BF16 格式，在保持足夠精度的同時降低內存使用并加速計算。相比 FP32，這種緊湊格式特別適合在資源有限的硬件上部署 LLM 或擴展至更大模型。
5. 助力更大規模 AI 模型通過優化數據傳輸和內存使用，FlashMLA 支持推理超出 GPU DRAM 容量兩倍的模型，速度提升顯著（CPU 上 4-5 倍，GPU 上 20-25 倍）。這意味著無需昂貴硬件升級即可運行超大規模 LLM。

FlashMLA 對 AI 的影響

FlashMLA 誕生于人工智能發展的關鍵時刻。2025 年初，xAI 將發布 Grok 語音模式，這將為實時人工智能交互設定新的基準，而 FlashMLA 則優化了后端基礎設施，以應對日益增長的對人工智能模型速度和效率的需求。

醫療保健和金融等行業將從中受益匪淺。想象一下實時分析患者數據或高頻交易算法，速度以毫秒計算。FlashMLA 的高性能可以徹底改變這些領域，推動創新和效率的提升。

Deepseek 的開源策略也促進了人工智能的道德發展。像 FlashMLA 這樣的工具能夠平衡競爭環境，使小型團隊能夠與大型公司競爭，尤其是在世界范圍內推動人工智能開發透明化的背景下。

總結

FlashMLA 僅僅是個開始。Deepseek 的開源周預示著一系列創新發布即將到來。我們可以看到針對其他 GPU 架構的改進、擴展的 BF16 支持以及與新興 AI 框架的集成。接下來的開源周會帶來什么？讓我們拭目以待。

參考資料

• deepseek-ai/FlashMLA：https://github.com/deepseek-ai/FlashMLA