DeepSeek-V3.2-Exp：用稀疏注意力機制，開啟長文本處理的“加速引擎”
隨著人工智能技術(shù)的飛速發(fā)展，大語言模型在各個領(lǐng)域都展現(xiàn)出了巨大的潛力。然而，傳統(tǒng)的大語言模型在處理長文本時面臨著效率低下和計算成本高昂的問題。為了解決這一難題，DeepSeek-AI推出了實驗性版本DeepSeek-V3.2-Exp，該模型通過引入DeepSeek稀疏注意力機制（DSA），在保持與V3.1-Terminus相當性能的同時，顯著提升了長文本處理的效率。
圖片
一、項目概述
DeepSeek-V3.2-Exp是DeepSeek-AI于2025年9月29日發(fā)布的實驗性大語言模型，旨在探索和驗證在長上下文場景下訓(xùn)練和推理效率的優(yōu)化。該模型基于V3.1-Terminus構(gòu)建，引入了創(chuàng)新的DeepSeek稀疏注意力（DSA）機制，實現(xiàn)了細粒度稀疏注意力，突破了傳統(tǒng)Transformer架構(gòu)的限制。在多個公開基準測試中，DeepSeek-V3.2-Exp的性能與V3.1-Terminus基本持平，但在長文本處理場景中，其推理成本顯著降低。
二、核心功能
（一）架構(gòu)創(chuàng)新
DeepSeek-V3.2-Exp的核心創(chuàng)新在于其稀疏注意力機制。傳統(tǒng)的Transformer模型在處理長文本時，由于需要計算每個標記之間的注意力權(quán)重，導(dǎo)致計算復(fù)雜度呈二次方增長，極大地限制了模型的效率。而DeepSeek-V3.2-Exp通過引入閃電索引器（lightning indexer）和細粒度標記選擇機制，實現(xiàn)了細粒度的稀疏注意力。這種機制只關(guān)注最相關(guān)的標記，從而大幅減少了不必要的計算。
（二）性能優(yōu)化
盡管引入了稀疏注意力機制，DeepSeek-V3.2-Exp在性能上并未受到影響。在多個領(lǐng)域的公共基準測試中，其表現(xiàn)與V3.1-Terminus相當。例如，在MMLU-Pro知識測試和代碼挑戰(zhàn)中，DeepSeek-V3.2-Exp的得分與V3.1-Terminus相當，甚至在某些任務(wù)中略有提升。
（三）成本降低
DeepSeek-V3.2-Exp的API定價大幅下降，輸入成本低至$0.07/百萬token（緩存命中），降低了開發(fā)者的使用成本。這一成本降低主要得益于稀疏注意力機制帶來的計算成本降低和引入的緩存機制。
（四）開源支持
DeepSeek-V3.2-Exp提供了完整的推理代碼、CUDA內(nèi)核和多平臺部署解決方案。這使得研究人員和開發(fā)者可以輕松地在本地部署和使用該模型，進一步推動了其在實際應(yīng)用中的廣泛部署。
三、技術(shù)揭秘
（一）稀疏注意力機制
DeepSeek-V3.2-Exp的稀疏注意力機制是其核心技術(shù)。該機制通過閃電索引器計算查詢標記與前序標記之間的索引分數(shù)，然后選擇前k個關(guān)鍵值條目進行注意力計算。這種細粒度的稀疏注意力機制不僅顯著提高了長文本處理的效率，還保持了模型輸出質(zhì)量。
（二）閃電索引器
閃電索引器是DSA的核心組件，它通過少量的索引頭和高效的計算方式，快速確定哪些標記對查詢標記最重要。這種高效的索引機制使得模型能夠在長文本場景下快速定位關(guān)鍵信息，從而提高推理速度。
（三）訓(xùn)練策略
DeepSeek-V3.2-Exp的訓(xùn)練過程分為兩個階段：密集預(yù)熱階段和稀疏訓(xùn)練階段。在密集預(yù)熱階段，僅訓(xùn)練索引器，保持其余參數(shù)不變，使其輸出的分數(shù)分布與原始注意力分布對齊。在稀疏訓(xùn)練階段，引入令牌選擇機制，同時優(yōu)化索引器和主模型參數(shù)，使模型適應(yīng)稀疏注意力模式。
四、基準評測
在多項基準測試中，DeepSeek-V3.2-Exp的表現(xiàn)與V3.1-Terminus基本持平。例如，在MMLU-Pro、GPQA-Diamond等任務(wù)中，DeepSeek-V3.2-Exp的性能與V3.1-Terminus相當。然而，在長文本處理場景中，DeepSeek-V3.2-Exp的推理成本顯著降低。
五、應(yīng)用場景
（一）長文本處理
DeepSeek-V3.2-Exp適用于需要處理長文本的場景，如長篇文檔分析、長文本生成等。其稀疏注意力機制能夠顯著提高長文本的處理效率，使得模型能夠在更短的時間內(nèi)完成任務(wù)。
（二）代碼生成與編程輔助
DeepSeek-V3.2-Exp在代碼生成和編程輔助任務(wù)中表現(xiàn)出色。它能夠幫助開發(fā)者快速生成代碼片段、優(yōu)化代碼結(jié)構(gòu)，提高編程效率。
（三）多語言處理
DeepSeek-V3.2-Exp支持多語言任務(wù)，可應(yīng)用于跨語言的文本生成、翻譯等場景。這使得該模型能夠在不同語言環(huán)境下的需求中發(fā)揮作用。
六、快速使用
（一）HuggingFace原生部署
用戶可以從Hugging Face平臺下載DeepSeek-V3.2-Exp的模型權(quán)重，按照提供的本地運行指南，將權(quán)重轉(zhuǎn)換為推理演示所需格式，并啟動交互式聊天界面進行使用。
1、格式轉(zhuǎn)換
首先將huggingface 模型權(quán)重轉(zhuǎn)換為推理演示所需的格式。設(shè)置 MP 以匹配您可用的 GPU 數(shù)量
cd inference
export EXPERTS=256
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}2、啟動運行
啟動交互式聊天界面，開始探索DeepSeek 的功能：
export CONFIG=config_671B_v3.2.json
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive（二）SGLang高性能部署
SGLang是DeepSeek-V3.2的官方推理框架，具有優(yōu)化的稀疏注意力內(nèi)核、動態(tài)KV緩存，并能無縫擴展到128K個token。用戶可以通過Docker鏡像快速部署該模型，并根據(jù)硬件平臺選擇對應(yīng)的鏡像。
1、使用 Docker 安裝
# H200
docker pull lmsysorg/sglang:dsv32
# MI350
docker pull lmsysorg/sglang:dsv32-rocm
# NPUs
docker pull lmsysorg/sglang:dsv32-a2
docker pull lmsysorg/sglang:dsv32-a32、啟動命令：
python -m sglang.launch_server --model deepseek-ai/DeepSeek-V3.2-Exp --tp 8 --dp 8 --enable-dp-attention（三）vLLM集成
vLLM提供了對DeepSeek-V3.2-Exp的day-0支持，用戶可以參考官方recipes進行配置。
https://docs.vllm.ai/projects/recipes/en/latest/DeepSeek/DeepSeek-V3_2-Exp.html
七、結(jié)語
DeepSeek-V3.2-Exp的發(fā)布，不僅展示了一種高效的長上下文處理方案，也為大模型在保持性能的同時降低計算成本提供了新的思路。該模型通過引入稀疏注意力機制，在長文本處理場景中實現(xiàn)了顯著的效率提升，同時保持了與V3.1-Terminus相當?shù)男阅堋eepSeek-V3.2-Exp的開源支持和多平臺部署解決方案，進一步推動了其在實際應(yīng)用中的廣泛部署。
項目地址
HuggingFace模型庫：https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
魔搭社區(qū)：https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2-Exp
技術(shù)論文：https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
