在AI技術(shù)日新月異的今天，大型語言模型已成為推動AI發(fā)展的重要力量。2024年12月26日，DeepSeek AI正式發(fā)布了其最新的大型語言模型——DeepSeek-V3。這款開源模型采用了高達(dá)6710億參數(shù)的混合專家（MoE）架構(gòu)，每秒能夠處理60個token，比V2快了3倍。一經(jīng)發(fā)布，就在AI領(lǐng)域引起了軒然大波。

值得注意的是，DeepSeek-V3不僅支持GPU訓(xùn)練與推理，并且發(fā)布即支持昇騰平臺，在昇騰硬件和MindIE推理引擎上實(shí)現(xiàn)高效推理，為用戶提供了更多計算硬件的選擇。

與GPT-4o不分伯仲，中國大模型領(lǐng)先全球

DeepSeek-V3是一款擁有6710億總參數(shù)和每個令牌激活370億參數(shù)的混合專家（Mixture-of-Experts，MoE）語言模型，由人工智能公司DeepSeek發(fā)布。它在繼承DeepSeek-V2核心架構(gòu)的基礎(chǔ)上，進(jìn)行了多項創(chuàng)新，顯著提升了模型的性能與效率。

DeepSeek-V3采用了創(chuàng)新的知識蒸餾方法，將DeepSeek R1系列模型中的推理能力遷移到標(biāo)準(zhǔn)LLM中，顯著提高了模型的推理性能。

根據(jù)DeepSeek公布的測試結(jié)果，其運(yùn)行了多項基準(zhǔn)測試來比較性能，V3模型已明顯優(yōu)于包括Meta公司的Llama-3.1-405B和阿里云的Qwen 2.5-72B等一眾領(lǐng)先開源模型。在大多數(shù)基準(zhǔn)測試中，它甚至部分超越了OpenAI的閉源模型GPT-4o。

根據(jù)DeepSeek公布的資料顯示，V3在知識類任務(wù)上的水平相比前代DeepSeek-V2.5顯著提升，接近當(dāng)前表現(xiàn)最好的模型Anthropic公司于10月發(fā)布的Claude-3.5-Sonnet-1022。在美國數(shù)學(xué)競賽（AIME 2024，MATH）和全國高中數(shù)學(xué)聯(lián)賽（CNMO 2024）上，DeepSeek-V3大幅超過了其他所有開源閉源模型。在生成速度上，DeepSeek-V3的生成吐字速度從20TPS大幅提高至60TPS，相比V2.5模型實(shí)現(xiàn)了3倍的提升，能夠帶來更加流暢的使用體驗。

由于DeepSeek-V3模型首次在大規(guī)模模型上驗證了FP8訓(xùn)練的可行性和有效性，通過協(xié)同優(yōu)化有效克服了跨節(jié)點(diǎn)MoE訓(xùn)練中的通信瓶頸，因此使得DeepSeek-V3在保持高性能的同時，實(shí)現(xiàn)了訓(xùn)練成本的極大降低。據(jù)DeepSeek官方透露，該模型的訓(xùn)練成本僅為557.6萬美元，遠(yuǎn)低于同類模型的數(shù)億美金訓(xùn)練成本。

作為開源大模型，DeepSeek-V3支持多種開源框架的本地部署，包括SGLang、LMDeploy和TensorRT-LLM，為開發(fā)者提供了豐富的選擇。與此同時，DeepSeek-V3還支持更多推理引擎，為用戶提供了更多計算產(chǎn)品的選擇，推動了中國AI產(chǎn)業(yè)的創(chuàng)新與發(fā)展。

原生支持昇騰AI，為用戶提供更多計算產(chǎn)品選擇

DeepSeek-V3不僅在技術(shù)上取得了重大的突破，而且還實(shí)現(xiàn)了對更多推理引擎的原生支持。以昇騰平臺為例，DeepSeek-V3發(fā)布即支持昇騰平臺，讓用戶能夠在昇騰硬件和MindIE推理引擎上實(shí)現(xiàn)高效推理，為國內(nèi)用戶提供了軟硬件一體化的解決方案。

在魔樂社區(qū)上，已經(jīng)發(fā)布了在昇騰硬件和MindIE推理引擎上實(shí)現(xiàn)DeepSeek-V3模型的推理的部署方式，用戶可以根據(jù)操作手冊，進(jìn)行服務(wù)框架的調(diào)優(yōu)、監(jiān)控運(yùn)維、指定NPU卡、在單機(jī)上啟動多實(shí)例等，優(yōu)化服務(wù)性能和定制運(yùn)行環(huán)境，充分發(fā)揮昇騰硬件設(shè)備的算力，提升模型推理的效率。（點(diǎn)擊了解詳細(xì)部署方式）

作為昇騰針對AI全場景業(yè)務(wù)的推理引擎，MindIE在通信加速、解碼優(yōu)化、量化壓縮、最優(yōu)并行、調(diào)度優(yōu)化等方面展現(xiàn)出了顯著的優(yōu)勢。

首先，通過高效的RPC（Remote Procedure Call，遠(yuǎn)程過程調(diào)用）接口，MindIE實(shí)現(xiàn)了業(yè)務(wù)層與推理引擎之間的快速通信。這一接口支持Triton和TGI等主流推理服務(wù)框架，使得應(yīng)用部署更加便捷，能夠在小時級內(nèi)完成。

通信加速示意圖

其次，在解碼優(yōu)化方面，MindIE提供了針對LLM（Large Language Model，大語言模型）和文生圖（SD模型）等特定應(yīng)用場景的加速參考代碼和預(yù)置模型。這些優(yōu)化措施使得MindIE在解碼階段能夠更快地生成推理結(jié)果，提高了整體性能。特別是針對大模型推理，MindIE支持Continuous Batching、PageAttention、FlashDecoding等加速特性，進(jìn)一步提升了推理效率。

解碼優(yōu)化示意圖

在量化壓縮方面，MindIE中的量化方法基于業(yè)界先進(jìn)的量化技術(shù)，如SmoothQuant、AWQ等，這些技術(shù)能夠在保持模型精度的同時，顯著減少模型大小和計算量。

量化壓縮示意圖

另外，MindIE提供了最優(yōu)并行策略，以充分利用多核處理器和GPU等硬件資源。在并行計算方面，MindIE支持Tensor Parallelism（張量并行）等策略，這些策略能夠使得模型在多個處理器核心上并行運(yùn)行，從而加快推理速度。通過最優(yōu)并行策略，MindIE能夠在保持模型精度和穩(wěn)定性的同時，實(shí)現(xiàn)更高的推理性能。

最優(yōu)并行策略示意圖

在調(diào)度優(yōu)化方面，MindIE提供了多并發(fā)請求的調(diào)度功能，能夠高效地處理大量并發(fā)請求。此外，MindIE還支持統(tǒng)一內(nèi)存池管理KV緩存，這一功能能夠減少內(nèi)存碎片和訪問延遲，提高內(nèi)存利用率。在任務(wù)調(diào)度方面，MindIE基于調(diào)度策略實(shí)現(xiàn)用戶請求組batch，通過合理的任務(wù)分配和調(diào)度，使得資源得到充分利用，提高了整體性能。

調(diào)度優(yōu)化 兩階段混合調(diào)度解碼 示意圖

由于DeepSeek-V3能夠原生支持昇騰硬件和MindIE昇騰推理引擎，使得用戶能夠更加輕松地部署和使用DeepSeek-V3模型，進(jìn)一步推動了AI技術(shù)在各個領(lǐng)域的廣泛應(yīng)用。

加速AI技術(shù)創(chuàng)新發(fā)展，中國大模型迎來新機(jī)遇

51CTO認(rèn)為，DeepSeek-v3的成功，不僅展示了中國在AI創(chuàng)新方面的實(shí)力，提升了中國大模型在全球科技競爭中的地位，并且降低了大模型的開發(fā)門檻，促進(jìn)了中國AI軟硬件產(chǎn)業(yè)的發(fā)展，全面推動了AI技術(shù)的創(chuàng)新與發(fā)展。

首先，DeepSeek-V3充分展示了中國在AI創(chuàng)新方面的實(shí)力，提升了中國大模型在全球科技競爭中的地位。隨著DeepSeek-V3的成功，越來越多的國際目光將聚焦到中國AI領(lǐng)域，為中國公司爭取更多的合作機(jī)會和市場空間。

其次，DeepSeek-V3的開源策略和API定價策略，降低了AI技術(shù)的應(yīng)用門檻，促進(jìn)了技術(shù)分享和行業(yè)內(nèi)的合作。開源的DeepSeek-V3不僅促進(jìn)了AI技術(shù)的分享與交流，也進(jìn)一步降低了行業(yè)內(nèi)的應(yīng)用門檻，為廣大開發(fā)者和企業(yè)提供了更為經(jīng)濟(jì)實(shí)惠的選擇。

此外，DeepSeek-V3的成功也為中國大模型在垂直領(lǐng)域的深耕細(xì)作提供了范例。DeepSeek-V3可以應(yīng)用于智能家居、智能客服、安防、醫(yī)療、寫作輔助等多個場景，這為中國大模型在垂直領(lǐng)域的發(fā)展提供了廣闊的空間和無限的可能。

最后，DeepSeek-V3由于支持更多推理引擎，有助于構(gòu)建更加完善的AI生態(tài)系統(tǒng)。通過與更多推理引擎的緊密合作，DeepSeek-v3可以更好地適應(yīng)國內(nèi)用戶的需求，推動中國AI技術(shù)的普及和應(yīng)用。

總結(jié)：

DeepSeek-V3的成功，不僅展示了中國在AI領(lǐng)域的創(chuàng)新實(shí)力，更為中國大模型的未來發(fā)展帶來了前所未有的新機(jī)遇。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展，中國大模型將在全球科技競爭中發(fā)揮越來越重要的作用，為人們的生活帶來更多的便利和樂趣。

展望未來，隨著人工智能技術(shù)應(yīng)用場景的不斷擴(kuò)展，AI行業(yè)將迎來更為廣闊的發(fā)展空間。DeepSeek-V3的成功只是開端，中國大模型將在技術(shù)進(jìn)步和廣泛應(yīng)用的推動下，不斷實(shí)現(xiàn)新的突破。為此，我們有理由相信，中國大模型在未來的發(fā)展中能夠不斷創(chuàng)新和進(jìn)步，為全球AI技術(shù)的未來發(fā)展貢獻(xiàn)更多的中國智慧和力量。