最近，無論是在國內(nèi)還是國外，一股 DeepSeek-R1 部署熱潮正在興起，許多人都爭相在自己的本地服務(wù)器上嘗試部署完整版的 DeepSeek-R1。不過，想要在本地部署一個滿血版本的 DeepSeek-R1 版本，可能需要大約16張 A800 顯卡，這意味著大約需要投入200萬元人民幣的成本。長期以來，業(yè)界對于 671B 大模型的成本問題感到困擾，迫切希望找到一種低成本的滿血版 671B  DeepSeek部署方案。今天，向大家推薦一個框架——KTransformers，它能夠在單臺配備 24GB VRAM 的 GPU 或多 GPU 以及 382G DRAM 的平臺上支持滿血版 Deepseek-R1 的部署，并且能夠?qū)崿F(xiàn)3到28倍的速度提升。這可能是許多朋友們一直在尋找的解決方案，如果你也感興趣的話，不妨趕緊收藏起來。

項目地址：https://github.com/kvcache-ai/ktransformers/tree/main

1、DeepSeek-R1部署痛點梳理

最近，無論是在國際還是國內(nèi)市場，DeepSeek-R1 的部署熱潮正盛，許多人都爭相在自己的本地服務(wù)器上安裝滿血版本的 DeepSeek-R1。但是，要本地部署這個滿血版本的 DeepSeek-R1，通常需要配備 16個 A800 顯卡，這意味著大約需要 200萬元人民幣的投資。這樣的高昂成本無疑讓許多人望而卻步，盡管如此，還是有一些資金雄厚的企業(yè)不惜重金部署了滿血版本的 DeepSeek-R1。

此外，許多網(wǎng)友反映，70B及以下的模型與滿血版在性能上存在顯著差距。同時，大模型微調(diào)的成本也不低。這些限制因素使得滿血版大模型的能力無法廣泛惠及更多人。長期以來，業(yè)界對于 671B 大模型的成本問題感到苦惱，迫切期待出現(xiàn)一種成本較低的滿血版本 671B DeepSeek R1 部署解決方案。

2、KTransformers 框架簡介

KTransformers，其發(fā)音類似于"Quick Transformers"，該框架的目標(biāo)是通過高級內(nèi)核優(yōu)化和位置并行來提升您的 Transformers 性能。

KTransformers 是一個以 Python 為重心、極具靈活性的框架，其設(shè)計理念圍繞可擴展性展開。只需一行代碼，用戶即可集成并注入一個優(yōu)化模塊，從而獲得與 Transformers 兼容的接口、支持 OpenAI 和 Ollama 的 RESTful API，甚至是簡化版的類似 ChatGPT 的網(wǎng)頁用戶界面。作者期望 KTransformers 能夠成為一個靈活的實驗平臺，用于探索和優(yōu)化 LLMs（大語言模型）推理的新方法。

3、KTrans?formers 硬件配置

基于 KTransformers 的硬件配置如下：

CPU 型號：Intel (R) Xeon (R) Gold 6454S 1T DRAM (2 NUMA nodes)

GPU型號：4090D 24G VRAM

內(nèi)存： DDR5-4800 server DRAM (1 TB)

模型：DeepseekR1-q4km (int4)

4、KTransformers 框架性能指標(biāo)

在本地運行的 671B DeepSeek-Coder-R1：僅需14GB VRAM和382GB DRAM 即可啟動其 Q4_K_M 版本。

預(yù)填充速度（令牌/秒）：KTransformers 的表現(xiàn)為 54.21（32核）→ 74.362（雙插槽，2×32核）→ 255.26（基于 AMX 優(yōu)化的 MoE 內(nèi)核，僅限 V0.3）→ 286.55（選擇性使用6位專家，僅限 V0.3），相較于 llama.cpp 在 2×32 核上的10.31令牌/秒，速度提升了27.79倍。

解碼速度（令牌/秒）：KTransformers 的解碼速度為8.73（32核）→ 11.26（雙插槽，2×32核）→ 13.69（選擇性使用6位專家，僅限V0.3），與 llama.cpp 在2×32核上的 4.51令牌/秒相比，速度提升了3.03倍。

此外，作者還預(yù)告了即將推出的優(yōu)化措施，包括英特爾 AMX 加速內(nèi)核和選擇性專家激活技術(shù)，這些都將顯著提升性能。通過使用 V0.3-preview，作者已經(jīng)實現(xiàn)了每秒高達286個令牌的預(yù)填充速度，這使得其在局部推理上比  llama.cpp 快了28倍。具體的 wheel 文件詳情待發(fā)布。

5、KTransformers 框架上手指南

# 步驟1-利用wget將.wh文件下載到本地
wget https://github.com/kvcache-ai/ktransformers/releases/download/v0.1.4/ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl


# 步驟2-安裝.whl文件
pip install ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl


# 步驟3-執(zhí)行推理
python -m ktransformers.local_chat --model_path <your model path> --gguf_path <your gguf path>  --prompt_file <your prompt txt file>  --cpu_infer 65 --max_new_tokens 1000 <when you see chat, then press enter to load the text prompt_file>

更詳細的細節(jié)如下所示：

???https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md??

本文轉(zhuǎn)載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/Uy6nDPI0FWno7PAC14AJsg??