讓哪吒用上DeepSeek，讓OpenVINO加速邊緣計算 原創
4月17日，OpenVINO? 2025.1版正式發布了。我們嘗個鮮，利用OpenVINO在英特爾哪吒開發套件上部署deepseek-r1-distill-Qwen-7b模型。
一、在邊緣終端部署本地大模型的好處
邊緣終端，如樹莓派和英特爾哪吒開發套件，通常具有較低的功耗和成本，同時具備一定的計算能力。在這些設備上部署 DeepSeek-R1 大模型，可以帶來以下好處：
1. 降低云端依賴
邊緣終端的本地化部署減少了對云端服務的依賴，使得設備能夠在離線或網絡不穩定的情況下獨立運行。這對于一些需要在偏遠地區或網絡受限環境中使用的場景（如智能家居、工業物聯網等）非常有價值。
2. 應用場景拓展
在邊緣終端部署 DeepSeek-R1 可以推動 AI 技術在更多領域的應用，如教育、開發實驗、智能家居等。這不僅降低了 AI 技術的使用門檻，還促進了技術的普及。
3.隱私保護
由于數據處理完全在本地完成，邊緣終端部署可以有效避免敏感信息的外泄，尤其適合對隱私有高要求的場景。
二、英特爾哪吒開發套件
英特爾哪吒開發套件搭載了英特爾N97處理器（3.6GHz），配備64GB eMMC存儲和8GB LPDDR5內存。英特爾N97處理器屬于 Intel Alder Lake-N 系列，4核，采用英特爾7代制程工藝，10納米。 E-Core 的設計，專為輕量級辦公、教育設備和超低功耗筆記本電腦設計，成本和功耗更低，更適合嵌入式設備。
它具有較高的性能，通過OpenVINO? 優化，可比 Jeston TX2 性能,1.3TOPS (FP16)
同時，它又有較低的價格，Jetson TX2（8G，3480元），它只要1200元。
它的功耗只有12瓦，相當于3天3夜使用情況下，只消耗1度電都不到。
更關鍵的是！它還自帶集成顯卡，Intel UHD Graphics，我們可以在iGPU上運行大模型。
三、具體部署方案
目前暫未看到有在英特爾哪吒開發套件上部署 DeepSeek-R1 的介紹。為填補這一空白，本文介紹如何采用最新發布的OpenVINO2025.1來部署DeepSeek-R1-Distill-Qwen-7B模型。
（一）安裝OpenVINO
首先是安裝OpenVINO，參考官網介紹，可以采用PIP安裝，也可以下載安裝包。我這里采用PIP安裝。
1、在Python下新建一個虛擬環境ov20251
python3 -m venv ov20251 2、啟動虛擬環境
source ov20251/bin/activate3、安裝OpenVINO
pip install openvino這里不指定特定版本的話，就是安裝官方最新發布的2025.1版。
4、驗證
下載完成后我們來驗證一下是否安裝成功OpenVINO2025.1，打開python，然后輸入以下命令，查看版本信息。
from openvino import get_version
print(get_version())（二）安裝OpenVINO-GenAI
如果要快速和便捷地運行大模型，Intel還準備了OpenVino-Genai，可以實現三行代碼啟動一個大模型對話。
pip install openvino-genai這里不指定特定版本的話，就是安裝官方最新發布的2025.1版。
這里有一個小竅門， 雖然OpenVino-GenAI的使用需要配合OpenVINO運行時，但我們可以直接安裝OpenVINO-GenAI，它會自動下載安裝相匹配版本的OpenVINO。
（三）安裝OpenCL ICD
為了在 Linux 上使用 GPU 設備進行 OpenVINOuben推理，我們還需要安裝 OpenCL ICD
conda install ocl-icd-system（三）編寫大模型對話程序
做好以上準備工作，接下來編寫一個簡單的對話程序，命名為chat_genai.py
import argparse
import openvino_genai
from llm_config import SUPPORTED_LLM_MODELS, DEFAULT_SYSTEM_PROMPT, DEFAULT_SYSTEM_PROMPT_CHINESE
def streamer(subword):
print(subword, end='', flush=True)
return False
def apply_chat_template(prompt, system_prompt, language="English"): # 確保參數名與變量名一致
"""
使用自定義的聊天模板格式化提示詞
Args:
prompt: 用戶輸入的提示
system_prompt: 系統提示
language: 語言選擇
Returns:
formatted_prompt: 格式化后的提示
"""
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": prompt}
]
if language == "Chinese":
template = SUPPORTED_LLM_MODELS["Chinese"]["DeepSeek-R1-Distill-Qwen-7B"]["genai_chat_template"]
else:
template = SUPPORTED_LLM_MODELS["English"]["DeepSeek-R1-Distill-Qwen-7B"]["genai_chat_template"]
formatted_prompt = ""
for i, message in enumerate(messages):
if i == 0:
formatted_prompt += "<｜begin of sentence｜>"
if message["role"] == "system" and message["content"]:
formatted_prompt += message["content"]
elif message["role"] == "user":
formatted_prompt += f"<｜User｜>{message['content']}"
elif message["role"] == "assistant":
formatted_prompt += f"<｜Assistant｜>{message['content']}<｜end of sentence｜>"
return formatted_prompt
# 為 lang.value 添加默認值
lang_value = "English" # 默認語言設置為 English
if __name__ == "__main__":
parser = argparse.ArgumentParser(add_help=False)
parser.add_argument('-h',
'--help',
action='help',
help='Show this help message and exit.')
parser.add_argument('-m',
'--model_path',
required=True,
type=str,
help='Required. model path')
parser.add_argument('-l',
'--max_sequence_length',
default=256,
required=False,
type=int,
help='Required. maximun length of output')
parser.add_argument('-d',
'--device',
default='CPU',
required=False,
type=str,
help='Required. device for inference')
args = parser.parse_args()
try:
print(f"正在加載模型: {args.model_path}")
pipe = openvino_genai.LLMPipeline(args.model_path, args.device)
# 設置生成配置
config = openvino_genai.GenerationConfig()
config.max_new_tokens = args.max_sequence_length
config.stop_strings = set() # 修正為空集合（原代碼會匹配空字符串）
print("模型加載完成，開始聊天...\n")
pipe.start_chat()
while True:
try:
prompt = input('問題:\n')
if not prompt.strip():
break
system_prompt = DEFAULT_SYSTEM_PROMPT_CHINESE if lang_value == "Chinese" else DEFAULT_SYSTEM_PROMPT
formatted_prompt = apply_chat_template(prompt, system_prompt, language=lang_value) # 顯式指定參數名
pipe.get_tokenizer().set_chat_template("""
{% for message in messages %}
{% if loop.first %}{{ '<｜begin▁of▁sentence｜>' }}{% endif %}
{% if message['role'] == 'system' and message['content'] %}{{ message['content'] }}{% endif %}
{% if message['role'] == 'user' %}{{ '<｜User｜>' + message['content'] }}{% endif %}
{% if message['role'] == 'assistant' %}{{ '<｜Assistant｜>' + message['content'] + '<｜end▁of▁sentence｜>' }}{% endif %}
{% if loop.last and add_generation_prompt and message['role'] != 'assistant' %}{{ '<｜Assistant｜>' }}{% endif %}
{% endfor %}
""")
print("\n生成回答中...\n")
pipe.generate(formatted_prompt, config, streamer)
print('\n----------')
except KeyboardInterrupt:
print("\n對話被用戶中斷")
break
except Exception as e:
print(f"\n錯誤: {e}")
continue
pipe.finish_chat()
except Exception as e:
print(f"初始化失敗: {e}")然后就可以啟動對話了
python3 chat_genai.py --model_path /DeepSeek-R1-Distill-Qwen-7B-sym-int4-ov --max_sequence_length 4096（四）Demo演示
以下是對話視頻的鏈接，輸出速度在每秒10個token左右。
【使用OpenVINO2025在Intel哪吒開發板上運行DeepSeek- R1-Qwen-7B蒸餾模型】??https://www.bilibili.com/video/BV1FERhYeEdL/?share_source=copy_web&vd_source=317251442c66d2e9cefe25184cc59493&t=8?? ??
結語
當DeepSeek遇上哪吒，當OpenVINO加速邊緣計算，這或許就是打開第六次康波周期"寒武紀大爆發"時刻的鑰匙。
