大規模AI推理再非難事：如何在Kubernetes上部署DeepSeek 原創
隨著人工智能的持續發展，高效、大規模部署AI驅動應用程序變得至關重要。而編排平臺Kubernetes在管理容器化AI工作負載、確保可擴展性、彈性以及降低管理難度等方面，無疑將發揮不可替代的作用。
在本文中，我們將共同了解如何在Kubernetes上部署DeepSeek，運用其強大的AI推理模型DeepSeek-R1與Open WebUI集成以實現無縫交互。
一、為何選擇Kubernetes？?
作為一款先進的推理模型，DeepSeek將受益于Kubernetes提供的強大容器化與編排能力。Kubernetes憑借其成熟的生態系統以及專門針對復雜AI工作負載量身定制的廣泛功能，從Docker Swarm、Apache Mesos等一從同類產品中脫穎而出。以下是選擇Kubernetes的主要原因：
1.可擴展性?
Kubernetes使用Horizontal Pod Autoscaler（HPA）與Cluster Autoscaler等工具簡化了AI工作負載的擴展流程。對于推理請求激增等常見場景，Kubernetes能夠自動無縫擴展pod與節點，確保無需人工干預即可實現一致性能。
2.彈性?
Kubernetes可實現pod自動重新調度與自我修復功能，借此保障更高彈性水平。一旦DeepSeek pod遭遇資源限制或節點故障等問題，Kubernetes會快速檢測受到影響的pod并將其重新部署到健康節點，最大限度縮短停機時間并保障持續可用性。
3.服務發現?
Kubernetes內置基于DNS的服務發現與微服務無縫管理功能。DeepSeek的推理服務可由此輕松發現并接入以支持微服務（例如預處理模塊及日志記錄服務），全程無需復雜的手動配置，段增強可維護性與靈活性。
4.持久存儲?
Kubernetes PersistentVolumeClaims (PVCs)可有效處理AI模型存儲、訓練數據集及檢查點，確保關鍵數據即使在更新、pod重啟或者節點故障期間也始終保持一致性與可用性。在Kubernetes的支持下，DeepSeek模型更新或者推理pod擴展將真正實現無縫化、無中斷。
5.負載均衡?
Kubernetes提供內置負載均衡功能，可在多個副本之間高效分配工作負載。此功能對于DeepSeek在多個實例間均勻分配推理請求、優化資源利用率并顯著降低響應延遲至關重要。
雖然Docker Swarm等替代方案的使用體驗更簡單，但Kubernetes擁有管理DeepSeek等復雜AI模型所必需的獨特功能完備優勢，確保了可擴展性、穩健性與操作簡便性。
二、在Kubernetes上部署DeepSeek?
1. 設置Kubernetes集群?
在本設置中，我們將建立一個三節點Kubernetes集群，具體包含以下節點：
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
deepseek-control-plane Ready control-plane 6d5h v1.32.0
deepseek-worker Ready <none> 6d5h v1.32.0
deepseek-worker2 Ready <none> 6d5h v1.32.0即使Kubernetes節點不使用GPU，DeepSeek-R1也仍可正常運行，只是響應速度會受到影響。這里建議大家使用GPU加速以獲取最佳性能，特別是在處理復雜推理任務時請務必配備GPU。
你可以使用以下工具在本地設置Kubernetes集群：
- KIND (Kubernetes IN Docker)?
- Minikube?
- MicroK8s?
如果部署在云平臺上，則可使用Ingress對象以安全訪問設置，并通過配備身份驗證與TLS安全機制的Web界面對外公開服務。
2. 使用Ollama部署DeepSeek-R1?
這里使用Ollama在Kubernetes 中部署DeepSeek-R1，Ollama負責處理AI模型推理。以下是Ollama部署過程中的Kubernetes manifest信息：
apiVersion: apps/v1
kind: Deployment
metadata:
name: ollama
labels:
app: ollama
spec:
replicas: 1
selector:
matchLabels:11
app: ollama
template:
metadata:
labels:
app: ollama
spec:
containers:
- name: ollama
image: ollama/ollama:latest
ports:
- containerPort: 11434
volumeMounts:
- mountPath: /root/.ollama
name: ollama-storage
env:
- name: OLLAMA_MODEL
value: deepseek-r1:1.5b
- name: OLLAMA_KEEP_ALIVE
value: "-1"
- name: OLLAMA_NO_THINKING
value: "true"
- name: OLLAMA_SYSTEM_PROMPT
value: "You are DeepSeek-R1, a reasoning model. Provide direct answers without detailed reasoning steps or <think> tags."
volumes:
- name: ollama-storage
emptyDir: {}3. 將Ollama作為服務公開?
為了讓其他服務與Ollama通信，這里需要定義一項NodePort服務：
apiVersion: v1
kind: Service
metadata:
name: ollama-service
spec:
selector:
app: ollama
ports:
- protocol: TCP
port: 11434
targetPort: 11434
type: NodePort4. 部署Open WebUI?
為了獲得交互式體驗，這里集成了Open WebUI，它會接入Ollama并提供用戶友好的界面。具體部署方式如下：
apiVersion: apps/v1
kind: Deployment
metadata:
name: openweb-ui
labels:
app: openweb-ui
spec:
replicas: 1
selector:
matchLabels:
app: openweb-ui
template:
metadata:
labels:
app: openweb-ui
spec:
containers:
- name: openweb-ui
image: ghcr.io/open-webui/open-webui:main
env:
- name: WEBUI_NAME
value: "DeepSeek India - Hardware Software Gheware"
- name: OLLAMA_BASE_URL
value: "http://ollama-service:11434"
- name: OLLAMA_DEFAULT_MODEL
value: "deepseek-r1:1.5b"
ports:
- containerPort: 8080
volumeMounts:
- name: openweb-data
mountPath: /app/backend/data
volumes:
- name: openweb-data
persistentVolumeClaim:
claimName: openweb-ui-pvc5. 在DeepSeek-R1上運行推理?
要測試部署，我們可以在Ollama容器內執行命令：
kubectl exec -it deploy/ollama -- bash
ollama run deepseek-r1:1.5b此命令將啟動與AI模型的交互式會話，且允許直接輸入查詢。
三、訪問Open WebUI?
在部署完成后，即可創建指向URL的入口對象以訪問Open WebUI。
???http://deepseek.gheware.com/auth?用戶通過此界面，即可在聊天環境中與DeepSeek-R1進行交互。
總結?
通過在Kubernetes上部署DeepSeek，我們建立起可擴展、彈性強且可用于生產的AI推理系統。Kubernetes負責高效協調DeepSeek-R1，確保通過Open WebUI順利運行模型并與用戶交互。此外，大家還可添加GPU加速、自動擴展并使用Prometheus及Grafana監控，以進一步擴展這套基礎架構。
對AI從業者來說，Kubernetes將為DeepSeek-R1等推理模型的部署和管理奠定良好基礎，真正讓推理大模型走入尋常百姓家。
原文標題：??DeepSeek on Kubernetes: AI-Powered Reasoning at Scale?，作者：Rajesh Gheware
